按发表形式采集 AAMAS 官方论文集 #38

Merged
Zayden-Jung merged 2 commits from codex/aamas-proceedings into main 2026-11-09 05:52:58 +00:00
Collaborator

AAMAS 2012 的 DBLP 候选卷有 310 条,官方目录则分别列出全文、扩展摘要、演示和博士摘要。直接将整卷当作主会全文会丢失发表形式,并遗漏博士栏目。

新增 collect aamas-proceedings,目前支持独立核验的 2012 版式:从官方缓存或带 HTTP/时间/字节数/SHA-256 的冻结页面提取元数据,保留原始 HTML 证据。全文和扩展摘要的投稿轨道未明确时使用 proceedings_unspecified,发表形式、会话和来源证据独立保存;从标题中剥离隐藏摘要,从作者中剥离计数徽标。缺失摘要为 null,仅保存 PDF 地址。

  • paper_atlas/collectors/aamas.py:有界抓取、快照校验、严格逐栏目解析和数量边界、锁与暂存输出、原始证据与 manifest。
  • paper_atlas/cli.py:统一采集入口。
  • tests/test_aamas_proceedings.py:7 项检查覆盖隐藏字段、发表形式/轨道、身份冲突、错误来源、快照篡改、数量边界与隔离 SQLite 原生导入。
  • .gitea/workflows/check.yml:增加 wheel 安装后的新命令检查。
  • README.md、docs/aamas-proceedings.md:说明范围、运行、来源限制、复核与恢复。

本机仅做 AST、差异与暂存区检查。最新提交 ae88367facbe369ecf2c71458d8fc44f93338cb7 的远程 CI 1097 / job1194 在已确认的 aliyun-ces-control 上成功:344 项测试、wheel 构建、安装和新命令检查均通过。7 项新增检查实际执行通过。首次 CI1096 发现标签必须使用精确来源前缀,已改为 aamas_proceedings:*,并增强实际入库检查,保留存储层原有校验。

真实冻结页面也已独立核验:136 全文、146 扩展摘要、28 演示、24 博士摘要,共334条、三个按数据库 track 分组的文件;逐条对照原始 HTML 的标题、作者、摘要、发表形式、track 和证据。175 条有摘要,159 条按缺失保存。任务 paper-atlas-aamas-stage-and-collect-v1.service terminal success;只暂存65个已核对源码文件,不替换既有默认运行时或 D2 writer。

来源验收报告 /data/paper-index/collected/aamas2012-official-source-v1/independent-source-check.json;采集报告 SHA256 00232817f9e4f9d7a7654e1bcec9c250fd5f40db68c6c2ce1d7242174e388753。这是来源层验收,尚未进行主库身份匹配或生产导入。

采集命令不写生产数据库,不根据录用名单或官方汇总数生成逐篇拒稿/撤稿。真实334条来源字段已通过独立核验;主库身份预检与生产导入验收仍待后续完成。等待用户手动合并,不自动合并。

AAMAS 2012 的 DBLP 候选卷有 310 条,官方目录则分别列出全文、扩展摘要、演示和博士摘要。直接将整卷当作主会全文会丢失发表形式,并遗漏博士栏目。 新增 `collect aamas-proceedings`,目前支持独立核验的 2012 版式:从官方缓存或带 HTTP/时间/字节数/SHA-256 的冻结页面提取元数据,保留原始 HTML 证据。全文和扩展摘要的投稿轨道未明确时使用 `proceedings_unspecified`,发表形式、会话和来源证据独立保存;从标题中剥离隐藏摘要,从作者中剥离计数徽标。缺失摘要为 null,仅保存 PDF 地址。 - `paper_atlas/collectors/aamas.py`:有界抓取、快照校验、严格逐栏目解析和数量边界、锁与暂存输出、原始证据与 manifest。 - `paper_atlas/cli.py`:统一采集入口。 - `tests/test_aamas_proceedings.py`:7 项检查覆盖隐藏字段、发表形式/轨道、身份冲突、错误来源、快照篡改、数量边界与隔离 SQLite 原生导入。 - `.gitea/workflows/check.yml`:增加 wheel 安装后的新命令检查。 - `README.md`、`docs/aamas-proceedings.md`:说明范围、运行、来源限制、复核与恢复。 本机仅做 AST、差异与暂存区检查。最新提交 `ae88367facbe369ecf2c71458d8fc44f93338cb7` 的远程 CI **1097 / job1194** 在已确认的 `aliyun-ces-control` 上成功:**344 项测试**、wheel 构建、安装和新命令检查均通过。7 项新增检查实际执行通过。首次 CI1096 发现标签必须使用精确来源前缀,已改为 `aamas_proceedings:*`,并增强实际入库检查,保留存储层原有校验。 真实冻结页面也已独立核验:136 全文、146 扩展摘要、28 演示、24 博士摘要,共334条、三个按数据库 track 分组的文件;逐条对照原始 HTML 的标题、作者、摘要、发表形式、track 和证据。175 条有摘要,159 条按缺失保存。任务 `paper-atlas-aamas-stage-and-collect-v1.service` terminal success;只暂存65个已核对源码文件,不替换既有默认运行时或 D2 writer。 来源验收报告 `/data/paper-index/collected/aamas2012-official-source-v1/independent-source-check.json`;采集报告 SHA256 `00232817f9e4f9d7a7654e1bcec9c250fd5f40db68c6c2ce1d7242174e388753`。这是来源层验收,尚未进行主库身份匹配或生产导入。 采集命令不写生产数据库,不根据录用名单或官方汇总数生成逐篇拒稿/撤稿。真实334条来源字段已通过独立核验;主库身份预检与生产导入验收仍待后续完成。等待用户手动合并,不自动合并。
codex-bot added 1 commit 2026-11-09 05:28:04 +00:00
Collect evidenced AAMAS proceedings metadata by publication format
Metadata integrity checks / metadata (push) Failing after 2m2s
a305d00c75
codex-bot added 1 commit 2026-11-09 05:31:54 +00:00
Scope AAMAS tags to their exact source namespace
Metadata integrity checks / metadata (push) Successful in 8m56s
ae88367fac
codex-bot marked the pull request as ready for review 2026-11-09 05:44:07 +00:00
Zayden-Jung merged commit cc78e837d2 into main 2026-11-09 05:52:58 +00:00
Sign in to join this conversation.
No Reviewers
No Label
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: Zayden-Jung/paper-atlas#38