200 lines
20 KiB
Markdown
200 lines
20 KiB
Markdown
# Paper Atlas · 论文元数据与投稿历史索引
|
||
|
||
Paper Atlas 是一个**长期维护、按需或按批次运行的研究数据工具项目**。它不是一次性的下载脚本，也不需要为了采集而持续启动 Web 服务。目标是把 arXiv、重要 AI 会议论文集及公开投稿决定整合成可追溯、可查询、可持续更新的数据库，供后续研究趋势、跨会投稿、主题演化等分析使用。
|
||
|
||
## 项目目标与当前进度
|
||
|
||
目标包括：完整历史元数据导入、逐年会议目录、跨平台论文去重、公开拒稿/撤稿信息、平台标签与自定义标签隔离、可恢复更新和覆盖率报告。
|
||
|
||
**目前仍在开发，不能视为完整数据集。** 已实现 SQLite 数据结构、arXiv 元数据 ZIP 流式导入、断点恢复、跨平台标识合并及审计、PMLR、COLM、NeurIPS、ACL Anthology、ICLR 官方公开程序元数据采集、带清单核验的会议导入和只读查询。PeerRead 提供公开 ICLR 2017 明确决定的补充来源。arXiv 元数据 ZIP 已完整下载（1,878,831,586 字节），全量导入正在服务器运行。其他会议适配器、历史缺失届次、完整投稿历史、跨平台疑似重复复核和覆盖率核验仍待完成。回归检查在远端执行，已配置 ces-control:host 对应的 CI 工作流，实际 CI 结果以 Gitea Actions 为准。`venues.json` 的 41 个会议是候选覆盖范围，不代表已完成采集，也不是与 COLM 比较的客观排名。
|
||
|
||
## 数据范围与来源
|
||
|
||
- arXiv：官方推荐的 Cornell/Kaggle 元数据快照，包含标识、作者、标题、摘要、类别、版本与外部索引。默认导入整个快照，通过类别筛选 AI 论文，避免永久丢弃交叉领域记录。
|
||
- 会议论文集：优先官方来源，计划接入 OpenReview、PMLR、ACL Anthology、NeurIPS、CVF、ECVA、AAAI、IJCAI；DBLP 用于补充会议目录、标识与出版信息。GitHub 聚合名单只作发现线索，不能作为未经核验的决定证据。
|
||
- 投稿历史：只收录公开可访问并有证据的记录；没有录用信息不等于拒稿，不能据此推断“从未中会”。
|
||
- 当前不下载 PDF、LaTeX、图片或补充材料，不提取论文全文，不推断匿名作者身份。
|
||
|
||
官方入口：
|
||
|
||
- [arXiv bulk metadata](https://info.arxiv.org/help/bulk_data/index.html)
|
||
- [arXiv metadata snapshot](https://www.kaggle.com/datasets/Cornell-University/arxiv)
|
||
- [OpenReview 数据接口说明](https://docs.openreview.net/how-to-guides/data-retrieval-and-modification/how-to-get-all-notes-for-submissions-reviews-rebuttals-etc)
|
||
- [PMLR](https://proceedings.mlr.press/)
|
||
- [ACL Anthology 权威 XML 与 API](https://aclanthology.org/info/development/)
|
||
- [NeurIPS](https://proceedings.neurips.cc/)
|
||
- [COLM](https://proceedings.colm.cc/)
|
||
- [CVF](https://openaccess.thecvf.com/)
|
||
- [ECVA](https://www.ecva.net/papers.php)
|
||
- [IJCAI](https://www.ijcai.org/all_proceedings/)
|
||
- [AAAI](https://ojs.aaai.org/index.php/AAAI/issue/archive)
|
||
- [DBLP](https://dblp.org/db/conf/)
|
||
|
||
## 候选会议覆盖目录
|
||
|
||
| 领域 | 会议系列 | 主要发现入口 |
|
||
| --- | --- | --- |
|
||
| 机器学习、理论 | NeurIPS、ICML、ICLR、COLM、COLT、AISTATS、UAI、CLeaR | OpenReview、PMLR、NeurIPS、COLM 官方论文集 |
|
||
| 自然语言 | ACL、EMNLP、NAACL、EACL、COLING、CoNLL | ACL Anthology |
|
||
| 视觉 | CVPR、ICCV、ECCV | CVF、ECVA |
|
||
| 综合 AI | AAAI、IJCAI、ECAI | 官方论文集、DBLP |
|
||
| 检索与数据 | KDD、SIGIR、WWW、WSDM、RecSys、CIKM、ICDM、SDM、ECML-PKDD | 官方出版方、DBLP，具体年份入口待逐项登记 |
|
||
| 机器人 | ICRA、IROS、RSS、CoRL | 官方论文集、PMLR、DBLP |
|
||
| 规划、知识与智能体 | ICAPS、KR、AAMAS | 官方论文集、DBLP |
|
||
| 语音与音频 | ICASSP、INTERSPEECH、ISMIR | 官方论文集、ISCA、DBLP |
|
||
| 相关专门领域 | MICCAI、FAccT | 官方出版方、DBLP |
|
||
|
||
这些是领域覆盖候选，不构成统一排名，也不能据此声称已全部入库。逐年目录以真实举办届次和正式出版清单为准：双年会议不补造不存在的年份；主会、Findings、workshop 分开。`edition_sources` 保存实际采集状态，不能用候选名单代替覆盖率报告。
|
||
|
||
## 数据模型
|
||
|
||
| 表 | 用途 |
|
||
| --- | --- |
|
||
| `papers` / `papers_fts` | 稳定论文实体、代表性标题摘要、FTS5 全文检索 |
|
||
| `identifiers` | arXiv ID、DOI 等唯一外部标识 |
|
||
| `source_records` / `sources` | 平台记录、原平台标题摘要与索引元数据、来源 URL 和抓取时间 |
|
||
| `venues` / `venue_aliases` / `editions` | 会议或期刊系列、年份与 track，区分主会、Findings 和 workshop，联合会议用别名查询，不重复生成事件 |
|
||
| `edition_sources` | 每届每个来源的覆盖状态、预计/已导入数量、错误与断点 |
|
||
| `submissions` / `decisions` | 多次投稿及带证据的决定历史，支持改投、撤稿和决定变更 |
|
||
| `tags` / `paper_tags` | 平台标签与人工标签，使用命名空间隔离 |
|
||
| `match_candidates` / `paper_merges` | 潜在重复复核状态、确定合并审计 |
|
||
| `ingest_runs` | 导入批次、状态、错误和恢复位置 |
|
||
|
||
决定状态为 `accepted`、`rejected`、`desk_rejected`、`withdrawn`、`under_review`、`unknown`。一篇论文可以对应多次投稿和多个决定，不能用单一“最终会议”字段覆盖历史。查询中按观察时间选择最近状态；后续分析需要同时检查来源覆盖率。
|
||
|
||
当前确定性去重使用 arXiv ID、单个 DOI 和 OpenReview forum ID；跨平台同标题还需至少两位作者吻合，或作者吻合且摘要相同，才自动合并。保留各平台源记录，避免合并后丢失出处。规范化标题只建检索索引，尚未实现模糊匹配流程；**现阶段不保证跨平台去重已经完成**。不同平台标签不自动等同，自定义标签应使用 `custom:*` 命名空间。
|
||
|
||
## 运行与查询
|
||
|
||
基础导入和查询依赖 Python 3 标准库和带 FTS5 的 SQLite；PMLR 采集另需 `requirements.txt` 中锁定的 PyYAML 6.0.3。无项目构建步骤。服务器已检查为 Python 3.14.4。所有运行数据放在仓库外，不提交数据库、下载包或访问凭据。
|
||
|
||
服务器暂存目录：`/data/paper-index/`，快照目录：`/data/paper-index/raw/`，运行代码目录：`/data/paper-index/code/`。这些路径不是对外访问的 API。本地工作区只用于编辑代码、文档和 Git；采集、全量导入和运行检查均在用户确认的服务器执行。
|
||
|
||
下载完成并验证 ZIP 后，在服务器运行：
|
||
|
||
```sh
|
||
python3 -B import_arxiv.py \
|
||
--db /data/paper-index/papers.sqlite \
|
||
--archive /data/paper-index/raw/arxiv-metadata.zip
|
||
```
|
||
|
||
导入直接读取压缩包，不落盘展开整个 JSON。每 500 条提交一次事务并保存断点。若同一快照的导入异常中断，用相同命令恢复；恢复阶段需要重新顺序读取并跳过已提交行。不得同时启动多个写入进程。待恢复批次的文件路径、大小和修改时间必须一致；下载快照校验信息应保存在 `raw/arxiv-manifest.json`。
|
||
|
||
全量导入是有实质磁盘和 I/O 成本的操作。先检查 `df -h`，保持足够空间；数据库、FTS 索引和 WAL 都会增长，压缩包大小不是最终数据库占用。索引和数据库生成属于数据处理，不会构建应用镜像。
|
||
|
||
```sh
|
||
# 导入状态、记录量与覆盖状态
|
||
python3 -B query.py --db /data/paper-index/papers.sqlite --stats
|
||
|
||
# 查询标题或摘要，支持 SQLite FTS5 查询语法
|
||
python3 -B query.py --db /data/paper-index/papers.sqlite --query '"language model"' --limit 20
|
||
|
||
# 按 arXiv 平台类别筛选
|
||
python3 -B query.py --db /data/paper-index/papers.sqlite --tag arxiv:category=cs.AI
|
||
|
||
# 会议与决定查询（会议数据导入后才有结果）
|
||
python3 -B query.py --db /data/paper-index/papers.sqlite --venue COLM --year 2025 --status rejected
|
||
```
|
||
|
||
查询连接使用 SQLite 只读模式，结果输出 JSON。`--stats` 中 `papers` 是按当前规则去重后的论文实体数，`records_by_source` 是各平台已入库记录数，`decision_events_by_status` 是决定事件数。采集文件 manifest 的 `count` 是已采集数量，不能等同已入库数量，也不能把各平台记录数相加当成独立论文数。
|
||
|
||
用 `--paper 531782` 可查看单篇论文的所有已知来源、平台标签、投稿届次及带证据的决定历史。会议筛选不区分大小写，状态筛选使用该次投稿的最新已知决定。当前没有公共 Web 页面或网络查询服务。
|
||
|
||
## 官方会议元数据采集
|
||
|
||
```sh
|
||
# 单卷示例：ICML 2025，读取官方 gh-pages 元数据，不下载论文正文
|
||
python3 -B collect_pmlr.py --cache /data/paper-index/raw/http-cache \
|
||
--out /data/paper-index/collected --volume 267
|
||
|
||
# 待主库完成 arXiv 导入、且没有其他写入进程后，合并会议记录
|
||
python3 -B import_records.py --db /data/paper-index/papers.sqlite \
|
||
/data/paper-index/collected/pmlr-v267.jsonl
|
||
```
|
||
|
||
采集输出 JSONL 和对应 manifest，只有明确来源标签才产生相应决定：官方论文集记录为 accepted；PeerRead 使用其明确的 accepted 布尔标签，缺失标签保留 unknown。清单数目不一致时整个文件导入回滚，记录失败批次，不能标为覆盖完成。多个历史卷的全量覆盖仍需单独核验。旧卷可能把 PDF 放入归档；采集器对前 50 卷使用 Git partial clone 和 sparse checkout，仅取 `_posts` 和卷配置，不执行出版方项目代码。较新归档若超出 64 MiB 限额，也转为此方式。已对原本超限的 AISTATS 2009（第 5 卷）验证采集 84 条且工作区无 PDF。旧 YAML 的 `!binary` 文本、空文档尾标记会安全解析；带年份的 AISTATS/COLT 等历史 shortname 会规范化，避免名称别名漏届；缺失 year 时仅从官方会议 start 日期提取年份。`pmlr-volume-status.json` 逐卷保存结果和候选范围归属，`pmlr-last-run.json` 记录本批实际请求范围，局部重试不能证明全历史完成。缓存默认有效 24 小时；同一次批次可复用缓存，后续更新会重新读取动态入口。
|
||
|
||
PMLR 的同一出版 ID 可能对应多份 Git 元数据，例如 CoRL 2023 的两篇论文分别存在不同日期的副本。只有论文内容与标识完全一致、差异限于元数据日期时才合为一条，并保留源文件路径和日期版本；冲突副本会使该卷采集失败，保留上一份有效文件。manifest 分别记录 metadata_post_count、duplicate_post_count 和论文 count。
|
||
|
||
会议导入器还会独立检查每条记录的会议、年份、track 与 manifest 是否一致，并从实际记录计算缺失摘要数；旧 manifest 即使声称摘要完整，也不能让缺失摘要的来源被标为 complete。缺失的源摘要与合并后论文实体是否从其他来源补得摘要分别统计。
|
||
|
||
PeerRead 采集仅选择作者公开发布的 ICLR 2017 投稿元数据，固定到源仓库 commit。只依据明确的布尔 `accepted` 标签形成 accepted/rejected；空标签为 unknown，不使用其他数据分区中的 probably-rejected 推断。不会保存 reviews 或 parsed_pdfs 正文。
|
||
|
||
```sh
|
||
python3 -B collect_peerread.py --cache /data/paper-index/raw/http-cache \
|
||
--out /data/paper-index/collected
|
||
```
|
||
|
||
数据任务以一次性 systemd 服务运行：`paper-atlas-arxiv-import`、`paper-atlas-pmlr-collect`、`paper-atlas-peerread-collect`；`paper-atlas-pmlr-verify` 用于全索引复核，`paper-atlas-conference-merge` 用于单写入合并。它们不是定时任务。主库只允许一个写入进程；会议采集先写独立 JSONL，待 arXiv 主批次结束后再合并；也可以使用 `merge_conferences.py` 在保存断点处暂停本项目的 arXiv unit、顺序合并会议清单并恢复。该操作应作为独立的一次性 systemd 任务运行，避免 SSH 断开影响恢复；不能同时启动多个合并任务。运行日志位于 `/data/paper-index/*-import.log`、`/data/paper-index/*-collect.log`。任何服务启动成功都不等于批次已完成，需检查批次状态、清单与完整性结果。标签按来源刷新使用 `paper_tags_source_evidence` 索引，避免每条论文都扫描整张标签表。运行中的 arXiv 可以通过同一协调脚本的 `--schema-only` 模式在断点更新索引后恢复；此模式要求已有 arXiv unit 正在运行。
|
||
|
||
### COLM 与 NeurIPS 官方摘要
|
||
|
||
```sh
|
||
python3 -B collect_proceedings.py --source colm \
|
||
--cache /data/paper-index/raw/http-cache --out /data/paper-index/collected
|
||
python3 -B collect_proceedings.py --source neurips \
|
||
--cache /data/paper-index/raw/http-cache --out /data/paper-index/collected
|
||
```
|
||
|
||
采集器从官方根目录发现实际发表届次，仅访问索引和 Abstract HTML 页面，不请求 PDF、补充材料或源码。可用重复 `--year` 限定实际存在的届次；不存在的年份会报错，局部重试保留其他届次的已有状态。每个来源串行请求，实际网络响应后等待 1 秒；缓存命中不额外等待。
|
||
|
||
COLM 当前目录提供 2024–2026 三届 pre-proceedings，按会议年份保存，保留平台实际出版日期和出版状态，不把晚补刊日期当作会议年份。NeurIPS 当前目录提供 1987–2025，并包含 2025 独立卷及 2021 独立 Datasets and Benchmarks 索引。主会、datasets_benchmarks、position、creative_ai 分开出文件，不混为同一个 track。跨平台自标识仅从出版方 paper-actions 区域链接与 citation 元数据提取，不把摘要里的引用链接当作当前论文 ID。manifest 的 `parser_version` 至少为 2 才允许入库；旧文件须利用缓存重新采集，避免错误身份合并。首次真实样本核对：COLM 2024 官方目录 299 个摘要入口；NeurIPS 1987 为 90 个，作者与摘要均已验证解析。样本成功不代表所有页面采集完成。
|
||
|
||
`colm-index-status.json`、`neurips-index-status.json` 保存逐索引状态；对应 `*-last-run.json` 保存本次实际选择范围。每个 JSONL 的 manifest 记录索引入口数、track 记录数和缺失摘要数。论文数量与官方页面声明不一致会失败，缺失摘要会标记 partial；不会把页脚、姓名政策或其他正文当作摘要。
|
||
|
||
这两个采集器只写采集文件，合并仍通过单写入协调流程。全量历史覆盖和所有未实现会议仍待最终核验。
|
||
|
||
### ACL Anthology 权威 XML
|
||
|
||
```sh
|
||
python3 -B collect_acl.py \
|
||
--checkout /data/paper-index/raw/metadata-checkouts/acl-anthology \
|
||
--out /data/paper-index/collected
|
||
```
|
||
|
||
`metadata_checkout.py` 对官方仓库做只包含 `data/xml` 的 partial clone/sparse checkout，不获取 PDF，不执行仓库 hooks 或构建。每批固定到实际 Git commit。遍历 XML 的 volume venue 字段选择 ACL、EMNLP、NAACL、EACL、COLING、CoNLL；Findings 按所属会议独立成 track，不按文件名把其他同场 workshop 冒充主会。
|
||
|
||
新旧 Anthology ID 按官方规则构造，并核对源 DOI。保留 C69、D19-50 至 D19-66、W 系列的历史编号例外，排除编号 0 的前言。XML 混合标记通过 itertext 提取；无摘要保留为空并标记 partial。主会、Findings、workshop、demo、tutorial、industry、shared_task 分开。
|
||
|
||
联合举办会议保存一个会议事件及多个名称别名。例如 LREC-COLING 的论文可用 COLING 或 LREC 查询，仍只有一次该届投稿记录。可用 `--track main` 限定主会，避免把 Findings 或演示算入主会；别名数据在正常单写入合并时应用 schema。
|
||
|
||
`acl-collection-status.json` 记录每个 XML 及其 volume 的处理结果和排除原因；`acl-last-run.json` 记录源 commit 与本批范围。`--collection P17` 可限定一个确实存在的 collection。已验证真实 ACL 2017 长文 195 条、短文 107 条，二者摘要完整；其他 track 按源实际缺失情况记录，不能凭样本宣称整个历史完成。
|
||
|
||
### ICLR 官方公开程序元数据
|
||
|
||
```sh
|
||
python3 -B collect_iclr.py --cache /data/paper-index/raw/http-cache \
|
||
--out /data/paper-index/collected
|
||
# 入库后按官方主题检索；主题值以实际来源为准
|
||
python3 -B query.py --db /data/paper-index/papers.sqlite \
|
||
--venue ICLR --tag 'iclr_program:topic=Reinforcement Learning->Deep RL'
|
||
```
|
||
|
||
从 ICLR 官方年份导航登记届次，读取对应 Papers 页面明确引用的 orals-posters/abstracts JSON。核对声明数量、分页状态及唯一 event ID；只下载公开程序元数据，不访问用户资料、PDF、海报、幻灯片或视频。`--year` 可限制年份；清单中的已采集数与数据库已入库数分别统计。
|
||
|
||
官方程序中的 event 数不是论文数：同一篇文章可以有 poster 和 oral 两场展示。程序还会给负 sourceid 的 oral 展示生成占位 OpenReview 链接，这些链接不能作为真实论文标识。采集器核对原投稿编号、标题与作者后合并展示，优先使用正编号记录的真实论文链接；原展示编号和类型保留在源元数据中。
|
||
|
||
同一投稿编号的展示标题可能有小幅修订。只有负编号 oral 与正编号原稿对应、至少两位作者完全一致且标题相似度满足严格阈值时，才保留为同稿的标题变体；该规则仅在一届官方程序内部生效，不用于跨平台模糊合并。
|
||
|
||
只将 Conference 来源的论文视为 ICLR 主会录用，排除 Blog 和期刊转会展示，并在审计清单保存排除计数。2020/2021 旧数据允许依据官方主会 paper program 形成录用证据；无 forum ID 时保留 program 身份和匹配候选，不伪造标识。历史年度返回 404 会登记 unavailable，未来未发表届次登记 not_yet_published，其他访问或解析失败登记 blocked；这些状态都不能宣称该年已覆盖。
|
||
|
||
主题、关键词使用 `iclr_program:topic`、`iclr_program:keyword` 命名空间。通用导入器按源记录刷新标签证据，保留同一论文其他源记录及 `custom:*` 标签。每年的 JSONL、manifest、`iclr-program-year-status.json` 和 `iclr-program-last-run.json` 保存实际范围、独立展示数、主会展示数、论文数、缺失摘要与缺失 forum 数。录用程序不能提供拒稿全集，公开投稿及拒稿补充仍需独立来源。
|
||
|
||
## 长期维护与更新
|
||
|
||
1. 每次采集先核对来源、许可、可访问性、空闲空间和现有运行批次。保持低并发，遵守来源限流、重试与人机验证要求。
|
||
2. 下载先写 `.part`，确认完整 HTTP 响应和 ZIP 目录，再记录 SHA-256 与时间后切换为正式文件。正式导入会读至 EOF，从而验证成员 CRC。
|
||
3. 每次导入保留来源证据和批次，按会议/年份/track 报告覆盖状态。缺失摘要留空，不编造文本；缺失决定保留未知。
|
||
4. 核验行数、唯一标识、外键、全文查询和 SQLite 完整性后，再将批次视为交付。样本通过不能证明全量正确。
|
||
5. 数据库备份使用 SQLite backup API 或一致性快照，不能在写入过程中只复制 `.sqlite` 主文件而遗漏 WAL。按明确保留策略轮换备份，避免无上限积累。
|
||
6. 不为每次数据更新生成新 Docker 镜像；不常驻下载器；不自动创建定时任务。本项目的更新任务应按需或经用户授权调度。
|
||
7. 代码通过工作分支和 PR 交付；构建或 CI 只能使用用户确认的远程 runner，不在本机触发构建。
|
||
|
||
## 当前访问限制
|
||
|
||
2026-11-06 从目标服务器测试：Kaggle 元数据 GET 可下载；OpenReview 会议 group 接口可读，但 notes 接口返回 `ChallengeRequiredError`。拒稿记录导入尚受此限制，不能用录用名单替代全部投稿，也不能声称已覆盖全部拒稿。需通过平台支持的访问方式或有合法来源的公开数据导出继续补全。
|
||
|
||
已验证的阶段性结果：ICML 2025 的 3,330 条记录和 PeerRead ICLR 2017 的 427 条记录已合并主库，合计 3,502 条 accepted 决定、255 条 rejected 决定；arXiv 曾在 529,000 条断点暂停合并，已验证恢复。这些是阶段性值，不是全量交付数据量。
|
||
|
||
代码在 `codex/metadata-index` 工作分支交付，[Draft PR #1](https://gitea.entroia.com/Zayden-Jung/paper-atlas/pulls/1) 尚未合并，等待全量就绪后用户手动合并。已推送的前三个开发提交均有成功的远程 CI；后续提交仍需检查其各自 CI。全量导入、其他会议适配器、去重复核和覆盖率核验继续进行，应随实际结果更新此说明。
|