Zayden-Jung/paper-atlas
1
0
Fork 0
Code Issues Pull Requests 4 Actions Packages Projects Releases Wiki Activity
Files
1c18cbe03a2e571eaf8261c5ba6e5c10cb4ed0ab
paper-atlas/docs/data-sources.md
T
codex-bot 1c18cbe03a
Metadata integrity checks / metadata (push) Successful in 1m12s
Details
Package Paper Atlas with organized modules and a unified CLI
2026-11-06 17:32:24 +08:00

23 KiB
Raw Blame History

数据范围与采集器

数据范围与来源

  • arXiv：官方推荐的 Cornell/Kaggle 元数据快照，包含标识、作者、标题、摘要、类别、版本与外部索引。默认导入整个快照，通过类别筛选 AI 论文，避免永久丢弃交叉领域记录。
  • 会议论文集：优先官方来源，计划接入 OpenReview、PMLR、ACL Anthology、NeurIPS、CVF、ECVA、AAAI、IJCAI；DBLP 用于补充会议目录、标识与出版信息。GitHub 聚合名单只作发现线索，不能作为未经核验的决定证据。
  • 投稿历史：只收录公开可访问并有证据的记录；没有录用信息不等于拒稿，不能据此推断“从未中会”。
  • 当前不下载 PDF、LaTeX、图片或补充材料，不提取论文全文，不推断匿名作者身份。

官方入口：

候选会议覆盖目录

领域 会议系列 主要发现入口
机器学习、理论 NeurIPS、ICML、ICLR、COLM、COLT、AISTATS、UAI、CLeaR OpenReview、PMLR、NeurIPS、COLM 官方论文集
自然语言 ACL、EMNLP、NAACL、EACL、COLING、CoNLL ACL Anthology
视觉 CVPR、ICCV、ECCV CVF、ECVA
综合 AI AAAI、IJCAI、ECAI 官方论文集、DBLP
检索与数据 KDD、SIGIR、WWW、WSDM、RecSys、CIKM、ICDM、SDM、ECML-PKDD 官方出版方、DBLP，具体年份入口待逐项登记
机器人 ICRA、IROS、RSS、CoRL 官方论文集、PMLR、DBLP
规划、知识与智能体 ICAPS、KR、AAMAS 官方论文集、DBLP
语音与音频 ICASSP、INTERSPEECH、ISMIR 官方论文集、ISCA、DBLP
相关专门领域 MICCAI、FAccT 官方出版方、DBLP

这些是领域覆盖候选，不构成统一排名，也不能据此声称已全部入库。逐年目录以真实举办届次和正式出版清单为准：双年会议不补造不存在的年份；主会、Findings、workshop 分开。edition_sources 保存实际采集状态，不能用候选名单代替覆盖率报告。

官方会议元数据采集

# 单卷示例：ICML 2025，读取官方 gh-pages 元数据，不下载论文正文
python3 -B -m paper_atlas collect pmlr --cache /data/paper-index/raw/http-cache \
  --out /data/paper-index/collected --volume 267

# 待主库完成 arXiv 导入、且没有其他写入进程后，合并会议记录
python3 -B -m paper_atlas import records --db /data/paper-index/papers.sqlite \
  /data/paper-index/collected/pmlr-v267.jsonl

采集输出 JSONL 和对应 manifest，只有明确来源标签才产生相应决定：官方论文集记录为 accepted；PeerRead 使用其明确的 accepted 布尔标签，缺失标签保留 unknown。清单数目不一致时整个文件导入回滚，记录失败批次，不能标为覆盖完成。多个历史卷的全量覆盖仍需单独核验。旧卷可能把 PDF 放入归档；采集器对前 50 卷使用 Git partial clone 和 sparse checkout，仅取 _posts 和卷配置，不执行出版方项目代码。较新归档若超出 64 MiB 限额，也转为此方式。已对原本超限的 AISTATS 2009（第 5 卷）验证采集 84 条且工作区无 PDF。旧 YAML 的 !binary 文本、空文档尾标记会安全解析；带年份的 AISTATS/COLT 等历史 shortname 会规范化，避免名称别名漏届；缺失 year 时仅从官方会议 start 日期提取年份。pmlr-volume-status.json 逐卷保存结果和候选范围归属，pmlr-last-run.json 记录本批实际请求范围，局部重试不能证明全历史完成。缓存默认有效 24 小时；同一次批次可复用缓存，后续更新会重新读取动态入口。

PMLR 的同一出版 ID 可能对应多份 Git 元数据，例如 CoRL 2023 的两篇论文分别存在不同日期的副本。只有论文内容与标识完全一致、差异限于元数据日期时才合为一条，并保留源文件路径和日期版本；冲突副本会使该卷采集失败，保留上一份有效文件。manifest 分别记录 metadata_post_count、duplicate_post_count 和论文 count。

会议导入器还会独立检查每条记录的会议、年份、track 与 manifest 是否一致，并从实际记录计算缺失摘要数；旧 manifest 即使声称摘要完整，也不能让缺失摘要的来源被标为 complete。缺失的源摘要与合并后论文实体是否从其他来源补得摘要分别统计。

PeerRead 采集仅选择作者公开发布的 ICLR 2017 投稿元数据，固定到源仓库 commit。只依据明确的布尔 accepted 标签形成 accepted/rejected；空标签为 unknown，不使用其他数据分区中的 probably-rejected 推断。不会保存 reviews 或 parsed_pdfs 正文。

python3 -B -m paper_atlas collect peerread --cache /data/paper-index/raw/http-cache \
  --out /data/paper-index/collected

数据任务以一次性 systemd 服务运行：paper-atlas-arxiv-import、paper-atlas-pmlr-collect、paper-atlas-peerread-collect；paper-atlas-pmlr-verify 用于全索引复核，paper-atlas-conference-merge 用于单写入合并。它们不是定时任务。主库只允许一个写入进程；会议采集先写独立 JSONL，待 arXiv 主批次结束后再合并；也可以使用 paper-atlas maintain merge 在保存断点处暂停本项目的 arXiv unit、顺序合并会议清单并恢复。该操作应作为独立的一次性 systemd 任务运行，避免 SSH 断开影响恢复；不能同时启动多个合并任务。运行日志位于 /data/paper-index/*-import.log、/data/paper-index/*-collect.log。任何服务启动成功都不等于批次已完成，需检查批次状态、清单与完整性结果。标签按来源刷新使用 paper_tags_source_evidence 索引，避免每条论文都扫描整张标签表。运行中的 arXiv 可以通过同一协调脚本的 --schema-only 模式在断点更新索引后恢复；此模式要求已有 arXiv unit 正在运行。

投稿事件身份与旧数据回填

论文实体与投稿事件分开去重。同一篇论文可以在同一年向同一会议投稿多次，不能仅凭 paper_id、会议、标题相同就把投稿历史压成一次。跨来源只有原平台 forum ID、已验证的投稿编号，或正式发表稿的同届同 track 出版 DOI 等强证据才能关联同一事件。程序展示的内部编号仅在经过独立核验并带有 program_submission_number_verified 标记时才能用作投稿编号。

新版 ICLR manifest 的 parser_version 为 2，明确区别投稿编号、forum 和展示事件编号。旧版文件应先用缓存重新采集；事件证据回填只接受已入库、与 manifest 的会议/年份/track 和数量一致的文件。队列 JSON 包含 files 及对应的 file_sha256，文件变化后必须重新核验，不能继续使用旧哈希。

python3 -B -m paper_atlas maintain merge --db /data/paper-index/papers.sqlite \
  --archive /data/paper-index/raw/arxiv-metadata.zip \
  --backfill-queue /data/paper-index/collected/submission-evidence-queue.json

协调器只维护本项目的 arXiv unit，并对维护过程加互斥锁。若 arXiv 正在运行，会保存断点、应用 schema、回填来源身份、导入本次附加文件、检查外键后恢复；若批次已经读至 EOF 并标记 complete，则不再启动它。若导入停下但未完成，会报错要求先调查，不以“unit 不存在”推断成功或重新全量运行。应以一次性 systemd 任务运行该命令，保持单写入。

首次升级会给已有投稿与决定补上来源关联；身份回填不重新导入标题摘要，不更改原抓取时间。确认同一次投稿后，可以合并镜像事件并保留所有决定及来源。当前稿件的原始强标识也会写入 source_records 元数据，后续源 URL 更新会同步保存。

通用 JSONL 导入支持 decision_events 数组及 observed_at、decision_date、submitted_at。没有取得明确决定时，可用 unknown 状态和空数组仅保存投稿，不生成虚假的决定；--status unknown 也能查询这些投稿。历史快照使用其实际观察时间，不能因今天导入就覆盖较新来源的状态；同一观察时间内按原始决定日期排序。反复导入相同证据只补来源关联，不重复制造决定事件。全量结束后仍须单独核验重复候选、冲突决定及来源覆盖，迁移检查不能代替最终全库审计。

固定版本的补充元数据快照

paper-atlas download 流式下载到 .part，核对完整 HTTP 响应、预期大小和可信来源发布的校验和后，才发布正式文件及 manifest。已存在的正式文件会先重新核验；错误校验和不会覆盖它。默认保留 8 GiB 空闲空间，同一输出只允许一个下载进程。

DBLP 官方月度快照用于补充出版目录和历史届次，元数据按 CC0 发布。固定版本可复现，不把每日变动下载链接当作同一快照：

python3 -B -m paper_atlas download \
  --url https://drops.dagstuhl.de/storage/artifacts/dblp/xml/2026/dblp-2026-11-01.xml.gz \
  --md5 18ad5db59592406ec74289975c4b44cb \
  --output /data/paper-index/raw/dblp-2026-11-01.xml.gz

官方版本与校验值。下载器另外计算 SHA-256，记录来源 URL、大小和核验时间。DBLP 没有提供的摘要不能编造，出版目录也不能作为拒稿证据。

DBLP 目录盘点先核验固定快照与官方 DTD，再流式读取 XML，直至 gzip EOF 检查通过：

python3 -B -m paper_atlas download \
  --url https://drops.dagstuhl.de/storage/artifacts/dblp/xml/2023/dblp-2023-06-28.dtd \
  --md5 96e4283e71886dec2173718957293648 \
  --output /data/paper-index/raw/dblp-2023-06-28.dtd
python3 -B -m paper_atlas catalogue dblp \
  --archive /data/paper-index/raw/dblp-2026-11-01.xml.gz \
  --dtd /data/paper-index/raw/dblp-2023-06-28.dtd \
  --out /data/paper-index/collected/dblp

dblp-catalogue.sqlite 保存论文集目录、按 crossref/年份/booktitle 的记录数量、各目录族数量及少量样本；dblp-ai-candidates.jsonl 保存候选会议族的原始索引元数据。存在多个出版卷字段的记录另存 volume_anomalies，保留全部值供归属核验；统计中仍只计一条，不任取第一个字段或展开成多篇。候选范围包含历史名称与 workshop，尚未赋予主会归属或录用状态。后续须依据具体论文集和届次核对目标范围、track 与出版标识，才能生成入库文件；不会把同一目录下的所有记录都视为主会。该盘点不下载 PDF，也不更改论文主库。

XML 只允许校验过的本地 DTD；官方通用名 dblp.dtd 与月度快照使用的 dblp-2023-06-28.dtd 均解析到同一份已校验文件。拒绝其他外部实体和内部 DTD 子集，不访问 XML 声明的任意网络地址，并遵循源 XML 的字符编码。临时目录库或 gzip 检查失败时不发布正式候选文件，需先调查残留的 .part 状态，再决定是否重新运行。

公开 ICLR 投稿快照的固定 Release 供后续筛选投稿和明确决定；它是第三方保存的 OpenReview 历史副本，不等于最新官方全量数据：

python3 -B -m paper_atlas download \
  --url https://github.com/qhjqhj00/iclr-openreview-reviews/releases/download/v1.0/iclr.tar.bz2 \
  --sha256 350071daf25ebf1aef854ee1d5dc3a81834e1c468917c82a4f78af5548de34fc \
  --expected-bytes 512940722 \
  --output /data/paper-index/raw/iclr-openreview-v1.0.tar.bz2

快照来源与复现脚本。原包包含评审回复；解析只筛选公开投稿的索引、标题、摘要、平台标签及带证据的明确决定，不提取评审正文、作者邮件或论文全文。必须核对原始 invitation、readers、签名及决定字段，不能根据评分或录用名单缺席推断拒稿。

优先处理近期三届，再单独补全 2020–2023；不以 2017 年的 PeerRead 样本代表近期拒稿覆盖：

python3 -B -m paper_atlas collect iclr-snapshot \
  --archive /data/paper-index/raw/iclr-openreview-v1.0.tar.bz2 \
  --out /data/paper-index/collected --year 2024 --year 2025 --year 2026

解析器先核验固定 SHA-256，再流式读取 tar，以临时 SQLite 按年份和 forum 关联投稿及决定，兼容回复先于投稿的归档顺序。只接受明确对 everyone 公开的投稿和具有会议主席签名的 Decision；保留原始决定值、note ID、决定日期、invitation 和签名证据。无明确决定的投稿保留 unknown，不产生拒稿推断。无法关联到公开投稿元数据的公开决定另存 unmatched-decisions 文件，供复核，不擅自创建论文。输出清单分别统计投稿状态、决定事件、缺失摘要和排除原因；重复副本去重，内容冲突会中止。导入时若同一编号指向不同 forum，或同一 forum 指向不同投稿编号，会报冲突并回滚，不强制合并。

该版本是 2026-05-08 发布的第三方历史副本，不代表平台当前状态或全部投稿；缺失决定及公开性筛选均需核验。采集成功也不等于主库已更新，后续应通过单写入协调器导入，并核对同届官方程序与公开决定的差异。

入库前按真实 forum 对照同届官方程序，生成逐年状态、名单缺口、历史决定差异和文本版本差异报告，以及带 SHA-256 的现有程序身份回填队列：

python3 -B -m paper_atlas audit iclr --root /data/paper-index/collected \
  --year 2024 --year 2025 --year 2026 \
  --report /data/paper-index/collected/iclr-recent-audit.json

该检查要求清单和记录的届次、数量、摘要缺失统计一致，拒绝重复 forum、编号冲突及缺失公开决定证据。报告中的名单差异和 unknown 不会转换成拒稿。不同时间来源的决定保留各自证据，强 forum 标识负责关联同一次投稿；报告通过不等于平台全量覆盖或最终全库去重已经完成。生成的 *-backfill-queue.json 仅用于已入库程序记录的身份回填，快照文件仍须由协调器单独导入。

下载异常后先检查对应进程或 CI 任务确已终止，再使用同一参数增加 --resume。只有断点身份一致且服务器实际返回正确 Range 响应才续传；不支持时保留断点并报错，不自动重下。正式文件与下载清单均放在仓库外，不提交大型来源包。

COLM 与 NeurIPS 官方摘要

python3 -B -m paper_atlas collect colm \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected
python3 -B -m paper_atlas collect neurips \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected

公共元数据请求对连接重置、超时及不完整响应最多尝试三次，保留原有有效缓存；HTTP 403 等访问拒绝会直接记录失败。声明 Content-Length 与实际响应不符时不发布缓存，已有缓存也受字节上限约束。旧页面没有赋值的 HTML 属性按空值处理，避免某一个空 class 属性阻断整届采集。

采集器从官方根目录发现实际发表届次，仅访问索引和 Abstract HTML 页面，不请求 PDF、补充材料或源码。可用重复 --year 限定实际存在的届次；不存在的年份会报错，局部重试保留其他届次的已有状态。每个来源串行请求，实际网络响应后等待 1 秒；缓存命中不额外等待。

COLM 当前目录提供 2024–2026 三届 pre-proceedings，按会议年份保存，保留平台实际出版日期和出版状态，不把晚补刊日期当作会议年份。NeurIPS 当前目录提供 1987–2025，并包含 2025 独立卷及 2021 独立 Datasets and Benchmarks 索引。主会、datasets_benchmarks、position、creative_ai 分开出文件，不混为同一个 track。跨平台自标识仅从出版方 paper-actions 区域链接与 citation 元数据提取，不把摘要里的引用链接当作当前论文 ID。manifest 的 parser_version 至少为 2 才允许入库；旧文件须利用缓存重新采集，避免错误身份合并。首次真实样本核对：COLM 2024 官方目录 299 个摘要入口；NeurIPS 1987 为 90 个，作者与摘要均已验证解析。样本成功不代表所有页面采集完成。

colm-index-status.json、neurips-index-status.json 保存逐索引状态；对应 *-last-run.json 保存本次实际选择范围。每个 JSONL 的 manifest 记录索引入口数、track 记录数和缺失摘要数。论文数量与官方页面声明不一致会失败，缺失摘要会标记 partial；不会把页脚、姓名政策或其他正文当作摘要。

这两个采集器只写采集文件，合并仍通过单写入协调流程。全量历史覆盖和所有未实现会议仍待最终核验。

ACL Anthology 权威 XML

python3 -B -m paper_atlas collect acl \
  --checkout /data/paper-index/raw/metadata-checkouts/acl-anthology \
  --out /data/paper-index/collected

paper_atlas/io/git_metadata.py 对官方仓库做只包含 data/xml 的 partial clone/sparse checkout，不获取 PDF，不执行仓库 hooks 或构建。每批固定到实际 Git commit。遍历 XML 的 volume venue 字段选择 ACL、EMNLP、NAACL、EACL、COLING、CoNLL；Findings 按所属会议独立成 track，不按文件名把其他同场 workshop 冒充主会。

新旧 Anthology ID 按官方规则构造，并核对源 DOI。保留 C69、D19-50 至 D19-66、W 系列的历史编号例外，排除编号 0 的前言。XML 混合标记通过 itertext 提取；无摘要保留为空并标记 partial。主会、Findings、workshop、demo、tutorial、industry、shared_task 分开。

联合举办会议保存一个会议事件及多个名称别名。例如 LREC-COLING 的论文可用 COLING 或 LREC 查询，仍只有一次该届投稿记录。可用 --track main 限定主会，避免把 Findings 或演示算入主会；别名数据在正常单写入合并时应用 schema。

acl-collection-status.json 记录每个 XML 及其 volume 的处理结果和排除原因；acl-last-run.json 记录源 commit 与本批范围。--collection P17 可限定一个确实存在的 collection。已验证真实 ACL 2017 长文 195 条、短文 107 条，二者摘要完整；其他 track 按源实际缺失情况记录，不能凭样本宣称整个历史完成。

ICLR 官方公开程序元数据

python3 -B -m paper_atlas collect iclr-program --cache /data/paper-index/raw/http-cache \
  --out /data/paper-index/collected
# 入库后按官方主题检索；主题值以实际来源为准
python3 -B -m paper_atlas query --db /data/paper-index/papers.sqlite \
  --venue ICLR --tag 'iclr_program:topic=Reinforcement Learning->Deep RL'

从 ICLR 官方年份导航登记届次，读取对应 Papers 页面明确引用的 orals-posters/abstracts JSON。核对声明数量、分页状态及唯一 event ID；只下载公开程序元数据，不访问用户资料、PDF、海报、幻灯片或视频。--year 可限制年份；清单中的已采集数与数据库已入库数分别统计。

官方程序中的 event 数不是论文数：同一篇文章可以有 poster 和 oral 两场展示。程序还会给负 sourceid 的 oral 展示生成占位 OpenReview 链接，这些链接不能作为真实论文标识。采集器核对原投稿编号、标题与作者后合并展示，优先使用正编号记录的真实论文链接；原展示编号和类型保留在源元数据中。

同一投稿编号的展示标题可能有小幅修订。只有负编号 oral 与正编号原稿对应、至少两位作者完全一致且标题相似度满足严格阈值时，才保留为同稿的标题变体；该规则仅在一届官方程序内部生效，不用于跨平台模糊合并。

只将 Conference 来源的论文视为 ICLR 主会录用，排除 Blog 和期刊转会展示，并在审计清单保存排除计数。2020/2021 旧数据允许依据官方主会 paper program 形成录用证据；无 forum ID 时保留 program 身份和匹配候选，不伪造标识。历史年度返回 404 会登记 unavailable，未来未发表届次登记 not_yet_published，其他访问或解析失败登记 blocked；这些状态都不能宣称该年已覆盖。

主题、关键词使用 iclr_program:topic、iclr_program:keyword 命名空间。通用导入器按源记录刷新标签证据，保留同一论文其他源记录及 custom:* 标签。每年的 JSONL、manifest、iclr-program-year-status.json 和 iclr-program-last-run.json 保存实际范围、独立展示数、主会展示数、论文数、缺失摘要与缺失 forum 数。录用程序不能提供拒稿全集，公开投稿及拒稿补充仍需独立来源。

CVF / ECVA 视觉会议元数据

python3 -B -m paper_atlas collect cvf \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected
python3 -B -m paper_atlas collect ecva \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected

CVF 从官方根目录发现 CVPR、ICCV 主会与 Findings，分别保存 track；不把 workshop 或 WACV 算入这些会议。优先跟随页面明确提供的 All Papers 链接，避免只收录默认显示的第一天。ECVA 从官方总目录按论文 URL 的会议与年份分组，当前总目录列有 ECCV 2018、2020、2022、2024。不存在于来源的 --venue、--year 或二者组合会报错，不补造双年会议届次，也不能因此推断旧届次未举办。

只访问论文索引与摘要 HTML/PHP 页面。作者优先取 citation 元数据，旧页面尊重声明编码；无 citation 作者时取索引中的作者行，排除论文集出版信息。DOI 只取该论文条目所属的 DOI 链接或 citation 字段；冲突会失败，不从摘要引用中抽取当前论文 ID。不请求 PDF、补充材料、视频或代码。

每份清单记录索引入口数、论文数、缺失摘要与作者数，缺失内容保留为空并标记 partial。存在未被标题条目解析的论文链接时会失败，防止静默漏项。逐来源的 discovery、index-status、last-run 文件分别保存发现目录、逐届结果和实际请求范围。可重复使用 --year 或 --venue 限定重试；其他届次状态会保留。官方开放目录之外的早期届次、尚未刊出的新届次和独立出版方历史数据仍需后续补齐，采集器完成不代表全历史覆盖已完成。

Reference in New Issue View Git Blame Copy Permalink