Files

T

Metadata integrity checks / metadata (push) Successful in 1m18s

Details

Merge pull request '核对43会议年度、公开决定政策与早期WWW逐来源边界' (#20 ) from codex/coverage-ledger into main

Reviewed-on: #20

2026-11-08 15:07:27 +00:00

40 KiB

Raw Permalink Blame History

数据范围与采集器

数据范围与来源

arXiv：官方推荐的 Cornell/Kaggle 元数据快照，包含标识、作者、标题、摘要、类别、版本与外部索引。默认导入整个快照，通过类别筛选 AI 论文，避免永久丢弃交叉领域记录。
会议论文集：优先官方来源，计划接入 OpenReview、PMLR、ACL Anthology、NeurIPS、CVF、ECVA、AAAI、IJCAI；DBLP 用于补充会议目录、标识与出版信息。GitHub 聚合名单只作发现线索，不能作为未经核验的决定证据。
投稿历史：只收录公开可访问并有证据的记录；没有录用信息不等于拒稿，不能据此推断“从未中会”。
当前不下载 PDF、LaTeX、图片或补充材料，不提取论文全文，不推断匿名作者身份。

官方入口：

候选会议覆盖目录

领域	会议系列	主要发现入口
机器学习、理论	NeurIPS、ICML、ICLR、COLM、COLT、AISTATS、UAI、CLeaR	OpenReview、PMLR、NeurIPS、COLM 官方论文集
自然语言	ACL、EMNLP、NAACL、EACL、COLING、CoNLL	ACL Anthology
视觉	CVPR、ICCV、ECCV	CVF、ECVA
多模态与机器学习系统	ACM MM、MLSys	ACM / DBLP、MLSys 官方论文集
综合 AI	AAAI、IJCAI、ECAI	官方论文集、DBLP
检索与数据	KDD、SIGIR、WWW、WSDM、RecSys、CIKM、ICDM、SDM、ECML-PKDD	官方出版方、DBLP，具体年份入口待逐项登记
机器人	ICRA、IROS、RSS、CoRL	官方论文集、PMLR、DBLP
规划、知识与智能体	ICAPS、KR、AAMAS	官方论文集、DBLP
语音与音频	ICASSP、INTERSPEECH、ISMIR	官方论文集、ISCA、DBLP
相关专门领域	MICCAI、FAccT	官方出版方、DBLP

这些是领域覆盖候选，不构成统一排名，也不能据此声称已全部入库。逐年目录以真实举办届次和正式出版清单为准：双年会议不补造不存在的年份；主会、Findings、workshop 分开。edition_sources 保存实际采集状态，不能用候选名单代替覆盖率报告。

最新已入库基线与逐年公开拒稿核查状态见会议覆盖清单。它分开记录政策证据、实际导入和未核实缺口；不是历史覆盖完成声明。

ACM MM 与 MLSys

会议注册表包含 MM（别名 ACMMM、ACM MM）和 MLSys。MLSys 官方根目录目前列出 2019–2026 年的 8 卷，直接采集每篇标题、摘要、公开作者和引用元数据：

paper-atlas collect mlsys --cache /data/paper-index/raw/http-cache \
  --out /data/paper-index/collected/mlsys

每年清单核对官方声明数量，缺摘要标为 partial；未知现代轨道、空目录或读取失败不能记为成功。SysML 2019 归于同一 MLSys 系列并保留别名。2018 年官方说明接受的投稿为 non-archival，论文集从 2019 年开始；不拼造 2018 年归档卷，也不把未出现在论文集中的投稿判为拒稿。参见 2018 年官方说明。

MLSys 老式 /paper/<year>/hash/… 与新式 /paper_files/paper/<year>/hash/… 链接规范为同一个 publication_mlsys 标识，也支持 2023 年实际使用的 -Abstract-mlsys2023.html 及对应年份标签；标签年份必须与目录年份一致。DBLP 和官方摘要源共用它，避免同一发表记录成为两个论文实体或两次投稿。只从自身出版社链接提取，不从摘要参考文献提取，也不把发表标识用于合并某次拒稿尝试。共享投稿身份入口要求 MLSys 源具有有效的同年出版社身份，缺失或错年的文件不能生成投稿事件；旧版 DBLP 整理文件可利用已保留的唯一自身出版社链接补得此身份，不需要丢弃来源或依靠标题猜测。

ACM MM 使用固定 DBLP 原始快照和已核验的 proceedings crossref 盘点历史，主会 ACM Multimedia、历史编号分卷与同系列 workshop 分开。主会卷也包含 Doctoral Symposium、Reproducibility Companion Papers、Tutorials 等章节（参见 2025 年目录），而原始 XML 不含逐篇章节，所以这类记录暂标 proceedings_unspecified，不能整卷当作 regular 主轨道；后续需逐篇目录证据补齐。旧版候选 JSONL 没有 mm / mlsys 家族，不能用它假装覆盖新增会议；应从已经下载并校验的原始 XML 重新筛选这两个会议，保留完整扫描数量、卷证据与遗漏原因。DBLP 没有摘要，后续须通过 DOI、真实 forum 等独立标识关联官方或公开元数据，不能将书目导入成功表述为摘要已齐全。

公开拒稿镜像的 acmmm 家族映射到 MM，只接受明确的负面状态，继续保留镜像与原始签名决定的区别。现有固定 OpenReview 镜像只含 ACM MM 2024 的录用记录，没有据此证明其他年份没有公开拒稿；2025 年官方 CFP 仅说明审稿期间不公开，不能外推为会后永不公开。

官方会议元数据采集

# 单卷示例：ICML 2025，读取官方 gh-pages 元数据，不下载论文正文
python3 -B -m paper_atlas collect pmlr --cache /data/paper-index/raw/http-cache \
  --out /data/paper-index/collected --volume 267

# 待主库完成 arXiv 导入、且没有其他写入进程后，合并会议记录
python3 -B -m paper_atlas import records --db /data/paper-index/papers.sqlite \
  /data/paper-index/collected/pmlr-v267.jsonl

采集输出 JSONL 和对应 manifest，只有明确来源标签才产生相应决定：官方论文集记录为 accepted；PeerRead 使用其明确的 accepted 布尔标签，缺失标签保留 unknown。清单数目不一致时整个文件导入回滚，记录失败批次，不能标为覆盖完成。多个历史卷的全量覆盖仍需单独核验。旧卷可能把 PDF 放入归档；采集器对前 50 卷使用 Git partial clone 和 sparse checkout，仅取 _posts 和卷配置，不执行出版方项目代码。较新归档若超出 64 MiB 限额，也转为此方式。已对原本超限的 AISTATS 2009（第 5 卷）验证采集 84 条且工作区无 PDF。旧 YAML 的 !binary 文本、空文档尾标记会安全解析；带年份的 AISTATS/COLT 等历史 shortname 会规范化，避免名称别名漏届；缺失 year 时仅从官方会议 start 日期提取年份。pmlr-volume-status.json 逐卷保存结果和候选范围归属，pmlr-last-run.json 记录本批实际请求范围，局部重试不能证明全历史完成。缓存默认有效 24 小时；同一次批次可复用缓存，后续更新会重新读取动态入口。

PMLR 的同一出版 ID 可能对应多份 Git 元数据，例如 CoRL 2023 的两篇论文分别存在不同日期的副本。只有论文内容与标识完全一致、差异限于元数据日期时才合为一条，并保留源文件路径和日期版本；冲突副本会使该卷采集失败，保留上一份有效文件。manifest 分别记录 metadata_post_count、duplicate_post_count 和论文 count。

会议导入器还会独立检查每条记录的会议、年份、track 与 manifest 是否一致，并从实际记录计算缺失摘要数；旧 manifest 即使声称摘要完整，也不能让缺失摘要的来源被标为 complete。缺失的源摘要与合并后论文实体是否从其他来源补得摘要分别统计。

PeerRead 采集仅选择作者公开发布的 ICLR 2017 投稿元数据，固定到源仓库 commit。只依据明确的布尔 accepted 标签形成 accepted/rejected；空标签为 unknown，不使用其他数据分区中的 probably-rejected 推断。不会保存 reviews 或 parsed_pdfs 正文。

其他会议的公开拒稿

范围是逐会议、逐年份寻找已公开的拒稿投稿，不能只补录已发表名单。ICML、NeurIPS 部分年份由作者选择是否公开拒稿，因此公开子集不能用于推算完整拒稿数或录用率。其他会议没有在某个镜像中出现 Reject，也不代表该会议没有公开拒稿；需要继续核对官方公开政策、原平台与其他有明确标签的公开快照。

collect public-openreview 读取 PaperCopilot 的公开元数据镜像，固定版本并核验每个文件的 Git blob 哈希。默认盘点该版本截至 2026 年的非 ICLR 文件；ICLR 默认沿用独立的公开原始投稿/决定快照，需要补查时可显式指定 --family iclr。只保留明确的 Reject、Desk rejected、Withdrawn 标签，不根据 Submitted、Active、Pending、TBD、分数或录用名单缺席推断拒稿。

paper-atlas collect public-openreview --out /data/paper-index/collected/public-openreview-v1
paper-atlas audit public-openreview --db /data/paper-index/papers.sqlite \
  --inventory /data/paper-index/collected/public-openreview-v1/public-openreview-inventory.json \
  --out /data/paper-index/collected/public-openreview-preimport.json

输出按会议、届次及 main、position、datasets_benchmarks 分文件。workshop 默认进入单独的 held 清单；有明确 workshop 名称时可通过 --include-workshops 单列采集，不合并到主会。Retraction、未映射的轨道或负面标签也保留在 held-records.jsonl，不强改为 Reject 或 Withdrawn。当前决定表没有独立 retracted 状态，因此撤回发表记录仍需后续专门建模。

parser_version=2 还会将明确负面标签但标题缺失、空白或 null 的记录放入 held-records.jsonl，保留原始状态、forum ID、固定来源版本和行号；不制造标题或导入不可识别的论文，也不让这一条缺失阻断其他可用记录。held 文件哈希与各原因数量保存在 inventory；非文本标题、错误身份、冲突届次和哈希不符仍使整批失败。旧年 ICLR 镜像的明确 Withdraw 标签归为 withdrawn，Workshop、Poster Workshop、Oral Workshop 均不作为拒稿。采集文件与导入主库仍是两个独立步骤。

parser_version=3 增加五组已核实身份的 ICLR workshop 标签：2024 ME-FoMo / GenAI4DM 的 Withdrawn Submission、2025 AgenticAI 的 Reject / LMRL 的 Withdrawn Submission，以及 2026 LLM Reasoning 的 Withdrawn Submission。仅在 --include-workshops 下输出，并分别保存 workshop_me_fomo、workshop_genai4dm、workshop_agenticai、workshop_lmrl、workshop_llm_reasoning；默认仍暂存。标签必须与原文件会议、年份和原始 workshop track 一致，错年/错会议使采集失败，错轨道单独暂存，未知标签继续待核查，不用宽泛的 Reject/Withdraw 正则猜测。

OpenReview 官方 ICLR 活动目录确认上述独立 workshop 身份；ME-FoMo 2024、GenAI4DM 2024、AgenticAI 2025 和 LLM Reasoning 2026 的活动网站也提供对应投稿入口。输出在 metadata 保存 workshop_venueid 和身份目录证据，决定仍只标为固定镜像的公开分类断言，保留原始标签、forum、来源行号与哈希，不声称核验原始决定签名。2026-11-08 核查时部分原站记录页要求浏览器验证；身份目录和主办方入口可读，不代表逐篇原始决定已可访问，也不外推其他 workshop 的公开政策。采集后仍须经过 PostgreSQL 身份/决定冲突预检、串行导入和独立验收。

该来源明确标记为 curated_public_status_assertion：保留源 commit、文件哈希、行号、原标签和 forum ID，不声称已核验原始 PC 签名。只保存标题、摘要、公开作者名、关键词、领域、索引与决定来源，不缓存镜像中的个人资料、邮箱、性别、评审内容或 PDF。所有输出清单均为 partial；盘点中的零条记录仅描述这个固定镜像。

入库前审计核验文件哈希、数量、轨道和来源声明，并用真实 forum ID 对比同届同轨道已有投稿。存在不同决定时阻止整批导入，交由来源和时序核查；另一会议的后续录用属于独立投稿历史，不构成该次拒稿的冲突。同一 forum 的镜像不新增投稿事件，但论文实体的跨平台去重仍须在全量结束后核验。审计通过的报告包含带 SHA-256 的导入队列；应在单写入维护锁下及时串行导入，主库变化后重新审计。

ICML 2026 另有公开原始投稿快照，包含 214 条投稿根记录。collect icml-public-archive 固定该 commit、文件长度及 Git blob 哈希，逐条要求 readers 包含 everyone、forum 等于自身 ID、域及投稿邀请属于主会、平台 venueid 明确为 ICML.cc/2026/Conference/Rejected_Submission。不能仅根据显示文案 Submitted to ICML 2026 推断拒稿。

paper-atlas collect icml-public-archive --out /data/paper-index/collected/icml-2026-public-archive
paper-atlas audit public-openreview --db /data/paper-index/papers.sqlite \
  --inventory /data/paper-index/collected/icml-2026-public-archive/public-openreview-inventory.json \
  --out /data/paper-index/collected/icml-2026-public-preimport.json

这批证据标记为 public_submission_venueid，保留逐投稿许可及快照出处；它与整理者的 Reject 标签、原始签名决定分别表述。记录修改时间不当作决定日期，观察时间采用快照上界，不采用今天的导入时间。214 是这个公开 opt-in 子集的投稿数，不能当作会议全部拒稿数，也不能直接当作去重论文实体数。该采集器同样只提取元数据与标题摘要，丢弃 authorids、个人资料、评审和 PDF 字段。

python3 -B -m paper_atlas collect peerread --cache /data/paper-index/raw/http-cache \
  --out /data/paper-index/collected

数据任务以一次性 systemd 服务运行：paper-atlas-arxiv-import、paper-atlas-pmlr-collect、paper-atlas-peerread-collect；paper-atlas-pmlr-verify 用于全索引复核，paper-atlas-conference-merge 用于单写入合并。它们不是定时任务。主库只允许一个写入进程；会议采集先写独立 JSONL，待 arXiv 主批次结束后再合并；也可以使用 paper-atlas maintain merge 在保存断点处暂停本项目的 arXiv unit、顺序合并会议清单并恢复。该操作应作为独立的一次性 systemd 任务运行，避免 SSH 断开影响恢复；不能同时启动多个合并任务。运行日志位于 /data/paper-index/*-import.log、/data/paper-index/*-collect.log。任何服务启动成功都不等于批次已完成，需检查批次状态、清单与完整性结果。标签按来源刷新使用 paper_tags_source_evidence 索引，避免每条论文都扫描整张标签表。运行中的 arXiv 可以通过同一协调脚本的 --schema-only 模式在断点更新索引后恢复；此模式要求已有 arXiv unit 正在运行。

投稿事件身份与旧数据回填

论文实体与投稿事件分开去重。同一篇论文可以在同一年向同一会议投稿多次，不能仅凭 paper_id、会议、标题相同就把投稿历史压成一次。跨来源只有原平台 forum ID、已验证的投稿编号，或正式发表稿的同届同 track 出版 DOI 等强证据才能关联同一事件。程序展示的内部编号仅在经过独立核验并带有 program_submission_number_verified 标记时才能用作投稿编号。

新版 ICLR manifest 的 parser_version 为 2，明确区别投稿编号、forum 和展示事件编号。旧版文件应先用缓存重新采集；事件证据回填只接受已入库、与 manifest 的会议/年份/track 和数量一致的文件。队列 JSON 包含 files 及对应的 file_sha256，文件变化后必须重新核验，不能继续使用旧哈希。

python3 -B -m paper_atlas maintain merge --db /data/paper-index/papers.sqlite \
  --archive /data/paper-index/raw/arxiv-metadata.zip \
  --backfill-queue /data/paper-index/collected/submission-evidence-queue.json

协调器只维护本项目的 arXiv unit，并对维护过程加互斥锁。若 arXiv 正在运行，会保存断点、应用 schema、回填来源身份、导入本次附加文件、检查外键后恢复；若批次已经读至 EOF 并标记 complete，则不再启动它。若导入停下但未完成，会报错要求先调查，不以“unit 不存在”推断成功或重新全量运行。应以一次性 systemd 任务运行该命令，保持单写入。

首次升级会给已有投稿与决定补上来源关联；身份回填不重新导入标题摘要，不更改原抓取时间。确认同一次投稿后，可以合并镜像事件并保留所有决定及来源。当前稿件的原始强标识也会写入 source_records 元数据，后续源 URL 更新会同步保存。

通用 JSONL 导入支持 decision_events 数组及 observed_at、decision_date、submitted_at。没有取得明确决定时，可用 unknown 状态和空数组仅保存投稿，不生成虚假的决定；--status unknown 也能查询这些投稿。历史快照使用其实际观察时间，不能因今天导入就覆盖较新来源的状态；同一观察时间内按原始决定日期排序。反复导入相同证据只补来源关联，不重复制造决定事件。全量结束后仍须单独核验重复候选、冲突决定及来源覆盖，迁移检查不能代替最终全库审计。

固定版本的补充元数据快照

paper-atlas download 流式下载到 .part，核对完整 HTTP 响应、预期大小和可信来源发布的校验和后，才发布正式文件及 manifest。已存在的正式文件会先重新核验；错误校验和不会覆盖它。默认保留 8 GiB 空闲空间，同一输出只允许一个下载进程。

DBLP 官方月度快照用于补充出版目录和历史届次，元数据按 CC0 发布。固定版本可复现，不把每日变动下载链接当作同一快照：

python3 -B -m paper_atlas download \
  --url https://drops.dagstuhl.de/storage/artifacts/dblp/xml/2026/dblp-2026-11-01.xml.gz \
  --md5 18ad5db59592406ec74289975c4b44cb \
  --output /data/paper-index/raw/dblp-2026-11-01.xml.gz

官方版本与校验值。下载器另外计算 SHA-256，记录来源 URL、大小和核验时间。DBLP 没有提供的摘要不能编造，出版目录也不能作为拒稿证据。

DBLP 目录盘点先核验固定快照与官方 DTD，再流式读取 XML，直至 gzip EOF 检查通过：

python3 -B -m paper_atlas download \
  --url https://drops.dagstuhl.de/storage/artifacts/dblp/xml/2023/dblp-2023-06-28.dtd \
  --md5 96e4283e71886dec2173718957293648 \
  --output /data/paper-index/raw/dblp-2023-06-28.dtd
python3 -B -m paper_atlas catalogue dblp \
  --archive /data/paper-index/raw/dblp-2026-11-01.xml.gz \
  --dtd /data/paper-index/raw/dblp-2023-06-28.dtd \
  --out /data/paper-index/collected/dblp

dblp-catalogue.sqlite 保存论文集目录、按 crossref/年份/booktitle 的记录数量、各目录族数量及少量样本；dblp-ai-candidates.jsonl 保存候选会议族的原始索引元数据。存在多个出版卷字段的记录另存 volume_anomalies，保留全部值供归属核验；统计中仍只计一条，不任取第一个字段或展开成多篇。候选范围包含历史名称与 workshop，尚未赋予主会归属或录用状态。后续须依据具体论文集和届次核对目标范围、track 与出版标识，才能生成入库文件；不会把同一目录下的所有记录都视为主会。该盘点不下载 PDF，也不更改论文主库。

目录盘点完成后，可按已核对的书目名称整理指定会议的分届文件。例如先补齐尚无主库记录的会议：

paper-atlas collect dblp \
  --catalogue /data/paper-index/collected/dblp/dblp-catalogue.sqlite \
  --archive /data/paper-index/raw/dblp-2026-11-01.xml.gz \
  --dtd /data/paper-index/raw/dblp-2023-06-28.dtd \
  --venue AAAI --venue IJCAI --venue KDD \
  --out /data/paper-index/collected/dblp-normalized

也可用 --candidates 指定已通过清单 SHA-256 核验的候选文件；完整 XML 模式则可包含初次候选族之外的实际目录，例如 CLeaR 的 clear2。规则按书目名、crossref 论文集和会议年核对：不把另一个 CLEAR 或 Adaptive Agents 会议误标为 CLeaR/AAMAS；联合会议保留名称别名，出版年与会议年分别保存。workshop 默认单独留待审核，可显式使用 --include-workshops；其他已识别的官方附属 track 单列。

输出按会议/年份/track 分文件，附 manifest、dblp-normalization.json 范围审查统计和带哈希的 dblp-import-queue.json。不能识别的书目、年份或归属会逐类登记，不默认算作主会。DBLP 不含摘要，因此输出摘要为空、清单为 partial；需要通过有证据的跨来源关联补齐论文实体摘要。书目发表证据与原始审稿决定分别保留，不依据书目缺席推断拒稿。已存在其他出版来源的届次，还须先回填其权威身份并核验镜像记录，不能直接累加投稿数。

早期 AISTATS 1995/1997/1999/2001/2003/2005 和 COLT 1988–1991 的主系列名称本身含 Workshop，不能当作附属 workshop 漏掉。识别要求已核对的完整 proceedings key、会议书目名、原始标题前缀、届数和事件年一致；轨道名为 main 表示主系列，保留原始 Workshop 名称及官方目录证据，不改造其历史名称或出版形式。参见 AISTATS 官方历史目录、COLT 协会目录。1995 AISTATS 的会议年与1996图书出版年分开；PMLR R0 是后来重发的 pre-proceedings，不与 DBLP 图书条目盲目逐篇等同。

真正附属的 AISTATS 2010 Active Learning and Experimental Design workshop 仍单列。COLT 2003 与 Kernel Workshop 的混合论文集缺少逐篇章节信息，使用 proceedings_unspecified，不能整卷改成 main 或附属 workshop。输出保存 track_scope_note 与 track_scope_evidence_url，导入后仍可追查分类理由；这些出版证据不是真实拒稿或原始决定签名，也不自动修正既有主库记录。

部分早期 SIGIR、CIKM、IJCAI 出版卷使用两位年份键；只有论文集标题明确给出唯一完整年份且与短键相符时才采用，不推测世纪。WWW 特殊兴趣、Alternate track 单列；同卷混合 Applied Data Science、Demo、Industrial 且不能逐篇区分时使用 proceedings_unspecified，不把整卷归为某一个具体 track。

书目中的前后页、目录组合和明确会务标题不产生论文录用记录；缺作者的赞助、委员会、活动汇总等标题单独排除。WWW 2019 companion 的匿名合成活动条目归入待核查材料，原始快照仍保留。范围报告分别统计这些原因；单纯缺作者并不排除真实研究论文，也不补造作者。

XML 只允许校验过的本地 DTD；官方通用名 dblp.dtd 与月度快照使用的 dblp-2023-06-28.dtd 均解析到同一份已校验文件。拒绝其他外部实体和内部 DTD 子集，不访问 XML 声明的任意网络地址，并遵循源 XML 的字符编码。临时目录库或 gzip 检查失败时不发布正式候选文件，需先调查残留的 .part 状态，再决定是否重新运行。

公开 ICLR 投稿快照的固定 Release 供后续筛选投稿和明确决定；它是第三方保存的 OpenReview 历史副本，不等于最新官方全量数据：

python3 -B -m paper_atlas download \
  --url https://github.com/qhjqhj00/iclr-openreview-reviews/releases/download/v1.0/iclr.tar.bz2 \
  --sha256 350071daf25ebf1aef854ee1d5dc3a81834e1c468917c82a4f78af5548de34fc \
  --expected-bytes 512940722 \
  --output /data/paper-index/raw/iclr-openreview-v1.0.tar.bz2

快照来源与复现脚本。原包包含评审回复；解析只筛选公开投稿的索引、标题、摘要、平台标签及带证据的明确决定，不提取评审正文、作者邮件或论文全文。必须核对原始 invitation、readers、签名及决定字段，不能根据评分或录用名单缺席推断拒稿。

优先处理近期三届，再单独补全 2020–2023；不以 2017 年的 PeerRead 样本代表近期拒稿覆盖：

python3 -B -m paper_atlas collect iclr-snapshot \
  --archive /data/paper-index/raw/iclr-openreview-v1.0.tar.bz2 \
  --out /data/paper-index/collected --year 2024 --year 2025 --year 2026

解析器先核验固定 SHA-256，再流式读取 tar，以临时 SQLite 按年份和 forum 关联投稿及决定，兼容回复先于投稿的归档顺序。只接受明确对 everyone 公开的投稿和具有会议主席签名的 Decision；保留原始决定值、note ID、决定日期、invitation 和签名证据。无明确决定的投稿保留 unknown，不产生拒稿推断。无法关联到公开投稿元数据的公开决定另存 unmatched-decisions 文件，供复核，不擅自创建论文。输出清单分别统计投稿状态、决定事件、缺失摘要和排除原因；重复副本去重，内容冲突会中止。导入时若同一编号指向不同 forum，或同一 forum 指向不同投稿编号，会报冲突并回滚，不强制合并。

该版本是 2026-05-08 发布的第三方历史副本，不代表平台当前状态或全部投稿；缺失决定及公开性筛选均需核验。采集成功也不等于主库已更新，后续应通过单写入协调器导入，并核对同届官方程序与公开决定的差异。

入库前按真实 forum 对照同届官方程序，生成逐年状态、名单缺口、历史决定差异和文本版本差异报告，以及带 SHA-256 的现有程序身份回填队列：

python3 -B -m paper_atlas audit iclr --root /data/paper-index/collected \
  --year 2024 --year 2025 --year 2026 \
  --report /data/paper-index/collected/iclr-recent-audit.json

该检查要求清单和记录的届次、数量、摘要缺失统计一致，拒绝重复 forum、编号冲突及缺失公开决定证据。报告中的名单差异和 unknown 不会转换成拒稿。不同时间来源的决定保留各自证据，强 forum 标识负责关联同一次投稿；报告通过不等于平台全量覆盖或最终全库去重已经完成。生成的 *-backfill-queue.json 仅用于已入库程序记录的身份回填，快照文件仍须由协调器单独导入。

下载异常后先检查对应进程或 CI 任务确已终止，再使用同一参数增加 --resume。只有断点身份一致且服务器实际返回正确 Range 响应才续传；不支持时保留断点并报错，不自动重下。正式文件与下载清单均放在仓库外，不提交大型来源包。

COLM 与 NeurIPS 官方摘要

python3 -B -m paper_atlas collect colm \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected
python3 -B -m paper_atlas collect neurips \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected

公共元数据请求对连接重置、超时及不完整响应最多尝试三次，保留原有有效缓存；HTTP 403 等访问拒绝会直接记录失败。声明 Content-Length 与实际响应不符时不发布缓存，已有缓存也受字节上限约束。旧页面没有赋值的 HTML 属性按空值处理，避免某一个空 class 属性阻断整届采集。

采集器从官方根目录发现实际发表届次，仅访问索引和 Abstract HTML 页面，不请求 PDF、补充材料或源码。可用重复 --year 限定实际存在的届次；不存在的年份会报错，局部重试保留其他届次的已有状态。每个来源串行请求，实际网络响应后等待 1 秒；缓存命中不额外等待。

COLM 当前目录提供 2024–2026 三届 pre-proceedings，按会议年份保存，保留平台实际出版日期和出版状态，不把晚补刊日期当作会议年份。NeurIPS 当前目录提供 1987–2025，并包含 2025 独立卷及 2021 独立 Datasets and Benchmarks 索引。主会、datasets_benchmarks、position、creative_ai 分开出文件，不混为同一个 track。跨平台自标识仅从出版方 paper-actions 区域链接与 citation 元数据提取，不把摘要里的引用链接当作当前论文 ID。manifest 的 parser_version 至少为 2 才允许入库；旧文件须利用缓存重新采集，避免错误身份合并。首次真实样本核对：COLM 2024 官方目录 299 个摘要入口；NeurIPS 1987 为 90 个，作者与摘要均已验证解析。样本成功不代表所有页面采集完成。

colm-index-status.json、neurips-index-status.json 保存逐索引状态；对应 *-last-run.json 保存本次实际选择范围。每个 JSONL 的 manifest 记录索引入口数、track 记录数和缺失摘要数。论文数量与官方页面声明不一致会失败，缺失摘要会标记 partial；不会把页脚、姓名政策或其他正文当作摘要。

这两个采集器只写采集文件，合并仍通过单写入协调流程。全量历史覆盖和所有未实现会议仍待最终核验。

ACL Anthology 权威 XML

python3 -B -m paper_atlas collect acl \
  --checkout /data/paper-index/raw/metadata-checkouts/acl-anthology \
  --out /data/paper-index/collected

paper_atlas/io/git_metadata.py 对官方仓库做只包含 data/xml 的 partial clone/sparse checkout，不获取 PDF，不执行仓库 hooks 或构建。每批固定到实际 Git commit。遍历 XML 的 volume venue 字段选择 ACL、EMNLP、NAACL、EACL、COLING、CoNLL；Findings 按所属会议独立成 track，不按文件名把其他同场 workshop 冒充主会。

新旧 Anthology ID 按官方规则构造，并核对源 DOI。保留 C69、D19-50 至 D19-66、W 系列的历史编号例外，排除编号 0 的前言。XML 混合标记通过 itertext 提取；无摘要保留为空并标记 partial。主会、Findings、workshop、demo、tutorial、industry、shared_task 分开。

联合举办会议保存一个会议事件及多个名称别名。例如 LREC-COLING 的论文可用 COLING 或 LREC 查询，仍只有一次该届投稿记录。可用 --track main 限定主会，避免把 Findings 或演示算入主会；别名数据在正常单写入合并时应用 schema。

acl-collection-status.json 记录每个 XML 及其 volume 的处理结果和排除原因；acl-last-run.json 记录源 commit 与本批范围。--collection P17 可限定一个确实存在的 collection。已验证真实 ACL 2017 长文 195 条、短文 107 条，二者摘要完整；其他 track 按源实际缺失情况记录，不能凭样本宣称整个历史完成。

ICLR 官方公开程序元数据

python3 -B -m paper_atlas collect iclr-program --cache /data/paper-index/raw/http-cache \
  --out /data/paper-index/collected
# 入库后按官方主题检索；主题值以实际来源为准
python3 -B -m paper_atlas query --db /data/paper-index/papers.sqlite \
  --venue ICLR --tag 'iclr_program:topic=Reinforcement Learning->Deep RL'

从 ICLR 官方年份导航登记届次，读取对应 Papers 页面明确引用的 orals-posters/abstracts JSON。核对声明数量、分页状态及唯一 event ID；只下载公开程序元数据，不访问用户资料、PDF、海报、幻灯片或视频。--year 可限制年份；清单中的已采集数与数据库已入库数分别统计。

官方程序中的 event 数不是论文数：同一篇文章可以有 poster 和 oral 两场展示。程序还会给负 sourceid 的 oral 展示生成占位 OpenReview 链接，这些链接不能作为真实论文标识。采集器核对原投稿编号、标题与作者后合并展示，优先使用正编号记录的真实论文链接；原展示编号和类型保留在源元数据中。

同一投稿编号的展示标题可能有小幅修订。只有负编号 oral 与正编号原稿对应、至少两位作者完全一致且标题相似度满足严格阈值时，才保留为同稿的标题变体；该规则仅在一届官方程序内部生效，不用于跨平台模糊合并。

只将 Conference 来源的论文视为 ICLR 主会录用，排除 Blog 和期刊转会展示，并在审计清单保存排除计数。2020/2021 旧数据允许依据官方主会 paper program 形成录用证据；无 forum ID 时保留 program 身份和匹配候选，不伪造标识。历史年度返回 404 会登记 unavailable，未来未发表届次登记 not_yet_published，其他访问或解析失败登记 blocked；这些状态都不能宣称该年已覆盖。

ICLR 2020 的现代程序 JSON 没有真实 forum 链接，数字 event ID 也不能拼接为旧版海报地址。该年未核验身份的记录先使用官方 Papers 索引地址。旧版官方页面实际引用的 papers.json 提供 687 个 forum；可用固定大小及 SHA-256 校验的副本进行独立身份核对：

paper-atlas download --url https://iclr.cc/virtual_2020/papers.json \
  --output /data/paper-index/raw/iclr-2020-legacy-papers.json \
  --expected-bytes 391687 \
  --sha256 2405f2da6e2641fa600762f7d7cdf7c9d27f4d0ae65799168f3aee46036d30d2

paper-atlas audit iclr-legacy \
  --program /data/paper-index/collected/iclr-program-2020-main.jsonl \
  --snapshot /data/paper-index/collected/openreview-snapshot-2020-main.jsonl \
  --legacy /data/paper-index/raw/iclr-2020-legacy-papers.json \
  --out /data/paper-index/collected/iclr-2020-verified

核对同时要求同届公开录用、唯一投稿编号和官方 forum 清单一致；编号只是候选关联，还必须有独立的标题/摘要/公开作者证据。旧版作者缩写或姓名格式差异不会放宽全库作者匹配规则。一篇 Explain Your Move 有三个来源中的三种标题，使用逐个核对的精确标题组合及至少两名共同公开作者作例外，不启用通用模糊标题合并。

输出保留原 2020/program-编号 来源 ID、标题、摘要和作者，补充真实 forum、核验证据和旧版官方海报 URL。它不写数据库，也不修改输入文件。先在维护锁下使用输出的 iclr-2020-backfill-queue.json 给已有程序投稿回填身份，再导入核验后的程序文件与原始投稿快照；这样补充拒稿不会把已有录用事件再建一次。iclr-2020-snapshot-queue.json 和审计报告均记录待用文件的哈希，合并前仍须复核。

主题、关键词使用 iclr_program:topic、iclr_program:keyword 命名空间。通用导入器按源记录刷新标签证据，保留同一论文其他源记录及 custom:* 标签。每年的 JSONL、manifest、iclr-program-year-status.json 和 iclr-program-last-run.json 保存实际范围、独立展示数、主会展示数、论文数、缺失摘要与缺失 forum 数。录用程序不能提供拒稿全集，公开投稿及拒稿补充仍需独立来源。

CVF / ECVA 视觉会议元数据

python3 -B -m paper_atlas collect cvf \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected
python3 -B -m paper_atlas collect ecva \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected

CVF 从官方根目录发现 CVPR、ICCV 主会与 Findings，分别保存 track；不把 workshop 或 WACV 算入这些会议。优先跟随页面明确提供的 All Papers 链接；只有逐日目录时遍历全部明确链接的日期，再按论文 URL 合并重复条目并检查标题、作者、DOI 一致性。.py 与无后缀的同届入口可关联，不跟随其他会议、年份或站点的日期链接。ECVA 从官方总目录按论文 URL 的会议与年份分组，当前总目录列有 ECCV 2018、2020、2022、2024。不存在于来源的 --venue、--year 或二者组合会报错，不补造双年会议届次，也不能因此推断旧届次未举办。

只访问论文索引与摘要 HTML/PHP 页面。作者优先取 citation 元数据，旧页面尊重声明编码；无 citation 作者时取索引中的作者行，排除论文集出版信息。DOI 只取该论文条目所属的 DOI 链接或 citation 字段；冲突会失败，不从摘要引用中抽取当前论文 ID。不请求 PDF、补充材料、视频或代码。

每份清单记录索引入口数、论文数、缺失摘要与作者数，缺失内容保留为空并标记 partial。存在未被标题条目解析的论文链接时会失败，防止静默漏项。逐来源的 discovery、index-status、last-run 文件分别保存发现目录、逐届结果和实际请求范围。可重复使用 --year 或 --venue 限定重试；其他届次状态会保留。官方开放目录之外的早期届次、尚未刊出的新届次和独立出版方历史数据仍需后续补齐，采集器完成不代表全历史覆盖已完成。

单个摘要页面 404 时，仍保存官方目录提供的题目、作者和发表证据，摘要留空并记录失败 URL；整届文件标为 partial。403 等访问拒绝会终止该届采集。刷新缺失摘要时，存储层保留原来已知的论文摘要及其来源观察信息，后续页面恢复时可以更新。

针对旧 catalogue 的 blocked 届次可单独补采到新目录，避免与现有采集任务同时改写状态文件：

paper-atlas collect cvf --cache /data/paper-index/raw/http-cache \
  --retry-catalogue /data/paper-index/collected/cvf-index-status.json \
  --out /data/paper-index/collected/cvf-repair

parser_version 2 的清单还保存实际遍历的 index_urls、入口错误及缺失摘要页面。补采结果经过清单与身份核验后才导入，不能因重试任务启动就标记缺口已解决。

PMLR 中的 ICML 多轨道论文

ICML 2024 起的一个 PMLR 卷可以同时包含研究主轨道与 Position Paper，不能把整卷都标为 main。采集器 v3 按轨道输出 pmlr-v<VOLUME>-main.jsonl、pmlr-v<VOLUME>-position.jsonl 及各自 manifest；卷级 pmlr-v<VOLUME>.inventory.json 和目录清单的 files 数组列出实际文件。导入队列应展开 files，不能假定每卷只有一个 file。

2025、2026 年通过出版社元数据的真实 OpenReview forum ID，匹配官方完整节目单中的 Conference / Position_Paper_Track 来源组；忽略负编号生成的口头报告副本，遇到冲突、缺少身份或未匹配的发表记录停止发布结果。每条记录保存节目单 URL、SHA-256、事件 ID、关联身份及轨道证据。

2024 年的官方节目单把两轨都放在 Conference，但提供 PMLR 论文自链接。该年仅采用组织方在 2025 Position CFP 明确链接的 2024 Position 论文标题筛选规则；同时保存规则页面的哈希。这个规则不用于其他会议或年份。官方节目单将 guyard24a 链接误写为 theo24a：只对这条已核查的映射额外要求标题精确一致、至少两名公开作者重合，不进行全库模糊匹配。

导入与身份回填拒绝 ICML 2024 起 parser_version<3 或没有官方轨道证据的旧文件。已有主库中的错误轨道需要在独占维护锁内迁移原投稿事件、保留决定与来源关联；仅重新导入拆分文件会留下旧的主轨道事件，不能作为修复方式。完成迁移前，不把新文件直接导入现有库。

40 KiB Raw Permalink Blame History Unescape Escape