修正早期主系列名称与附属 workshop 的分类边界 #24

Merged
Zayden-Jung merged 1 commits from codex/historical-editions into main 2026-11-08 14:17:09 +00:00
Collaborator

早期AISTATS与COLT主系列曾在名称中使用Workshop,被通用过滤误排除。本 PR 用官方第一手届次证据与精确书目卷键识别这些历史主系列,保留真正附属workshop和混合卷的边界。

  • paper_atlas/collectors/dblp_scope.py:限定AISTATS1995/1997/1999/2001/2003/2005与COLT1988–1991共10个主系列卷,核对标题、届次和年份;不扩大为任意Workshop。
  • paper_atlas/collectors/dblp_records.py:写入分类证据;AISTATS2010w仍为workshop,COLT2003含COLT/Kernel混合卷保留proceedings_unspecified。
  • tests/test_dblp_records.py:覆盖历史主会、真实workshop、闭集匹配与混合卷边界。
  • docs/data-sources.md:记录主系列判定、来源证据与限制。

代码head3f3dc3f7ad1f4d0add45a872481eca039a661175,精确CI1028/job1125在已授权aliyun-ces-control通过214测试、wheel构建安装和CLI检查。本机未测试或构建。原始504531条候选和固定压缩XML已有全量哈希校验;4900条整理输出中独立验收3605条缺年子集。AISTATS4个早期年份仍缺可用候选,不以本修复宣称历史全集齐全。

原始DBLP中存在题名/页码/出版版本冲突;抽查6条论文与2卷和原XML完全一致,不能把页码相同当成身份,或据此改写题名/作者。Cai/Kuroki与Ganchev两组原始重复题名记录不能只按页码判为重复。当前3条原始来源题名/页码冲突继续暂缓;其余12条已完成增量导入和独立验收(见末节),不合并其他arXiv扩展版本。

生产数据独立验收

历史缺年批次已导入并完整验收3590条/63文件:AISTATS292、COLT962、UAI2336。新增2049个论文实体,1541条关联既有实体;969个经过官方API逐条核验的arXiv标识链接全部验收。15条补充记录未混入这3590条队列;其中12条后来已通过增量导入和独立验收(见末节),另外3条原始来源冲突继续暂缓。

执行使用CI1031通过222测试及构建安装的精确源码1cf1d228bc5637f2221779cdeb194317f369af2e,全部55个package文件哈希核验。writer dbece4deda5b4f13938c643f07f7092a、独立verifier bd37da6eb35d4e1db0891119d460c80c、coordinator 3c5ca07246474e2c9f91cc0de2c78ef9均terminal success。验收时间2026-11-08T09:08:57.266Z;服务器报告 /data/paper-index/collected/historical-dblp-import-v1/postgresql-postcheck-v1.json,SHA256 ead0ee818361010fca04e3b2b9749d4622be743976b964ba2df0fa159a2b6a71。

全部来源题名/作者/元数据、全体标识、投稿/决定/标签及63个checkpoint和partial覆盖状态一致;当时15条暂缓来源均未导入;其中12条后续验收见末节。受影响的2002个旧论文、2007条旧来源、3362条旧标签证据内容哈希及2026个旧标识映射未变;原547956条完整决定来源证据SHA256仍为f2f466de12b9b66428a8401f6e7f31819d5ace1f1ca7a6199bec5c82b4d04814,639条既有状态冲突和已知跨会录用保留。paper/submission/decision合并审计计数均未增加,GIN有效、3条原生全文查询、foundry-core readyz200、SQLite只读备份通过。

验收后论文实体3553224、来源3795305、投稿511994、决定551546;这些是本次一致性快照计数,尚未最终去重,不称为独立作品总数。全部来源manifest仍partial,DBLP原始摘要缺失如实保留;本批验收不替代全库最终身份/版本/类型/标签/覆盖/摘要审计。26组其他arXiv版本关系及244条ICLR2017身份、639条状态冲突仍需后续处理。

base main;head codex/historical-editions。等待用户手动合并,未自动合并或直接推送main。代码合并状态与上述已独立验收的数据状态分开。

12条补充记录:生产独立验收通过(2026-11-08)

此前15条暂缓记录中的12条,已使用精确71d3cf0源码完成5文件原生增量导入及独立验收,新增1个论文实体、关联11个既有实体;11个arXiv链接和1个图书章节DOI核验一致。其余3条原始来源题名/页码冲突继续暂缓,未导入。

验收报告 /data/paper-index/collected/historical-held-import-v1/postgresql-postcheck-v1.json,2026-11-08T10:08:56.249Z,SHA256 07d3292f04cc279e49ad8ca19dd7f69eb53b43e772ccdc4d052412fd1e3a41b7。12条来源字段、投稿/决定/标签、5个checkpoint及聚合partial覆盖全部一致;其他覆盖行指纹未变。22个旧版本实体、22条旧来源、47条旧标签和22个旧标识映射未变;全部551546条原决定来源证据SHA256仍为 75ee59e66cba7f4f9bdc6d63ff770e44e6a70f298abcc1a4edca9961bc7eccce。639条状态冲突、已知跨会录用均保留,未发生实体/投稿/决定合并;GIN、实际全文查询、foundry-core readyz200及SQLite只读备份通过。

本批验收快照为论文实体3553225、来源3795317、投稿512006、决定551558;不是最终独立作品总数。原3590条和本12条均不可重放。26组其他版本关系、244条ICLR2017身份、639条状态冲突及类型/标签/覆盖/摘要/最终全库去重审计仍待完成。代码等待用户手动合并,生产批次验收不代表代码已合并主线。

早期AISTATS与COLT主系列曾在名称中使用Workshop,被通用过滤误排除。本 PR 用官方第一手届次证据与精确书目卷键识别这些历史主系列,保留真正附属workshop和混合卷的边界。 - paper_atlas/collectors/dblp_scope.py:限定AISTATS1995/1997/1999/2001/2003/2005与COLT1988–1991共10个主系列卷,核对标题、届次和年份;不扩大为任意Workshop。 - paper_atlas/collectors/dblp_records.py:写入分类证据;AISTATS2010w仍为workshop,COLT2003含COLT/Kernel混合卷保留proceedings_unspecified。 - tests/test_dblp_records.py:覆盖历史主会、真实workshop、闭集匹配与混合卷边界。 - docs/data-sources.md:记录主系列判定、来源证据与限制。 代码head3f3dc3f7ad1f4d0add45a872481eca039a661175,精确CI1028/job1125在已授权aliyun-ces-control通过214测试、wheel构建安装和CLI检查。本机未测试或构建。原始504531条候选和固定压缩XML已有全量哈希校验;4900条整理输出中独立验收3605条缺年子集。AISTATS4个早期年份仍缺可用候选,不以本修复宣称历史全集齐全。 原始DBLP中存在题名/页码/出版版本冲突;抽查6条论文与2卷和原XML完全一致,不能把页码相同当成身份,或据此改写题名/作者。Cai/Kuroki与Ganchev两组原始重复题名记录不能只按页码判为重复。当前3条原始来源题名/页码冲突继续暂缓;其余12条已完成增量导入和独立验收(见末节),不合并其他arXiv扩展版本。 ### 生产数据独立验收 历史缺年批次已导入并完整验收3590条/63文件:AISTATS292、COLT962、UAI2336。新增2049个论文实体,1541条关联既有实体;969个经过官方API逐条核验的arXiv标识链接全部验收。15条补充记录未混入这3590条队列;其中12条后来已通过增量导入和独立验收(见末节),另外3条原始来源冲突继续暂缓。 执行使用CI1031通过222测试及构建安装的精确源码1cf1d228bc5637f2221779cdeb194317f369af2e,全部55个package文件哈希核验。writer dbece4deda5b4f13938c643f07f7092a、独立verifier bd37da6eb35d4e1db0891119d460c80c、coordinator 3c5ca07246474e2c9f91cc0de2c78ef9均terminal success。验收时间2026-11-08T09:08:57.266Z;服务器报告 `/data/paper-index/collected/historical-dblp-import-v1/postgresql-postcheck-v1.json`,SHA256 ead0ee818361010fca04e3b2b9749d4622be743976b964ba2df0fa159a2b6a71。 全部来源题名/作者/元数据、全体标识、投稿/决定/标签及63个checkpoint和partial覆盖状态一致;当时15条暂缓来源均未导入;其中12条后续验收见末节。受影响的2002个旧论文、2007条旧来源、3362条旧标签证据内容哈希及2026个旧标识映射未变;原547956条完整决定来源证据SHA256仍为f2f466de12b9b66428a8401f6e7f31819d5ace1f1ca7a6199bec5c82b4d04814,639条既有状态冲突和已知跨会录用保留。paper/submission/decision合并审计计数均未增加,GIN有效、3条原生全文查询、foundry-core readyz200、SQLite只读备份通过。 验收后论文实体3553224、来源3795305、投稿511994、决定551546;这些是本次一致性快照计数,尚未最终去重,不称为独立作品总数。全部来源manifest仍partial,DBLP原始摘要缺失如实保留;本批验收不替代全库最终身份/版本/类型/标签/覆盖/摘要审计。26组其他arXiv版本关系及244条ICLR2017身份、639条状态冲突仍需后续处理。 base main;head codex/historical-editions。等待用户手动合并,未自动合并或直接推送main。代码合并状态与上述已独立验收的数据状态分开。 ### 12条补充记录:生产独立验收通过(2026-11-08) 此前15条暂缓记录中的12条,已使用精确71d3cf0源码完成5文件原生增量导入及独立验收,新增1个论文实体、关联11个既有实体;11个arXiv链接和1个图书章节DOI核验一致。其余3条原始来源题名/页码冲突继续暂缓,未导入。 验收报告 `/data/paper-index/collected/historical-held-import-v1/postgresql-postcheck-v1.json`,2026-11-08T10:08:56.249Z,SHA256 `07d3292f04cc279e49ad8ca19dd7f69eb53b43e772ccdc4d052412fd1e3a41b7`。12条来源字段、投稿/决定/标签、5个checkpoint及聚合partial覆盖全部一致;其他覆盖行指纹未变。22个旧版本实体、22条旧来源、47条旧标签和22个旧标识映射未变;全部551546条原决定来源证据SHA256仍为 `75ee59e66cba7f4f9bdc6d63ff770e44e6a70f298abcc1a4edca9961bc7eccce`。639条状态冲突、已知跨会录用均保留,未发生实体/投稿/决定合并;GIN、实际全文查询、foundry-core readyz200及SQLite只读备份通过。 本批验收快照为论文实体3553225、来源3795317、投稿512006、决定551558;不是最终独立作品总数。原3590条和本12条均不可重放。26组其他版本关系、244条ICLR2017身份、639条状态冲突及类型/标签/覆盖/摘要/最终全库去重审计仍待完成。代码等待用户手动合并,生产批次验收不代表代码已合并主线。
codex-bot added 1 commit 2026-11-08 07:13:46 +00:00
Distinguish historical primary editions from affiliated workshops
Metadata integrity checks / metadata (push) Successful in 1m9s
3f3dc3f7ad
codex-bot marked the pull request as ready for review 2026-11-08 07:15:00 +00:00
Zayden-Jung merged commit 33fd7bf2e1 into main 2026-11-08 14:17:09 +00:00
Sign in to join this conversation.
No Reviewers
No Label
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: Zayden-Jung/paper-atlas#24