Zayden-Jung/paper-atlas
1
0
Fork 0
Code Issues Pull Requests 4 Actions Packages Projects Releases Wiki Activity

按证据补充稳定标识并保留原始书目字段 #26

Merged
Zayden-Jung merged 1 commits from codex/identifier-curation into main 2026-11-08 15:10:11 +00:00
Conversation 0 Commits 1 Files Changed 6
+450 -1
codex-bot commented 2026-11-08 08:26:15 +00:00
Collaborator
Copy Link
Copy Source

补充跨来源稳定标识前，需要独立审核证据并保留原始书目信息。本 PR 新增 paper-atlas curate identifiers --plan ... --output ...，生成可追溯的新文件，供另行冲突预检与导入使用。

  • paper_atlas/curation/__init__.py、identifiers.py：绑定输入文件、manifest、原始物理行与证据JSON的SHA256；拒绝未知计划字段、冲突标识、重复/缺失记录及非规范标识；仅补充arXiv/DOI和追加证据链。原题名、作者、页码、决定、标签不改写，未选中行逐字节保留。整批通过才发布输出，不连接数据库。
  • paper_atlas/cli.py：注册curate identifiers入口。
  • tests/test_identifier_curation.py：覆盖完整性绑定、失败不发布、Unicode物理行、标识冲突和真实导入后的版本/历史隔离。
  • docs/usage.md：计划格式、证据范围和另外预检/导入的要求。
  • .gitea/workflows/check.yml：安装后新CLI检查。

哈希完整性检查明确输出semantic_identity_verified=false，不能自动证明作品身份；本次969条对应的官方API逐条核查是另行取得的身份/会议引用证据。其他441条初筛未通过候选的补充arXiv标识未因此获批。输入源始终独立保留，不能按年份/页码相同或低评审推荐制造决定与实体合并。

精确head1cf1d228bc5637f2221779cdeb194317f369af2e的CI1031/job1128在已授权aliyun-ces-control通过222测试、wheel构建、安装和安装后CLI检查，日志SHA256 aff410d8c1f45a45659d7b9d9f462ca50388beea916bb365e0efe7f73e2e1061。本机未测试或构建。

依赖PR #25：从其9cc7b5b身份保护分支创建，稳定标识优先、无标识多标题候选整文件回滚。先由用户手动合并#25，再合并本PR；不能用旧匹配运行时执行该批导入。

生产数据独立验收

历史缺年批次已导入并完整验收3590条/63文件：AISTATS292、COLT962、UAI2336。新增2049个论文实体，1541条关联既有实体；969个经过官方API逐条核验的arXiv标识链接全部验收。15条补充记录未混入这3590条队列；其中12条后来已通过增量导入和独立验收（见末节），另外3条原始来源冲突继续暂缓。

执行使用CI1031通过222测试及构建安装的精确源码1cf1d228bc5637f2221779cdeb194317f369af2e，全部55个package文件哈希核验。writer dbece4deda5b4f13938c643f07f7092a、独立verifier bd37da6eb35d4e1db0891119d460c80c、coordinator 3c5ca07246474e2c9f91cc0de2c78ef9均terminal success。验收时间2026-11-08T09:08:57.266Z；服务器报告 /data/paper-index/collected/historical-dblp-import-v1/postgresql-postcheck-v1.json，SHA256 ead0ee818361010fca04e3b2b9749d4622be743976b964ba2df0fa159a2b6a71。

全部来源题名/作者/元数据、全体标识、投稿/决定/标签及63个checkpoint和partial覆盖状态一致；当时15条暂缓来源均未导入；其中12条后续验收见末节。受影响的2002个旧论文、2007条旧来源、3362条旧标签证据内容哈希及2026个旧标识映射未变；原547956条完整决定来源证据SHA256仍为f2f466de12b9b66428a8401f6e7f31819d5ace1f1ca7a6199bec5c82b4d04814，639条既有状态冲突和已知跨会录用保留。paper/submission/decision合并审计计数均未增加，GIN有效、3条原生全文查询、foundry-core readyz200、SQLite只读备份通过。

验收后论文实体3553224、来源3795305、投稿511994、决定551546；这些是本次一致性快照计数，尚未最终去重，不称为独立作品总数。全部来源manifest仍partial，DBLP原始摘要缺失如实保留；本批验收不替代全库最终身份/版本/类型/标签/覆盖/摘要审计。26组其他arXiv版本关系及244条ICLR2017身份、639条状态冲突仍需后续处理。

base main；head codex/identifier-curation。等待用户手动合并，不自动合并；上述生产数据验收不表示代码已合并主线或最终全库去重完成。

12条补充记录：生产独立验收通过（2026-11-08）

此前15条暂缓记录中的12条，已使用精确71d3cf0源码完成5文件原生增量导入及独立验收，新增1个论文实体、关联11个既有实体；11个arXiv链接和1个图书章节DOI核验一致。其余3条原始来源题名/页码冲突继续暂缓，未导入。

验收报告 /data/paper-index/collected/historical-held-import-v1/postgresql-postcheck-v1.json，2026-11-08T10:08:56.249Z，SHA256 07d3292f04cc279e49ad8ca19dd7f69eb53b43e772ccdc4d052412fd1e3a41b7。12条来源字段、投稿/决定/标签、5个checkpoint及聚合partial覆盖全部一致；其他覆盖行指纹未变。22个旧版本实体、22条旧来源、47条旧标签和22个旧标识映射未变；全部551546条原决定来源证据SHA256仍为 75ee59e66cba7f4f9bdc6d63ff770e44e6a70f298abcc1a4edca9961bc7eccce。639条状态冲突、已知跨会录用均保留，未发生实体/投稿/决定合并；GIN、实际全文查询、foundry-core readyz200及SQLite只读备份通过。

本批验收快照为论文实体3553225、来源3795317、投稿512006、决定551558；不是最终独立作品总数。原3590条和本12条均不可重放。26组其他版本关系、244条ICLR2017身份、639条状态冲突及类型/标签/覆盖/摘要/最终全库去重审计仍待完成。代码等待用户手动合并，生产批次验收不代表代码已合并主线。

补充跨来源稳定标识前，需要独立审核证据并保留原始书目信息。本 PR 新增 `paper-atlas curate identifiers --plan ... --output ...`，生成可追溯的新文件，供另行冲突预检与导入使用。 - paper_atlas/curation/__init__.py、identifiers.py：绑定输入文件、manifest、原始物理行与证据JSON的SHA256；拒绝未知计划字段、冲突标识、重复/缺失记录及非规范标识；仅补充arXiv/DOI和追加证据链。原题名、作者、页码、决定、标签不改写，未选中行逐字节保留。整批通过才发布输出，不连接数据库。 - paper_atlas/cli.py：注册curate identifiers入口。 - tests/test_identifier_curation.py：覆盖完整性绑定、失败不发布、Unicode物理行、标识冲突和真实导入后的版本/历史隔离。 - docs/usage.md：计划格式、证据范围和另外预检/导入的要求。 - .gitea/workflows/check.yml：安装后新CLI检查。 哈希完整性检查明确输出semantic_identity_verified=false，不能自动证明作品身份；本次969条对应的官方API逐条核查是另行取得的身份/会议引用证据。其他441条初筛未通过候选的补充arXiv标识未因此获批。输入源始终独立保留，不能按年份/页码相同或低评审推荐制造决定与实体合并。 精确head1cf1d228bc5637f2221779cdeb194317f369af2e的CI1031/job1128在已授权aliyun-ces-control通过222测试、wheel构建、安装和安装后CLI检查，日志SHA256 aff410d8c1f45a45659d7b9d9f462ca50388beea916bb365e0efe7f73e2e1061。本机未测试或构建。 依赖PR #25：从其9cc7b5b身份保护分支创建，稳定标识优先、无标识多标题候选整文件回滚。先由用户手动合并#25，再合并本PR；不能用旧匹配运行时执行该批导入。 ### 生产数据独立验收 历史缺年批次已导入并完整验收3590条/63文件：AISTATS292、COLT962、UAI2336。新增2049个论文实体，1541条关联既有实体；969个经过官方API逐条核验的arXiv标识链接全部验收。15条补充记录未混入这3590条队列；其中12条后来已通过增量导入和独立验收（见末节），另外3条原始来源冲突继续暂缓。 执行使用CI1031通过222测试及构建安装的精确源码1cf1d228bc5637f2221779cdeb194317f369af2e，全部55个package文件哈希核验。writer dbece4deda5b4f13938c643f07f7092a、独立verifier bd37da6eb35d4e1db0891119d460c80c、coordinator 3c5ca07246474e2c9f91cc0de2c78ef9均terminal success。验收时间2026-11-08T09:08:57.266Z；服务器报告 `/data/paper-index/collected/historical-dblp-import-v1/postgresql-postcheck-v1.json`，SHA256 ead0ee818361010fca04e3b2b9749d4622be743976b964ba2df0fa159a2b6a71。 全部来源题名/作者/元数据、全体标识、投稿/决定/标签及63个checkpoint和partial覆盖状态一致；当时15条暂缓来源均未导入；其中12条后续验收见末节。受影响的2002个旧论文、2007条旧来源、3362条旧标签证据内容哈希及2026个旧标识映射未变；原547956条完整决定来源证据SHA256仍为f2f466de12b9b66428a8401f6e7f31819d5ace1f1ca7a6199bec5c82b4d04814，639条既有状态冲突和已知跨会录用保留。paper/submission/decision合并审计计数均未增加，GIN有效、3条原生全文查询、foundry-core readyz200、SQLite只读备份通过。 验收后论文实体3553224、来源3795305、投稿511994、决定551546；这些是本次一致性快照计数，尚未最终去重，不称为独立作品总数。全部来源manifest仍partial，DBLP原始摘要缺失如实保留；本批验收不替代全库最终身份/版本/类型/标签/覆盖/摘要审计。26组其他arXiv版本关系及244条ICLR2017身份、639条状态冲突仍需后续处理。 base main；head codex/identifier-curation。等待用户手动合并，不自动合并；上述生产数据验收不表示代码已合并主线或最终全库去重完成。 ### 12条补充记录：生产独立验收通过（2026-11-08） 此前15条暂缓记录中的12条，已使用精确71d3cf0源码完成5文件原生增量导入及独立验收，新增1个论文实体、关联11个既有实体；11个arXiv链接和1个图书章节DOI核验一致。其余3条原始来源题名/页码冲突继续暂缓，未导入。 验收报告 `/data/paper-index/collected/historical-held-import-v1/postgresql-postcheck-v1.json`，2026-11-08T10:08:56.249Z，SHA256 `07d3292f04cc279e49ad8ca19dd7f69eb53b43e772ccdc4d052412fd1e3a41b7`。12条来源字段、投稿/决定/标签、5个checkpoint及聚合partial覆盖全部一致；其他覆盖行指纹未变。22个旧版本实体、22条旧来源、47条旧标签和22个旧标识映射未变；全部551546条原决定来源证据SHA256仍为 `75ee59e66cba7f4f9bdc6d63ff770e44e6a70f298abcc1a4edca9961bc7eccce`。639条状态冲突、已知跨会录用均保留，未发生实体/投稿/决定合并；GIN、实际全文查询、foundry-core readyz200及SQLite只读备份通过。 本批验收快照为论文实体3553225、来源3795317、投稿512006、决定551558；不是最终独立作品总数。原3590条和本12条均不可重放。26组其他版本关系、244条ICLR2017身份、639条状态冲突及类型/标签/覆盖/摘要/最终全库去重审计仍待完成。代码等待用户手动合并，生产批次验收不代表代码已合并主线。
codex-bot added 2 commits 2026-11-08 08:26:15 +00:00
Keep stable paper identities separate from ambiguous title matches
Metadata integrity checks / metadata (push) Successful in 1m16s
Details
9cc7b5b050
Prepare evidence-bound identifier additions without rewriting source records
Metadata integrity checks / metadata (push) Successful in 1m20s
Details
1cf1d228bc
codex-bot changed title from [WIP] 按证据补充稳定标识并保留原始记录 to 按证据补充稳定标识并保留原始书目字段 2026-11-08 08:28:24 +00:00
Zayden-Jung merged commit bdc9b2aed5 into main 2026-11-08 15:10:11 +00:00
Sign in to join this conversation.
Reviewers
No Reviewers
Labels
No items
No Label
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
codex-bot yilin-codex-bot Zayden-Jung
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: Zayden-Jung/paper-atlas#26
Delete Branch "codex/identifier-curation"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?