核验 arXiv 原始编号并恢复逐来源类别证据 #7

2026-11-06T11:13:16Z

codex-bot commented

2026-11-06 11:13:16 +00:00

多个 arXiv 编号合并为同一论文实体时，旧类别键会让相同类别的来源证据相互冲突。现在逐记录保存类别出处，并提供已有数据的断点修复；同时独立核对原始 ZIP 行数、唯一编号和重复内容版本。

paper_atlas/ingestion/arxiv.py：类别刷新使用逐记录证据键，移除该记录的旧类别键，保留自定义及其他来源证据。
paper_atlas/ingestion/arxiv_tags.py：维护锁、固定来源范围、分批事务和提交断点；失败后显式resume，不重启已完成的全量导入。
paper_atlas/audits/arxiv.py：核验压缩包哈希并流式读至EOF/CRC，输出原始ID索引、重复行位置及内容版本；审计不写主库，输出互斥且失败不发布结果。
paper_atlas/cli.py：注册 audit arxiv 与 maintain arxiv-tags。
tests/test_import_arxiv.py：合并编号各自类别、重复刷新及自定义标签保留。
tests/test_arxiv_audit.py：区分原始行/唯一编号/内容版本，错误输入不发布产出。
tests/test_arxiv_tags.py：修复碰撞证据、幂等刷新、事务失败后的断点恢复。
docs/operations.md：命令、计数含义、空间保留和维护步骤。

验证：ces-control完整123项测试通过；收尾保护后的相关9项复核通过；CI923完整123项及wheel构建、安装验证通过。本机未运行构建。

限制：代码检查不代表主库修复完成。全量源审计需实际运行；类别修复必须等其他主库写入结束后独占执行。原始唯一编号数也不是跨来源去重论文总数，最终实体/投稿去重与完整性核验仍未完成。

base main；head codex/arxiv-integrity。等待用户手动合并，不启用自动合并。

多个 arXiv 编号合并为同一论文实体时，旧类别键会让相同类别的来源证据相互冲突。现在逐记录保存类别出处，并提供已有数据的断点修复；同时独立核对原始 ZIP 行数、唯一编号和重复内容版本。 - paper_atlas/ingestion/arxiv.py：类别刷新使用逐记录证据键，移除该记录的旧类别键，保留自定义及其他来源证据。 - paper_atlas/ingestion/arxiv_tags.py：维护锁、固定来源范围、分批事务和提交断点；失败后显式resume，不重启已完成的全量导入。 - paper_atlas/audits/arxiv.py：核验压缩包哈希并流式读至EOF/CRC，输出原始ID索引、重复行位置及内容版本；审计不写主库，输出互斥且失败不发布结果。 - paper_atlas/cli.py：注册 audit arxiv 与 maintain arxiv-tags。 - tests/test_import_arxiv.py：合并编号各自类别、重复刷新及自定义标签保留。 - tests/test_arxiv_audit.py：区分原始行/唯一编号/内容版本，错误输入不发布产出。 - tests/test_arxiv_tags.py：修复碰撞证据、幂等刷新、事务失败后的断点恢复。 - docs/operations.md：命令、计数含义、空间保留和维护步骤。验证：ces-control完整123项测试通过；收尾保护后的相关9项复核通过；CI923完整123项及wheel构建、安装验证通过。本机未运行构建。限制：代码检查不代表主库修复完成。全量源审计需实际运行；类别修复必须等其他主库写入结束后独占执行。原始唯一编号数也不是跨来源去重论文总数，最终实体/投稿去重与完整性核验仍未完成。 base main；head codex/arxiv-integrity。等待用户手动合并，不启用自动合并。

codex-bot added 1 commit 2026-11-06 11:13:17 +00:00

Audit raw arXiv IDs and preserve per-record category evidence

Metadata integrity checks / metadata (push) Successful in 26s

Details

503908198e

Zayden-Jung merged commit 3f35c7e42f into main

2026-11-06 11:15:33 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Zayden-Jung/paper-atlas#7