逐条审计 arXiv 类别完整性及来源证据 #10

2026-11-06T14:04:47Z

codex-bot commented

2026-11-06 14:04:47 +00:00

类别修复结束后，需要逐条证明 arXiv 类别与保留来源元数据完全一致，仅检查旧 evidence_key 清零无法发现缺失类别。

paper_atlas/audits/arxiv_tags.py：全量只读比较逐来源类别、规范论文和证据键，并核对命名空间总量，发现无主/错误来源证据。维护锁避免与写入并行；修复报告须覆盖同一完整来源清单。
paper_atlas/cli.py：注册 audit arxiv-tags，并保留最新主线命令。
tests/test_arxiv_tag_audit.py：覆盖缺失/多余类别、错误论文/来源、旧键、锁、修复范围和非法元数据；新增交错来源用例，从实际执行 SQL 检查整数主键范围读取与无临时排序。
docs/operations.md：说明执行前提、状态/退出码、完整性边界与访问路径。

真实查询发现SQLite误选(source_id,external_id)索引，每批重新排序来源。c9b0cfa明确走整数主键区间，保持source_id过滤及固定上下界。真实500条返回内容完全相同，1.2695秒→0.017秒；类别证据批量查询仍使用paper_tags_source_evidence索引。旧只读扫描在380000条时明确停止，原报告和停止原因均保留；新固定版本从头核验全部记录，未缩小范围，也未重跑类别写入修复。

验证：批准ces-control:host（aliyun-ces-control）相关10项检查通过；CI945全量149项测试、wheel构建和安装成功。本机未测试或构建。

生产状态：类别修复3233527条已完整结束，旧键剩余0；新全量只读审计 /data/paper-index/collected/arxiv-tag-coverage-audit-v2.json 已于2026-11-06T15:02:07.349Z完整结束并通过：逐条核验3233527条，期望/实际/命名空间类别证据均为5613078；缺失、多余、论文/来源不一致、旧键及无主证据均为0。它不替代全部来源入库后的实体/投稿去重、摘要覆盖及SQLite/FTS完整性核验。

base main；head codex/arxiv-tag-audit，功能d712a4f、同步用户已合并主线bfa7fe2、访问路径修复c9b0cfa。等待用户手动合并。

类别修复结束后，需要逐条证明 arXiv 类别与保留来源元数据完全一致，仅检查旧 evidence_key 清零无法发现缺失类别。 - paper_atlas/audits/arxiv_tags.py：全量只读比较逐来源类别、规范论文和证据键，并核对命名空间总量，发现无主/错误来源证据。维护锁避免与写入并行；修复报告须覆盖同一完整来源清单。 - paper_atlas/cli.py：注册 audit arxiv-tags，并保留最新主线命令。 - tests/test_arxiv_tag_audit.py：覆盖缺失/多余类别、错误论文/来源、旧键、锁、修复范围和非法元数据；新增交错来源用例，从实际执行 SQL 检查整数主键范围读取与无临时排序。 - docs/operations.md：说明执行前提、状态/退出码、完整性边界与访问路径。真实查询发现SQLite误选(source_id,external_id)索引，每批重新排序来源。c9b0cfa明确走整数主键区间，保持source_id过滤及固定上下界。真实500条返回内容完全相同，1.2695秒→0.017秒；类别证据批量查询仍使用paper_tags_source_evidence索引。旧只读扫描在380000条时明确停止，原报告和停止原因均保留；新固定版本从头核验全部记录，未缩小范围，也未重跑类别写入修复。验证：批准ces-control:host（aliyun-ces-control）相关10项检查通过；CI945全量149项测试、wheel构建和安装成功。本机未测试或构建。生产状态：类别修复3233527条已完整结束，旧键剩余0；新全量只读审计 /data/paper-index/collected/arxiv-tag-coverage-audit-v2.json 已于2026-11-06T15:02:07.349Z完整结束并通过：逐条核验3233527条，期望/实际/命名空间类别证据均为5613078；缺失、多余、论文/来源不一致、旧键及无主证据均为0。它不替代全部来源入库后的实体/投稿去重、摘要覆盖及SQLite/FTS完整性核验。 base main；head codex/arxiv-tag-audit，功能d712a4f、同步用户已合并主线bfa7fe2、访问路径修复c9b0cfa。等待用户手动合并。

codex-bot added 2 commits 2026-11-06 14:04:47 +00:00

Audit every arXiv record category and evidence owner after repair

Metadata integrity checks / metadata (push) Successful in 32s

Details

d712a4fbed

Merge remote-tracking branch 'origin/main' into codex/arxiv-tag-audit

Metadata integrity checks / metadata (push) Successful in 32s

Details

bfa7fe2e94

# Conflicts:
#	paper_atlas/cli.py

codex-bot added 1 commit 2026-11-06 14:42:05 +00:00

Bound arXiv tag audit batches by primary key instead of sorting the source

Metadata integrity checks / metadata (push) Successful in 43s

Details

c9b0cfa857

Zayden-Jung merged commit 2e95e91f5e into main

2026-11-06 16:15:10 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Zayden-Jung/paper-atlas#10