修正 ICML 多轨道分类并保留既有投稿与决定历史 #11

Merged
Zayden-Jung merged 2 commits from codex/pmlr-track-scope into main 2026-11-06 16:15:04 +00:00
Collaborator

PMLR 一个 ICML 卷同时包含研究主轨道和 Position Paper,旧采集器把整卷记为 main,影响逐轨道覆盖及后续公开拒稿的投稿身份关联。已核对2024/2025/2026官方节目单,分别有75/73/212篇 Position Paper,共360篇需要迁移。

实际改动:

  • paper_atlas/collectors/pmlr_tracks.py:2025起用真实forum+官方来源组识别轨道,拒绝伪造口头报告ID、冲突及不完整目录。2024使用官方CFP明确链接的Position标题列表与出版社自链接,唯一theo24a→guyard24a别名还需精确标题+至少两位公开作者核对。
  • paper_atlas/collectors/pmlr.py:完整卷验证后按轨道发布JSONL、哈希manifest及卷inventory,保留来源ID、标题、摘要、作者和出版版本证据。
  • paper_atlas/ingestion/records.py、backfill.py:拒绝旧版混合轨道文件,逐行核对轨道证据与自身身份。
  • paper_atlas/ingestion/pmlr_tracks.py:默认只读计划;--apply在独占维护锁和单事务中迁移原投稿及身份edition,保留论文/来源/投稿/决定ID,更新轨道出处与覆盖数。目标冲突、共享多来源、决定冲突或文本变化均停止,失败回滚。
  • paper_atlas/cli.py:新增maintain pmlr-tracks。
  • tests/test_pmlr_tracks.py:官方身份/轨道证据、完整性、伪造ID、别名校验、拆分文件和旧格式防护;tests/test_pmlr_track_migration.py:只读、幂等、重导无重复、数据保留、冲突/锁/哈希和事务回滚。
  • tests/test_pmlr.py、test_index_core.py:通用摘要及计数测试使用无混合轨道前提的旧年份,保留原有测试意图。
  • docs/data-sources.md、operations.md:说明轨道证据、files展开、旧数据迁移顺序和报告状态。

验证:批准的ces-control:host(aliyun-ces-control)相关39项、迁移/CLI10项通过;CI943全量158项测试通过,wheel构建及安装成功。本机未测试或构建。固定版本三卷真实重采已完成,共12492条;独立新旧文件比较与官方证据哈希核查通过:来源ID、标题、摘要、作者及标识全部不变,恰好360条轨道变化,缺摘要0。报告保存在 /data/paper-index/collected/pmlr-tracks-v3/recollection-audit.json,旧文件保留。

生产状态:arXiv类别修复和3233527条全量类别审计均已完成并通过;轨道迁移已在独占维护锁下启动,当前到达360条事件变更后的全库外键检查,事务尚未提交。报告 /data/paper-index/collected/pmlr-track-migration.json 仍为planned,不能声称主库迁移已经完成;后续写入必须等待该进程终态及complete报告,再独立核对原事件、原决定与轨道。最终全库去重、摘要/会议年份覆盖、SQLite/FTS审计仍待全部导入后完成。

base main;head codex/pmlr-track-scope,提交17bdaa7、4e0e3f0。与PR #10独立,等待用户手动合并。

PMLR 一个 ICML 卷同时包含研究主轨道和 Position Paper,旧采集器把整卷记为 main,影响逐轨道覆盖及后续公开拒稿的投稿身份关联。已核对2024/2025/2026官方节目单,分别有75/73/212篇 Position Paper,共360篇需要迁移。 实际改动: - paper_atlas/collectors/pmlr_tracks.py:2025起用真实forum+官方来源组识别轨道,拒绝伪造口头报告ID、冲突及不完整目录。2024使用官方CFP明确链接的Position标题列表与出版社自链接,唯一theo24a→guyard24a别名还需精确标题+至少两位公开作者核对。 - paper_atlas/collectors/pmlr.py:完整卷验证后按轨道发布JSONL、哈希manifest及卷inventory,保留来源ID、标题、摘要、作者和出版版本证据。 - paper_atlas/ingestion/records.py、backfill.py:拒绝旧版混合轨道文件,逐行核对轨道证据与自身身份。 - paper_atlas/ingestion/pmlr_tracks.py:默认只读计划;--apply在独占维护锁和单事务中迁移原投稿及身份edition,保留论文/来源/投稿/决定ID,更新轨道出处与覆盖数。目标冲突、共享多来源、决定冲突或文本变化均停止,失败回滚。 - paper_atlas/cli.py:新增maintain pmlr-tracks。 - tests/test_pmlr_tracks.py:官方身份/轨道证据、完整性、伪造ID、别名校验、拆分文件和旧格式防护;tests/test_pmlr_track_migration.py:只读、幂等、重导无重复、数据保留、冲突/锁/哈希和事务回滚。 - tests/test_pmlr.py、test_index_core.py:通用摘要及计数测试使用无混合轨道前提的旧年份,保留原有测试意图。 - docs/data-sources.md、operations.md:说明轨道证据、files展开、旧数据迁移顺序和报告状态。 验证:批准的ces-control:host(aliyun-ces-control)相关39项、迁移/CLI10项通过;CI943全量158项测试通过,wheel构建及安装成功。本机未测试或构建。固定版本三卷真实重采已完成,共12492条;独立新旧文件比较与官方证据哈希核查通过:来源ID、标题、摘要、作者及标识全部不变,恰好360条轨道变化,缺摘要0。报告保存在 /data/paper-index/collected/pmlr-tracks-v3/recollection-audit.json,旧文件保留。 生产状态:arXiv类别修复和3233527条全量类别审计均已完成并通过;轨道迁移已在独占维护锁下启动,当前到达360条事件变更后的全库外键检查,事务尚未提交。报告 /data/paper-index/collected/pmlr-track-migration.json 仍为planned,不能声称主库迁移已经完成;后续写入必须等待该进程终态及complete报告,再独立核对原事件、原决定与轨道。最终全库去重、摘要/会议年份覆盖、SQLite/FTS审计仍待全部导入后完成。 base main;head codex/pmlr-track-scope,提交17bdaa7、4e0e3f0。与PR #10独立,等待用户手动合并。
codex-bot added 2 commits 2026-11-06 14:18:14 +00:00
Resolve mixed ICML PMLR tracks from verified official programs
Metadata integrity checks / metadata (push) Successful in 40s
17bdaa77fb
Migrate existing PMLR submission tracks with atomic provenance checks
Metadata integrity checks / metadata (push) Successful in 44s
4e0e3f0ce8
Zayden-Jung merged commit a58b96341a into main 2026-11-06 16:15:04 +00:00
Sign in to join this conversation.
No Reviewers
No Label
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: Zayden-Jung/paper-atlas#11