Files
paper-atlas/docs/mm2026-publications.md
T
codex-bot 83f3ebd26b
Metadata integrity checks / metadata (push) Successful in 6m46s
Fix MM publication tag provenance and exercise full native ingestion
2026-11-18 01:31:59 +08:00

7.1 KiB
Raw Blame History

MM 2026 出版条目采集与恢复

collect mm2026-publications 是包内可复用的冻结快照规范化命令,读取完整注册目录和官方节目,不连接数据库、不请求网络、不下载PDF。总体仍为13/17,来源规范化、测试通过或节目匹配都不能替代身份批准、生产入库或最终去重。

使用

在已配置的服务器环境中,--registry-snapshots 是包含 mm2026-container-registry-v2/ 的父目录;--program-snapshots 是包含 mm2026-program-and-public-probes-v1/ 的父目录。父论文集正文使用独立固定快照,不能从不存在的文章ISBN字段猜测:

paper-atlas collect mm2026-publications \
  --registry-snapshots /data/paper-index/collected \
  --program-snapshots /data/paper-index/collected \
  --parent-snapshot /data/paper-index/collected/mm2026-publication-metadata-v1/parent.json \
  --out /data/paper-index/collected/mm2026-publications-native-v1

输出目录必须不存在。失败输出保留 failed.json,完整 collection-report.json 只在全部校验成功后原子生成;不要覆盖输出或因旧进度文件、日志安静重跑。先观察实际单元/报告,再选择新的恢复目录。

注册目录与节目分别保留

源目录基于 Crossref 官方精确过滤器 的 container-title 和出版者member320,实际捕获8页、1918个不同DOI。每页请求、时间、原始正文、字节哈希、总量与唯一DOI均核验。父DOI为 10.1145/3767308,题名为 Proceedings of the 34th ACM International Conference on Multimedia,明确事件为MM2026;文章均注册为 proceedings-article。

ISBN查询和父Unixref XML只返回父项,不能代表逐篇目录。宽泛 query.container-title 的检索总量也不能当会议篇数。当前1918是这个明确论文集过滤范围内的注册条目数,不是已经去重的科研作品数、所有MM workshop或全部28个来源track的出版全集。

每个出版条目都输出,稳定外部标识为真实DOI。身份标识仅为 doi,投稿侧标识仅为 publication_doi;不推断原始OpenReview/forum/投稿号或arXiv标识。来源名 mm_registry_program 明确表示派生的注册/节目材料,不能把其中所有字段都说成Crossref原文。

原始注册响应及父记录复制到 evidence/registry/,完整节目及四个既有403回执复制到 evidence/program/,不重新请求受限入口。每项元数据保留注册正文的文件/哈希、数组位置和规范JSON对象哈希;常用书目字段另作投影,完整引用、资助等原始字段仍在原始响应中,未丢弃也不在每条JSONL重复膨胀。

分轨、摘要与版本差异

按原始题名的Unicode/字母数字规范化与完整作者多重集合比对,1726项有唯一节目对应。源track映射到对应输出分区,并保留原始标签、节目ID、机构和所有展示上下文;不生成全局人物别名。其余122项作者版本差异、70项题名版本差异保留在 proceedings_unclassified,不强配分轨或静默排除。

输出分区 注册条目
main 1533
grand_challenge 77
interactive_art 17
datasets 40
reproducibility 1
bni 22
open_source 11
doctoral_symposium 2
demo_and_video 20
industry_talk 3
proceedings_unclassified 192

注册摘要1918项全缺失。1717项有明确对应的节目摘要,逐字保留并标明 abstract_source=official_program_exact_metadata_correspondence;注册原始摘要仍标为缺失,绝不伪称由出版者提供。其余201项保持缺失,包括9项已对应节目本身没有摘要的条目及192个版本待核条目。没有用模糊匹配把待核摘要强加给论文。

8个作者仅有单一姓名字段,保留登记值并标记,不猜测given/family;37个含排版标记或实体的题名保留字面原文并标记,不能损失数学上下标或假定排版版本已经解决。

完整2143个节目ID和4326个展示位置仍在匹配证据或417个未匹配节目中,28个原始track均保留。417个节目与192个出版版本待核来自两种观察口径,不能直接相加当成不同论文。Workshop、艺术、行业等贡献不能因为不在这个论文集范围就被当成拒稿、撤稿或不值得保留。

注册出版支持来源侧 status=accepted 的发表观察,raw_decision 明确不是原始签署决定;出版日期仅放在注册元数据中,不伪造决定日期。mm_registry_program:crossref:type 与 mm_registry_program:mm_program:track 分别保存注册书目类型和节目 track;共同的派生来源前缀满足写入器的来源校验,两个标签命名空间仍相互独立,原始平台字段与证据继续保留在各自元数据中,research_type_classified=false:书目类型不是研究类型,行业、艺术、demo条目不能默认变成主轨研究论文。

只读数据库预检与导入边界

每个分区都有带count/SHA256的manifest,coverage始终为partial。规范化完成后,对实际报告中的全部输出文件运行现有 audit source-identities --files ... --pg-service foundry-research --pg-schema research --out <新目录>,不能靠已有66个arXiv/DOI候选代表全目录。预检使用只读一致性快照,并保存来源/标识/历次投稿/逐次决定的证据包;缺失或截断必须单列。

approved_for_import=0,每项 scientific_work_identity_approved=false。DOI绑定可能有误,精确题名/作者匹配不证明科学作品身份,没有匹配也不证明新作品。进入增量导入前仍须审查已有绑定、科学版本与候选历史,做新鲜保护检查、完整基线/备份,再使用原生写入者。不得覆盖旧拒稿、后续录用、标签、原始元数据或人物姓名版本;既有已消费队列不可重放。

恢复

完整注册目录及独立节目比对恢复包:/data/paper-index/validation/mm2026-container-registry-recovery-v2.tar.gz,SHA256 ddb05a8134f6437b3fb40250e45ed6350d55431d953812abda3300871b6dd0ac。其中含注册源目录、父记录 validation/mm2026-parent.json、逐项比对和请求方法证据。安全解包后可把该父记录路径传给 --parent-snapshot。

节目原始来源恢复包见 MM来源说明。本地独立核验备份位于 /Users/zzyang/Documents/Codex/2026-11-06/paper-index/。固定回执/正文哈希变化、总量变化、未知注册上下文或节目对应改变都须重新核查,不能放宽为无条件接受。最终全库去重、近似题名作者、标识冲突、摘要、约束、覆盖与查询审计仍是独立必做阶段。

实际导入回归在隔离的 SQLite 和 PostgreSQL 测试库中运行全部1918条、全部11个输出分区,核验原始字段、1918个书目类型标签、1726个节目标签、publication_doi 身份、partial覆盖,以及已有作品的规范信息和旧拒稿决定不被覆盖。这些测试不会写入生产 research schema;测试通过仍不替代逐条生产身份审阅。