Files
paper-atlas/docs/mm2026-publications.md
T
codex-bot 9864632774
Metadata integrity checks / metadata (push) Failing after 5m46s
Recover MM program evidence through reviewed title formatting
2026-11-18 04:14:41 +08:00

8.4 KiB
Raw Blame History

MM 2026 出版条目采集与恢复

collect mm2026-publications 是包内可复用的冻结快照规范化命令,读取完整注册目录和官方节目,不连接数据库、不请求网络、不下载PDF。总体仍为13/17,来源规范化、测试通过或节目匹配都不能替代身份批准、生产入库或最终去重。

使用

在已配置的服务器环境中,--registry-snapshots 是包含 mm2026-container-registry-v2/ 的父目录;--program-snapshots 是包含 mm2026-program-and-public-probes-v1/ 的父目录。父论文集正文使用独立固定快照,不能从不存在的文章ISBN字段猜测:

paper-atlas collect mm2026-publications \
  --registry-snapshots /data/paper-index/collected \
  --program-snapshots /data/paper-index/collected \
  --parent-snapshot /data/paper-index/collected/mm2026-publication-metadata-v1/parent.json \
  --out /data/paper-index/collected/mm2026-publications-native-v3

输出目录必须不存在。失败输出保留 failed.json,完整 collection-report.json 只在全部校验成功后原子生成;不要覆盖输出或因旧进度文件、日志安静重跑。先观察实际单元/报告,再选择新的恢复目录。

注册目录与节目分别保留

源目录基于 Crossref 官方精确过滤器 的 container-title 和出版者member320,实际捕获8页、1918个不同DOI。每页请求、时间、原始正文、字节哈希、总量与唯一DOI均核验。父DOI为 10.1145/3767308,题名为 Proceedings of the 34th ACM International Conference on Multimedia,明确事件为MM2026;文章均注册为 proceedings-article。

ISBN查询和父Unixref XML只返回父项,不能代表逐篇目录。宽泛 query.container-title 的检索总量也不能当会议篇数。当前1918是这个明确论文集过滤范围内的注册条目数,不是已经去重的科研作品数、所有MM workshop或全部28个来源track的出版全集。

每个出版条目都输出,稳定外部标识为真实DOI。身份标识仅为 doi,投稿侧标识仅为 publication_doi;不推断原始OpenReview/forum/投稿号或arXiv标识。来源名 mm_registry_program 明确表示派生的注册/节目材料,不能把其中所有字段都说成Crossref原文。

原始注册响应及父记录复制到 evidence/registry/,完整节目及四个既有403回执复制到 evidence/program/,不重新请求受限入口。每项元数据保留注册正文的文件/哈希、数组位置和规范JSON对象哈希;常用书目字段另作投影,完整引用、资助等原始字段仍在原始响应中,未丢弃也不在每条JSONL重复膨胀。

分轨、摘要与版本差异

按原始题名的 Unicode/字母数字规范化与完整作者多重集合比对,1726 项有唯一节目对应。原始题名没有候选时,再比较经过受限排版投影的题名:只移除平衡、无属性的 i、scp、sup、sub 标签,保留上下标内容,HTML 实体只解码一次。未知或不平衡标签、属性、注释及声明不参与这种投影;不使用模糊题名或人物别名。

26 项新增对应均保留完整作者多重集合一致、唯一节目 ID 以及逐项复核名单,复制节目原文的摘要、track 和展示上下文。原始注册题名、作者和节目字段继续逐字保留,比较文本单独存入 program_title_formatting_comparison;这只证明节目材料对应,不批准科学作品合并。原始题名已有作者分歧时,不通过排版回退绕过。其余 122 项原始作者分歧、1 项排版题名下的作者分歧、43 项题名差异,共 166 项仍在 proceedings_unclassified。

输出分区 注册条目
main 1555
grand_challenge 77
interactive_art 17
datasets 41
reproducibility 1
bni 22
open_source 11
doctoral_symposium 2
demo_and_video 23
industry_talk 3
proceedings_unclassified 166

注册摘要 1918 项仍全缺失。1743 项有明确对应的节目摘要:1717 项使用 abstract_source=official_program_exact_metadata_correspondence;新增 26 项使用 official_program_reviewed_title_formatting_correspondence,两者都逐字复制节目原文。报告分别列出 abstracts_from_literal_program_correspondence 和 abstracts_from_reviewed_title_formatting;保留的汇总字段 abstracts_from_exact_program_correspondence 为 1743,表示两类非模糊对应之和。

其余 175 项保持摘要缺失,包括 9 项节目本身没有摘要及 166 个版本待核条目。注册原始摘要仍标为缺失,不能把节目内容说成出版者摘要。

8 个作者仅有单一姓名字段,保留登记值并标记,不猜测 given/family;37 个含排版标记或实体的题名仍保留字面原文和原始标记。排版比较保留上下标字符,不改写原始字段。

完整2143个节目ID和4326个展示位置仍在匹配证据或391个未匹配节目中,28个原始track均保留。391个节目与166个出版版本待核来自两种观察口径,不能直接相加当成不同论文。Workshop、艺术、行业等贡献不能因为不在这个论文集范围就被当成拒稿、撤稿或不值得保留。

注册出版支持来源侧 status=accepted 的发表观察,raw_decision 明确不是原始签署决定;出版日期仅放在注册元数据中,不伪造决定日期。mm_registry_program:crossref:type 与 mm_registry_program:mm_program:track 分别保存注册书目类型和节目 track;共同的派生来源前缀满足写入器的来源校验,两个标签命名空间仍相互独立,原始平台字段与证据继续保留在各自元数据中,research_type_classified=false:书目类型不是研究类型,行业、艺术、demo条目不能默认变成主轨研究论文。

只读数据库预检与导入边界

每个分区都有带count/SHA256的manifest,coverage始终为partial。规范化完成后,对实际报告中的全部输出文件运行现有 audit source-identities --files ... --pg-service foundry-research --pg-schema research --out <新目录>,不能靠已有66个arXiv/DOI候选代表全目录。预检使用只读一致性快照,并保存来源/标识/历次投稿/逐次决定的证据包;缺失或截断必须单列。

approved_for_import=0,每项 scientific_work_identity_approved=false。DOI绑定可能有误,精确题名/作者匹配不证明科学作品身份,没有匹配也不证明新作品。进入增量导入前仍须审查已有绑定、科学版本与候选历史,做新鲜保护检查、完整基线/备份,再使用原生写入者。不得覆盖旧拒稿、后续录用、标签、原始元数据或人物姓名版本;既有已消费队列不可重放。

恢复

完整注册目录及独立节目比对恢复包:/data/paper-index/validation/mm2026-container-registry-recovery-v2.tar.gz,SHA256 ddb05a8134f6437b3fb40250e45ed6350d55431d953812abda3300871b6dd0ac。其中含注册源目录、父记录 validation/mm2026-parent.json、逐项比对和请求方法证据。安全解包后可把该父记录路径传给 --parent-snapshot。

节目原始来源恢复包见 MM来源说明。本地独立核验备份位于 /Users/zzyang/Documents/Codex/2026-11-06/paper-index/。固定回执/正文哈希变化、总量变化、未知注册上下文或节目对应改变都须重新核查,不能放宽为无条件接受。最终全库去重、近似题名作者、标识冲突、摘要、约束、覆盖与查询审计仍是独立必做阶段。

实际导入回归在隔离的 SQLite 和 PostgreSQL 测试库中运行全部1918条、全部11个输出分区,核验原始字段、1918个书目类型标签、1752个节目标签、publication_doi 身份、partial覆盖,以及已有作品的规范信息和旧拒稿决定不被覆盖。这些测试不会写入生产 research schema;测试通过仍不替代逐条生产身份审阅。

旧的 native-v1、native-v2 来源目录及已消费的导入队列不可覆盖或重放。新版本写入新的输出目录,先核对已导入记录的源字段和分轨是否变化;新增来源关联仍须新鲜身份预检、保护基线和独立验收。程序输出的分区预期数量已改变,未来增量 manifest 必须明确保留旧覆盖父值并声明新预期值,不能重置已导入计数。