Files
paper-atlas/docs/springer-selected-volumes.md
codex-bot 5c78a36fd5
Metadata integrity checks / metadata (push) Successful in 2m20s
Scope chapter publication identities and test explicit work anchors
2026-11-10 00:04:35 +08:00

3.8 KiB

会后选集的元数据采集

collect springer-selected 读取已冻结、带 HTTP 回执的公开 HTML,不访问 PDF、不写业务库。目前仅支持核验过的 Selecting Models from Data: Artificial Intelligence and Statistics IV,书籍 DOI 为 10.1007/978-1-4612-2660-4。增加其他卷前必须另行核对会议关系、目录、年份和字段格式。

会议官方旧站区分现场分发的 Preliminary Papers 与之后修订、再次评审的选集。出版社卷说明将本书关联到 1993 年 1 月的第四届 workshop,书籍出版年份为 1994。三页目录共有 49 个章节 DOI;分区 Front Matter 不作为章节论文导入。

规范记录保留:

  • 会议年份 1993、独立 track selected_volume 与事件标识 aistats-1993-selected-volume-1994;出版年份单独记为 1994。
  • 章节本身的 DOI、作者原始引用写法及顺序、姓名首字母、标题、摘要、页码和逐页原始证据。不扩写作者首字母。
  • 明确提供本章 publication_doi 投稿出版标识,不把它转移到旧的原始会议评审记录,也不因短标题相同而强制合并实体。
  • springer_selected_volume:publication_format 标签与独立来源 namespace。
  • accepted 仅表示章节已列入这本出版选集,原始 1993 投稿评审决定、决定日期和全部录用清单均未知。后续原会议 main、拒稿或撤稿证据可以独立保留。

不能据此宣称会议全部录用、全部投稿或公开拒稿覆盖完整,也不能把出版社机器添加的关键词视为作者标签。未命中选集不等于被拒。

按需运行与恢复

输入分别是卷目录/旧站说明和章节页的快照目录。每个目录的 receipts.json 包含 responses 列表,每条保留 url、final_url、file、http_status、headers、bytes、sha256、at。需要三页目录、官方旧站说明及全部 49 个章节页面。

paper-atlas collect springer-selected \
  --toc-snapshots /data/paper-index/collected/aistats1993-book-evidence-v1 \
  --chapter-snapshots /data/paper-index/collected/aistats1993-chapter-evidence-v1 \
  --out /data/paper-index/collected/aistats1993-source-v1

采集器验证回执和内容哈希、文件路径、HTTP 类型、目录/章节 DOI 和标题、作者格式、出版年份及页码。Springer 对公开元数据返回的同路径 cookies_not_supported 诊断参数会原样保留;不接受其他域、路径、分页变化或未知查询参数。官方旧站说明固定哈希为 6db205b9dbc82b4a096556efd2aa67e065cad8e0bd6351176b1962ffd1fca179,变化时须重新审核。

全部文件先核验,输出使用排他锁和暂存目录,完成报告最后发布。已有输出拒绝覆盖;发现不完整或已消费文件,应先查运行状态与报告,另建明确版本目录,不能重放生产导入。

输出 JSONL 配套 manifest 始终为 partial。收集完成后还必须做 PostgreSQL 稳定标识/标题/作者身份预检、排除已导入记录、准备限定增量文件、保存旧数据保护基线、原生导入和独立验收。49 条来源不代表 49 个新增论文实体,全部来源处理后仍须全库去重审计。

固定测试资料

tests/fixtures/springer-aistats1993-fixture.json.gz 保存 4 份范围/目录 HTML、49 份章节 HTML、原始请求回执及独立原始字段审计的预期元数据,SHA256 为 94028fd37080f9d8027e5790e379cc151ee6eab17ed0d1dcc0f59e6e75f9d4d0。摘要按 HTML 段落边界分隔;未修改原始 HTML 或回执。它是压缩的公开元数据测试资料,不包含论文 PDF。测试覆盖全部真实章节字段、缺失和漂移输入、来源安全边界、幂等导入及旧拒稿历史保留。构建和测试只在已授权远程 runner 执行。