39 lines
4.8 KiB
Markdown
39 lines
4.8 KiB
Markdown
# RSS 官方论文元数据
|
||
|
||
这是长期维护、按需运行的 package collector，不是定时服务或一次性导入脚本。目前仅接受独立核对过的 2025 年版式；不把 2026 年或其他年份套用同一分类规则。
|
||
|
||
## 数据范围和证据
|
||
|
||
- [RSS XXI 官方论文集](https://www.roboticsproceedings.org/rss21/)列出 163 个不同的逐篇 HTML 链接。每篇有 citation 元数据、BibTeX 和摘要区；PDF 链接作为原始元数据保存，不请求全文。
|
||
- [官方 Accepted Papers](https://roboticsconference.org/2025/program/papers/)按论文 ID、标题和 session 对账。网页作者列包含隐藏的重复展示，逐篇有序 citation_author 与论文集目录作者完整对比后才采用；不截断作者、不将重复展示当新论文。
|
||
- [官方 Demos](https://roboticsconference.org/2025/program/demos/)明确列出 15 个论文 ID，包括标题不以 Demonstrating 开头的 ID 93。这些条目标为 `demo`，保留整行节目证据。其他 148 条使用 `proceedings_unspecified`：没有逐篇类型依据时，不因缺席演示表就自动推断 main。
|
||
- [作者说明](https://roboticsconference.org/2025/information/authorinfo/)描述 Science/Systems 与 Demo 两类投稿，两类都进入论文集。分类属于该来源的投稿/发表语义，不自动生成通用 research_type 标签。
|
||
|
||
`rss_proceedings:session` 保留官方 session，`rss_proceedings:program_role` 保留明确的 demonstration。二者与其他平台标签隔离；session 主题不等于投稿 track。单篇来源 ID 是 `2025/pNNN`，DOI 同时保留原始 BibTeX 大小写和标准化身份键，显式的 `publication_doi` 供原生导入器在同一会议年度/track 中关联其他正式发表来源；不能据此合并不同 track 或不同会议的投稿经历。
|
||
|
||
只有已发表、被官方录用表列出的条目才产生 accepted 记录。采集观察时间来自响应回执；出版日期单独留在 metadata，不伪造原始决定日期。来源未列出的论文不能推断为 rejected、desk rejected 或 withdrawn；公开负面决定是另一个待核范围。
|
||
|
||
## 运行
|
||
|
||
构建、安装和项目测试仅使用已确认的 `ces-control:host` 远程 runner。本机不能执行隐式构建的验证。服务器已安装环境运行示例：
|
||
|
||
```sh
|
||
paper-atlas collect rss-proceedings --year 2025 \
|
||
--snapshots /data/paper-index/collected/rss2025-full-evidence-v1 \
|
||
--out /data/paper-index/collected/rss2025-source-v1
|
||
```
|
||
|
||
也可使用 `--cache /data/paper-index/raw/rss-http` 请求限定官方 HTML 元数据。两种输入互斥。冻结快照的 `receipts.json` 每项必须包含 `file`、准确 `url/final_url`、`http_status: 200`、`content_type: text/html`、`bytes`、`sha256` 和含时区的观察时间 `at`。路径必须位于快照内，不能通过符号链接逃逸。所有输入逐个核验字节数与哈希，UTF-8 解码；重定向、未知版式和异常 ID 需要先核查。
|
||
|
||
采集只输出 JSONL、每个 track 的 manifest、完整 HTML 证据和 `rss-2025.json` 来源报告，不连接生产数据库。两份清单状态保持 `partial`；即使该卷 163 个链接全部解析，也不表示独立作品去重、逐篇类型或公开负面决定全集已完成。明确为空的摘要保存 `null` 和原因；缺失或重复摘要边界属于版式异常，停止输出。
|
||
|
||
## 冻结与恢复
|
||
|
||
2026-11-09 在服务器冻结 167 个官方 HTML 响应：目录、录用表、演示表、作者说明和 163 个逐篇页面。回执 SHA256：`f427d93a113702030864e789efe1176d69f71d2c567e81536d155e53d9513a93`。六个未改写样例位于 `tests/fixtures/rss2025/`，附其真实响应回执；完整原件保存在服务器来源目录与独立审阅备份，不作为运行时下载依赖。
|
||
|
||
整个采集持有输出目录的排他锁。全部解析和交叉检查通过后才发布 JSONL、manifest 和完成报告；完成报告最后发布。已有完成报告或 JSONL 时拒绝覆盖。若发布中断，先核对目录、回执和所有文件哈希，保留现场，再换新输出目录重采；不能看到日志安静就重启或重复导入。新的官方页面内容或计数与冻结样本不同，必须另留快照、解释变化并验证后再更新采集器。
|
||
|
||
生产导入前必须另外做来源独立核验和 PostgreSQL 只读身份预检。DOI、同标题候选和既有 arXiv 实体需要逐项核查，保留跨会的所有投稿和决定关系；发现冲突时隔离，不能只按标题强合并。已导入队列不得重放。生产独立验收通过后才重新统计年度缺口；导入成功和 CI 不能替代最终全库去重、摘要/标签及约束和实际查询审计。
|
||
|
||
本说明中的 163/15 是冻结官方页面的来源清单，不是当前生产库导入结果。历史缺口在本批生产验收前仍为 47。
|