Files
paper-atlas/docs/data-model.md
T
codex-bot 1c18cbe03a
Metadata integrity checks / metadata (push) Successful in 1m12s
Package Paper Atlas with organized modules and a unified CLI
2026-11-06 17:32:24 +08:00

2.0 KiB

数据模型与身份解析

表 用途
papers / papers_fts 稳定论文实体、代表性标题摘要、FTS5 全文检索
identifiers arXiv ID、DOI 等唯一外部标识
source_records / sources 平台记录、原平台标题摘要与索引元数据、来源 URL 和抓取时间
venues / venue_aliases / editions 会议或期刊系列、年份与 track,区分主会、Findings 和 workshop,联合会议用别名查询,不重复生成事件
edition_sources 每届每个来源的覆盖状态、预计/已导入数量、错误与断点
submissions / submission_identifiers / submission_sources 投稿事件、按届次限定的原平台强标识、多来源证据;同稿的不同投稿尝试分别保留
decisions / decision_sources 明确决定、原始决定日期、来源观察日期及证据,不把缺失决定编造成拒稿
submission_merges / decision_merges 投稿事件与重复决定观察的合并审计,保留来源关联并避免重用已合并的编号
tags / paper_tags 平台标签与人工标签,使用命名空间隔离
match_candidates / paper_merges 潜在重复复核状态、确定合并审计
ingest_runs 导入批次、状态、错误和恢复位置

决定状态为 accepted、rejected、desk_rejected、withdrawn、under_review、unknown。一篇论文可以对应多次投稿和多个决定,不能用单一“最终会议”字段覆盖历史。查询中按观察时间选择最近状态;后续分析需要同时检查来源覆盖率。

当前确定性去重使用 arXiv ID、单个 DOI 和 OpenReview forum ID;跨平台同标题还需至少两位作者吻合,或作者吻合且摘要相同,才自动合并。保留各平台源记录,避免合并后丢失出处。规范化标题只建检索索引,尚未实现模糊匹配流程;现阶段不保证跨平台去重已经完成。不同平台标签不自动等同,自定义标签应使用 custom:* 命名空间。