Zayden-Jung/paper-atlas

Fork 0

Files

T

codex-bot 396b7dbaf2

Metadata integrity checks / metadata (push) Successful in 14s

Details

Collect CVPR ICCV and ECCV official abstract metadata

2026-11-06 13:15:20 +08:00

22 KiB

Raw Blame History

Paper Atlas · 论文元数据与投稿历史索引

Paper Atlas 是一个长期维护、按需或按批次运行的研究数据工具项目。它不是一次性的下载脚本，也不需要为了采集而持续启动 Web 服务。目标是把 arXiv、重要 AI 会议论文集及公开投稿决定整合成可追溯、可查询、可持续更新的数据库，供后续研究趋势、跨会投稿、主题演化等分析使用。

项目目标与当前进度

目标包括：完整历史元数据导入、逐年会议目录、跨平台论文去重、公开拒稿/撤稿信息、平台标签与自定义标签隔离、可恢复更新和覆盖率报告。

目前仍在开发，不能视为完整数据集。 已实现 SQLite 数据结构、arXiv 元数据 ZIP 流式导入、断点恢复、跨平台标识合并及审计、PMLR、COLM、NeurIPS、ACL Anthology、ICLR 官方公开程序、CVF/ECVA 视觉会议元数据采集、带清单核验的会议导入和只读查询。PeerRead 提供公开 ICLR 2017 明确决定的补充来源。arXiv 元数据 ZIP 已完整下载（1,878,831,586 字节），全量导入正在服务器运行。其他会议适配器、历史缺失届次、完整投稿历史、跨平台疑似重复复核和覆盖率核验仍待完成。回归检查在远端执行，已配置 ces-control:host 对应的 CI 工作流，实际 CI 结果以 Gitea Actions 为准。venues.json 的 41 个会议是候选覆盖范围，不代表已完成采集，也不是与 COLM 比较的客观排名。

数据范围与来源

arXiv：官方推荐的 Cornell/Kaggle 元数据快照，包含标识、作者、标题、摘要、类别、版本与外部索引。默认导入整个快照，通过类别筛选 AI 论文，避免永久丢弃交叉领域记录。
会议论文集：优先官方来源，计划接入 OpenReview、PMLR、ACL Anthology、NeurIPS、CVF、ECVA、AAAI、IJCAI；DBLP 用于补充会议目录、标识与出版信息。GitHub 聚合名单只作发现线索，不能作为未经核验的决定证据。
投稿历史：只收录公开可访问并有证据的记录；没有录用信息不等于拒稿，不能据此推断“从未中会”。
当前不下载 PDF、LaTeX、图片或补充材料，不提取论文全文，不推断匿名作者身份。

官方入口：

候选会议覆盖目录

领域	会议系列	主要发现入口
机器学习、理论	NeurIPS、ICML、ICLR、COLM、COLT、AISTATS、UAI、CLeaR	OpenReview、PMLR、NeurIPS、COLM 官方论文集
自然语言	ACL、EMNLP、NAACL、EACL、COLING、CoNLL	ACL Anthology
视觉	CVPR、ICCV、ECCV	CVF、ECVA
综合 AI	AAAI、IJCAI、ECAI	官方论文集、DBLP
检索与数据	KDD、SIGIR、WWW、WSDM、RecSys、CIKM、ICDM、SDM、ECML-PKDD	官方出版方、DBLP，具体年份入口待逐项登记
机器人	ICRA、IROS、RSS、CoRL	官方论文集、PMLR、DBLP
规划、知识与智能体	ICAPS、KR、AAMAS	官方论文集、DBLP
语音与音频	ICASSP、INTERSPEECH、ISMIR	官方论文集、ISCA、DBLP
相关专门领域	MICCAI、FAccT	官方出版方、DBLP

这些是领域覆盖候选，不构成统一排名，也不能据此声称已全部入库。逐年目录以真实举办届次和正式出版清单为准：双年会议不补造不存在的年份；主会、Findings、workshop 分开。edition_sources 保存实际采集状态，不能用候选名单代替覆盖率报告。

数据模型

表	用途
`papers` / `papers_fts`	稳定论文实体、代表性标题摘要、FTS5 全文检索
`identifiers`	arXiv ID、DOI 等唯一外部标识
`source_records` / `sources`	平台记录、原平台标题摘要与索引元数据、来源 URL 和抓取时间
`venues` / `venue_aliases` / `editions`	会议或期刊系列、年份与 track，区分主会、Findings 和 workshop，联合会议用别名查询，不重复生成事件
`edition_sources`	每届每个来源的覆盖状态、预计/已导入数量、错误与断点
`submissions` / `decisions`	多次投稿及带证据的决定历史，支持改投、撤稿和决定变更
`tags` / `paper_tags`	平台标签与人工标签，使用命名空间隔离
`match_candidates` / `paper_merges`	潜在重复复核状态、确定合并审计
`ingest_runs`	导入批次、状态、错误和恢复位置

决定状态为 accepted、rejected、desk_rejected、withdrawn、under_review、unknown。一篇论文可以对应多次投稿和多个决定，不能用单一“最终会议”字段覆盖历史。查询中按观察时间选择最近状态；后续分析需要同时检查来源覆盖率。

当前确定性去重使用 arXiv ID、单个 DOI 和 OpenReview forum ID；跨平台同标题还需至少两位作者吻合，或作者吻合且摘要相同，才自动合并。保留各平台源记录，避免合并后丢失出处。规范化标题只建检索索引，尚未实现模糊匹配流程；现阶段不保证跨平台去重已经完成。不同平台标签不自动等同，自定义标签应使用 custom:* 命名空间。

运行与查询

基础导入和查询依赖 Python 3 标准库和带 FTS5 的 SQLite；PMLR 采集另需 requirements.txt 中锁定的 PyYAML 6.0.3。无项目构建步骤。服务器已检查为 Python 3.14.4。所有运行数据放在仓库外，不提交数据库、下载包或访问凭据。

服务器暂存目录：/data/paper-index/，快照目录：/data/paper-index/raw/，运行代码目录：/data/paper-index/code/。这些路径不是对外访问的 API。本地工作区只用于编辑代码、文档和 Git；采集、全量导入和运行检查均在用户确认的服务器执行。

下载完成并验证 ZIP 后，在服务器运行：

python3 -B import_arxiv.py \
  --db /data/paper-index/papers.sqlite \
  --archive /data/paper-index/raw/arxiv-metadata.zip

导入直接读取压缩包，不落盘展开整个 JSON。每 500 条提交一次事务并保存断点。若同一快照的导入异常中断，用相同命令恢复；恢复阶段需要重新顺序读取并跳过已提交行。不得同时启动多个写入进程。待恢复批次的文件路径、大小和修改时间必须一致；下载快照校验信息应保存在 raw/arxiv-manifest.json。

全量导入是有实质磁盘和 I/O 成本的操作。先检查 df -h，保持足够空间；数据库、FTS 索引和 WAL 都会增长，压缩包大小不是最终数据库占用。索引和数据库生成属于数据处理，不会构建应用镜像。

# 导入状态、记录量与覆盖状态
python3 -B query.py --db /data/paper-index/papers.sqlite --stats

# 查询标题或摘要，支持 SQLite FTS5 查询语法
python3 -B query.py --db /data/paper-index/papers.sqlite --query '"language model"' --limit 20

# 按 arXiv 平台类别筛选
python3 -B query.py --db /data/paper-index/papers.sqlite --tag arxiv:category=cs.AI

# 会议与决定查询（会议数据导入后才有结果）
python3 -B query.py --db /data/paper-index/papers.sqlite --venue COLM --year 2025 --status rejected

查询连接使用 SQLite 只读模式，结果输出 JSON。--stats 中 papers 是按当前规则去重后的论文实体数，records_by_source 是各平台已入库记录数，decision_events_by_status 是决定事件数。采集文件 manifest 的 count 是已采集数量，不能等同已入库数量，也不能把各平台记录数相加当成独立论文数。

用 --paper 531782 可查看单篇论文的所有已知来源、平台标签、投稿届次及带证据的决定历史。会议筛选不区分大小写，状态筛选使用该次投稿的最新已知决定。当前没有公共 Web 页面或网络查询服务。

官方会议元数据采集

# 单卷示例：ICML 2025，读取官方 gh-pages 元数据，不下载论文正文
python3 -B collect_pmlr.py --cache /data/paper-index/raw/http-cache \
  --out /data/paper-index/collected --volume 267

# 待主库完成 arXiv 导入、且没有其他写入进程后，合并会议记录
python3 -B import_records.py --db /data/paper-index/papers.sqlite \
  /data/paper-index/collected/pmlr-v267.jsonl

采集输出 JSONL 和对应 manifest，只有明确来源标签才产生相应决定：官方论文集记录为 accepted；PeerRead 使用其明确的 accepted 布尔标签，缺失标签保留 unknown。清单数目不一致时整个文件导入回滚，记录失败批次，不能标为覆盖完成。多个历史卷的全量覆盖仍需单独核验。旧卷可能把 PDF 放入归档；采集器对前 50 卷使用 Git partial clone 和 sparse checkout，仅取 _posts 和卷配置，不执行出版方项目代码。较新归档若超出 64 MiB 限额，也转为此方式。已对原本超限的 AISTATS 2009（第 5 卷）验证采集 84 条且工作区无 PDF。旧 YAML 的 !binary 文本、空文档尾标记会安全解析；带年份的 AISTATS/COLT 等历史 shortname 会规范化，避免名称别名漏届；缺失 year 时仅从官方会议 start 日期提取年份。pmlr-volume-status.json 逐卷保存结果和候选范围归属，pmlr-last-run.json 记录本批实际请求范围，局部重试不能证明全历史完成。缓存默认有效 24 小时；同一次批次可复用缓存，后续更新会重新读取动态入口。

PMLR 的同一出版 ID 可能对应多份 Git 元数据，例如 CoRL 2023 的两篇论文分别存在不同日期的副本。只有论文内容与标识完全一致、差异限于元数据日期时才合为一条，并保留源文件路径和日期版本；冲突副本会使该卷采集失败，保留上一份有效文件。manifest 分别记录 metadata_post_count、duplicate_post_count 和论文 count。

会议导入器还会独立检查每条记录的会议、年份、track 与 manifest 是否一致，并从实际记录计算缺失摘要数；旧 manifest 即使声称摘要完整，也不能让缺失摘要的来源被标为 complete。缺失的源摘要与合并后论文实体是否从其他来源补得摘要分别统计。

PeerRead 采集仅选择作者公开发布的 ICLR 2017 投稿元数据，固定到源仓库 commit。只依据明确的布尔 accepted 标签形成 accepted/rejected；空标签为 unknown，不使用其他数据分区中的 probably-rejected 推断。不会保存 reviews 或 parsed_pdfs 正文。

python3 -B collect_peerread.py --cache /data/paper-index/raw/http-cache \
  --out /data/paper-index/collected

数据任务以一次性 systemd 服务运行：paper-atlas-arxiv-import、paper-atlas-pmlr-collect、paper-atlas-peerread-collect；paper-atlas-pmlr-verify 用于全索引复核，paper-atlas-conference-merge 用于单写入合并。它们不是定时任务。主库只允许一个写入进程；会议采集先写独立 JSONL，待 arXiv 主批次结束后再合并；也可以使用 merge_conferences.py 在保存断点处暂停本项目的 arXiv unit、顺序合并会议清单并恢复。该操作应作为独立的一次性 systemd 任务运行，避免 SSH 断开影响恢复；不能同时启动多个合并任务。运行日志位于 /data/paper-index/*-import.log、/data/paper-index/*-collect.log。任何服务启动成功都不等于批次已完成，需检查批次状态、清单与完整性结果。标签按来源刷新使用 paper_tags_source_evidence 索引，避免每条论文都扫描整张标签表。运行中的 arXiv 可以通过同一协调脚本的 --schema-only 模式在断点更新索引后恢复；此模式要求已有 arXiv unit 正在运行。

COLM 与 NeurIPS 官方摘要

python3 -B collect_proceedings.py --source colm \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected
python3 -B collect_proceedings.py --source neurips \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected

采集器从官方根目录发现实际发表届次，仅访问索引和 Abstract HTML 页面，不请求 PDF、补充材料或源码。可用重复 --year 限定实际存在的届次；不存在的年份会报错，局部重试保留其他届次的已有状态。每个来源串行请求，实际网络响应后等待 1 秒；缓存命中不额外等待。

COLM 当前目录提供 2024–2026 三届 pre-proceedings，按会议年份保存，保留平台实际出版日期和出版状态，不把晚补刊日期当作会议年份。NeurIPS 当前目录提供 1987–2025，并包含 2025 独立卷及 2021 独立 Datasets and Benchmarks 索引。主会、datasets_benchmarks、position、creative_ai 分开出文件，不混为同一个 track。跨平台自标识仅从出版方 paper-actions 区域链接与 citation 元数据提取，不把摘要里的引用链接当作当前论文 ID。manifest 的 parser_version 至少为 2 才允许入库；旧文件须利用缓存重新采集，避免错误身份合并。首次真实样本核对：COLM 2024 官方目录 299 个摘要入口；NeurIPS 1987 为 90 个，作者与摘要均已验证解析。样本成功不代表所有页面采集完成。

colm-index-status.json、neurips-index-status.json 保存逐索引状态；对应 *-last-run.json 保存本次实际选择范围。每个 JSONL 的 manifest 记录索引入口数、track 记录数和缺失摘要数。论文数量与官方页面声明不一致会失败，缺失摘要会标记 partial；不会把页脚、姓名政策或其他正文当作摘要。

这两个采集器只写采集文件，合并仍通过单写入协调流程。全量历史覆盖和所有未实现会议仍待最终核验。

ACL Anthology 权威 XML

python3 -B collect_acl.py \
  --checkout /data/paper-index/raw/metadata-checkouts/acl-anthology \
  --out /data/paper-index/collected

metadata_checkout.py 对官方仓库做只包含 data/xml 的 partial clone/sparse checkout，不获取 PDF，不执行仓库 hooks 或构建。每批固定到实际 Git commit。遍历 XML 的 volume venue 字段选择 ACL、EMNLP、NAACL、EACL、COLING、CoNLL；Findings 按所属会议独立成 track，不按文件名把其他同场 workshop 冒充主会。

新旧 Anthology ID 按官方规则构造，并核对源 DOI。保留 C69、D19-50 至 D19-66、W 系列的历史编号例外，排除编号 0 的前言。XML 混合标记通过 itertext 提取；无摘要保留为空并标记 partial。主会、Findings、workshop、demo、tutorial、industry、shared_task 分开。

联合举办会议保存一个会议事件及多个名称别名。例如 LREC-COLING 的论文可用 COLING 或 LREC 查询，仍只有一次该届投稿记录。可用 --track main 限定主会，避免把 Findings 或演示算入主会；别名数据在正常单写入合并时应用 schema。

acl-collection-status.json 记录每个 XML 及其 volume 的处理结果和排除原因；acl-last-run.json 记录源 commit 与本批范围。--collection P17 可限定一个确实存在的 collection。已验证真实 ACL 2017 长文 195 条、短文 107 条，二者摘要完整；其他 track 按源实际缺失情况记录，不能凭样本宣称整个历史完成。

ICLR 官方公开程序元数据

python3 -B collect_iclr.py --cache /data/paper-index/raw/http-cache \
  --out /data/paper-index/collected
# 入库后按官方主题检索；主题值以实际来源为准
python3 -B query.py --db /data/paper-index/papers.sqlite \
  --venue ICLR --tag 'iclr_program:topic=Reinforcement Learning->Deep RL'

从 ICLR 官方年份导航登记届次，读取对应 Papers 页面明确引用的 orals-posters/abstracts JSON。核对声明数量、分页状态及唯一 event ID；只下载公开程序元数据，不访问用户资料、PDF、海报、幻灯片或视频。--year 可限制年份；清单中的已采集数与数据库已入库数分别统计。

官方程序中的 event 数不是论文数：同一篇文章可以有 poster 和 oral 两场展示。程序还会给负 sourceid 的 oral 展示生成占位 OpenReview 链接，这些链接不能作为真实论文标识。采集器核对原投稿编号、标题与作者后合并展示，优先使用正编号记录的真实论文链接；原展示编号和类型保留在源元数据中。

同一投稿编号的展示标题可能有小幅修订。只有负编号 oral 与正编号原稿对应、至少两位作者完全一致且标题相似度满足严格阈值时，才保留为同稿的标题变体；该规则仅在一届官方程序内部生效，不用于跨平台模糊合并。

只将 Conference 来源的论文视为 ICLR 主会录用，排除 Blog 和期刊转会展示，并在审计清单保存排除计数。2020/2021 旧数据允许依据官方主会 paper program 形成录用证据；无 forum ID 时保留 program 身份和匹配候选，不伪造标识。历史年度返回 404 会登记 unavailable，未来未发表届次登记 not_yet_published，其他访问或解析失败登记 blocked；这些状态都不能宣称该年已覆盖。

主题、关键词使用 iclr_program:topic、iclr_program:keyword 命名空间。通用导入器按源记录刷新标签证据，保留同一论文其他源记录及 custom:* 标签。每年的 JSONL、manifest、iclr-program-year-status.json 和 iclr-program-last-run.json 保存实际范围、独立展示数、主会展示数、论文数、缺失摘要与缺失 forum 数。录用程序不能提供拒稿全集，公开投稿及拒稿补充仍需独立来源。

CVF / ECVA 视觉会议元数据

python3 -B collect_vision.py --source cvf \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected
python3 -B collect_vision.py --source ecva \
  --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected

CVF 从官方根目录发现 CVPR、ICCV 主会与 Findings，分别保存 track；不把 workshop 或 WACV 算入这些会议。优先跟随页面明确提供的 All Papers 链接，避免只收录默认显示的第一天。ECVA 从官方总目录按论文 URL 的会议与年份分组，当前总目录列有 ECCV 2018、2020、2022、2024。不存在于来源的 --venue、--year 或二者组合会报错，不补造双年会议届次，也不能因此推断旧届次未举办。

只访问论文索引与摘要 HTML/PHP 页面。作者优先取 citation 元数据，旧页面尊重声明编码；无 citation 作者时取索引中的作者行，排除论文集出版信息。DOI 只取该论文条目所属的 DOI 链接或 citation 字段；冲突会失败，不从摘要引用中抽取当前论文 ID。不请求 PDF、补充材料、视频或代码。

每份清单记录索引入口数、论文数、缺失摘要与作者数，缺失内容保留为空并标记 partial。存在未被标题条目解析的论文链接时会失败，防止静默漏项。逐来源的 discovery、index-status、last-run 文件分别保存发现目录、逐届结果和实际请求范围。可重复使用 --year 或 --venue 限定重试；其他届次状态会保留。官方开放目录之外的早期届次、尚未刊出的新届次和独立出版方历史数据仍需后续补齐，采集器完成不代表全历史覆盖已完成。

长期维护与更新

每次采集先核对来源、许可、可访问性、空闲空间和现有运行批次。保持低并发，遵守来源限流、重试与人机验证要求。
下载先写 .part，确认完整 HTTP 响应和 ZIP 目录，再记录 SHA-256 与时间后切换为正式文件。正式导入会读至 EOF，从而验证成员 CRC。
每次导入保留来源证据和批次，按会议/年份/track 报告覆盖状态。缺失摘要留空，不编造文本；缺失决定保留未知。
核验行数、唯一标识、外键、全文查询和 SQLite 完整性后，再将批次视为交付。样本通过不能证明全量正确。
数据库备份使用 SQLite backup API 或一致性快照，不能在写入过程中只复制 .sqlite 主文件而遗漏 WAL。按明确保留策略轮换备份，避免无上限积累。
不为每次数据更新生成新 Docker 镜像；不常驻下载器；不自动创建定时任务。本项目的更新任务应按需或经用户授权调度。
代码通过工作分支和 PR 交付；构建或 CI 只能使用用户确认的远程 runner，不在本机触发构建。

当前访问限制

2026-11-06 从目标服务器测试：Kaggle 元数据 GET 可下载；OpenReview 会议 group 接口可读，但 notes 接口返回 ChallengeRequiredError。拒稿记录导入尚受此限制，不能用录用名单替代全部投稿，也不能声称已覆盖全部拒稿。需通过平台支持的访问方式或有合法来源的公开数据导出继续补全。

已核验的采集文件计数：ICLR 2020–2026 主会 15,534 条、COLM 2024–2026 共 1,573 条，摘要均已取得；候选范围内的 PMLR 文件为 31,428 条，已剔除两份重复出版元数据。ACL Anthology 已选文件为 63,297 条，其中 15,147 条源记录缺摘要。这些是采集文件的来源记录数，不能相加当作去重论文数，也不能代替主库实时统计；实际入库量使用 query.py --stats 查看。

代码在 codex/metadata-index 工作分支交付，Draft PR #1 尚未合并，等待全量就绪后用户手动合并。各提交分别由远程 CI 验证，结果以对应提交的 Gitea Actions 检查为准。全量导入、其他会议适配器、去重复核和覆盖率核验继续进行，应随实际结果更新此说明。

22 KiB Raw Blame History Unescape Escape