Files
paper-atlas/docs/usage.md
T
codex-bot 1c18cbe03a
Metadata integrity checks / metadata (push) Successful in 1m12s
Package Paper Atlas with organized modules and a unified CLI
2026-11-06 17:32:24 +08:00

2.6 KiB

使用指南

先在已确认的远程环境安装项目,使用 paper-atlas。从源码运行时,将命令前缀替换为 python3 -B -m paper_atlas,其余参数相同。数据目录位于仓库外。

1. 下载固定快照

paper-atlas download --help 说明大小、校验和与续传参数。各来源的固定版本与具体命令见数据源说明。下载成功只表示原始文件已核验。

2. 采集并核对清单

paper-atlas collect pmlr --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected
paper-atlas collect cvf --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected
paper-atlas collect ecva --cache /data/paper-index/raw/http-cache --out /data/paper-index/collected
paper-atlas catalogue dblp --help
paper-atlas audit iclr --help

采集输出 JSONL、manifest 和逐卷或逐年 catalogue。逐项检查 blocked、partial、缺失摘要及目标会议归属。DBLP 候选目录还需核验届次和 track,不能直接当作主会录用名单。

3. 串行导入

首次 arXiv 导入使用 paper-atlas import arxiv --db ... --archive ...。现有数据库合并已核验的会议文件使用:

paper-atlas maintain merge --db /data/paper-index/papers.sqlite \
  --archive /data/paper-index/raw/arxiv-metadata.zip \
  /data/paper-index/collected/selected-file.jsonl

上例的 selected-file 须换成实际通过核验的文件。协调器会维护本项目的 arXiv 断点、序列化写入并检查外键;已完成的 arXiv 批次不会重启。持久批次应作为一次性 systemd 任务运行,详见运行维护。

4. 查询与分析前检查

paper-atlas query --db /data/paper-index/papers.sqlite --query '"language model"' --limit 20
paper-atlas query --db /data/paper-index/papers.sqlite --tag arxiv:category=cs.AI
paper-atlas query --db /data/paper-index/papers.sqlite --venue ICLR --year 2025 --status rejected
paper-atlas query --db /data/paper-index/papers.sqlite --paper 123
paper-atlas coverage --db /data/paper-index/papers.sqlite --out /data/paper-index/collected/coverage.json

--status rejected 筛选某次投稿的最新已知决定。它并不表示论文在所有会议均未录用;分析转投情况时查看该论文的完整投稿历史。年份表示会议届次,观察时间和决定日期分别保留。

--stats 中 papers 是当前规则下的论文实体数;source_records 是来源记录数;decisions 是决定观察数。一个投稿可能有多个来源和多条观察,不能相加当作论文数。