Support native PostgreSQL metadata ingestion and provenance writes
Metadata integrity checks / metadata (push) Successful in 1m7s

This commit is contained in:
2026-11-07 15:38:42 +08:00
parent 426aa042a5
commit 6ea150690d
12 changed files with 438 additions and 72 deletions
+16 -3
View File
@@ -18,7 +18,7 @@ paper-atlas query --pg-service foundry-research --paper 123
CLI 自动还原迁移中的 NUL/SOH 文本转义,详情中的来源摘要和筛选参数保留原字符。直接 SQL 读取可能看到 `U+0001` 转义序列;跨项目 ETL 应按迁移元数据中的 `text_codec` 使用 `paper_atlas.postgres.text.encode/decode`。存储格式和无损哈希验收见[运行维护](operations.md#postgresql-迁移)。
迁移与切换见[运行维护](operations.md#postgresql-迁移)。下述 SQLite 导入命令仅用于未切换的索引或独立样本;切换后的生产源拒绝旧写入。尚未适配的覆盖审计可只读检查冻结备份,不能当作 PostgreSQL 当前状态。
迁移与切换见[运行维护](operations.md#postgresql-迁移)。`import records`、`import arxiv` 和 `maintain backfill` 均支持 `--pg-service` 和可选 `--pg-schema`;与 `--db` 二选一。SQLite 导入仅用于未切换的索引或独立样本。尚未适配 PostgreSQL 的维护、覆盖审计命令仍可只读检查冻结备份,不能当作主库的当前状态。
## 1. 下载固定快照
@@ -43,10 +43,23 @@ paper-atlas audit public-openreview --help
## 3. 串行导入
首次 arXiv 导入使用 `paper-atlas import arxiv --db ... --archive ...`。现有数据库合并已核验的会议文件使用:
PostgreSQL 主库逐文件导入已经核验的资料:
```sh
paper-atlas maintain merge --db /data/paper-index/papers.sqlite \
paper-atlas import records --pg-service foundry-research \
/data/paper-index/collected/selected-file.jsonl
paper-atlas maintain backfill --pg-service foundry-research \
--queue /data/paper-index/collected/audited-identity-queue.json
```
文件和 queue 须替换为实际核验通过的路径。会议导入按文件提交,失败时该文件的论文、标签和决定更改全部回滚,失败批次日志保留;重跑会按来源标识与决定证据去重。回填使用已有源记录,只合并经独立身份佐证的投稿,不重新导入文本。所有写入者须遵守同一数据库/schema 的会话锁;其他项目也应通过相同的写入接口更新共享论文和投稿。
未来需要导入新的 arXiv 元数据包时使用 `paper-atlas import arxiv --pg-service foundry-research --archive ... --storage-path ...`。每 500 行提交断点,恢复同一文件时保留已提交 ID 和标签证据;`--storage-path` 指定运行主机上要监测的文件系统,在数据库主机执行时应指向数据库卷。已完成的历史压缩包不需要重复导入。
SQLite 独立样本的首次 arXiv 导入使用 `paper-atlas import arxiv --db ... --archive ...`。SQLite 协调器仍适用于未切换的索引:
```sh
paper-atlas maintain merge --db /data/paper-index/samples/example.sqlite \
--archive /data/paper-index/raw/arxiv-metadata.zip \
/data/paper-index/collected/selected-file.jsonl
```