Merge pull request '按证据补充稳定标识并保留原始书目字段' (#26) from codex/identifier-curation into main
Metadata integrity checks / metadata (push) Successful in 1m15s
Metadata integrity checks / metadata (push) Successful in 1m15s
Reviewed-on: #26
This commit was merged in pull request #26.
This commit is contained in:
@@ -2,6 +2,55 @@
|
||||
|
||||
先在已确认的远程环境安装项目,使用 `paper-atlas`。从源码运行时,将命令前缀替换为 `python3 -B -m paper_atlas`,其余参数相同。数据目录位于仓库外。
|
||||
|
||||
## 按证据补充稳定标识
|
||||
|
||||
`paper-atlas curate identifiers --plan /data/review/plan.json --output /data/review/prepared`
|
||||
只生成新的 JSONL、manifest、证据副本及 `curation-report.json`,不会连接数据库。
|
||||
输出目录必须不存在,父目录必须已存在;任何输入或断言失败,都不发布本批输出。
|
||||
原始文件不变,未选中的记录逐字节保留。题名、作者、年份、页码、投稿决定、标签和既有 metadata
|
||||
均不重写,仅补充 `identifiers` 并追加 `metadata.identifier_curation` 证据链。
|
||||
|
||||
计划格式如下(哈希占位符须替换为真实 SHA256,所有路径按命令当前目录解析):
|
||||
|
||||
```json
|
||||
{
|
||||
"format_version": 1,
|
||||
"inputs": [{
|
||||
"file": "/data/review/uai2001.jsonl",
|
||||
"sha256": "<JSONL 文件 SHA256>",
|
||||
"manifest_sha256": "<同名 .manifest.json 文件 SHA256>"
|
||||
}],
|
||||
"assertions": [{
|
||||
"source": "dblp",
|
||||
"external_id": "conf/uai/example",
|
||||
"record_sha256": "<原始物理行字节 SHA256,包含该行原有换行符>",
|
||||
"identifiers": {"arxiv": "1408.1485"},
|
||||
"evidence": [{
|
||||
"file": "/data/review/primary-metadata.json",
|
||||
"sha256": "<证据 JSON 文件 SHA256>",
|
||||
"url": "https://example.org/primary-record",
|
||||
"checked_at": "2026-11-08T08:00:00Z",
|
||||
"note": "说明人工核对的题名、作者、出版版本和稳定标识证据"
|
||||
}]
|
||||
}]
|
||||
}
|
||||
```
|
||||
|
||||
输入 manifest 必须包含 `source/venue/year/track/count/list_url/file_sha256`,且与逐条记录一致。
|
||||
断言必须唯一、准确命中一条记录。仅支持无版本后缀的 arXiv 编号与小写规范 DOI;
|
||||
已有同类标识不允许覆盖,相同值可以补记证据。证据只接受不超过 16 MiB 的 JSON 元数据文件,
|
||||
来源 URL 要求 HTTPS 且不含凭据,核查时间必须带时区;不下载论文 PDF。
|
||||
|
||||
`verification_scope=input_and_evidence_integrity_only` 和 `semantic_identity_verified=false`
|
||||
明确表示哈希校验不能证明两条记录属于同一作品。请先独立核对版本关系;仅年份、页码或相同题名
|
||||
不能作为合并依据。存在来源冲突的行应继续暂缓。新 manifest 保留原来的 partial 状态及摘要缺失数,
|
||||
不会把补充编号伪装成来源覆盖或摘要补全。证据副本按 SHA256 保存在输出目录 `evidence/`,
|
||||
原计划也保存在 `plan.json`,供之后复查。
|
||||
|
||||
文件生成后仍需另做当前 PostgreSQL 身份、投稿和决定冲突预检;导入运行时必须包含
|
||||
“稳定标识优先、多个标题候选则整文件回滚”的身份保护,再以 `import records` 独立导入并验收。
|
||||
该命令不会自动导入或合并实体,也不代表最终全库去重通过。
|
||||
|
||||
## PostgreSQL 查询
|
||||
|
||||
在远程环境安装 `.[postgres]`,通过权限为 `0600` 的 libpq service 文件连接,不把密码放入 URL、命令行或仓库。
|
||||
|
||||
Reference in New Issue
Block a user