Compare commits
4 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| 7e63035570 | |||
| 44f4146f3e | |||
| b0bd9b69dc | |||
| 09a2d4ed20 |
@@ -66,6 +66,13 @@ jobs:
|
|||||||
assert hashlib.sha256(row['abstract'].encode()).hexdigest() == gold['abstract_sha256']
|
assert hashlib.sha256(row['abstract'].encode()).hexdigest() == gold['abstract_sha256']
|
||||||
assert [c['source_pointer'] for c in row['contexts']] == gold['locations']
|
assert [c['source_pointer'] for c in row['contexts']] == gold['locations']
|
||||||
assert not row['approved_for_import'] and not row['final_decision_verified'] and 'emails' not in row
|
assert not row['approved_for_import'] and not row['final_decision_verified'] and 'emails' not in row
|
||||||
|
if service_file.is_file():
|
||||||
|
subprocess.run([python,'-I','-B','-m','paper_atlas','audit','source-identities','--mm-program-report',str(root/'installed-mm2026/collection-report.json'),'--pg-service','foundry-research','--pg-schema','research','--out',str(root/'installed-mm2026-preflight')],cwd=outside,env=testenv,check=True)
|
||||||
|
mm_preflight = json.loads((root/'installed-mm2026-preflight/postgresql-preflight.json').read_text())
|
||||||
|
assert mm_preflight['records'] == 2143 and len(mm_preflight['inputs']) == 28
|
||||||
|
assert mm_preflight['transaction_read_only'] and not mm_preflight['database_written'] and mm_preflight['approved_for_import'] == 0
|
||||||
|
assert sum(len(r['program_contexts']) for r in mm_preflight['entries']) == 4326
|
||||||
|
assert all(r['status'] == 'unknown' and not r['identifiers'] and not r['contribution_type_verified'] and not r['publication_identity_verified'] and not r['final_decision_verified'] for r in mm_preflight['entries'])
|
||||||
subprocess.run([str(venv/'bin/paper-atlas'),'--help'],cwd=outside,check=True)
|
subprocess.run([str(venv/'bin/paper-atlas'),'--help'],cwd=outside,check=True)
|
||||||
subprocess.run([python,'-I','-B','-m','paper_atlas','collect','cvf','--help'],cwd=outside,check=True)
|
subprocess.run([python,'-I','-B','-m','paper_atlas','collect','cvf','--help'],cwd=outside,check=True)
|
||||||
subprocess.run([python,'-I','-B','-m','paper_atlas','collect','rss2026-proceedings','--help'],cwd=outside,check=True)
|
subprocess.run([python,'-I','-B','-m','paper_atlas','collect','rss2026-proceedings','--help'],cwd=outside,check=True)
|
||||||
|
|||||||
@@ -1,6 +1,6 @@
|
|||||||
# 会议覆盖与公开决定核查
|
# 会议覆盖与公开决定核查
|
||||||
|
|
||||||
最新生产进展和剩余工作见 [2026-11-17 补漏状态](backfill-status-2026-11-17.md):固定 278 个会议年份槽位中,270 个有记录、8 个仍为空;这不代表完整覆盖,第 14 步仍未完成。
|
最新生产验收与剩余工作见 [2026-11-17 补漏状态](backfill-status-2026-11-17.md):当日 `14:06:28 UTC` 固定范围快照中,278 个会议年份槽位有 272 个含记录、6 个仍为空;这不代表完整覆盖,第 14 步仍未完成。后续 MM 规范化、只读候选审计与出版核查不等于生产导入。
|
||||||
|
|
||||||
**当前工作范围:2020 年起主动补漏。** 2000 年起已发现资料保留,恢复工作从 [补漏范围与恢复清单(2026-11-10)](backfill-handoff-2026-11-10.md) 开始;下文旧日期快照不改写,较早年份排除不算补齐。
|
**当前工作范围:2020 年起主动补漏。** 2000 年起已发现资料保留,恢复工作从 [补漏范围与恢复清单(2026-11-10)](backfill-handoff-2026-11-10.md) 开始;下文旧日期快照不改写,较早年份排除不算补齐。
|
||||||
|
|
||||||
@@ -72,7 +72,7 @@ PGSERVICEFILE=/etc/paper-atlas/pg_service.conf paper-atlas coverage \
|
|||||||
|
|
||||||
## 优先缺口
|
## 优先缺口
|
||||||
|
|
||||||
- **UAI 2024–2026**:官方均允许作者选择公开拒稿,当前主库拒稿仍为零。原 notes 接口要求 Challenge 验证,公开镜像尚无已核验来源,必须保留这个真实缺口;不能根据 PMLR 录用名单推断拒稿。参见 [2025 投稿指南](https://www.auai.org/uai2025/submission_instructions)、JSON 内其他年份官方证据。
|
- **UAI 2024–2026**:官方均允许作者选择公开拒稿,首份生产快照拒稿为零。原 notes 接口要求 Challenge 验证;新核验镜像的 2022–2025 年 902 个论坛来自录用子集,不能填补公开拒稿缺口。2024 年的元评审也不能直接转成最终决定,见 [2026-11-17 原始来源与回复结构核查](uai-public-negative-source-status-2026-11-17.md)。不能根据 PMLR 或镜像录用名单反推拒稿;政策参见 [2025 投稿指南](https://www.auai.org/uai2025/submission_instructions)、JSON 内其他年份官方证据。
|
||||||
- **EMNLP 2023**:官方允许公开 opt-in 拒稿,目前只导入 9 条。需继续核验实际公开全集。ARR 评审、conference commitment 与最终会议决定分开;[ARR 作者说明](https://aclrollingreview.org/authors) 明确其自愿捐赠数据与 EMNLP 2023 直接投稿发布的范围不同。
|
- **EMNLP 2023**:官方允许公开 opt-in 拒稿,目前只导入 9 条。需继续核验实际公开全集。ARR 评审、conference commitment 与最终会议决定分开;[ARR 作者说明](https://aclrollingreview.org/authors) 明确其自愿捐赠数据与 EMNLP 2023 直接投稿发布的范围不同。
|
||||||
- **ICLR**:固定快照已观察 2017 与 2020–2026;快照之后,2013/2018/2019 的 1,654 条来源记录已完成独立 PostgreSQL 验收(报告时间 `2026-11-07T19:52:28.378Z`),不回写旧快照计数,也不据此宣称逐届全集已齐。快照中的 10,208 次 unknown 不等于 rejected,近期补采与冲突核对仍在进行;评审推荐不能当最终决定。
|
- **ICLR**:固定快照已观察 2017 与 2020–2026;快照之后,2013/2018/2019 的 1,654 条来源记录已完成独立 PostgreSQL 验收(报告时间 `2026-11-07T19:52:28.378Z`),不回写旧快照计数,也不据此宣称逐届全集已齐。快照中的 10,208 次 unknown 不等于 rejected,近期补采与冲突核对仍在进行;评审推荐不能当最终决定。
|
||||||
- **MM / MLSys**:MM 11,200 条书目记录保留 `proceedings_unspecified`;MLSys 的 448 次官方投稿与 313 条 DBLP 记录重叠。2026 MLSys 的研究/工业轨道在 [官方 CFP](https://mlsys.org/Conferences/2026/CallForResearchPapers) 中分开,仍须核对逐篇轨道证据,不能仅凭会议名全部归 main。
|
- **MM / MLSys**:MM 11,200 条书目记录保留 `proceedings_unspecified`;MLSys 的 448 次官方投稿与 313 条 DBLP 记录重叠。2026 MLSys 的研究/工业轨道在 [官方 CFP](https://mlsys.org/Conferences/2026/CallForResearchPapers) 中分开,仍须核对逐篇轨道证据,不能仅凭会议名全部归 main。
|
||||||
|
|||||||
@@ -33,7 +33,7 @@ SDM 新增事件使 SeBA 和 AdamG 同时保有较早 ICLR 拒稿与后来 SDM
|
|||||||
| ECCV | 2,834 个不同初步节目 ID 及公开摘要已独立采集;1,997 个只读候选历史证据包已保存,尚未入库 | 初步日程不等于 Springer 最终论文集;继续作品/版本和出版核查。见 [来源状态](../eccv2026-source-status.md) |
|
| ECCV | 2,834 个不同初步节目 ID 及公开摘要已独立采集;1,997 个只读候选历史证据包已保存,尚未入库 | 初步日程不等于 Springer 最终论文集;继续作品/版本和出版核查。见 [来源状态](../eccv2026-source-status.md) |
|
||||||
| ICDM | 324 项线下节目观察,明确研究241/应用83;演讲长168/短156,摘要均缺失;规范化和80个候选历史包已核验 | 展示长短不能当成论文类型;需审查作品与正式出版版本,尚未导入主库。见 [采集器说明](../icdm2026-program.md) |
|
| ICDM | 324 项线下节目观察,明确研究241/应用83;演讲长168/短156,摘要均缺失;规范化和80个候选历史包已核验 | 展示长短不能当成论文类型;需审查作品与正式出版版本,尚未导入主库。见 [采集器说明](../icdm2026-program.md) |
|
||||||
| ISMIR | 140 项节目和正式名单均已核验,140份摘要,101组自愿公开评审;两处标题、三处作者名单差异保留,78个候选历史包已核验 | 数字 miniconf ID 不是原始 OpenReview ID;评审意见不转成最终拒稿。继续作品身份/历史关联,尚未入库。采集器见 [PR #63](https://gitea.entroia.com/Zayden-Jung/paper-atlas/pulls/63) |
|
| ISMIR | 140 项节目和正式名单均已核验,140份摘要,101组自愿公开评审;两处标题、三处作者名单差异保留,78个候选历史包已核验 | 数字 miniconf ID 不是原始 OpenReview ID;评审意见不转成最终拒稿。继续作品身份/历史关联,尚未入库。采集器见 [PR #63](https://gitea.entroia.com/Zayden-Jung/paper-atlas/pulls/63) |
|
||||||
| MM | 官方10.8MB日程JSON已冻结,4,326次观察对应2,143个节目ID、28个来源track;重复展示核心字段一致,216个ID缺摘要,其中两项主轨同时缺作者 | 不是2,143篇已核验科研论文。先区分各轨贡献与活动、保留全部上下文并单列缺失;尚未规范化/入库。见 [来源与访问证据](../mm2026-source-status.md) |
|
| MM | 全28轨2143个节目ID/4326展示位置已规范化;814个只读候选历史证据包已核验,24篇候选涉及24次负面投稿/37条来源观察;67项原始arXiv DOI中66项注册元数据一致、1项404暂缓 | 不是2143篇已核验科研论文。继续逐轨贡献/出版依据与作品审查,0身份批准、0入库。ISBN查询与父XML均只返回父记录,不作逐篇清单。见 [来源、审计与恢复证据](../mm2026-source-status.md) |
|
||||||
| CIKM | 官方录用/日程入口与五个分轨页面已保存;五个分轨链接实际是CFP/政策,不是逐篇录用名单 | 查找实际节目或出版社完整目录;TBD和没有静态表不能当作没有论文 |
|
| CIKM | 官方录用/日程入口与五个分轨页面已保存;五个分轨链接实际是CFP/政策,不是逐篇录用名单 | 查找实际节目或出版社完整目录;TBD和没有静态表不能当作没有论文 |
|
||||||
| IROS | 官方论文索引入口的原始HTTP403已保存 | 保留访问限制,不重试绕过;寻找可合法读取、能独立核验的出版元数据 |
|
| IROS | 官方论文索引入口的原始HTTP403已保存 | 保留访问限制,不重试绕过;寻找可合法读取、能独立核验的出版元数据 |
|
||||||
|
|
||||||
@@ -43,6 +43,8 @@ SDM 新增事件使 SeBA 和 AdamG 同时保有较早 ICLR 拒稿与后来 SDM
|
|||||||
|
|
||||||
MM 官方群组元数据可匿名读取,但根据其给出的 submission invitation 和 rejected/withdrawn/desk-rejected venue ID,四次限1条的匿名 notes 核查均为403。查询、时间、原文和哈希已保留,没有认证重试或绕过权限。访问限制不等于零条负面记录;详见 [MM来源证据](../mm2026-source-status.md)。ISMIR公开的101组评审来自录用节目,不能记成101条拒稿。
|
MM 官方群组元数据可匿名读取,但根据其给出的 submission invitation 和 rejected/withdrawn/desk-rejected venue ID,四次限1条的匿名 notes 核查均为403。查询、时间、原文和哈希已保留,没有认证重试或绕过权限。访问限制不等于零条负面记录;详见 [MM来源证据](../mm2026-source-status.md)。ISMIR公开的101组评审来自录用节目,不能记成101条拒稿。
|
||||||
|
|
||||||
|
UAI新增固定镜像已核对2022–2025的902个原始论坛及3053个回复的元数据/字段结构。整理版均标录用,2022保存230条明确Accept决定;2024仅有评审、作者回复、元评审,2023/2025未保存回复,不能据此补拒稿。来源限制和恢复见 [逐年原始核查](uai-public-negative-source-status-2026-11-17.md)。这不是UAI没有公开拒稿的结论,缺口保持未补齐。
|
||||||
|
|
||||||
第14步仍需逐会议、年份、track完成公开拒稿/desk-reject/withdrawn来源核查和可得数据采集;继续核查UAI近年自愿公开范围、EMNLP实际覆盖范围及其余已列明缺口。不能从未见录用、评分、评审推荐、缺少摘要或接口不可访问制造负面决定。
|
第14步仍需逐会议、年份、track完成公开拒稿/desk-reject/withdrawn来源核查和可得数据采集;继续核查UAI近年自愿公开范围、EMNLP实际覆盖范围及其余已列明缺口。不能从未见录用、评分、评审推荐、缺少摘要或接口不可访问制造负面决定。
|
||||||
|
|
||||||
之后仍需完成跨会作品/历次投稿与类型标签关联(第15步),所有导入结束后的独立全库去重、标识冲突、近似标题作者、摘要/约束/查询及覆盖审计(第16步),以及长期运行与恢复文档最终整理(第17步)。阶段性来源入库、测试通过、某年度有记录均不能替代这些验收。
|
之后仍需完成跨会作品/历次投稿与类型标签关联(第15步),所有导入结束后的独立全库去重、标识冲突、近似标题作者、摘要/约束/查询及覆盖审计(第16步),以及长期运行与恢复文档最终整理(第17步)。阶段性来源入库、测试通过、某年度有记录均不能替代这些验收。
|
||||||
|
|||||||
@@ -0,0 +1,51 @@
|
|||||||
|
# UAI 公开负面决定来源:2026-11-17 核查
|
||||||
|
|
||||||
|
**公开拒稿缺口仍未补齐,总体仍为 13/17。** 本页保存新来源的实际范围与恢复线索,避免下次把录用子集误当作全部投稿。主动补漏范围仍从2020年开始;本次镜像只含2022–2025,不能替代其他年份或其他会议的核查。
|
||||||
|
|
||||||
|
## 政策与访问边界
|
||||||
|
|
||||||
|
已有逐年核查记录保存在 [覆盖清单](inventory-2026-11-08.json) 的 UAI `policy_checks`:2023–2026 官方说明允许决定后公开录用及作者选择公开的拒稿,默认私密拒稿不属于公开可采集范围。政策并不证明任何镜像完整。
|
||||||
|
|
||||||
|
- [2023 投稿说明](https://www.auai.org/uai2023/submission_instructions)
|
||||||
|
- [2024 投稿说明](https://auai.org/uai2024/submission_instructions)
|
||||||
|
- [2025 投稿说明](https://www.auai.org/uai2025/submission_instructions)
|
||||||
|
- [2026 投稿说明](https://www.auai.org/uai2026/submission_instructions)
|
||||||
|
|
||||||
|
先前匿名 notes 请求遇到 ChallengeRequiredError/403,仍作为访问限制保留。本轮没有认证、重试或绕过这些入口;读取的是整理者公开发布的固定版本镜像。复制的 `readers`、`signatures` 和邀请字段仍只是镜像内的来源断言,不是对当前原始接口可见性或签名真实性的验证。
|
||||||
|
|
||||||
|
## 实际镜像范围
|
||||||
|
|
||||||
|
来源:[latkes/ai-research-index-iclr-openreview](https://huggingface.co/datasets/latkes/ai-research-index-iclr-openreview/tree/4c9e09931a7814d7500630ffd064b74f1c01bcf3),固定提交 `4c9e09931a7814d7500630ffd064b74f1c01bcf3`。目录中存在 `papers/uai-YYYY/papers.jsonl` 与四个 `raw/uaiYYYY.jsonl`,不能仅凭数据集说明宣称拒稿覆盖。
|
||||||
|
|
||||||
|
| 年份 | 整理版及原始论坛数 | 原始回复对象 | 实际回复角色 | 标准结构化决定字段 |
|
||||||
|
| --- | ---: | ---: | --- | --- |
|
||||||
|
| 2022 | 230 | 1059 | Official_Review 829,Decision 230 | Accept (Poster) 194,Accept (Oral) 36 |
|
||||||
|
| 2023 | 243 | 0 | 没有保存回复 | 没有保存决定记录 |
|
||||||
|
| 2024 | 200 | 1994 | Official_Review 905,Rebuttal 889,Meta_Review 200 | 没有单独 Decision 记录或结构化 decision 字段 |
|
||||||
|
| 2025 | 229 | 0 | 没有保存回复 | 没有保存决定记录 |
|
||||||
|
|
||||||
|
整理版902条均被整理者标为 `accepted=true`;原始根记录的 `venue` 为相应会议名称或 oral/poster/spotlight 文本,不能替代逐次决定证据,更不能算作902条已认证的原始录用决定。这不是四届全部投稿或全部录用的完整性证明。2024年还有 `Edit` 邀请,属于同一批回复上的另一个邀请,不能再累加成1994个新回复。
|
||||||
|
|
||||||
|
为排除字段漏读,对含回复的2022、2024快照另做了全部3053个回复的字段名、包装结构、邀请角色和短决定类字段核查;重新读取的正文哈希与首次捕获完全一致。2022的230条明确字段是录用标签。2024仅保存评审、作者回复和元评审,没有可据此新增的结构化拒稿/撤稿决定。没有从元评审文本、评分、推荐或缺少录用推断负面决定,也没有保存评审正文、作者回复正文或论文全文。
|
||||||
|
|
||||||
|
**这只描述上述固定镜像子集,不证明UAI没有公开拒稿。** 本批没有生成负面决定导入队列,也未写数据库。2020、2021、2026及其他可用来源仍需分别核查;某文件未出现在这个镜像目录中不代表全网不存在。
|
||||||
|
|
||||||
|
## 产物与恢复
|
||||||
|
|
||||||
|
服务器目录均相对 `/data/paper-index/collected/`:
|
||||||
|
|
||||||
|
- `uai2022-2025-mirror-metadata-v1`:902条整理版元数据投影、字段盘点与标签计数。
|
||||||
|
- `uai2022-2025-raw-decisions-v1`:902个原始论坛的元数据、明确决定字段及来源正文/逐行哈希。
|
||||||
|
- `uai2022-2024-reply-schema-v2`:3053个回复的元数据、字段名与短标签;评审正文不保存。角色核查包含直接记录和 `note` 包装,未发生静默遗漏。
|
||||||
|
|
||||||
|
源响应正文仅在内存中读取、校验,保存元数据投影与固定来源URL/字节哈希;不是保留了含评审文本的完整原始快照。复核原始源字节时应使用固定提交,并区分投影文件哈希与源正文哈希。恢复包已在本机独立核验全部902个论坛、3053个回复的元数据结构、逐文件哈希及来源关联。
|
||||||
|
|
||||||
|
| 恢复证据 | SHA256 |
|
||||||
|
| --- | --- |
|
||||||
|
| 整理版元数据恢复包 | 55889fb2b9005260cef1001b2cf36e203f3b7e1deeec0291f058b52eeae880e7 |
|
||||||
|
| 原始元数据/回复结构恢复包 | caade7df899dd3e65572d06e2bf2326fad692cc5e1c1e4ab002fdc6d7823743f |
|
||||||
|
| 原始结构独立核验报告 | 5f0ef2948d0db68fe0cd89eb4c8b57a1088b94b53bed98f180d2b96629746e72 |
|
||||||
|
|
||||||
|
服务器恢复包分别为 `/data/paper-index/validation/uai2022-2025-mirror-metadata-recovery-v1.tar.gz` 与 `uai2022-2025-raw-reply-recovery-v1.tar.gz`。本地同名备份位于 `/Users/zzyang/Documents/Codex/2026-11-06/paper-index/`。先检查实际单元、完整manifest和哈希,再恢复;不要因进度文件旧状态或日志安静重跑。
|
||||||
|
|
||||||
|
后续继续寻找能明确覆盖作者公开拒稿选择的来源,保留每次投稿及决定原文标签、原始ID与镜像关系,核对跨来源重叠和后续录用。UAI缺口不关闭,全部43个目标的逐年公开负面决定核查也不缩减;最终全库去重仍为独立必做阶段。
|
||||||
@@ -90,3 +90,50 @@ paper-atlas collect mm2026-program \
|
|||||||
这些文件的格式为 `mm_program_observation_v1_not_ingestion_record`,所有项 `approved_for_import=false`。节目ID仅为 `mm_program:program_id` 来源定位符,track标签使用 `mm_program:track`;不建立科学作品、原始投稿ID或最终决定,不推断 DOI/arXiv/OpenReview 标识、论文类型、拒稿或撤稿。行业报告、艺术、workshop及其他来源贡献均保留,尚需逐轨核对贡献类型与正式出版依据。
|
这些文件的格式为 `mm_program_observation_v1_not_ingestion_record`,所有项 `approved_for_import=false`。节目ID仅为 `mm_program:program_id` 来源定位符,track标签使用 `mm_program:track`;不建立科学作品、原始投稿ID或最终决定,不推断 DOI/arXiv/OpenReview 标识、论文类型、拒稿或撤稿。行业报告、艺术、workshop及其他来源贡献均保留,尚需逐轨核对贡献类型与正式出版依据。
|
||||||
|
|
||||||
本批尚未形成生产导入队列。后续做贡献类型、作品/出版身份及既往投稿审查,再生成经批准的增量队列。已消费的其他会议导入队列不可重放;最终全库去重和完整审计仍为独立必做阶段。
|
本批尚未形成生产导入队列。后续做贡献类型、作品/出版身份及既往投稿审查,再生成经批准的增量队列。已消费的其他会议导入队列不可重放;最终全库去重和完整审计仍为独立必做阶段。
|
||||||
|
|
||||||
|
## 直接审计节目身份与既往历史
|
||||||
|
|
||||||
|
全量节目观察可以直接进入只读候选审计,无需伪造成录用论文队列:
|
||||||
|
|
||||||
|
```sh
|
||||||
|
PGSERVICEFILE=/etc/paper-atlas/pg_service.conf \
|
||||||
|
paper-atlas audit source-identities \
|
||||||
|
--mm-program-report /data/paper-index/collected/mm2026-native-v1/collection-report.json \
|
||||||
|
--pg-service foundry-research --pg-schema research \
|
||||||
|
--out /data/paper-index/collected/mm2026-preflight-v1
|
||||||
|
```
|
||||||
|
|
||||||
|
`--mm-program-report` 与常规 `--files` 互斥。审计先核对冻结原文、全部28轨的逐文件哈希/数量,以及每个节目ID的完整字段和展示上下文;缺轨、重复ID、篡改后的标识/决定或上下文均在数据库连接前拒绝。报告中记录的绝对文件路径仅作来源证据,实际读取报告同目录中的对应文件。
|
||||||
|
|
||||||
|
候选审计中的 `status=unknown` 仅为内部查询占位符,不代表原始提交的最终状态。节目ID以 `mm_program` 来源键查询,不转成全局 DOI、arXiv 或 OpenReview 标识;保留原始 `listed_in_official_program` 观察与全部展示位置。所有贡献类型、出版身份、最终决定核验标志均为false;缺作者的两项也保留并标记。
|
||||||
|
|
||||||
|
查询使用 PostgreSQL 只读一致性快照,候选作品的原始来源、标识、历次投稿和逐次决定压缩保存并记录哈希;截断会显式标记。标题/作者候选匹配不是作品身份批准,没有匹配也不证明是新论文。既往拒稿和后续录用不能互相覆盖,评分或评审推荐不能充当最终决定。输出目录必须不存在;遇到已有输出或静默运行,先检查具体单元和报告,不重启重放。
|
||||||
|
|
||||||
|
## 已完成的规范化、只读审计与出版核对
|
||||||
|
|
||||||
|
采集器提交 `c8db611` 和直接节目审计提交 `09a2d4e` 已通过PR #65、#66由用户合并。授权远程runner的535/543项测试、wheel构建安装和安装后全量命令检查通过;没有本机测试或构建。服务器规范化和只读候选报告也已独立验收,并在本机备份、复核全部2143项与814个候选证据包。
|
||||||
|
|
||||||
|
| 只读候选分类 | 来源节目项数 |
|
||||||
|
| --- | ---: |
|
||||||
|
| 标题与完整作者多重集合一致,仍需作品核查 | 660 |
|
||||||
|
| 仅部分作者重叠 | 153 |
|
||||||
|
| 无精确标题候选,不证明是新作品 | 1329 |
|
||||||
|
| 有标题候选但无作者一致性 | 1 |
|
||||||
|
|
||||||
|
全部4326个展示上下文一致,814个证据包均无截断。24篇候选作品涉及24次已有负面投稿、37条负面来源观察;37不能直接算作37次拒稿。所有候选均尚未批准身份或入库,旧负面决定必须在之后关联时保留。
|
||||||
|
|
||||||
|
对已有作品的原始arXiv记录、标题/完整作者多重集合和MM2026语境进一步筛查,得到67个 Main Track 出版DOI核对候选。独立查询其明确给出的DOI及父论文集,共68次单次请求,67次HTTP200、1次404,没有认证或重试。父注册记录为[第34届ACM Multimedia论文集](https://doi.org/10.1145/3767308),ISBN `9798400722134`,出版者ACM,出版年2026。
|
||||||
|
|
||||||
|
其中66项的原始arXiv引用DOI与注册DOI一致,按既有审计规则规范化的标题、完整作者多重集合、出版年、出版者、明确会议名和论文集标题也一致。注册文章未提供ISBN,不能伪称逐篇ISBN已核验;归属依据是文章明确给出的会议和论文集字段,以及独立的原始arXiv语境和DOI。仍需逐项作品/版本审查及新鲜数据库保护检查,**不是66项已入库或最终身份批准**。
|
||||||
|
|
||||||
|
`mfp7067` 对应既有候选作品2749947,原始arXiv提供的 `10.1145/3767308.3836169` 返回404,暂缓。404不是撤稿/拒稿证据,也不据此删除或修正既有标识;需独立核对后再处理。
|
||||||
|
|
||||||
|
完整会议出版名单仍需继续核对。实际ISBN查询只返回父论文集一个条目,父DOI的公开Unixref XML也只含该父DOI、0个 `conference_paper` 节点;都不能代表逐篇名单。按会议名检索得到的 `total-results` 是出版者全年范围内的宽泛检索量,不能当作MM篇数;必须逐项核对明确会议/论文集字段、节目与分轨归属,并保留未匹配项。全部28个来源track继续保留,不能把本批Main Track候选当成会议完整覆盖。
|
||||||
|
|
||||||
|
| 已独立验证的恢复证据 | SHA256 |
|
||||||
|
| --- | --- |
|
||||||
|
| 全轨规范化恢复包 | b119081618b8ce98037dc139be159512f9fdb86a0ccfb127c8b8a1c5722f3d87 |
|
||||||
|
| 只读候选/814证据包恢复包 | 42d0d0404bba04e64e638344b050ad4e7287c3e4c75a777b7069ecc7d7a6ed60 |
|
||||||
|
| 67项DOI及父论文集原始注册回执恢复包 | dd7a0ff76f12070f403cc7352ac54269e454758d807896a086c58c1c1ac7b798 |
|
||||||
|
|
||||||
|
服务器恢复包位于 `/data/paper-index/validation/`,分别名为 `mm2026-native-recovery-v1.tar.gz`、`mm2026-preflight-recovery-v1.tar.gz`、`mm2026-publication-metadata-recovery-v1.tar.gz`;本地同名备份在 `/Users/zzyang/Documents/Codex/2026-11-06/paper-index/`。来源目录为 `collected/mm2026-native-v1`、`mm2026-preflight-v1`、`mm2026-publication-metadata-v1`。先核对完整manifest及实际单元结果,不能用旧进度文件的running字样重启。其他会议已消费的导入队列仍禁止重放;本轮均为来源核查、只读候选审计,没有生产写入。
|
||||||
|
|||||||
@@ -74,6 +74,74 @@ def load_inputs(files):
|
|||||||
return records, inputs
|
return records, inputs
|
||||||
|
|
||||||
|
|
||||||
|
def load_mm_program_inputs(report_path):
|
||||||
|
"""Read every MM observation without turning a program into import records.
|
||||||
|
|
||||||
|
Reconcile the complete output against its frozen raw source before any DB
|
||||||
|
connection. The synthetic unknown status is an audit placeholder only.
|
||||||
|
"""
|
||||||
|
from paper_atlas.collectors import mm2026
|
||||||
|
|
||||||
|
report_path = Path(report_path).absolute()
|
||||||
|
raw_report = mm2026.safe_read(report_path, 256*1024)
|
||||||
|
report = json.loads(raw_report)
|
||||||
|
if (report.get('source') != 'mm_program' or report.get('records') != 2143
|
||||||
|
or report.get('program_observations') != 4326 or len(report.get('files', [])) != 28
|
||||||
|
or report.get('source_body_sha256') != mm2026.BODY_SHA
|
||||||
|
or report.get('source_manifest_sha256') != mm2026.MANIFEST_SHA
|
||||||
|
or report.get('database_written') is not False or report.get('approved_for_import') != 0):
|
||||||
|
raise ValueError('Unreviewed MM observation report')
|
||||||
|
root = report_path.parent
|
||||||
|
raw_source = mm2026.safe_read(root/'evidence/program-data.json', 12*1024**2)
|
||||||
|
raw_receipts = mm2026.safe_read(root/'evidence/manifest.json', 128*1024)
|
||||||
|
if digest(raw_source) != mm2026.BODY_SHA or digest(raw_receipts) != mm2026.MANIFEST_SHA:
|
||||||
|
raise ValueError('MM raw evidence changed')
|
||||||
|
expected_rows, _ = mm2026.parse_program(raw_source)
|
||||||
|
expected = {r['paper_id']:r for r in expected_rows}
|
||||||
|
records, inputs, seen, tracks = [], [], set(), set()
|
||||||
|
for item in report['files']:
|
||||||
|
track = item.get('track_literal')
|
||||||
|
if (track not in mm2026.TRACK_COUNTS or track in tracks
|
||||||
|
or item.get('format') != 'mm_program_observation_v1_not_ingestion_record'
|
||||||
|
or item.get('approved_for_import') != 0):
|
||||||
|
raise ValueError('Duplicate or unreviewed MM track format')
|
||||||
|
tracks.add(track)
|
||||||
|
# Stored absolute paths are provenance, not instructions to read elsewhere.
|
||||||
|
path = root/Path(item['file']).name
|
||||||
|
if path.suffix != '.jsonl':
|
||||||
|
raise ValueError('Invalid MM observation filename')
|
||||||
|
raw = mm2026.safe_read(path, 16*1024**2)
|
||||||
|
lines = raw.splitlines(keepends=True)
|
||||||
|
if digest(raw) != item.get('file_sha256') or len(lines) != item.get('count') or len(lines) != mm2026.TRACK_COUNTS[track]:
|
||||||
|
raise ValueError('MM observation file count/hash mismatch')
|
||||||
|
for number,line in enumerate(lines, 1):
|
||||||
|
row = json.loads(line)
|
||||||
|
pid = row.get('paper_id')
|
||||||
|
if not isinstance(pid,str) or pid in seen or row != expected.get(pid) or row['track'] != track:
|
||||||
|
raise ValueError('MM observation differs from frozen source or repeats an ID')
|
||||||
|
seen.add(pid)
|
||||||
|
records.append({'source':'mm_program','external_id':'2026/'+pid,
|
||||||
|
'title':row['title'],'authors':row['authors'],'venue':'MM','year':2026,'track':track,
|
||||||
|
'status':'unknown','identifiers':{},'file':str(path),'line':number,
|
||||||
|
'raw_line_sha256':digest(line),'source_record_hits':[],
|
||||||
|
'identifier_hits':[],'title_candidate_ids':[],
|
||||||
|
'input_format':'mm_program_observation_v1_not_ingestion_record',
|
||||||
|
'program_id':pid,'program_contexts':row['contexts'],
|
||||||
|
'source_observed_status':row['observed_status'],
|
||||||
|
'missing_source_fields':row['missing_fields'],
|
||||||
|
'publication_identity_verified':False,'final_decision_verified':False,
|
||||||
|
'contribution_type_verified':False})
|
||||||
|
inputs.append({'file':str(path),'file_sha256':digest(raw),'count':len(lines),
|
||||||
|
'manifest_sha256':digest(raw_report),'manifest':{
|
||||||
|
'source':'mm_program','venue':'MM','year':2026,'track':track,'status':'unknown',
|
||||||
|
'format':'mm_program_observation_v1_not_ingestion_record',
|
||||||
|
'scope':'Read-only lookup input only; unknown is not a source decision.',
|
||||||
|
'source_report':str(report_path),'source_body_sha256':digest(raw_source)}})
|
||||||
|
if seen != expected.keys() or tracks != mm2026.TRACK_COUNTS.keys():
|
||||||
|
raise ValueError('Incomplete MM observation input; all28tracks required')
|
||||||
|
return records, inputs
|
||||||
|
|
||||||
|
|
||||||
def _lookup(connection, values, columns, lateral):
|
def _lookup(connection, values, columns, lateral):
|
||||||
"""Bound scalar VALUES allow the existing text codec to encode each key."""
|
"""Bound scalar VALUES allow the existing text codec to encode each key."""
|
||||||
width = len(columns)
|
width = len(columns)
|
||||||
@@ -187,9 +255,11 @@ def _atomic_json(path, value):
|
|||||||
temporary.replace(path)
|
temporary.replace(path)
|
||||||
|
|
||||||
|
|
||||||
def audit(files, out, *, pg_service, pg_schema):
|
def audit(files, out, *, pg_service, pg_schema, mm_program_report=None):
|
||||||
# Reject input corruption before opening a database connection or reserving output.
|
# Reject input corruption before opening a database connection or reserving output.
|
||||||
records, inputs = load_inputs(files)
|
if bool(files) == bool(mm_program_report):
|
||||||
|
raise ValueError('Choose source files or one MM program report')
|
||||||
|
records, inputs = load_mm_program_inputs(mm_program_report) if mm_program_report else load_inputs(files)
|
||||||
out = Path(out)
|
out = Path(out)
|
||||||
out.mkdir(parents=True, exist_ok=False)
|
out.mkdir(parents=True, exist_ok=False)
|
||||||
(out / 'audit.lock').write_text(timestamp() + '\n')
|
(out / 'audit.lock').write_text(timestamp() + '\n')
|
||||||
@@ -229,6 +299,7 @@ def audit(files, out, *, pg_service, pg_schema):
|
|||||||
'Name agreement does not prove person or scientific-work identity.',
|
'Name agreement does not prove person or scientific-work identity.',
|
||||||
'Bound identifiers can be incorrect; review titles, authors and original evidence.',
|
'Bound identifiers can be incorrect; review titles, authors and original evidence.',
|
||||||
'Source/history limits are explicit in compressed entity packets.',
|
'Source/history limits are explicit in compressed entity packets.',
|
||||||
|
'Program observations and unknown audit status do not establish contribution type, publication or a final decision.',
|
||||||
'Not a final whole-database deduplication or coverage audit.']}
|
'Not a final whole-database deduplication or coverage audit.']}
|
||||||
_atomic_json(out / 'postgresql-preflight.json', report)
|
_atomic_json(out / 'postgresql-preflight.json', report)
|
||||||
return report
|
return report
|
||||||
@@ -243,10 +314,14 @@ def audit(files, out, *, pg_service, pg_schema):
|
|||||||
|
|
||||||
def main(argv=None, *, prog=None):
|
def main(argv=None, *, prog=None):
|
||||||
parser = argparse.ArgumentParser(prog=prog, description=__doc__)
|
parser = argparse.ArgumentParser(prog=prog, description=__doc__)
|
||||||
parser.add_argument('--files', nargs='+', required=True, type=Path)
|
inputs = parser.add_mutually_exclusive_group(required=True)
|
||||||
|
inputs.add_argument('--files', nargs='+', type=Path)
|
||||||
|
inputs.add_argument('--mm-program-report', type=Path,
|
||||||
|
help='Read all frozen MM program observations directly; never generate an import queue')
|
||||||
parser.add_argument('--pg-service', required=True)
|
parser.add_argument('--pg-service', required=True)
|
||||||
parser.add_argument('--pg-schema', required=True)
|
parser.add_argument('--pg-schema', required=True)
|
||||||
parser.add_argument('--out', required=True, type=Path)
|
parser.add_argument('--out', required=True, type=Path)
|
||||||
args = parser.parse_args(argv)
|
args = parser.parse_args(argv)
|
||||||
report = audit(args.files, args.out, pg_service=args.pg_service, pg_schema=args.pg_schema)
|
report = audit(args.files, args.out, pg_service=args.pg_service, pg_schema=args.pg_schema,
|
||||||
|
mm_program_report=args.mm_program_report)
|
||||||
print(json.dumps({k: report[k] for k in ('status', 'records', 'kind_counts', 'approved_for_import')}, ensure_ascii=False))
|
print(json.dumps({k: report[k] for k in ('status', 'records', 'kind_counts', 'approved_for_import')}, ensure_ascii=False))
|
||||||
|
|||||||
@@ -0,0 +1,101 @@
|
|||||||
|
import gzip
|
||||||
|
import hashlib
|
||||||
|
import json
|
||||||
|
from pathlib import Path
|
||||||
|
import tempfile
|
||||||
|
import unittest
|
||||||
|
from unittest.mock import patch
|
||||||
|
|
||||||
|
from paper_atlas.collectors import mm2026
|
||||||
|
from paper_atlas.audits.source_identity import audit, load_inputs, load_mm_program_inputs
|
||||||
|
|
||||||
|
|
||||||
|
class MMProgramIdentityInputTests(unittest.TestCase):
|
||||||
|
@classmethod
|
||||||
|
def setUpClass(cls):
|
||||||
|
cls.fixture = json.loads(gzip.decompress((Path(__file__).parent/'fixtures/mm2026-source.json.gz').read_bytes()))
|
||||||
|
|
||||||
|
def setUp(self):
|
||||||
|
self.tmp = tempfile.TemporaryDirectory()
|
||||||
|
self.addCleanup(self.tmp.cleanup)
|
||||||
|
self.root = Path(self.tmp.name)
|
||||||
|
src = self.root/'source'
|
||||||
|
for name,body in self.fixture['files'].items():
|
||||||
|
path=src/name;path.parent.mkdir(parents=True,exist_ok=True);path.write_bytes(body.encode())
|
||||||
|
mm2026.collect(self.root/'program', snapshots=src)
|
||||||
|
self.report_path = self.root/'program/collection-report.json'
|
||||||
|
|
||||||
|
def change_report(self, change):
|
||||||
|
report=json.loads(self.report_path.read_text());change(report)
|
||||||
|
self.report_path.write_text(json.dumps(report))
|
||||||
|
|
||||||
|
def assert_rejected_before_database(self):
|
||||||
|
with patch('paper_atlas.audits.source_identity.ReadConnection') as connection:
|
||||||
|
with self.assertRaises(ValueError):
|
||||||
|
audit(None,self.root/'audit',pg_service='unused',pg_schema='research',mm_program_report=self.report_path)
|
||||||
|
connection.assert_not_called()
|
||||||
|
self.assertFalse((self.root/'audit').exists())
|
||||||
|
|
||||||
|
def test_all2143_programs_are_unknown_readonly_inputs_not_import_records(self):
|
||||||
|
rows,inputs=load_mm_program_inputs(self.report_path)
|
||||||
|
self.assertEqual(len(rows),2143);self.assertEqual(len(inputs),28)
|
||||||
|
self.assertEqual(sum(len(r['program_contexts']) for r in rows),4326)
|
||||||
|
actual={r['program_id']:r for r in rows}
|
||||||
|
for gold in self.fixture['independent_inventory']['inventory']:
|
||||||
|
r=actual[gold['paper_id']]
|
||||||
|
self.assertEqual((r['title'],r['authors'],r['track']),
|
||||||
|
(gold['title'],gold['authors'],gold['track_literal']))
|
||||||
|
self.assertEqual(r['external_id'],'2026/'+gold['paper_id'])
|
||||||
|
self.assertEqual(r['status'],'unknown');self.assertEqual(r['identifiers'],{})
|
||||||
|
self.assertEqual(r['source_observed_status'],'listed_in_official_program')
|
||||||
|
self.assertFalse(r['publication_identity_verified']);self.assertFalse(r['final_decision_verified'])
|
||||||
|
self.assertFalse(r['contribution_type_verified'])
|
||||||
|
self.assertEqual([c['source_pointer'] for c in r['program_contexts']],gold['locations'])
|
||||||
|
self.assertEqual({r['program_id'] for r in rows if not r['authors']},{'mfp4971','mfp7801'})
|
||||||
|
self.assertTrue(all('unknown is not a source decision' in i['manifest']['scope'] for i in inputs))
|
||||||
|
self.assertFalse(any(self.root.rglob('*.manifest.json')))
|
||||||
|
|
||||||
|
def test_untrusted_absolute_file_paths_are_not_followed(self):
|
||||||
|
self.change_report(lambda r:[f.update(file='/untrusted/'+Path(f['file']).name) for f in r['files']])
|
||||||
|
rows,inputs=load_mm_program_inputs(self.report_path)
|
||||||
|
self.assertEqual(len(rows),2143)
|
||||||
|
self.assertTrue(all(Path(i['file']).parent==self.report_path.parent for i in inputs))
|
||||||
|
|
||||||
|
def test_program_files_are_not_silently_accepted_by_regular_ingestion_input_loader(self):
|
||||||
|
report=json.loads(self.report_path.read_text())
|
||||||
|
with self.assertRaises(FileNotFoundError):load_inputs([report['files'][0]['file']])
|
||||||
|
|
||||||
|
def test_corrupt_jsonl_fails_before_connection_or_output(self):
|
||||||
|
report=json.loads(self.report_path.read_text());path=Path(report['files'][0]['file'])
|
||||||
|
path.write_bytes(path.read_bytes()+b' ')
|
||||||
|
self.assert_rejected_before_database()
|
||||||
|
|
||||||
|
def test_rehashed_forged_identifiers_decisions_and_contexts_rejected(self):
|
||||||
|
original=self.report_path.read_bytes();report=json.loads(original);path=Path(report['files'][0]['file']);raw=path.read_bytes()
|
||||||
|
for field,value in [('identifiers',{'openreview':'invented'}),('status','accepted'),('contexts',[])]:
|
||||||
|
path.write_bytes(raw);self.report_path.write_bytes(original)
|
||||||
|
lines=raw.splitlines();row=json.loads(lines[0]);row[field]=value;lines[0]=json.dumps(row).encode()
|
||||||
|
changed=b'\n'.join(lines)+b'\n';path.write_bytes(changed)
|
||||||
|
self.change_report(lambda r:r['files'][0].update(file_sha256=hashlib.sha256(changed).hexdigest()))
|
||||||
|
with self.subTest(field=field):self.assert_rejected_before_database()
|
||||||
|
|
||||||
|
def test_missing_or_repeated_track_rejected(self):
|
||||||
|
original=self.report_path.read_bytes()
|
||||||
|
for kind in ('missing','repeated'):
|
||||||
|
self.report_path.write_bytes(original)
|
||||||
|
if kind=='missing':self.change_report(lambda r:r['files'].pop())
|
||||||
|
else:self.change_report(lambda r:r['files'].__setitem__(1,r['files'][0]))
|
||||||
|
with self.subTest(kind=kind):self.assert_rejected_before_database()
|
||||||
|
|
||||||
|
def test_raw_source_corruption_or_symlink_rejected(self):
|
||||||
|
path=self.report_path.parent/'evidence/program-data.json';raw=path.read_bytes()
|
||||||
|
path.write_bytes(raw+b' ');self.assert_rejected_before_database()
|
||||||
|
path.write_bytes(raw);saved=path.with_name('original.json');path.rename(saved);path.symlink_to(saved)
|
||||||
|
self.assert_rejected_before_database()
|
||||||
|
|
||||||
|
def test_mixed_input_modes_rejected_before_connection(self):
|
||||||
|
with patch('paper_atlas.audits.source_identity.ReadConnection') as connection:
|
||||||
|
for files,program in [([],None),([Path('unused')],self.report_path)]:
|
||||||
|
with self.assertRaisesRegex(ValueError,'Choose source files'):
|
||||||
|
audit(files,self.root/'out',pg_service='unused',pg_schema='research',mm_program_report=program)
|
||||||
|
connection.assert_not_called()
|
||||||
Reference in New Issue
Block a user