仅投影公开评审镜像索引字段并保留决定来源 #71

Merged
Zayden-Jung merged 3 commits from codex/reviewarena-metadata into main 2026-11-18 08:49:55 +00:00
Collaborator

公开评审镜像把正文、OCR和评审文本与索引字段放在同一Parquet中;整文件下载后删列仍会保存不需要的数据。本PR根据页脚仅请求索引列的数据块,保留镜像来源和原始字段,避免把镜像声明自动提升为官方论坛身份或最终决定。

实际EMNLP2023投影发现2009行均为录用声明:Accept-Main994、Accept-Findings1015,但原始track全部为main。新增独立decision-track声明并保留原track,支持从已核验缓存离线重解析,避免重复请求源文件。该固定分片不能补拒稿缺口,不能据此推断原始平台没有公开拒稿。

改动:

  • paper_atlas/io/parquet_metadata.py:严格HTTP206/大小/ETag/段哈希,稀疏合成页脚窗口,选中与未选列页范围互斥检查;无整文件回退、禁止访问不重试。
  • paper_atlas/collectors/reviewarena.py:固定版本七类会议、15分片、12个索引字段、稳定行定位、明确镜像决定字面值和raw track差异;验证完整缓存及原报告SHA后离线重解析,保护全部原始字段。
  • paper_atlas/resources/reviewarena-files.json、pyproject.toml:固定来源尺寸/LFS对象声明、资源打包、支持runner Python3.14的可选PyArrow26.0.1二进制依赖。
  • paper_atlas/cli.py:包内collect reviewarena-metadata命令及离线入口。
  • tests/test_reviewarena.py:10项投影/缓存/HTTP/字段/决定语义回归;不请求未选正文和评审页、不伪造论坛ID、不由缺失或展示形式推断拒稿/main。
  • .gitea/workflows/check.yml、.gitea/workflows/reviewarena.yml:仅授权ces-control远程测试/构建/安装,以及独立手动采集或缓存重解析任务和恢复归档。
  • README.md、docs/reviewarena-metadata.md:使用、范围、恢复、实例及原始来源/身份/最终去重限制。

验证:

  • 最终CI1250/job1347:aliyun-ces-control,565项测试(281.365s)全部通过,wheel构建/安装、安装后CLI与真实PostgreSQL只读核查通过;本机仅AST/TOML/数据哈希检查,无本机项目测试、构建或安装。
  • 真实采集1249/job1346:完整2009行,27次严格范围读取合计1,720,498字节,原文件90,794,691字节;没有下载整个文件或未选正文/评审数据页。所有记录和请求范围已独立核对。
  • 原生离线任务1251/job1348:新代码复用2009行,上游HF请求0字节;全部raw_fields、来源定位及原27次范围证据逐项不变,只更新明确决定声明的派生解释。两版本完整恢复归档均已独立校验。

源投影归档SHA256:5f0aa9b1c9f7ba0b2877d2d7a800618a562d2247be81427e08cf101facbc7888。
离线版本归档SHA256:28288905b3c421db6192d9c9f4aef703a6607f3400434648f823c5efe53bd23c。

限制:EMNLP与COLM的固定分片已完成实际采集和逐行验收,其余五类镜像尚未实采。完整Parquet LFS SHA只是上游对象声明,未下载全文件所以未验证完整对象哈希。镜像ID/作者/决定未完成原始论坛或签名验证,没有导入生产、批准新作品身份或执行合并;全会议覆盖、原始公开负面决定和最终全库去重仍待完成。

base main f982851;head codex/reviewarena-metadata 7d9c693(含90fd789、98ef415)。独立于PR69/70,已可评审,等待用户手动合并。

补充真实任务1252/job1349:COLM717行(2024年299、2025年418),全部原始决定为Accept;15次范围读取702,719字节,原文件37,291,354字节。全部行、来源标记、范围和恢复归档已独立核验;没有原始论坛/签名验证或生产导入。这份固定镜像也不包含明确负面决定,不能填补拒稿缺口。恢复归档SHA256 266191b3a50caeb933096a5ed0bd1b542dbe4801c03032b3287f1c5cc34835d6。

公开评审镜像把正文、OCR和评审文本与索引字段放在同一Parquet中;整文件下载后删列仍会保存不需要的数据。本PR根据页脚仅请求索引列的数据块,保留镜像来源和原始字段,避免把镜像声明自动提升为官方论坛身份或最终决定。 实际EMNLP2023投影发现2009行均为录用声明:Accept-Main994、Accept-Findings1015,但原始track全部为main。新增独立decision-track声明并保留原track,支持从已核验缓存离线重解析,避免重复请求源文件。该固定分片不能补拒稿缺口,不能据此推断原始平台没有公开拒稿。 改动: - paper_atlas/io/parquet_metadata.py:严格HTTP206/大小/ETag/段哈希,稀疏合成页脚窗口,选中与未选列页范围互斥检查;无整文件回退、禁止访问不重试。 - paper_atlas/collectors/reviewarena.py:固定版本七类会议、15分片、12个索引字段、稳定行定位、明确镜像决定字面值和raw track差异;验证完整缓存及原报告SHA后离线重解析,保护全部原始字段。 - paper_atlas/resources/reviewarena-files.json、pyproject.toml:固定来源尺寸/LFS对象声明、资源打包、支持runner Python3.14的可选PyArrow26.0.1二进制依赖。 - paper_atlas/cli.py:包内collect reviewarena-metadata命令及离线入口。 - tests/test_reviewarena.py:10项投影/缓存/HTTP/字段/决定语义回归;不请求未选正文和评审页、不伪造论坛ID、不由缺失或展示形式推断拒稿/main。 - .gitea/workflows/check.yml、.gitea/workflows/reviewarena.yml:仅授权ces-control远程测试/构建/安装,以及独立手动采集或缓存重解析任务和恢复归档。 - README.md、docs/reviewarena-metadata.md:使用、范围、恢复、实例及原始来源/身份/最终去重限制。 验证: - 最终CI1250/job1347:aliyun-ces-control,565项测试(281.365s)全部通过,wheel构建/安装、安装后CLI与真实PostgreSQL只读核查通过;本机仅AST/TOML/数据哈希检查,无本机项目测试、构建或安装。 - 真实采集1249/job1346:完整2009行,27次严格范围读取合计1,720,498字节,原文件90,794,691字节;没有下载整个文件或未选正文/评审数据页。所有记录和请求范围已独立核对。 - 原生离线任务1251/job1348:新代码复用2009行,上游HF请求0字节;全部raw_fields、来源定位及原27次范围证据逐项不变,只更新明确决定声明的派生解释。两版本完整恢复归档均已独立校验。 源投影归档SHA256:`5f0aa9b1c9f7ba0b2877d2d7a800618a562d2247be81427e08cf101facbc7888`。 离线版本归档SHA256:`28288905b3c421db6192d9c9f4aef703a6607f3400434648f823c5efe53bd23c`。 限制:EMNLP与COLM的固定分片已完成实际采集和逐行验收,其余五类镜像尚未实采。完整Parquet LFS SHA只是上游对象声明,未下载全文件所以未验证完整对象哈希。镜像ID/作者/决定未完成原始论坛或签名验证,没有导入生产、批准新作品身份或执行合并;全会议覆盖、原始公开负面决定和最终全库去重仍待完成。 base main f982851;head codex/reviewarena-metadata 7d9c693(含90fd789、98ef415)。独立于PR69/70,已可评审,等待用户手动合并。 补充真实任务1252/job1349:COLM717行(2024年299、2025年418),全部原始决定为Accept;15次范围读取702,719字节,原文件37,291,354字节。全部行、来源标记、范围和恢复归档已独立核验;没有原始论坛/签名验证或生产导入。这份固定镜像也不包含明确负面决定,不能填补拒稿缺口。恢复归档SHA256 `266191b3a50caeb933096a5ed0bd1b542dbe4801c03032b3287f1c5cc34835d6`。
codex-bot added 1 commit 2026-11-18 01:11:14 +00:00
Project pinned ReviewArena metadata without full-text payload pages
Metadata integrity checks / metadata (push) Failing after 47s
90fd789a17
codex-bot added 1 commit 2026-11-18 01:14:31 +00:00
Use Arrow binary wheels compatible with runner Python 3.14
Metadata integrity checks / metadata (push) Successful in 7m13s
98ef415912
codex-bot added 1 commit 2026-11-18 01:34:14 +00:00
Review mirror publication literals and replay frozen metadata offline
Metadata integrity checks / metadata (push) Successful in 6m40s
7d9c693761
codex-bot marked the pull request as ready for review 2026-11-18 03:18:02 +00:00
Zayden-Jung merged commit 7407f97ef2 into main 2026-11-18 08:49:55 +00:00
Sign in to join this conversation.
No Reviewers
No Label
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: Zayden-Jung/paper-atlas#71