5.8 KiB
ReviewArena 镜像的索引字段投影
ReviewArena 是公开评审镜像,固定版本为 c2978add17c2099219eaddbc2599974d69d4d09b。上游数据卡描述七类会议、2020–2026 年的部分来源;这不是逐会议、逐年度的公开决定全集。文件清单有 15 个 Parquet 分片,覆盖 COLM、CoRL、EMNLP、ICLR、ICML、NeurIPS、TMLR。这里不包括 UAI,不能用它填补 UAI 缺口。
运行
仅在已授权远程 runner 安装 paper-atlas[mirrors],使用固定 PyArrow 26.0.1 二进制 wheel。本机不执行安装、构建或项目测试。常规 CI 包含投影、安全边界和镜像决定语义测试;真实网络采集由独立的 ReviewArena metadata projection workflow 手动触发,指定已通过 CI 的代码 ref 和 split,例如 emnlp。该 workflow 仍使用 ces-control / aliyun-ces-control,在服务器固定数据目录生成输出和恢复归档,不更改默认 runtime 或数据库。
包内命令如下,--out 必须是既有父目录内的新目录:
paper-atlas collect reviewarena-metadata \
--split emnlp \
--out /data/paper-index/collected/reviewarena-emnlp-reviewed-version
输出目录已存在时拒绝执行。遇到禁止访问、来源变化或读取失败,保留失败报告,不自动重试或切换到整文件下载。不能把原始访问拒绝解释为没有拒稿。
已保存的完整元数据投影可以离线重新解释决定字面值。提供原 collection-report.json 及其已独立验证的精确文件 SHA-256,程序核对全部元数据文件哈希、逐行来源身份和原始字段,生成新目录;不会再次访问上游 Parquet:
paper-atlas collect reviewarena-metadata --split emnlp \
--from-projection /data/paper-index/collected/<既有投影>/collection-report.json \
--projection-sha256 <已验证的原报告SHA256> \
--out /data/paper-index/collected/<新解释版本>
手动 workflow 对应输入为 projection_name 与 projection_sha256。离线报告的 metadata_bytes_read 为本次请求字节数 0,source_projection_bytes 保留原始列块投影字节数;原报告哈希建立恢复链,原始记录与来源定位不变。
实际读取和保存范围
仅投影以下字段:forum_id、conference、year、track、venue_id、paper_number、title、abstract、authors、keywords、venue、decision。
程序先读取文件魔数、尾部长度和有界 Parquet 页脚,在内存中解析 schema 和列块偏移,然后只请求这些列的字典/数据页。Arrow 可能请求较大的页脚窗口,未获准区域由本地稀疏文件合成零字节,不会为该窗口补下载相邻正文页。逐个选中列块还要检查不与未选列块重叠。单文件上限为 64 MiB 所需字节、512 个范围请求和 100,000 行;响应必须是准确的 HTTP 206 / Content-Range,ETag 变化时停止。该边界适用于每个分片,不能据此启动其他分片的未授权全文件下载。
不读取 markdown、reviews_json、decision_comment、author_rebuttal 等正文或评审内容的数据页;不保存原 Parquet、页脚原文或未选字段统计值。保存的 JSONL 只有上述索引字段、来源定位和审计标记。报告记录每个请求范围及其 SHA-256、选中列名、页脚哈希、投影数量和保存文件哈希,便于独立复核。
上游 LFS SHA-256 与大小是固定版本 API 提供的对象声明。由于不下载整个 Parquet,本流程不声称验证了完整 Parquet 内容哈希。范围对象大小/ETag 和各段哈希用于检查本次读取的一致性。
决定和身份边界
mirror_decision_category 只解释明确的镜像字面值;未知、缺失或未审核的决定保持 unknown,不会根据 venue、是否录用、摘要缺失或目录缺席推断拒稿。类别数量是镜像行数,不能解释为独立作品数量或原始官方决定数量。
真实 EMNLP 2023 固定分片包含 2,009 行:原始决定为 Accept-Main 994 行、Accept-Findings 1,015 行,原始 track 却全部为 main。两种已核对字面值属于镜像录用声明;mirror_decision_track_claim 分开保留其明确的 main/findings 声明,原 track 和所有 raw_fields 不被重写。Accept (Poster) 等展示形式不能自行推出主会归属。此分片没有明确负面决定,不能用于补齐拒稿缺口,更不能由此断言 EMNLP 原始平台没有公开拒稿。首次实际投影仅请求 1,720,498 字节;原文件 90,794,691 字节,未下载完整文件。
上游 forum_id、venue_id、投稿号、作者和决定均作为原始声明保留。forum_id 不直接成为全局 OpenReview 标识;稳定行定位由数据集、固定 commit、文件和行号组成。输出 identifiers 为空,原始论坛身份和决定签名标记为未验证,保留匿名和缺失作者。源数据中的字符串命名不能被当成真实人员别名。
输出故意不是可直接 import records 的规范化队列,没有授予导入或合并权限。下一步必须检查原始来源、跨来源重合和作品身份,再决定哪些来源观察能进入生产。即使明确镜像拒稿,也要保留该投稿历史并继续查找后续其他会议的录用;不能把“目前没有关联录用”表述为从未录用。本采集不代替最终全库去重、决定冲突、来源覆盖和查询验收。