保留公开元数据摘要内的 Unicode 分隔符 #17

2026-11-07T08:35:18Z

codex-bot commented

2026-11-07 08:35:18 +00:00

公开元数据的摘要可能包含合法的 Unicode NEL、行分隔符或段落分隔符。原预检使用文本 splitlines()，会把单条 JSONL 拆坏并产生 JSONDecodeError，阻止有效文件入库。

paper_atlas/audits/public_openreview.py：按字节分行，保持 JSON 字符串内的 Unicode 分隔符；文件哈希、来源、轨道和决定冲突核验继续执行。
tests/test_public_openreview.py：覆盖 U+0085/U+2028/U+2029 三种字面分隔符，核验预检、实际导入、再次预检及摘要原文完全保留。

验证：批准的 ces-control:host 远程环境已独立复现旧实现失败，修复后同一回归的三种输入均通过；git diff --check 通过。本机未执行测试或构建。完整 CI970/job1067 已成功：204 项回归通过，18 项真实 PostgreSQL 用例实际执行，wheel 构建、安装及源码目录外 CLI 检查通过；runner 为 aliyun-ces-control。

base main（067a67f），head codex/jsonl-lines（bf81783）。此修复不重新执行既有数据批次，完整 goal 保持 active 12/17。检查通过后等待用户手动合并。

公开元数据的摘要可能包含合法的 Unicode NEL、行分隔符或段落分隔符。原预检使用文本 splitlines()，会把单条 JSONL 拆坏并产生 JSONDecodeError，阻止有效文件入库。 - paper_atlas/audits/public_openreview.py：按字节分行，保持 JSON 字符串内的 Unicode 分隔符；文件哈希、来源、轨道和决定冲突核验继续执行。 - tests/test_public_openreview.py：覆盖 U+0085/U+2028/U+2029 三种字面分隔符，核验预检、实际导入、再次预检及摘要原文完全保留。验证：批准的 ces-control:host 远程环境已独立复现旧实现失败，修复后同一回归的三种输入均通过；git diff --check 通过。本机未执行测试或构建。完整 CI970/job1067 已成功：204 项回归通过，18 项真实 PostgreSQL 用例实际执行，wheel 构建、安装及源码目录外 CLI 检查通过；runner 为 aliyun-ces-control。 base main（067a67f），head codex/jsonl-lines（bf81783）。此修复不重新执行既有数据批次，完整 goal 保持 active 12/17。检查通过后等待用户手动合并。

codex-bot added 1 commit 2026-11-07 08:35:19 +00:00

Preserve Unicode separators in public metadata preflight

Metadata integrity checks / metadata (push) Successful in 2m42s

Details

bf8178354f

codex-bot marked the pull request as ready for review 2026-11-07 08:39:23 +00:00

Zayden-Jung merged commit 1b81d1a30a into main

2026-11-08 06:26:27 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Zayden-Jung/paper-atlas#17