封装早期WWW档案采集并核实逐条poster证据 #32

2026-11-08T13:41:52Z

codex-bot commented

2026-11-08 13:41:52 +00:00

早期WWW只有不完整/混合节目索引，不能将所有节目当论文或把标题差异当不同论文。本PR提供可重放的元数据采集和逐条官方页面核查；不下载PDF/PostScript，不推断拒稿。

实际改动：

collectors/www_archive.py：固定HTML缓存与哈希验证，区分1994春/秋和1995春事件；main/poster独立，旧目录误链、同ID异URL和标题差异保留待核查。新增逐条reviewed poster输入，绑定来源快照、单篇HTML哈希、完全一致H1、署名区域或作者索引及原abstract-entry URL；保留全部原始标题/署名差异和显式缺摘要原因。
docs/coverage/www-1995-posters-reviewed-2026-11-09.json：15条实际核查声明；05作者使用原作者索引而非联系人角色推断，38/05没有摘要时不以正文补写。
cli.py、README.md、docs/www-archive.md：原生collect www-archive入口、配置/用法、重放及增量导入边界；workflow保留安装后CLI检查；tests/test_www_archive.py含19项实际用例（本次新增6项）。

已整合用户最新main7a674ac（含PR34的分类/注解/事件保护），README冲突保留双方入口；不重写共享历史。最新精确head dac6edbe1e633c49c5b2395c118da9d69a0268fd，CI1079/job1176在aliyun-ces-control（ces-control:host）332项测试、wheel构建/安装/安装后CLI全部通过，19个WWW用例实际ok。本机仅AST/JSON/文本/差异检查，无本机测试或构建。

来源与生产证据：

原76条（main38+poster38）已独立验收，本轮未重导入；原先arxiv1811.12161出版论文与1810.07232不同章节仍分开。
新61页HTML快照SHA256 8a65562f3490497cada2919ec77827134beabd5ec9c3690dec3625e2318aa54e；15条reviewed输入SHA256 bf7e2ea09738233ecc28b950577af44327e0f0c625923a6a233600dde615733b。实际重放ready91、held357；poster53条全部能整理，2条摘要明确为空。
实时差集15条、精确标题候选0；仅该15条按38/53→53/53 incremental导入，使用已通过313项测试且含分类刷新保护的d2c016e原生writer；采集操作实际源eacc1e3已通过283项测试/58文件哈希验证。不要把后续源码整合描述成此前运行版本。
增量v1在只读保护查询时发生真实60秒statement_timeout，未生成baseline/execution回执、未写库。EXPLAIN确认无界前缀/全表semi-join；v2改为已知ID点查，完整保护核验实测3.27秒，未放宽保护范围。
v2单元invocation bc8a797ab57c439c825235825d88a7e3终止成功，独立报告 /data/paper-index/collected/www-poster-incremental-import-v2/postgresql-postcheck-v1.json，SHA256 563efa1641466bc71d2fa0e34390231f54be829439bc92ab55b9d904a75784c7。新增15paper/source/attempt/decision，全部原始字段、来源标签和决定证据逐条一致；旧全库原始历史、原76条及IJCAI1733条来源/分类证据、其他覆盖/edition均不变；实际FTS、约束、foundry readyz200、冻结SQLite通过。

当前此档案源main38/38、poster53/53，因两条缺摘要仍partial。1994的50条正式展示候选及307条混合节目候选共357条未导入，并非全部论文。第14步其他历史年度/公开拒稿缺口和最终全库去重仍未完成。base main，head codex/www-archive；等待用户手动合并，未代用户合并或推送main。

早期WWW只有不完整/混合节目索引，不能将所有节目当论文或把标题差异当不同论文。本PR提供可重放的元数据采集和逐条官方页面核查；不下载PDF/PostScript，不推断拒稿。实际改动： - collectors/www_archive.py：固定HTML缓存与哈希验证，区分1994春/秋和1995春事件；main/poster独立，旧目录误链、同ID异URL和标题差异保留待核查。新增逐条reviewed poster输入，绑定来源快照、单篇HTML哈希、完全一致H1、署名区域或作者索引及原abstract-entry URL；保留全部原始标题/署名差异和显式缺摘要原因。 - docs/coverage/www-1995-posters-reviewed-2026-11-09.json：15条实际核查声明；05作者使用原作者索引而非联系人角色推断，38/05没有摘要时不以正文补写。 - cli.py、README.md、docs/www-archive.md：原生collect www-archive入口、配置/用法、重放及增量导入边界；workflow保留安装后CLI检查；tests/test_www_archive.py含19项实际用例（本次新增6项）。已整合用户最新main7a674ac（含PR34的分类/注解/事件保护），README冲突保留双方入口；不重写共享历史。最新精确head dac6edbe1e633c49c5b2395c118da9d69a0268fd，CI1079/job1176在aliyun-ces-control（ces-control:host）332项测试、wheel构建/安装/安装后CLI全部通过，19个WWW用例实际ok。本机仅AST/JSON/文本/差异检查，无本机测试或构建。来源与生产证据： - 原76条（main38+poster38）已独立验收，本轮未重导入；原先arxiv1811.12161出版论文与1810.07232不同章节仍分开。 - 新61页HTML快照SHA256 8a65562f3490497cada2919ec77827134beabd5ec9c3690dec3625e2318aa54e；15条reviewed输入SHA256 bf7e2ea09738233ecc28b950577af44327e0f0c625923a6a233600dde615733b。实际重放ready91、held357；poster53条全部能整理，2条摘要明确为空。 - 实时差集15条、精确标题候选0；仅该15条按38/53→53/53 incremental导入，使用已通过313项测试且含分类刷新保护的d2c016e原生writer；采集操作实际源eacc1e3已通过283项测试/58文件哈希验证。不要把后续源码整合描述成此前运行版本。 - 增量v1在只读保护查询时发生真实60秒statement_timeout，未生成baseline/execution回执、未写库。EXPLAIN确认无界前缀/全表semi-join；v2改为已知ID点查，完整保护核验实测3.27秒，未放宽保护范围。 - v2单元invocation bc8a797ab57c439c825235825d88a7e3终止成功，独立报告 /data/paper-index/collected/www-poster-incremental-import-v2/postgresql-postcheck-v1.json，SHA256 563efa1641466bc71d2fa0e34390231f54be829439bc92ab55b9d904a75784c7。新增15paper/source/attempt/decision，全部原始字段、来源标签和决定证据逐条一致；旧全库原始历史、原76条及IJCAI1733条来源/分类证据、其他覆盖/edition均不变；实际FTS、约束、foundry readyz200、冻结SQLite通过。当前此档案源main38/38、poster53/53，因两条缺摘要仍partial。1994的50条正式展示候选及307条混合节目候选共357条未导入，并非全部论文。第14步其他历史年度/公开拒稿缺口和最终全库去重仍未完成。base main，head codex/www-archive；等待用户手动合并，未代用户合并或推送main。

codex-bot added 1 commit 2026-11-08 13:41:53 +00:00

Package reproducible early WWW metadata collection with explicit review holds

Metadata integrity checks / metadata (push) Successful in 1m10s

Details

64ced7af42

codex-bot marked the pull request as ready for review 2026-11-08 13:43:55 +00:00

codex-bot added 1 commit 2026-11-08 13:54:47 +00:00

Preserve full source listing totals beside ready archive subsets

Metadata integrity checks / metadata (push) Successful in 1m10s

Details

9040649320

codex-bot marked the pull request as work in progress 2026-11-08 13:56:02 +00:00

codex-bot marked the pull request as ready for review 2026-11-08 14:02:07 +00:00

codex-bot added 2 commits 2026-11-08 16:18:42 +00:00

Merge remote-tracking branch 'origin/main' into codex/www-archive 2275bc7530

# Conflicts:
#	README.md

Resolve reviewed WWW poster entries with canonical page evidence

Metadata integrity checks / metadata (push) Successful in 1m32s

Details

eacc1e3292

codex-bot changed title from ~~封装早期WWW档案采集并隔离未核验活动条目~~ to WIP: 核实早期WWW逐条poster证据并保留来源差异

2026-11-08 16:19:35 +00:00

codex-bot added 1 commit 2026-11-08 16:48:24 +00:00

Merge remote-tracking branch 'origin/main' into codex/www-archive

Metadata integrity checks / metadata (push) Successful in 3m10s

Details

dac6edbe1e

# Conflicts:
#	README.md

codex-bot changed title from ~~WIP: 核实早期WWW逐条poster证据并保留来源差异~~ to 封装早期WWW档案采集并核实逐条poster证据

2026-11-08 16:57:42 +00:00

Zayden-Jung merged commit 658d799334 into main

2026-11-08 17:37:04 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Zayden-Jung/paper-atlas#32