From 6ae46b6717d543d967aa08038395a8522f44be00 Mon Sep 17 00:00:00 2001 From: Codex Bot Date: Fri, 6 Nov 2026 17:33:42 +0800 Subject: [PATCH] Normalize endings in extracted documentation and shared utilities --- docs/data-model.md | 1 - docs/data-sources.md | 1 - paper_atlas/io/html.py | 2 -- paper_atlas/io/http.py | 2 -- 4 files changed, 6 deletions(-) diff --git a/docs/data-model.md b/docs/data-model.md index c67a91b..6e26a14 100644 --- a/docs/data-model.md +++ b/docs/data-model.md @@ -18,4 +18,3 @@ 决定状态为 `accepted`、`rejected`、`desk_rejected`、`withdrawn`、`under_review`、`unknown`。一篇论文可以对应多次投稿和多个决定,不能用单一“最终会议”字段覆盖历史。查询中按观察时间选择最近状态;后续分析需要同时检查来源覆盖率。 当前确定性去重使用 arXiv ID、单个 DOI 和 OpenReview forum ID;跨平台同标题还需至少两位作者吻合,或作者吻合且摘要相同,才自动合并。保留各平台源记录,避免合并后丢失出处。规范化标题只建检索索引,尚未实现模糊匹配流程;**现阶段不保证跨平台去重已经完成**。不同平台标签不自动等同,自定义标签应使用 `custom:*` 命名空间。 - diff --git a/docs/data-sources.md b/docs/data-sources.md index fb351e5..e949f2e 100644 --- a/docs/data-sources.md +++ b/docs/data-sources.md @@ -220,4 +220,3 @@ CVF 从官方根目录发现 CVPR、ICCV 主会与 Findings,分别保存 track 只访问论文索引与摘要 HTML/PHP 页面。作者优先取 citation 元数据,旧页面尊重声明编码;无 citation 作者时取索引中的作者行,排除论文集出版信息。DOI 只取该论文条目所属的 DOI 链接或 citation 字段;冲突会失败,不从摘要引用中抽取当前论文 ID。不请求 PDF、补充材料、视频或代码。 每份清单记录索引入口数、论文数、缺失摘要与作者数,缺失内容保留为空并标记 partial。存在未被标题条目解析的论文链接时会失败,防止静默漏项。逐来源的 discovery、index-status、last-run 文件分别保存发现目录、逐届结果和实际请求范围。可重复使用 `--year` 或 `--venue` 限定重试;其他届次状态会保留。官方开放目录之外的早期届次、尚未刊出的新届次和独立出版方历史数据仍需后续补齐,采集器完成不代表全历史覆盖已完成。 - diff --git a/paper_atlas/io/html.py b/paper_atlas/io/html.py index 91cd738..8e453aa 100644 --- a/paper_atlas/io/html.py +++ b/paper_atlas/io/html.py @@ -48,5 +48,3 @@ class Document(HTMLParser): def clean(text): return ' '.join(text.split()) - - diff --git a/paper_atlas/io/http.py b/paper_atlas/io/http.py index 8d7fd12..7611c75 100644 --- a/paper_atlas/io/http.py +++ b/paper_atlas/io/http.py @@ -48,5 +48,3 @@ def fetch(url,cache,limit=64*1024**2,delay=0.5): reason=getattr(exc,'reason',exc) if isinstance(reason,ssl.SSLCertVerificationError) or attempt==2:raise time.sleep(min(30,2**(attempt+1))) - -