Normalize endings in extracted documentation and shared utilities
Metadata integrity checks / metadata (push) Successful in 1m26s

This commit is contained in:
2026-11-06 17:33:42 +08:00
parent 1c18cbe03a
commit 6ae46b6717
4 changed files with 0 additions and 6 deletions
-1
View File
@@ -18,4 +18,3 @@
决定状态为 `accepted`、`rejected`、`desk_rejected`、`withdrawn`、`under_review`、`unknown`。一篇论文可以对应多次投稿和多个决定,不能用单一“最终会议”字段覆盖历史。查询中按观察时间选择最近状态;后续分析需要同时检查来源覆盖率。
当前确定性去重使用 arXiv ID、单个 DOI 和 OpenReview forum ID;跨平台同标题还需至少两位作者吻合,或作者吻合且摘要相同,才自动合并。保留各平台源记录,避免合并后丢失出处。规范化标题只建检索索引,尚未实现模糊匹配流程;**现阶段不保证跨平台去重已经完成**。不同平台标签不自动等同,自定义标签应使用 `custom:*` 命名空间。
-1
View File
@@ -220,4 +220,3 @@ CVF 从官方根目录发现 CVPR、ICCV 主会与 Findings,分别保存 track
只访问论文索引与摘要 HTML/PHP 页面。作者优先取 citation 元数据,旧页面尊重声明编码;无 citation 作者时取索引中的作者行,排除论文集出版信息。DOI 只取该论文条目所属的 DOI 链接或 citation 字段;冲突会失败,不从摘要引用中抽取当前论文 ID。不请求 PDF、补充材料、视频或代码。
每份清单记录索引入口数、论文数、缺失摘要与作者数,缺失内容保留为空并标记 partial。存在未被标题条目解析的论文链接时会失败,防止静默漏项。逐来源的 discovery、index-status、last-run 文件分别保存发现目录、逐届结果和实际请求范围。可重复使用 `--year` 或 `--venue` 限定重试;其他届次状态会保留。官方开放目录之外的早期届次、尚未刊出的新届次和独立出版方历史数据仍需后续补齐,采集器完成不代表全历史覆盖已完成。
-2
View File
@@ -48,5 +48,3 @@ class Document(HTMLParser):
def clean(text):
return ' '.join(text.split())
-2
View File
@@ -48,5 +48,3 @@ def fetch(url,cache,limit=64*1024**2,delay=0.5):
reason=getattr(exc,'reason',exc)
if isinstance(reason,ssl.SSLCertVerificationError) or attempt==2:raise
time.sleep(min(30,2**(attempt+1)))