Scope AAMAS tags to their exact source namespace
Metadata integrity checks / metadata (push) Successful in 8m56s
Metadata integrity checks / metadata (push) Successful in 8m56s
This commit is contained in:
@@ -8,7 +8,7 @@
|
||||
|
||||
采集标题、逐篇作者、页面实际提供的摘要、官方条目 ID、目录锚点和 PDF 地址。**只保存 PDF 链接,不下载 PDF。** 全文页面的摘要藏在标题链接内部的 `abstract` 元素,作者链接里的 “has N papers” 是界面徽标,二者不会混入标题或姓名。未提供的摘要保存为 `null`,不会用标题、说明文字或其他论文填充。
|
||||
|
||||
官方介绍说明了 general、robotics、virtual agents、innovative applications 等投稿轨道,但逐篇目录的主题会话不能独立证明某篇论文的投稿轨道。因此全文和扩展摘要均使用 `proceedings_unspecified`;演示、博士栏目使用 `demo`、`doctoral`。发表形式保留在 `metadata.publication_format` 和 `aamas:publication_format` 标签中,会话原文单独保存。它们不是研究类型标注,也不会写入自定义 annotation。
|
||||
官方介绍说明了 general、robotics、virtual agents、innovative applications 等投稿轨道,但逐篇目录的主题会话不能独立证明某篇论文的投稿轨道。因此全文和扩展摘要均使用 `proceedings_unspecified`;演示、博士栏目使用 `demo`、`doctoral`。发表形式保留在 `metadata.publication_format` 和 `aamas_proceedings:publication_format` 标签中,会话原文单独保存。它们不是研究类型标注,也不会写入自定义 annotation。
|
||||
|
||||
目录条目仅提供发表录用证据,不是原始决定信。`observed_at` 是页面采集时间,不能当作 2012 年的决定日期;官方介绍中的投稿、撤稿、录用汇总数不能识别逐篇拒稿或撤稿,采集器不会由总量相减生成这些决定。
|
||||
|
||||
|
||||
@@ -81,9 +81,9 @@ def parse_section(html, section, observed_at, evidence):
|
||||
authors = [clean(name) for name in author_display.split(',')]
|
||||
if not title or not author_display or any(not name for name in authors):
|
||||
raise ValueError('Empty paper title or author')
|
||||
tags = [{'namespace': 'aamas:publication_format', 'value': publication_format}]
|
||||
tags = [{'namespace': 'aamas_proceedings:publication_format', 'value': publication_format}]
|
||||
if session:
|
||||
tags.append({'namespace': 'aamas:session', 'value': session['title']})
|
||||
tags.append({'namespace': 'aamas_proceedings:session', 'value': session['title']})
|
||||
records.append({
|
||||
'source': SOURCE, 'external_id': '2012/'+paper_id,
|
||||
'url': url+'#'+paper_id, 'title': title, 'abstract': abstract,
|
||||
|
||||
@@ -62,7 +62,7 @@ class AamasProceedingsTests(unittest.TestCase):
|
||||
self.assertEqual(row['status'], 'accepted')
|
||||
self.assertEqual(row['metadata']['decision_date_precision'], 'not_supplied')
|
||||
self.assertEqual(row['metadata']['session']['title'], 'Session 1A – Robotics I')
|
||||
self.assertIn({'namespace': 'aamas:publication_format', 'value': fmt}, row['tags'])
|
||||
self.assertIn({'namespace': 'aamas_proceedings:publication_format', 'value': fmt}, row['tags'])
|
||||
self.assertEqual(aamas.SECTIONS['fullpapers'][2], 'proceedings_unspecified')
|
||||
self.assertEqual(aamas.SECTIONS['extabstracts'][2], 'proceedings_unspecified')
|
||||
|
||||
@@ -146,4 +146,6 @@ class AamasProceedingsTests(unittest.TestCase):
|
||||
self.assertEqual(connection.execute('SELECT count(*) FROM papers WHERE abstract IS NULL').fetchone()[0], 1)
|
||||
metadata = [json.loads(r[0]) for r in connection.execute('SELECT metadata_json FROM source_records')]
|
||||
self.assertEqual({r['publication_format'] for r in metadata}, {'full_paper','extended_abstract','demo','doctoral_abstract'})
|
||||
namespaces = {r[0] for r in connection.execute('SELECT DISTINCT namespace FROM tags')}
|
||||
self.assertEqual(namespaces, {'aamas_proceedings:publication_format', 'aamas_proceedings:session'})
|
||||
self.assertEqual(connection.execute('PRAGMA foreign_key_check').fetchall(), [])
|
||||
|
||||
Reference in New Issue
Block a user