# Composable Evidence States Research 第一阶段 MVP:在全合成符号世界中生成图像事实与文本事实/规则,训练 Evidence Extractor 将两种模态映射到可比较的 latent space。Composer 暂不在本阶段实现。 ## 数据方案 A:全合成符号世界 每张图包含两个带颜色和形状的对象以及一条空间关系。manifest 保存完整结构化标注, 同时生成两类文本状态: - `FACT`:例如 `obj1 is red`,结构为 `[FACT, subject, predicate, object, -, -]`。 - `RULE`:例如 `Every red object belongs to class alpha`,结构为 `[RULE, variable, antecedent predicate, antecedent object, consequent predicate, consequent object]`。 - `NULL`:表示未被事实或规则占用的 slot。 FACT 与 RULE 共享 subject、predicate、object 分类头,但类型头明确区分二者;RULE 还有独立的 consequent predicate/object 训练目标。视觉分支只产生 FACT,文本分支同时 产生 FACT 和 RULE。因此实现不会把“事实”和“规则”当成完全相同的对象。 `test_ood` 使用训练集中明确排除的颜色–形状组合,并同时改变规则映射,用来检查组合泛化。 ## 统一 latent space 的两个实验方案 ### 方案 1(当前默认):共享分类头 + 跨模态对比学习 视觉和文本 extractor 使用相同的标签空间与同构分类头。Hungarian set matching 处理无序 slots;对比损失只把语义完全相同的视觉 FACT 与文本 FACT 拉近。RULE 保持为文本独有的 有类型状态,不参与错误的视觉规则对齐。 配置:`configs/mvp.yaml`,其中 `prototype.enabled: false`。 ### 方案 2(已实现、默认关闭):Canonical Fact Prototype `CanonicalFactPrototype` 将类型、主语、前件谓词/宾语以及后件谓词/宾语的可学习 embedding 组合成规范原型,并用 cosine loss 把 matched latent state 拉向该原型。类型 embedding 与 RULE 后件字段确保 FACT 和 RULE 的原型结构不同。 使用完整的 `configs/prototype.yaml` 即可单独训练和比较: ```bash uv run python train_extractor.py --config configs/prototype.yaml --backbone tiny ``` ## 运行 ```bash uv sync --extra dev uv run python -m data.build_splits --config configs/mvp.yaml --small uv run python train_extractor.py --config configs/mvp.yaml --backbone tiny --epochs 2 uv run python -m eval.evaluate_slots --config configs/mvp.yaml \ --checkpoint artifacts/tiny/best.pt --backbone tiny uv run pytest ``` 正式 GPU 实验可把 `--small` 去掉并改用冻结 CLIP: ```bash uv sync --extra dev --extra hf uv run python -m data.build_splits --config configs/mvp.yaml uv run python train_extractor.py --config configs/mvp.yaml --backbone clip ``` ### 正式 2B 级训练 正式实验使用 `google/siglip2-giant-opt-patch16-384`:约 2B 总参数、384 分辨率的 原生图文双塔。backbone 使用 BF16 并冻结,四层 512 维 Evidence Extractor 参与训练。 `configs/siglip2_giant.yaml` 定义 30,000/3,000/3,000/3,000 数据划分与 10 epochs。 Gitea 的 `Formal GPU training` workflow 会: - 校验预先放在 `/root/autodl-tmp/ces-models/siglip2-giant` 的固定版本模型; - 在 `/root/autodl-tmp/ces-data/synthetic-v1` 复用完整数据集; - 每个 epoch 保存可恢复的 `last.pt`,并按验证集保存 `best.pt`; - 将运行配置、硬件、分项 loss、每轮耗时、所有验证指标和最终 benchmark 放在 Actions 的 `Details` step; - 将结果持久化到 `/root/autodl-tmp/ces-artifacts/siglip2-giant`; - 最后用六项研究门槛决定 workflow 是否通过。 为避免付费 GPU 等待 7.53 GB 权重下载,先在网络更稳定的无 GPU 服务器上执行: ```bash python3 -m venv ces-model-download source ces-model-download/bin/activate python -m pip install -U "huggingface_hub[hf_xet]" HF_ENDPOINT=https://hf-mirror.com hf download \ google/siglip2-giant-opt-patch16-384 \ --revision a713301b217d38485fb2204c808367d10bc3cc40 \ --local-dir /data/ces-models/siglip2-giant du -sh /data/ces-models/siglip2-giant ``` 然后从该服务器断点续传到 AutoDL(替换 SSH 主机和端口): ```bash ssh -p root@ \ 'mkdir -p /root/autodl-tmp/ces-models/siglip2-giant' rsync -ahP --partial --append-verify \ -e 'ssh -p ' \ /data/ces-models/siglip2-giant/ \ root@:/root/autodl-tmp/ces-models/siglip2-giant/ ``` 如果两台服务器不能直连,使用阿里云 OSS 作为中转;目标目录保持不变。workflow 只做完整文件校验,不再从 Hugging Face 下载,因此模型传好后再手动触发正式训练。 手动等价命令为: ```bash python -m data.build_splits --config configs/siglip2_giant.yaml --reuse-existing python train_extractor.py --config configs/siglip2_giant.yaml --backbone siglip2 python -m eval.benchmark_extractor \ --config configs/siglip2_giant.yaml \ --checkpoint /root/autodl-tmp/ces-artifacts/siglip2-giant/best.pt \ --backbone siglip2 \ --output /root/autodl-tmp/ces-artifacts/siglip2-giant/benchmark.json \ --enforce-gates ``` ## 每次训练后的独立验收 以下命令运行统一 benchmark,写出 JSON,并在任一指标未达标时返回非零退出码: ```bash uv run python -m eval.benchmark_extractor \ --config configs/mvp.yaml \ --checkpoint artifacts/clip/best.pt \ --backbone clip \ --output artifacts/clip/benchmark.json \ --enforce-gates ``` | 指标 | 门槛 | 定义 | | --- | ---: | --- | | Text fact/rule F1 | 0.98 | IID 文本中 typed FACT 与 typed RULE 的六字段 exact-match micro F1 | | Visual fact F1 | 0.90 | IID 图像 FACT 的四个有效字段 exact-match micro F1 | | Cross-modal Recall@1 | 0.80 | 文本 FACT 检索全部视觉 FACT,最近邻标签完全相同 | | Hard-negative Recall@1 | 0.75 | 候选仅含正确项与恰好错一个基础字段的视觉 FACT | | OOD fact F1 | 0.80 | held-out 颜色–形状组合上的视觉 FACT exact-match F1 | | NULL slot accuracy | 0.95 | permutation matching 后,应为 NULL 的空槽中预测为 NULL 的比例 | CI 的单 epoch smoke run 会执行 benchmark 来验证整条评测管线,但不会使用 `--enforce-gates`,因为 smoke 模型并不代表正式实验是否达标。正式训练完成后使用上述强制命令。