This commit is contained in:
@@ -62,6 +62,35 @@ uv run python -m data.build_splits --config configs/mvp.yaml
|
||||
uv run python train_extractor.py --config configs/mvp.yaml --backbone clip
|
||||
```
|
||||
|
||||
### 正式 2B 级训练
|
||||
|
||||
正式实验使用 `google/siglip2-giant-opt-patch16-384`:约 2B 总参数、384 分辨率的
|
||||
原生图文双塔。backbone 使用 BF16 并冻结,四层 512 维 Evidence Extractor 参与训练。
|
||||
`configs/siglip2_giant.yaml` 定义 30,000/3,000/3,000/3,000 数据划分与 10 epochs。
|
||||
|
||||
Gitea 的 `Formal GPU training` workflow 会:
|
||||
|
||||
- 使用 AutoDL `network_turbo` 与 `hf-mirror.com` 下载模型;
|
||||
- 在 `/root/autodl-tmp/ces-data/synthetic-v1` 复用完整数据集;
|
||||
- 每个 epoch 保存可恢复的 `last.pt`,并按验证集保存 `best.pt`;
|
||||
- 将运行配置、硬件、分项 loss、每轮耗时、所有验证指标和最终 benchmark 放在
|
||||
Actions 的 `Details` step;
|
||||
- 将结果持久化到 `/root/autodl-tmp/ces-artifacts/siglip2-giant`;
|
||||
- 最后用六项研究门槛决定 workflow 是否通过。
|
||||
|
||||
手动等价命令为:
|
||||
|
||||
```bash
|
||||
python -m data.build_splits --config configs/siglip2_giant.yaml --reuse-existing
|
||||
python train_extractor.py --config configs/siglip2_giant.yaml --backbone siglip2
|
||||
python -m eval.benchmark_extractor \
|
||||
--config configs/siglip2_giant.yaml \
|
||||
--checkpoint /root/autodl-tmp/ces-artifacts/siglip2-giant/best.pt \
|
||||
--backbone siglip2 \
|
||||
--output /root/autodl-tmp/ces-artifacts/siglip2-giant/benchmark.json \
|
||||
--enforce-gates
|
||||
```
|
||||
|
||||
## 每次训练后的独立验收
|
||||
|
||||
以下命令运行统一 benchmark,写出 JSON,并在任一指标未达标时返回非零退出码:
|
||||
@@ -82,7 +111,7 @@ uv run python -m eval.benchmark_extractor \
|
||||
| Cross-modal Recall@1 | 0.80 | 文本 FACT 检索全部视觉 FACT,最近邻标签完全相同 |
|
||||
| Hard-negative Recall@1 | 0.75 | 候选仅含正确项与恰好错一个基础字段的视觉 FACT |
|
||||
| OOD fact F1 | 0.80 | held-out 颜色–形状组合上的视觉 FACT exact-match F1 |
|
||||
| NULL slot accuracy | 0.95 | permutation matching 后,全部视觉/文本 slots 的类型准确率,含 NULL |
|
||||
| NULL slot accuracy | 0.95 | permutation matching 后,应为 NULL 的空槽中预测为 NULL 的比例 |
|
||||
|
||||
CI 的单 epoch smoke run 会执行 benchmark 来验证整条评测管线,但不会使用
|
||||
`--enforce-gates`,因为 smoke 模型并不代表正式实验是否达标。正式训练完成后使用上述强制命令。
|
||||
|
||||
Reference in New Issue
Block a user