Plan CPU-first functional validation with bounded capacity evidence

This commit is contained in:
2026-11-09 04:21:46 +08:00
parent 24b3c97fa5
commit c718e8bd9a
3 changed files with 79 additions and 17 deletions
+23 -17
View File
@@ -1,6 +1,6 @@
# 免训练功能复用:下一阶段有界方案
状态:研究设计,尚未执行。原始参数试验已完成;没有新增前向、下载或训练。
状态:研究设计,真实模型功能探测尚未执行。原始参数试验已完成;另已完成单线程合成 CPU 容量探测,未新增模型前向、下载或训练。
目标:寻找并验证至少一个在留出数据上保持约定质量、同时降低明确运行成本的复用实例;
若没有通过者,报告有界搜索的阴性结果,不保证一定能找到。
@@ -64,26 +64,32 @@ CKA 仅作辅助筛选;共享位置模板、attention sink 和共同残差都
## 5. 资源与阶段预算
当前服务器实际约 1.7 GiB RAM,不按“60 GB 内存”安排前向;60 GB 是磁盘扩容。
后续需要用户确认可执行前向的远程环境;建议先评估至少 16 GiB RAM/显存的单模型环境,
这不是已验证最低配置。先做内存估算及一次短样本容量探测,不足即停止,不自动换机器。
不在本机编译、不自动重下已删除权重。本轮只交付设计。
采用 CPU 先导、GPU 后续细化的两阶段路径;GPU 不作为寻找初步证据的前置条件。
当前服务器为 2 核 CPU、约 1.7 GiB RAM;60 GB 是磁盘扩容。详见
[CPU 先导设计及实测](CPU_FIRST_VALIDATION.md)。
后续若获执行授权,首轮固定模型/revision/dtype、batch=1、长度最多 256,
校准和留出各 16 条固定且去重的文本序列(中文/英文各半),只处理文本路径。
数据来源、许可、tokenizer revision、截断、样本 hash 和抽样 seed 必须先入 manifest。
每序列至多 32 个固定 query 位置,保留这些行的全部合法 key,避免采样 key 改变 softmax。
流式聚合,不保存全部层的 N×N attention,不调用生成式聊天作替代评测。
CPU 阶段仅处理文本,batch=1、长度 32,校准/留出各 4 条真实且去重的文本;
仅检查 3 个预先固定、覆盖浅中深的 full-attention 层对和 2 个 MLP 层对。
完整保留合法 key,逐头比较,不通过采样 key 改变 softmax。
模型依赖实现一致性检查和容量探测完成后,才实施真实前向。
权重按层/子矩阵流式读取并释放,禁止全模型转换成 FP32;不把依赖换页的完整框架加载视为可行方案。
数据来源、许可、tokenizer revision、截断、样本 hash 和 seed 在运行前写入 manifest。
| 阶段 | 上限 | 完成条件 / 停止条件 |
| CPU 阶段 | 上限 | 完成条件 / 停止条件 |
|---|---|---|
| 容量探测及基线 | 15 分钟 | 无 OOM,固定输出重复测量可复现;否则停止 |
| 同输入探测与筛选 | 45 分钟 | 固定 27 对候选;每类别最多保留 1 对,总计最多 3 对;无通过者即停止后续干预 |
| 单处干预与质量 | 45 分钟 | 逐个候选,不叠加;留出集测 token NLL 和逐序列变化;失败不追加搜索 |
| 成本测量和归档 | 15 分钟 | 保存基线/干预的质量、内存和计时,超时则输出已完成覆盖率 |
| 实现一致性及短样本容量探测 | 20 分钟 | 模块计算语义核对,内存峰值可控;OOM、持续换页或实现核对失败即停止 |
| 真实隐藏输入采集 | 40 分钟 | 流式文本前向采集固定入口,不保存所有层权重/注意力图;超时保存覆盖率 |
| 同输入功能比较 | 30 分钟 | 固定 5 对候选;无通过者停止;最多留下 1 个干预候选 |
| 单处干预及归档 | 30 分钟 | 在 4 条留出文本上检查输出或流式 token NLL;不足以完成则只交付候选证据 |
总计算上限 120 分钟;下载单独记录,不触发无限重试。16 条留出序列只是先导证据,
不能据此宣布广泛能力保持。首轮通过后才另立更大留出任务验证计划。
CPU 首轮计算上限 120 分钟,下载单独计时。当前仅执行了约 88 MiB 峰值 RSS 的
合成矩阵乘法探测,没有重下权重或执行真实前向。容量探测不能保证完整模型实现的峰值内存。
线性注意力需另行完成正确性核对,首轮先不加入,避免状态递推实现拖延初步判断。
短文本小样本无法覆盖长上下文或低频关键能力;阴性结果也不能排除更广泛候选。
只有发现值得跟进的候选,GPU 阶段才扩展到原定 27 对候选、长度 256、
校准/留出各 16 条及更多独立任务,细化单处/多处干预与真实性能。
届时由用户提供并确认 GPU 执行环境;当前不租用或假定已有 GPU。
## 6. 干预必须对应可节省的对象