56 lines
3.8 KiB
Markdown
56 lines
3.8 KiB
Markdown
# CPU 先导：先找值得继续验证的信号
|
||
|
||
更新：2026-11-09。目的不是在 CPU 上完成广泛能力及高吞吐评测，
|
||
而是低成本判断实际输入分布上是否存在值得 GPU 进一步验证的复用候选。
|
||
全程不训练，不求 R。
|
||
|
||
## 已执行的容量检查
|
||
|
||
服务器 8.211.154.134：2 核 x86_64，约 1.7 GiB RAM；检查时可用约 892 MiB，
|
||
swap 已用约 2.2 GiB，根盘可用约 73 GiB。共享主机快照不是实验独占资源。
|
||
NumPy 2.5.4，OPENBLAS_NUM_THREADS=1、OMP_NUM_THREADS=1，远程 timeout 60 秒。
|
||
随机种子 42、float32、X 为 32×2048；每种 W 随机生成后连续执行 4 次 X@W，
|
||
第 1 次作为冷调用，其余 3 次单独报告。随机输入仅用于容量测量。
|
||
|
||
| W 形状 | W 大小 | 首次乘法 | 后续三次乘法（秒） |
|
||
|---|---|---|---|
|
||
| 2048×2048 | 16 MiB | 0.027816 | 0.027035、0.027207、0.025878 |
|
||
| 2048×6144 | 48 MiB | 0.086039 | 0.082543、0.110806、0.075336 |
|
||
|
||
输出均为有限数，进程峰值 RSS 88,220 KiB（约 86.2 MiB）。
|
||
耗时只包含矩阵乘法，不包含权重生成、磁盘读取、BF16 转换、模型其余操作及框架开销。
|
||
它支持继续评估小批量 CPU 投影计算，不足以外推完整模型时延或宣称发现可复用性。
|
||
没有模型权重参与，没有编译、下载或模型前向。
|
||
|
||
## 执行路线与证据等级
|
||
|
||
1. **实现与资源可行性**：核对固定 revision 的位置编码、归一化、GQA 和门控，
|
||
使用受信任的算子实现及小数组正确性检查；模型仓库代码不直接执行。
|
||
先确认首个短样本能以受控内存运行。不用不正确的“简化 Qwen”产生看似有价值的结果。
|
||
2. **真实分布上的候选**：batch=1、32 tokens，校准和留出各 4 段真实文本。
|
||
按顺序加载、计算、释放每层，保留很小的入口激活；探测选定的 3 个 full-attention 层对和 2 个 MLP 对。
|
||
每对在两个来源层的隐藏输入上分别测试，记录 JS、top-k、完整分支输出误差。
|
||
3. **最小干预证据**：最多对 1 个候选做单处替换；冻结参数，在留出文本上看输出变化，
|
||
条件允许时流式计算 token NLL。词表输出头分块归约 logsumexp，避免一次物化大 logits。
|
||
若没有正确且可承受的干预实现，就止于“候选”，不称为验证成功。
|
||
4. **GPU 细化**：候选通过才扩展长度、样本、线性注意力、多处共享及质量—成本曲线。
|
||
|
||
先导主证据来自真实文本产生的隐藏状态，而不是高维空间上的均匀随机向量。
|
||
直接按真实样本出现频率聚合，就能近似按目标使用分布加权，不先引入昂贵的高维密度估计。
|
||
保留逐文本及尾部误差，少量低频但关键用例不被平均值掩盖。
|
||
|
||
## CPU 内存与停止约束
|
||
|
||
- 不同时加载完整模型的 BF16/FP32 副本；模型原始权重约 4.55 GB，大于当前 RAM。
|
||
- 单层/子矩阵流式读取，及时解除映射或释放页面；先设本进程 RSS 512 MiB 软停止线，
|
||
系统可用内存低于 256 MiB 或持续 swap 活动就停止并保存进度，不改全局 swap 配置。
|
||
软停止线不替代实际峰值检测，分配前须计算临时内存。
|
||
- 先实现最小正确路径；线性状态递推、长上下文和生成速度不塞入首轮。
|
||
- 总计算 120 分钟，阶段预算见功能方案；无候选、超时或数值/实现核对失败均停止。
|
||
- 容量探测已完成，真实模型阶段尚未执行。后续需要恢复本实验自有的固定 revision 权重，
|
||
分析后按既有规则校验归档并删除；不增加模型规模或自动租用 GPU。
|
||
|
||
CPU 上“找到输出接近的候选”能支持继续投入 GPU；
|
||
“在指定小样本中单处复用保持质量且节省明确资源”才是初步正例。
|
||
两者都不能替代大规模能力验证。CPU 时延不外推为 GPU 加速率。
|