91 lines
6.0 KiB
Markdown
91 lines
6.0 KiB
Markdown
# 跨层 QKV：主检验阴性，发现条件性的自 token 检索重合
|
||
|
||
全部在 CPU 上运行，冻结 Qwen3.5-2B 权重，无训练、连续 R 拟合或缩放拟合。
|
||
层索引从0开始。成本不作为判据；归一化相似不作为本轮 QKV 正例。
|
||
|
||
## 结论分级
|
||
|
||
**主协议没有候选通过全部门槛。** 覆盖六个 full-attention 层的全部15个跨层配对，
|
||
同时测试两个来源层的真实输入，不能将该结论扩大为模型不存在任何功能重复。
|
||
|
||
**探索性补充有一条具体行为观察，但严格新测试仍未全部通过：**
|
||
把层23的同一隐藏输入 H23 分别交给层3头7、层23头6的 QK 检索函数，
|
||
它们主要都读取当前 token；在4条新文本上，query位置7～31的 argmax 完全相同。
|
||
这不是同层 Q/K/V 互换，不是两个完整 attention 头等价，也没有证明 V 相似。
|
||
|
||
| 新文本证据（逐文本平均或最坏值） | 结果 |
|
||
|---|---:|
|
||
| 层23头6分配给当前token的平均概率，四文本最小值 | 95.71% |
|
||
| 层3头7在同一H23上分配给当前token的平均概率，最小值 | 92.07% |
|
||
| 两者最高概率key一致率 | 100% |
|
||
| 两套top5交集覆盖各自概率质量的最小值 | 97.97% |
|
||
| 分布总变差的最大文本平均值 | 6.96% |
|
||
| 保留层23 V/gate/O后的最坏双向头读出相对误差 | 3.82% |
|
||
| 最坏文本平均JS | 0.018921 |
|
||
|
||
新英文文本 fresh-en-2 超过补充协议的三条严格线：平均 JS 0.018921>0.01、
|
||
行 JS P95 0.072943>0.05、行总变差 P95 0.238731>0.20。
|
||
因此补充试验的 `fresh_function_pass=false`，**没有重标为完全通过，也未运行替换后的全LM NLL**。
|
||
已计算新文本原模型基线，不能把该基线文件当作替换实验结果。
|
||
可支持的观察是特定输入条件下的主要检索行为和实际读出接近；严格可互换尚未确认。
|
||
|
||
## 主协议实际覆盖
|
||
|
||
| 对象 | 初筛/直接比较数量 | 后续输出核验 |
|
||
|---|---:|---|
|
||
| 完整 attention 分支 | 15 | 全部测量 |
|
||
| QKV+gate/O 的完整头函数 | 960 | 全部测量，输出在共同residual坐标中 |
|
||
| 全8头P图映射（原序/冻结匹配） | 30 | 全部保留接收层V/gate/O做替换读出 |
|
||
| 单头联合QK检索 | 960 | 无候选通过初筛，主协议未进入单头读出 |
|
||
| 跨层KV组的直接V函数 | 60 | 无候选通过原始V初筛，未进入V组替换 |
|
||
|
||
主协议最接近的若干项，指标来自不同候选，不能拼接成同一个正例：
|
||
|
||
- QK两来源检索：层7头0↔层11头6，最坏文本平均JS约0.08609，最低top5约70.4%。
|
||
- 完整头输出：同一对头的最坏方向相对误差约134.4%。检索接近不意味着V/O组成的输出接近。
|
||
- 直接V函数：层7 KV头0↔层11 KV头1，最坏方向误差约150.3%。
|
||
- 完整分支：层7↔层11的最坏方向误差约185.3%。
|
||
- 保留目标V/O的完整P图映射：最小最坏输出误差约70.3%（层15↔19、冻结头匹配）。
|
||
|
||
V token-Gram CKA另与输入Gram和两个独立高斯投影比较。共同输入几何可以造成高Gram相似，
|
||
不能据此宣布V可替换；完整头输出检验已经包含各自的O/gate，避免仅因内部坐标差异就漏掉输出等价。
|
||
|
||
## 为什么增加单独的条件性审计
|
||
|
||
主协议要求两个来源层的输入分布均通过，并把无权重top5重合率作为硬门槛。
|
||
复核全部已保存的单来源指标后，固定了唯一一对：层3头7与层23头6，条件为H23。
|
||
它在校准集的JS很小，却因概率很低的尾部排名不同而top5重合低。
|
||
|
||
无权重top-k在近似并列处不连续：可以构造总变差趋近0而top5集合仍不同的例子，
|
||
本轮已加入独立回归测试。补充协议在观察该候选保留接收端V/O的读出、旧验证或新测试之前固定。
|
||
它改为单一H23输入条件，将top5作为诊断，并固定概率质量/实际读出/活跃度约束；
|
||
不换候选、不重新拟合参数。
|
||
它使用4条原验证文本，再使用本轮事先冻结的4条新文本，保留全部未通过项。
|
||
这是探索性补充，不改写主协议，不是事后声称原协议成功。
|
||
|
||
原主检验的图与条件性图使用不同输入集合：主检验取两个来源分布的最坏情况；
|
||
条件性图只研究H23。条件性相似不能推广到H3，也不能把早层在H3上已算好的P直接当作P_3(H23)。
|
||
实际H3缓存与H23接收端的差异另有概率/读出诊断，未做失败后追加的全模型替换。
|
||
|
||
## 图表阅读
|
||
|
||
- `cross_layer_qk_divergence`：15对层的JS，左为各配对最佳单头，中为原头序，右为冻结双射；
|
||
颜色越浅分布越近，斜线对角不作经验数据。全部仅为校准结果。
|
||
- `cross_layer_output_errors`：各类输出误差。QK单头和V组未通过初筛时，不画成零误差，而标未输出核验。
|
||
- `value_geometry_and_direct_error`：V Gram几何与直接V误差，灰区为随机投影对照，仅诊断。
|
||
- `conditional_probability_mass_and_readout`：同一条件候选在校准、旧验证和新测试上的top5、质量重合与实际读出差异。
|
||
- `conditional_cross_layer_probability_maps`：一条新文本的具体P图；层3在H23上的结果与层3在实际H3上的结果分开。
|
||
|
||
## 复现、预算与保留
|
||
|
||
20项完整远程测试通过。主计算约74.8秒，补充条件试验约105.3秒；峰值进程RSS分别约168/174 MiB。
|
||
另有出图、审计和测试，仍在两小时预算内。早期对照生成器的变量遮蔽错误及10.3秒失败记录保留，
|
||
修复后在新目录按相同配对和门槛重跑；没有删除原缓存。
|
||
|
||
模型revision 15852e8c16360a2fea060d615a32b45270f8a8fc，与此前官方参考校验的流式CPU实现一致。
|
||
全部权重和大型profile缓存继续保留；Git只上传代码、全部图表源表、选定的新文本概率矩阵、
|
||
日志、协议和缓存位置/SHA。没有新模型下载或自动清理。
|
||
|
||
后续若继续，应重新预注册“单向输入条件”和概率质量/读出判据，使用新文本及更长上下文；
|
||
当前结果不能证明跨上下文稳定，也不应把归一化正例或代数重参数化当作QKV主体验证。
|