4.0 KiB
上游注意力头对下一层 Q/K/V 的影响集中度
实测全部23个相邻层连接、4条既有中英文文本各32 token。主统计取query7–31，按文本/token/接收query头分别计算，再汇总。不是独立样本的显著性检验。
影响是移除上游一个头后，下一层Q/K/V向量的相对L2变化；重新计算中间MLP/残差/归一化。各头影响归一化仅构成消融影响分布，不是天然可相加的贡献概率。
| 对象 | 有效头比例中位数 [P10,P90] | 最大头份额中位数 | 前25%头份额中位数 | 最小25%头份额中位数 | 90%影响所需头数中位数 |
|---|---|---|---|---|---|
| Q | 0.736 [0.506,0.861] | 18.6% | 46.0% | 10.0% | 12.0 |
| K | 0.749 [0.517,0.879] | 18.4% | 45.2% | 10.3% | 12.0 |
| V | 0.723 [0.479,0.862] | 19.0% | 46.6% | 9.5% | 12.0 |
| QKV | 0.760 [0.531,0.878] | 18.1% | 44.6% | 10.6% | 12.0 |
| JS | 0.244 [0.117,0.434] | 42.3% | 82.3% | 1.1% | 6.0 |
| sqrtJS | 0.558 [0.362,0.730] | 21.7% | 56.5% | 6.8% | 11.0 |
sqrtJS为JS距离尺度敏感性分析：在初次完整汇总后增加，原始消融和原JS主结果不变。JS散度近似平方尺度，归一化后会放大强弱差距；JS影响份额不是注意力概率质量份额。
按接收层类型分层（避免总体分布混合不同机制）：
| 接收层类型 | Q有效头比例中位数 | K | V | QKV |
|---|---|---|---|---|
| linear_attention | 0.747 | 0.773 | 0.736 | 0.778 |
| full_attention | 0.677 | 0.562 | 0.629 | 0.645 |
QKV是三个相对变化平方的均值再开根号，避免混加不同Q/K/V尺度；JS仅普通注意力接收层有。普通注意力GQA的K/V复制到query头索引用于配对，不是额外独立KV头。
| 联合移除 | QKV相对影响中位数 [P10,P90] | 检索JS中位数 [P10,P90] |
|---|---|---|
| weak_half | 0.09035 [0.03148,0.23354] | 0.001413 [0.000220,0.006160] |
| strong_half | 0.20918 [0.09105,0.48031] | 0.025745 [0.004460,0.088616] |
| random_half | 0.16420 [0.06186,0.39711] | 0.013815 [0.002647,0.055241] |
| all_heads | 0.22908 [0.09930,0.51739] | 0.028837 [0.004936,0.100283] |
配对观测：QKV弱半数的实际联合影响小于强半数的比例为95.6%；强/弱影响比中位数为2.358。这是逐观测比值的中位数，不是两个总体中位数之比。弱效应为零的观测另计，不做除法。
联合实验的弱/强/随机半数头，在各token、各接收头上分别选择，形成完整序列再重算。排名依据单头QKV影响，同样用于JS；它是输入自适应诊断，不是免费可用的剪枝策略。线性注意力的卷积和普通注意力的QK可能传播跨token影响。所有上游头移除仍保留残差背景，不能把它称为删除全部上游信息。
连续指标：N_eff=1/Σp²；有效头比例=N_eff/H；C=(Σp²−1/H)/(1−1/H)。全零总影响时集中度未定义，原始数组保留NaN并在统计时排除、另计数量。单头相对L2影响在做头间占比归一化之前的总和及最大值均保留，避免把微小效应中的集中误认作重要。字段max_absolute指最大无符号相对效应，并非隐藏坐标中的未归一化L2；total是单头效应之和，真正全头联合效果另测。
联合实验中保存的单头影响之和仅为按query掩码加权的参考。单头消融移除整段序列的一个头，联合掩码则可跨位置变化；二者的差不能单独解释成纯非线性交互，因为时间支持也不同。应直接比较实际弱/强/随机联合效果。
文件与限制
raw/*.npz保留每次单头影响、联合影响、相应单头影响之和、删除掩码及空操作对照；observations.npz保留逐观测连续指标及索引；CSV和JSON为全部图表源表。原模型权重和大基线缓存继续保留在服务器。
只测短文本上的局部下一层作用；不代表全LM质量、可直接删头、所有输入普遍集中，或相似头可互相替代。所有头贡献可能是广泛分布的；报告不以发现稀疏为成功条件。
CPU测量耗时2636.4秒，峰值RSS155.9 MiB；无训练、GPU或清理。