Files

49 lines
4.0 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 上游注意力头对下一层 Q/K/V 的影响集中度
实测全部23个相邻层连接、4条既有中英文文本各32 token。主统计取query7–31,按文本/token/接收query头分别计算,再汇总。不是独立样本的显著性检验。
影响是移除上游一个头后,下一层Q/K/V向量的相对L2变化;重新计算中间MLP/残差/归一化。各头影响归一化仅构成消融影响分布,不是天然可相加的贡献概率。
| 对象 | 有效头比例中位数 [P10,P90] | 最大头份额中位数 | 前25%头份额中位数 | 最小25%头份额中位数 | 90%影响所需头数中位数 |
|---|---:|---:|---:|---:|---:|
| Q | 0.736 [0.506,0.861] | 18.6% | 46.0% | 10.0% | 12.0 |
| K | 0.749 [0.517,0.879] | 18.4% | 45.2% | 10.3% | 12.0 |
| V | 0.723 [0.479,0.862] | 19.0% | 46.6% | 9.5% | 12.0 |
| QKV | 0.760 [0.531,0.878] | 18.1% | 44.6% | 10.6% | 12.0 |
| JS | 0.244 [0.117,0.434] | 42.3% | 82.3% | 1.1% | 6.0 |
| sqrtJS | 0.558 [0.362,0.730] | 21.7% | 56.5% | 6.8% | 11.0 |
sqrtJS为JS距离尺度敏感性分析:在初次完整汇总后增加,原始消融和原JS主结果不变。JS散度近似平方尺度,归一化后会放大强弱差距;JS影响份额不是注意力概率质量份额。
按接收层类型分层(避免总体分布混合不同机制):
| 接收层类型 | Q有效头比例中位数 | K | V | QKV |
|---|---:|---:|---:|---:|
| linear_attention | 0.747 | 0.773 | 0.736 | 0.778 |
| full_attention | 0.677 | 0.562 | 0.629 | 0.645 |
QKV是三个相对变化平方的均值再开根号,避免混加不同Q/K/V尺度;JS仅普通注意力接收层有。普通注意力GQA的K/V复制到query头索引用于配对,不是额外独立KV头。
| 联合移除 | QKV相对影响中位数 [P10,P90] | 检索JS中位数 [P10,P90] |
|---|---:|---:|
| weak_half | 0.09035 [0.03148,0.23354] | 0.001413 [0.000220,0.006160] |
| strong_half | 0.20918 [0.09105,0.48031] | 0.025745 [0.004460,0.088616] |
| random_half | 0.16420 [0.06186,0.39711] | 0.013815 [0.002647,0.055241] |
| all_heads | 0.22908 [0.09930,0.51739] | 0.028837 [0.004936,0.100283] |
配对观测:QKV弱半数的实际联合影响小于强半数的比例为95.6%;强/弱影响比中位数为2.358。这是逐观测比值的中位数,不是两个总体中位数之比。弱效应为零的观测另计,不做除法。
联合实验的弱/强/随机半数头,在各token、各接收头上分别选择,形成完整序列再重算。排名依据单头QKV影响,同样用于JS;它是输入自适应诊断,不是免费可用的剪枝策略。线性注意力的卷积和普通注意力的QK可能传播跨token影响。所有上游头移除仍保留残差背景,不能把它称为删除全部上游信息。
连续指标:N_eff=1/Σp²;有效头比例=N_eff/H;C=(Σp²−1/H)/(1−1/H)。全零总影响时集中度未定义,原始数组保留NaN并在统计时排除、另计数量。单头相对L2影响在做头间占比归一化之前的总和及最大值均保留,避免把微小效应中的集中误认作重要。字段max_absolute指最大无符号相对效应,并非隐藏坐标中的未归一化L2;total是单头效应之和,真正全头联合效果另测。
联合实验中保存的单头影响之和仅为按query掩码加权的参考。单头消融移除整段序列的一个头,联合掩码则可跨位置变化;二者的差不能单独解释成纯非线性交互,因为时间支持也不同。应直接比较实际弱/强/随机联合效果。
## 文件与限制
`raw/*.npz`保留每次单头影响、联合影响、相应单头影响之和、删除掩码及空操作对照;`observations.npz`保留逐观测连续指标及索引;CSV和JSON为全部图表源表。原模型权重和大基线缓存继续保留在服务器。
只测短文本上的局部下一层作用;不代表全LM质量、可直接删头、所有输入普遍集中,或相似头可互相替代。所有头贡献可能是广泛分布的;报告不以发现稀疏为成功条件。
CPU测量耗时2636.4秒,峰值RSS155.9 MiB;无训练、GPU或清理。