3.3 KiB
3.3 KiB
研究图册：Qwen3.5-2B 头贡献集中度
这份图册与原始PNG/PDF/SVG一同保存在Git中。图片文件已随PR #6合并到main；以下固定提交链接不依赖聊天附件或本机路径。
原始结果提交：098ea8650c7d0e06339c66e3a0509e38b85b3d7d；模型revision：15852e8c16360a2fea060d615a32b45270f8a8fc。
| 基线指标（逐观测中位数） | QKV复合变化 | √JS检索距离 |
|---|---|---|
| 有效头数÷总头数 | 76.0% | 55.8% |
| 最强25%头的影响份额 | 44.6% | 56.5% |
| 最弱25%头的影响份额 | 10.6% | 6.8% |
√JS有效头数：8.931822/16；P10=5.784081，P90=11.672658。 这是消融影响的集中程度，不是注意力概率质量。原基线为4条文本各32 token，普通注意力接收层的query7–31。
连续分布与尺度敏感性
联合强弱头消融
使用√JS距离进行微调前后配对比较；保留JS散度作为尺度敏感性参考，避免混淆平方尺度与距离尺度。
GSM8K微调前后配对图
同目录保留PDF/SVG。图表随代码、原始数据和SHA清单一同提交，不依赖聊天附件。
高维壳与稀疏性对照
条件定理、反例与数据说明 · PDF · SVG
