58 lines
4.3 KiB
Markdown
58 lines
4.3 KiB
Markdown
# 研究图册：Qwen3.5-2B 参数几何与头贡献
|
||
|
||
这份图册与原始PNG/PDF/SVG一同保存在Git中。头贡献基线图片已随PR #6合并到main；其固定提交链接不依赖聊天附件或本机路径。后续实验分别列于下方，可通过图册所在的Git提交查看对应版本。
|
||
|
||
原始结果提交：`098ea8650c7d0e06339c66e3a0509e38b85b3d7d`；模型revision：`15852e8c16360a2fea060d615a32b45270f8a8fc`。
|
||
|
||
| 基线指标（逐观测中位数） | QKV复合变化 | √JS检索距离 |
|
||
|---|---:|---:|
|
||
| 有效头数÷总头数 | 76.0% | 55.8% |
|
||
| 最强25%头的影响份额 | 44.6% | 56.5% |
|
||
| 最弱25%头的影响份额 | 10.6% | 6.8% |
|
||
|
||
**√JS有效头数：8.931822/16；P10=5.784081，P90=11.672658。** 这是消融影响的集中程度，不是注意力概率质量。原基线为4条文本各32 token，普通注意力接收层的query7–31。
|
||
|
||
## 连续分布与尺度敏感性
|
||
|
||
|
||
|
||
[PNG固定提交副本](https://gitea.entroia.com/Zayden-Jung/exp-model-parameter-similarity/raw/commit/098ea8650c7d0e06339c66e3a0509e38b85b3d7d/results/head-dominance/figures/retrieval_scale_sensitivity.png)
|
||
[PDF固定提交副本](https://gitea.entroia.com/Zayden-Jung/exp-model-parameter-similarity/raw/commit/098ea8650c7d0e06339c66e3a0509e38b85b3d7d/results/head-dominance/figures/retrieval_scale_sensitivity.pdf)
|
||
[SVG固定提交副本](https://gitea.entroia.com/Zayden-Jung/exp-model-parameter-similarity/raw/commit/098ea8650c7d0e06339c66e3a0509e38b85b3d7d/results/head-dominance/figures/retrieval_scale_sensitivity.svg)
|
||
|
||
## 联合强弱头消融
|
||
|
||
|
||
|
||
[PNG固定提交副本](https://gitea.entroia.com/Zayden-Jung/exp-model-parameter-similarity/raw/commit/098ea8650c7d0e06339c66e3a0509e38b85b3d7d/results/head-dominance/figures/joint_removal_effects.png)
|
||
[PDF固定提交副本](https://gitea.entroia.com/Zayden-Jung/exp-model-parameter-similarity/raw/commit/098ea8650c7d0e06339c66e3a0509e38b85b3d7d/results/head-dominance/figures/joint_removal_effects.pdf)
|
||
[SVG固定提交副本](https://gitea.entroia.com/Zayden-Jung/exp-model-parameter-similarity/raw/commit/098ea8650c7d0e06339c66e3a0509e38b85b3d7d/results/head-dominance/figures/joint_removal_effects.svg)
|
||
|
||
[完整基线报告](../results/head-dominance/REPORT.md) · [全部图表目录](../results/head-dominance/figures) · [图册SHA清单](figure-gallery-manifest.json)
|
||
|
||
使用√JS距离进行微调前后配对比较；保留JS散度作为尺度敏感性参考，避免混淆平方尺度与距离尺度。
|
||
|
||
## GSM8K微调前后配对图
|
||
|
||
[配对报告](../results/finetune-comparison/REPORT.md) · [CDF](../results/finetune-comparison/figures/paired_effective_heads_cdf.png) · [逐层分布](../results/finetune-comparison/figures/paired_effective_heads_by_layer.png) · [配对变化](../results/finetune-comparison/figures/paired_effective_heads_delta.png)
|
||
|
||
同目录保留PDF/SVG。图表随代码、原始数据和SHA清单一同提交，不依赖聊天附件。
|
||
|
||
## 高维壳与稀疏性对照
|
||
|
||
|
||
|
||
[条件定理、反例与数据说明](../results/sparse-shell/REPORT.md) · [PDF](../results/sparse-shell/sparse_shell_controls.pdf) · [SVG](../results/sparse-shell/sparse_shell_controls.svg)
|
||
|
||
## 两个实际2B检查点的参数球壳检验
|
||
|
||
[结论与解释](MODEL_SHELL_FINDINGS.md) · [实测报告、分组数量与限制](../results/model-shell/REPORT.md) · [固定协议](../model_shell/PROTOCOL.md) · [指标源表](../results/model-shell/metrics.csv) · [校验清单](../results/model-shell/audit.json)
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
[微调前后配对图](../results/model-shell/figures/finetune_paired_radii.png) · [有限样本参与率](../results/model-shell/figures/participation_reference.png)。每幅图同目录均保存PDF/SVG，完整CDF及参照数据保存在`profiles.json.gz`，实测范数保存在`measured_radii.npz`；均随本次成果进入Git。
|