量化相邻层注意力头的影响集中度与联合消融效果 #6

2026-11-10T15:02:19Z

codex-bot commented

2026-11-10 15:02:19 +00:00

量化上游哪些注意力输出头对下一层 Q/K/V 的影响占主导，以及这种集中程度在文本、token、接收头和层之间的分布。全部使用保留的 Qwen3.5-2B 权重，在已授权 CPU 服务器执行，无训练、GPU或权重修改。

方法与改动

全部23个相邻层连接，4条既有中英文短文本各32 token，共92组；主统计取query7–31。覆盖16头线性注意力与8头普通注意力。
每次移除一个上游头在全序列的投影输出，重算中间残差、MLP、归一化及下一层有效Q/K/V；普通注意力接收层还测真实检索概率JS。
以有效头数、有效头比例、归一化集中度作为连续指标，辅以Top份额及90%影响所需头数；保存未做头间占比归一化的相对效应。
同等数量弱半数、强半数、随机半数，以及全头联合移除。每个接收头使用完整的token自适应掩码；直接比较实测联合效果，不把单头效应之和当作因果分解。
新增dominance代码、定义/协议/复现文档和5项独立测试；根README添加入口。结果包括全部原始消融数组及掩码、连续指标观测表、汇总CSV/JSON、四组PNG/PDF/SVG科研图、测试/运行/来源校验记录。

边界

这是有限短文本上的局部干预影响分布；不是天然可相加的贡献概率、全LM质量保证、固定可删头集合或功能可互换证明。GQA复制的K/V槽位不作为额外独立KV头。按接收层类型分层汇总。大基线缓存和模型继续保留在服务器，Git上传路径/大小/SHA。

等待用户手动合并，不自动合并。

实测结果与尺度核验

QKV相对L2影响的有效头比例中位数为76.0%，前25%头份额44.6%、后25%为10.6%。检索JS散度呈更强集中（前25%占82.3%），但JS是近似平方尺度，不能把这种份额当作概率质量。完成主汇总后，明确增加√JS距离尺度敏感性：有效头比例中位数55.8%，前25%头份额56.5%、后25%为6.8%。原JS及全部主结果保存于primary-analysis-summary.json，并通过精确不变性审计；未重跑模型、未改变候选或掩码。

联合移除弱半数的QKV相对效应中位数9.04%，强半数20.92%；逐观测强/弱效应比中位数2.358，95.6%的配对观测中弱半数影响更小。这支持明确的强弱差异，未证明普遍极端稀疏或可无损删头。

检查与保留

本轮25项相关远程回归及对齐新主线后的2项激活统计回归均通过（共27项）。92组原始数据、32000条/种QKV观测、4800条/种检索观测、96项头输出求和对照及空消融通过复算；观测版与原完整前向相对误差0。125个交付文件及10个源码SHA核对一致，四组图逐一检查，暂存区数据校验与差异空白检查通过。

完整模型计算2636.4秒，峰值RSS155.9 MiB。模型SHA与官方清单一致，历史22项官方参考测试通过且实现SHA未变（不是本轮重新执行22项）。100份新基线缓存、旧8份大缓存及旧基线均确认保留。Git只上传原始影响/掩码和图表源数据，不上传权重或大型基线缓存。

.gitattributes对本轮捕获stdout文件关闭空白风格检查，保持原始日志字节及校验和不变。工作分支已对齐最新main（上一轮PR #5已由用户合并），本PR仅包含本轮研究。

检索分布的实际联合对照也支持排序：√JS距离变化的逐观测强/弱比中位数4.333，99.708%的普通注意力检索观测中弱半数影响更小（掩码仍按原QKV指标选取，没有按JS另行优化）。该比例不能当作独立文本上的统计显著性或全模型能力保证。

量化上游哪些注意力输出头对下一层 Q/K/V 的影响占主导，以及这种集中程度在文本、token、接收头和层之间的分布。全部使用保留的 Qwen3.5-2B 权重，在已授权 CPU 服务器执行，无训练、GPU或权重修改。 ## 方法与改动 - 全部23个相邻层连接，4条既有中英文短文本各32 token，共92组；主统计取query7–31。覆盖16头线性注意力与8头普通注意力。 - 每次移除一个上游头在全序列的投影输出，重算中间残差、MLP、归一化及下一层有效Q/K/V；普通注意力接收层还测真实检索概率JS。 - 以有效头数、有效头比例、归一化集中度作为连续指标，辅以Top份额及90%影响所需头数；保存未做头间占比归一化的相对效应。 - 同等数量弱半数、强半数、随机半数，以及全头联合移除。每个接收头使用完整的token自适应掩码；直接比较实测联合效果，不把单头效应之和当作因果分解。 - 新增dominance代码、定义/协议/复现文档和5项独立测试；根README添加入口。结果包括全部原始消融数组及掩码、连续指标观测表、汇总CSV/JSON、四组PNG/PDF/SVG科研图、测试/运行/来源校验记录。 ## 边界这是有限短文本上的局部干预影响分布；不是天然可相加的贡献概率、全LM质量保证、固定可删头集合或功能可互换证明。GQA复制的K/V槽位不作为额外独立KV头。按接收层类型分层汇总。大基线缓存和模型继续保留在服务器，Git上传路径/大小/SHA。等待用户手动合并，不自动合并。 ## 实测结果与尺度核验 QKV相对L2影响的有效头比例中位数为76.0%，前25%头份额44.6%、后25%为10.6%。检索JS散度呈更强集中（前25%占82.3%），但JS是近似平方尺度，不能把这种份额当作概率质量。完成主汇总后，明确增加√JS距离尺度敏感性：有效头比例中位数55.8%，前25%头份额56.5%、后25%为6.8%。原JS及全部主结果保存于primary-analysis-summary.json，并通过精确不变性审计；未重跑模型、未改变候选或掩码。联合移除弱半数的QKV相对效应中位数9.04%，强半数20.92%；逐观测强/弱效应比中位数2.358，95.6%的配对观测中弱半数影响更小。这支持明确的强弱差异，未证明普遍极端稀疏或可无损删头。 ## 检查与保留本轮25项相关远程回归及对齐新主线后的2项激活统计回归均通过（共27项）。92组原始数据、32000条/种QKV观测、4800条/种检索观测、96项头输出求和对照及空消融通过复算；观测版与原完整前向相对误差0。125个交付文件及10个源码SHA核对一致，四组图逐一检查，暂存区数据校验与差异空白检查通过。完整模型计算2636.4秒，峰值RSS155.9 MiB。模型SHA与官方清单一致，历史22项官方参考测试通过且实现SHA未变（不是本轮重新执行22项）。100份新基线缓存、旧8份大缓存及旧基线均确认保留。Git只上传原始影响/掩码和图表源数据，不上传权重或大型基线缓存。 .gitattributes对本轮捕获stdout文件关闭空白风格检查，保持原始日志字节及校验和不变。工作分支已对齐最新main（上一轮PR #5已由用户合并），本PR仅包含本轮研究。检索分布的实际联合对照也支持排序：√JS距离变化的逐观测强/弱比中位数4.333，99.708%的普通注意力检索观测中弱半数影响更小（掩码仍按原QKV指标选取，没有按JS另行优化）。该比例不能当作独立文本上的统计显著性或全模型能力保证。

codex-bot added 1 commit 2026-11-10 15:02:20 +00:00

Quantify adjacent-layer head influence concentration on CPU 098ea8650c

Zayden-Jung merged commit d6d985487c into main

2026-11-10 15:16:19 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Zayden-Jung/exp-model-parameter-similarity#6