Study cross-layer QKV functions and conditional retrieval overlap

This commit is contained in:
2026-11-09 16:01:26 +08:00
parent 5031aa604e
commit 9efbf0b3b1
68 changed files with 79327 additions and 0 deletions
+90
View File
@@ -0,0 +1,90 @@
# 跨层 QKV:主检验阴性,发现条件性的自 token 检索重合
全部在 CPU 上运行,冻结 Qwen3.5-2B 权重,无训练、连续 R 拟合或缩放拟合。
层索引从0开始。成本不作为判据;归一化相似不作为本轮 QKV 正例。
## 结论分级
**主协议没有候选通过全部门槛。** 覆盖六个 full-attention 层的全部15个跨层配对,
同时测试两个来源层的真实输入,不能将该结论扩大为模型不存在任何功能重复。
**探索性补充有一条具体行为观察,但严格新测试仍未全部通过:**
把层23的同一隐藏输入 H23 分别交给层3头7、层23头6的 QK 检索函数,
它们主要都读取当前 token;在4条新文本上,query位置7~31的 argmax 完全相同。
这不是同层 Q/K/V 互换,不是两个完整 attention 头等价,也没有证明 V 相似。
| 新文本证据(逐文本平均或最坏值) | 结果 |
|---|---:|
| 层23头6分配给当前token的平均概率,四文本最小值 | 95.71% |
| 层3头7在同一H23上分配给当前token的平均概率,最小值 | 92.07% |
| 两者最高概率key一致率 | 100% |
| 两套top5交集覆盖各自概率质量的最小值 | 97.97% |
| 分布总变差的最大文本平均值 | 6.96% |
| 保留层23 V/gate/O后的最坏双向头读出相对误差 | 3.82% |
| 最坏文本平均JS | 0.018921 |
新英文文本 fresh-en-2 超过补充协议的三条严格线:平均 JS 0.018921>0.01、
行 JS P95 0.072943>0.05、行总变差 P95 0.238731>0.20。
因此补充试验的 `fresh_function_pass=false`,**没有重标为完全通过,也未运行替换后的全LM NLL**。
已计算新文本原模型基线,不能把该基线文件当作替换实验结果。
可支持的观察是特定输入条件下的主要检索行为和实际读出接近;严格可互换尚未确认。
## 主协议实际覆盖
| 对象 | 初筛/直接比较数量 | 后续输出核验 |
|---|---:|---|
| 完整 attention 分支 | 15 | 全部测量 |
| QKV+gate/O 的完整头函数 | 960 | 全部测量,输出在共同residual坐标中 |
| 全8头P图映射(原序/冻结匹配) | 30 | 全部保留接收层V/gate/O做替换读出 |
| 单头联合QK检索 | 960 | 无候选通过初筛,主协议未进入单头读出 |
| 跨层KV组的直接V函数 | 60 | 无候选通过原始V初筛,未进入V组替换 |
主协议最接近的若干项,指标来自不同候选,不能拼接成同一个正例:
- QK两来源检索:层7头0↔层11头6,最坏文本平均JS约0.08609,最低top5约70.4%。
- 完整头输出:同一对头的最坏方向相对误差约134.4%。检索接近不意味着V/O组成的输出接近。
- 直接V函数:层7 KV头0↔层11 KV头1,最坏方向误差约150.3%。
- 完整分支:层7↔层11的最坏方向误差约185.3%。
- 保留目标V/O的完整P图映射:最小最坏输出误差约70.3%(层15↔19、冻结头匹配)。
V token-Gram CKA另与输入Gram和两个独立高斯投影比较。共同输入几何可以造成高Gram相似,
不能据此宣布V可替换;完整头输出检验已经包含各自的O/gate,避免仅因内部坐标差异就漏掉输出等价。
## 为什么增加单独的条件性审计
主协议要求两个来源层的输入分布均通过,并把无权重top5重合率作为硬门槛。
复核全部已保存的单来源指标后,固定了唯一一对:层3头7与层23头6,条件为H23。
它在校准集的JS很小,却因概率很低的尾部排名不同而top5重合低。
无权重top-k在近似并列处不连续:可以构造总变差趋近0而top5集合仍不同的例子,
本轮已加入独立回归测试。补充协议在观察该候选保留接收端V/O的读出、旧验证或新测试之前固定。
它改为单一H23输入条件,将top5作为诊断,并固定概率质量/实际读出/活跃度约束;
不换候选、不重新拟合参数。
它使用4条原验证文本,再使用本轮事先冻结的4条新文本,保留全部未通过项。
这是探索性补充,不改写主协议,不是事后声称原协议成功。
原主检验的图与条件性图使用不同输入集合:主检验取两个来源分布的最坏情况;
条件性图只研究H23。条件性相似不能推广到H3,也不能把早层在H3上已算好的P直接当作P_3(H23)。
实际H3缓存与H23接收端的差异另有概率/读出诊断,未做失败后追加的全模型替换。
## 图表阅读
- `cross_layer_qk_divergence`:15对层的JS,左为各配对最佳单头,中为原头序,右为冻结双射;
颜色越浅分布越近,斜线对角不作经验数据。全部仅为校准结果。
- `cross_layer_output_errors`:各类输出误差。QK单头和V组未通过初筛时,不画成零误差,而标未输出核验。
- `value_geometry_and_direct_error`:V Gram几何与直接V误差,灰区为随机投影对照,仅诊断。
- `conditional_probability_mass_and_readout`:同一条件候选在校准、旧验证和新测试上的top5、质量重合与实际读出差异。
- `conditional_cross_layer_probability_maps`:一条新文本的具体P图;层3在H23上的结果与层3在实际H3上的结果分开。
## 复现、预算与保留
20项完整远程测试通过。主计算约74.8秒,补充条件试验约105.3秒;峰值进程RSS分别约168/174 MiB。
另有出图、审计和测试,仍在两小时预算内。早期对照生成器的变量遮蔽错误及10.3秒失败记录保留,
修复后在新目录按相同配对和门槛重跑;没有删除原缓存。
模型revision 15852e8c16360a2fea060d615a32b45270f8a8fc,与此前官方参考校验的流式CPU实现一致。
全部权重和大型profile缓存继续保留;Git只上传代码、全部图表源表、选定的新文本概率矩阵、
日志、协议和缓存位置/SHA。没有新模型下载或自动清理。
后续若继续,应重新预注册“单向输入条件”和概率质量/读出判据,使用新文本及更长上下文;
当前结果不能证明跨上下文稳定,也不应把归一化正例或代数重参数化当作QKV主体验证。
+59
View File
@@ -0,0 +1,59 @@
# 跨层 QKV 功能重复:CPU 预注册方案
目标:两个不同层中的学习部分是否实现相似检索、内容变换或完整头函数。不以成本为条件。
冻结 Qwen3.5-2B 权重;不训练、不拟合连续 R 或缩放,不使用 GPU。权重与缓存持续保留。
## 配对与数据
仅研究完整注意力层索引 3/7/11/15/19/23(从0开始)的全部15个跨层配对。
18个线性注意力层不套用 softmax 概率指标,不在本轮自动扩大搜索。
复用已采集的同一隐藏输入,四条原校准文本选对,四条旧留出文本作验证;
后者曾用于其他试验,不称完全未见的最终测试。另固定4条新文本作新测试,32 tokens,中文英文各半。
仅对冻结候选通过验证时采集新测试输入,不根据测试结果重选。
## 拆开回答的问题
- QK:比较实际 Q/K norm、部分 RoPE 和 GQA 后产生的逐头检索概率,保留接收层 V/gate/O 时替换检索分布。
- V:比较跨层两个 KV 头的 V(H);保留接收层 P/gate/O,再替换一个 KV 组,覆盖该组4个Q头。
token Gram/CKA仅用于诊断坐标表示问题,不能代替实际输出替换;另与输入Gram、固定seed的两个高斯投影Gram比较,以控制共同输入结构造成的高相似。
- 完整头:比较 P V、gate、O 共同形成的每个头在 residual 坐标中的输出函数。
它不要求内部 V 坐标一致,能够避免仅比较内部元素漏掉表示差异。
- 完整分支:比较全部8个头组成的完整 attention 输出。
因此原始 Q/K/V 输出相似、QK 检索相似、V 可替换、完整头可替换分别报告,归一化单独相似不作主正例。
同一层 Q、K、V 互相比较不进入主实验。
## 头匹配与位置对照
15对层各在校准集选择一次最小平均JS的8头双射(精确离散DP,不求连续R)。
该排列只用于给接收Q头注入 donor P;接收层V/gate/O保持顺序,不宣称任意GQA权重排列合法。
全部960个跨层Q头配对、60个跨层KV头配对和960个完整头函数配对均作初筛。
完整P映射考察原顺序及冻结排列,共30项;完整分支共15项。
主指标只用 query 位置7~31,避免第一行概率必为1、早期合法key过少的平凡相似。
记录均匀因果P、固定seed的合法key打乱、去首key后重归一化、首key/self/最近3key质量。
首key或局部位置主导的真实重复单独标为位置型,不冒充内容语义重复。
## 固定门槛与预算
两档门槛在读取新跨层指标前固定,不依据结果放宽:
| 档位 | 输出双向相对L2 | 输出余弦 | 每文本平均JS | JS行P95 | top5重合 |
|---|---:|---:|---:|---:|---:|
| strict | ≤0.05 | ≥0.99 | ≤0.01 | ≤0.05 | ≥0.8 |
| approximate | ≤0.20 | ≥0.98 | ≤0.05 | ≤0.15 | ≥0.6 |
V另需同档原始V直接误差/余弦;QK候选另需同档检索门槛。
每个来源层、每条文本、两个替换方向分别检查,输出不含共同 residual 输入。
头输出需达到该层头RMS中位数的10%,且绝对RMS≥1e-6,避免近零头制造假正例。
QK单头最多精确核验32个初筛通过者,V组最多16个;完整P的30个输出均核验。
只按校准选定1个最终候选:先strict,再approximate;同档优先完整分支、完整头、完整P、QK单头、V组。
之后按最坏输出误差/JS/ID排序。不按验证或新测试结果换选。
同输入函数验证通过后,做两个方向的真实网络干预,计算新测试token NLL(均值增量≤0.01、
逐文本增量P95≤0.05)。另外只做一次时间顺序合法的“早层实际缓存→晚层”复用,单独报告;
同输入函数可互换不代表来自不同实际输入的已计算激活可以直接复制。
CPU总计算限两小时,保留阶段覆盖率和停止原因;没有候选即停止,不自动扩模型、层数或阈值。
较大的中间profile缓存在服务器,Git交付全部图表源表、协议、NLL和缓存位置/SHA。