4.0 KiB
跨层 QKV 功能重复：CPU 预注册方案
目标：两个不同层中的学习部分是否实现相似检索、内容变换或完整头函数。不以成本为条件。 冻结 Qwen3.5-2B 权重；不训练、不拟合连续 R 或缩放，不使用 GPU。权重与缓存持续保留。
配对与数据
仅研究完整注意力层索引 3/7/11/15/19/23（从0开始）的全部15个跨层配对。 18个线性注意力层不套用 softmax 概率指标，不在本轮自动扩大搜索。 复用已采集的同一隐藏输入，四条原校准文本选对，四条旧留出文本作验证； 后者曾用于其他试验，不称完全未见的最终测试。另固定4条新文本作新测试，32 tokens，中文英文各半。 仅对冻结候选通过验证时采集新测试输入，不根据测试结果重选。
拆开回答的问题
- QK：比较实际 Q/K norm、部分 RoPE 和 GQA 后产生的逐头检索概率，保留接收层 V/gate/O 时替换检索分布。
- V：比较跨层两个 KV 头的 V(H)；保留接收层 P/gate/O，再替换一个 KV 组，覆盖该组4个Q头。 token Gram/CKA仅用于诊断坐标表示问题，不能代替实际输出替换；另与输入Gram、固定seed的两个高斯投影Gram比较，以控制共同输入结构造成的高相似。
- 完整头：比较 P V、gate、O 共同形成的每个头在 residual 坐标中的输出函数。 它不要求内部 V 坐标一致，能够避免仅比较内部元素漏掉表示差异。
- 完整分支：比较全部8个头组成的完整 attention 输出。
因此原始 Q/K/V 输出相似、QK 检索相似、V 可替换、完整头可替换分别报告，归一化单独相似不作主正例。 同一层 Q、K、V 互相比较不进入主实验。
头匹配与位置对照
15对层各在校准集选择一次最小平均JS的8头双射（精确离散DP，不求连续R）。 该排列只用于给接收Q头注入 donor P；接收层V/gate/O保持顺序，不宣称任意GQA权重排列合法。 全部960个跨层Q头配对、60个跨层KV头配对和960个完整头函数配对均作初筛。 完整P映射考察原顺序及冻结排列，共30项；完整分支共15项。
主指标只用 query 位置7～31，避免第一行概率必为1、早期合法key过少的平凡相似。 记录均匀因果P、固定seed的合法key打乱、去首key后重归一化、首key/self/最近3key质量。 首key或局部位置主导的真实重复单独标为位置型，不冒充内容语义重复。
固定门槛与预算
两档门槛在读取新跨层指标前固定，不依据结果放宽：
| 档位 | 输出双向相对L2 | 输出余弦 | 每文本平均JS | JS行P95 | top5重合 |
|---|---|---|---|---|---|
| strict | ≤0.05 | ≥0.99 | ≤0.01 | ≤0.05 | ≥0.8 |
| approximate | ≤0.20 | ≥0.98 | ≤0.05 | ≤0.15 | ≥0.6 |
V另需同档原始V直接误差/余弦；QK候选另需同档检索门槛。 每个来源层、每条文本、两个替换方向分别检查，输出不含共同 residual 输入。 头输出需达到该层头RMS中位数的10%，且绝对RMS≥1e-6，避免近零头制造假正例。
QK单头最多精确核验32个初筛通过者，V组最多16个；完整P的30个输出均核验。 只按校准选定1个最终候选：先strict，再approximate；同档优先完整分支、完整头、完整P、QK单头、V组。 之后按最坏输出误差/JS/ID排序。不按验证或新测试结果换选。
同输入函数验证通过后，做两个方向的真实网络干预，计算新测试token NLL（均值增量≤0.01、 逐文本增量P95≤0.05）。另外只做一次时间顺序合法的“早层实际缓存→晚层”复用，单独报告； 同输入函数可互换不代表来自不同实际输入的已计算激活可以直接复制。
CPU总计算限两小时，保留阶段覆盖率和停止原因；没有候选即停止，不自动扩模型、层数或阈值。 较大的中间profile缓存在服务器，Git交付全部图表源表、协议、NLL和缓存位置/SHA。