跨层 QKV 功能验证与条件性检索重合 #4

2026-11-09T08:02:40Z

codex-bot commented

2026-11-09 08:02:40 +00:00

在冻结 Qwen3.5-2B 上检验跨层 QKV 功能重复；全部在已授权 CPU 服务器运行，无训练、连续旋转/缩放拟合或 GPU。归一化正例不计入本轮成果，运行成本不作为成功门槛。

实际结果

六个 full-attention 层的全部 15 个跨层配对，覆盖 2025 个候选单元；主协议没有候选通过全部严格或近似门槛。
探索性审计固定唯一候选：层3头7与层23头6，同取 H23。四条新文本上，两者主要读当前 token，query 7–31 的 argmax 全部相同；固定接收层 V/gate/O 后最坏头输出相对误差约 3.82%。
该条件候选的新英文文本仍超过平均 JS、行 JS P95、行 TV P95 三条严格限制，未宣布完全通过。未执行替换后的全 LM NLL 或网络缓存复用验证；已保存的 NLL 仅是原模型基线。没有证明 V 或完整 QKV 可互换。

改动

crossqkv：固定协议、同输入 QK/V/完整头比较、离散头匹配、接收端 V/gate/O 保持的概率图替换、条件性审计、报告与独立数据核验。
新增 8 项回归测试；README 和两份中文协议/发现文档说明边界与复现。
results/cross-layer-qkv：全部指标源表、固定样本/协议、选定概率矩阵、5 组 PNG/PDF/SVG 科研图、测试/运行/失败记录和 SHA 清单。大型缓存不入 Git，但位置、大小、SHA 已登记。

验证

远程完整 20 项测试通过（28.244 秒）；2025 单元计数和新文本概率独立重算通过；50 个结果文件 SHA、12 个源码 SHA、本地暂存内容与交付清单一致，差异空白检查通过。主计算约 74.8 秒，条件试验约 105.3 秒，峰值 RSS 约 168/174 MiB。

限制与保留

仅短上下文、有限中英文文本；条件性观察仅同一 H23，不能推广到 H3 或所有输入，也不是完整替换有效性证明。模型权重、8 份大型缓存（含失败首次缓存）全部保留，未下载其他模型或清理数据。

工作分支已完成验证，等待用户手动合并；不自动合并。

在冻结 Qwen3.5-2B 上检验跨层 QKV 功能重复；全部在已授权 CPU 服务器运行，无训练、连续旋转/缩放拟合或 GPU。归一化正例不计入本轮成果，运行成本不作为成功门槛。 ## 实际结果 - 六个 full-attention 层的全部 15 个跨层配对，覆盖 2025 个候选单元；主协议没有候选通过全部严格或近似门槛。 - 探索性审计固定唯一候选：层3头7与层23头6，同取 H23。四条新文本上，两者主要读当前 token，query 7–31 的 argmax 全部相同；固定接收层 V/gate/O 后最坏头输出相对误差约 3.82%。 - 该条件候选的新英文文本仍超过平均 JS、行 JS P95、行 TV P95 三条严格限制，未宣布完全通过。未执行替换后的全 LM NLL 或网络缓存复用验证；已保存的 NLL 仅是原模型基线。没有证明 V 或完整 QKV 可互换。 ## 改动 - crossqkv：固定协议、同输入 QK/V/完整头比较、离散头匹配、接收端 V/gate/O 保持的概率图替换、条件性审计、报告与独立数据核验。 - 新增 8 项回归测试；README 和两份中文协议/发现文档说明边界与复现。 - results/cross-layer-qkv：全部指标源表、固定样本/协议、选定概率矩阵、5 组 PNG/PDF/SVG 科研图、测试/运行/失败记录和 SHA 清单。大型缓存不入 Git，但位置、大小、SHA 已登记。 ## 验证远程完整 20 项测试通过（28.244 秒）；2025 单元计数和新文本概率独立重算通过；50 个结果文件 SHA、12 个源码 SHA、本地暂存内容与交付清单一致，差异空白检查通过。主计算约 74.8 秒，条件试验约 105.3 秒，峰值 RSS 约 168/174 MiB。 ## 限制与保留仅短上下文、有限中英文文本；条件性观察仅同一 H23，不能推广到 H3 或所有输入，也不是完整替换有效性证明。模型权重、8 份大型缓存（含失败首次缓存）全部保留，未下载其他模型或清理数据。工作分支已完成验证，等待用户手动合并；不自动合并。

codex-bot added 1 commit 2026-11-09 08:02:41 +00:00

Study cross-layer QKV functions and conditional retrieval overlap 9efbf0b3b1

Zayden-Jung merged commit 0934079ed9 into main

2026-11-09 08:03:32 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Zayden-Jung/exp-model-parameter-similarity#4