验证 Qwen3.5-2B 的免训练注意力共享和 LiSA 式轻量校准 #10

Merged
Zayden-Jung merged 1 commits from codex/lisa-attention-pilot into main 2026-11-22 14:12:36 +00:00
Collaborator

Qwen3.5-2B 跨层注意力共享先导实验

固定原 Qwen3.5-2B 检查点,测试第 19 层实际前向产生的 softmax 前注意力分数能否替代第 23 层的分数。层编号从零开始。所有替换保留接收端的 V、gate 和输出投影。

方法 4 项表正确 8 项表正确 合计选择 NLL
原模型 12/12 12/12 0.145079
原序直接共享 12/12 12/12 0.087006
头重排后共享 12/12 12/12 0.093331
共享分数的线性头混合 12/12 12/12 0.100784
接收层 32 坐标,无共享 12/12 12/12 0.102878
共享分数与接收层 32 坐标联合拟合 12/12 12/12 0.106184

选择 NLL 在四个选项 token 上归一化后按题取均值。直接共享在这 24 道题上保持准确率,也在每道题上降低了选择 NLL。更低的损失反映正确选项相对其余三个选项的得分,样本中的准确率已经达到上限。这个结果支持冻结权重的单层替换在这些合成检索题上可用。轻量拟合没有带来额外收益。

实验与检查

  • 12 道 4 项表校准题用于冻结头排列、闭式岭回归映射。拟合只使用原模型内部注意力分数,不使用正确选项标签。全套 36 条提示词无重复。
  • Qwen 权重全程冻结。没有反向传播,也没有训练 LiSA 原版的非线性头对齐网络或低秩 Q/K 投影。32 坐标来自确定性下采样的接收层 post-RoPE Q/K。
  • 远程 CPU 的 8 项跨层回归测试通过。合成数值检查通过,覆盖排列方向、因果遮罩和联合拟合重建。校准时的原模型路径一致性检查以及六批留出题的末层原样重放一致性检查均通过。
  • 两次较慢的远程执行切换后保留旧目录,最终版本沿用第二次已完成的校准,并核对原检查点文件指纹及全部提示词。末层重放阶段耗时约 681 秒。逐题分数、答案和 NLL 已从原始 logits 独立复核,最终运行脚本 SHA256 为 a64d1b50a10bdde893c4bc274365c0c072f13c0a2359b079cfa8421b9ce068f4。

评测只覆盖一个模型、一个接收层、一类合成任务、约束于四个选项的读出。诊断仍计算原始 Q/K,未测吞吐、压缩率、自由生成或多层累积替换效果。实验方法和复现入口见 crossqkv/README.md。

# Qwen3.5-2B 跨层注意力共享先导实验 固定原 Qwen3.5-2B 检查点,测试第 19 层实际前向产生的 softmax 前注意力分数能否替代第 23 层的分数。层编号从零开始。所有替换保留接收端的 V、gate 和输出投影。 | 方法 | 4 项表正确 | 8 项表正确 | 合计选择 NLL | | --- | ---: | ---: | ---: | | 原模型 | 12/12 | 12/12 | 0.145079 | | 原序直接共享 | 12/12 | 12/12 | 0.087006 | | 头重排后共享 | 12/12 | 12/12 | 0.093331 | | 共享分数的线性头混合 | 12/12 | 12/12 | 0.100784 | | 接收层 32 坐标,无共享 | 12/12 | 12/12 | 0.102878 | | 共享分数与接收层 32 坐标联合拟合 | 12/12 | 12/12 | 0.106184 | 选择 NLL 在四个选项 token 上归一化后按题取均值。直接共享在这 24 道题上保持准确率,也在每道题上降低了选择 NLL。更低的损失反映正确选项相对其余三个选项的得分,样本中的准确率已经达到上限。这个结果支持冻结权重的单层替换在这些合成检索题上可用。轻量拟合没有带来额外收益。 ## 实验与检查 - 12 道 4 项表校准题用于冻结头排列、闭式岭回归映射。拟合只使用原模型内部注意力分数,不使用正确选项标签。全套 36 条提示词无重复。 - Qwen 权重全程冻结。没有反向传播,也没有训练 LiSA 原版的非线性头对齐网络或低秩 Q/K 投影。32 坐标来自确定性下采样的接收层 post-RoPE Q/K。 - 远程 CPU 的 8 项跨层回归测试通过。合成数值检查通过,覆盖排列方向、因果遮罩和联合拟合重建。校准时的原模型路径一致性检查以及六批留出题的末层原样重放一致性检查均通过。 - 两次较慢的远程执行切换后保留旧目录,最终版本沿用第二次已完成的校准,并核对原检查点文件指纹及全部提示词。末层重放阶段耗时约 681 秒。逐题分数、答案和 NLL 已从原始 logits 独立复核,最终运行脚本 SHA256 为 `a64d1b50a10bdde893c4bc274365c0c072f13c0a2359b079cfa8421b9ce068f4`。 评测只覆盖一个模型、一个接收层、一类合成任务、约束于四个选项的读出。诊断仍计算原始 Q/K,未测吞吐、压缩率、自由生成或多层累积替换效果。实验方法和复现入口见 [crossqkv/README.md](../../crossqkv/README.md)。
codex-bot added 1 commit 2026-11-22 12:20:55 +00:00
Zayden-Jung merged commit 5dd3ab32c8 into main 2026-11-22 14:12:35 +00:00
Sign in to join this conversation.
No Reviewers
No Label
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: Zayden-Jung/exp-model-parameter-similarity#10