exp-model-parameter-similarity/docs/FUNCTIONAL_REUSE_LITERATURE.md

功能复用文献核对

核对日期：2026-11-09。以下为原始论文摘要及相关章节核对，不是复现实验。 本项目约束：不训练任何参数；已有静态试验没有执行模型前向。下面的方法不自动获得执行授权。

原始来源	研究的共享对象 / 证据	训练条件与适用限制	对本项目的用途
LISA, 2408.01890v2, §3–5	跨层 token 注意力分布；考察头对齐、浅层敏感性；基准能力和吞吐验证	学习头对齐网络及低秩差异修正；不能归类为免训练替换。论文的 attention weights 在此主要指注意力分布，不是 W_Q/W_K 权重	借鉴逐头比较、首 token 对照和替换敏感性验证；不采用训练模块
CLA, 2405.12981	相邻层共享 K/V heads，降低 KV cache；语言模型能力验证	摘要明确实验为从头训练 1B/3B 模型；不是现成 Qwen 的直接合并证据	区分 KV 缓存收益和参数/计算收益；作为架构可行性依据
Systematic Study, NAACL 2025	系统比较跨层 KV 共享配置；语言建模、下游任务及生成吞吐	摘要报告激进配置涉及额外训练及 prefill 代价；不能由摘要推断零训练可迁移性	复用方向、共享拓扑及 prefill/decode 成本须分别记录
MiniLM, 2002.10957v2	注意力分布及 value-value 关系蒸馏	明确训练学生模型；本项目不进行蒸馏	提醒检索分布和 value 内容需要分开考察
CKA, ICML 2019	表征之间的关系相似性，不是模块替换实验	论文讨论表征比较及可逆变换不变性的局限；高 CKA 不是可替换保证	可作为候选诊断，不能取代输出误差、干预和成本评测
ALBERT, 1909.11942v6, §3.1/4.5	跨层参数共享及训练后能力验证	共享架构参与训练；不能直接外推为已训练 checkpoint 可无损合并	参数存储减少与前向运算减少分别记账

对当前试验的推论

以上文献给出研究动机，没有证明 Qwen3.5-2B 已存在免训练的有效复用组。 静态权重试验也没有否定该可能性。应使用同输入功能探测筛选，再对实际计算图实施单处干预。 Qwen 的 full attention 与线性注意力需分别定义探测量；不能把 softmax attention 的结论照搬到状态递推模块。

数学工具参考：SciPy orthogonal_procrustes。 纯正交最小二乘有直接的矩阵分解解法，无须枚举旋转矩阵；但求解一个对齐并不自动带来可省略的计算。 本项目下一阶段默认不求 R，直接测目标函数和干预效果。