24 lines
2.9 KiB
Markdown
24 lines
2.9 KiB
Markdown
# 功能复用文献核对
|
|
|
|
核对日期：2026-11-09。以下为原始论文摘要及相关章节核对，不是复现实验。
|
|
本项目约束：不训练任何参数；已有静态试验没有执行模型前向。下面的方法不自动获得执行授权。
|
|
|
|
| 原始来源 | 研究的共享对象 / 证据 | 训练条件与适用限制 | 对本项目的用途 |
|
|
|---|---|---|---|
|
|
| [LISA, 2408.01890v2](https://arxiv.org/html/2408.01890v2), §3–5 | 跨层 token 注意力分布；考察头对齐、浅层敏感性；基准能力和吞吐验证 | 学习头对齐网络及低秩差异修正；不能归类为免训练替换。论文的 attention weights 在此主要指注意力分布，不是 W_Q/W_K 权重 | 借鉴逐头比较、首 token 对照和替换敏感性验证；不采用训练模块 |
|
|
| [CLA, 2405.12981](https://arxiv.org/abs/2405.12981) | 相邻层共享 K/V heads，降低 KV cache；语言模型能力验证 | 摘要明确实验为从头训练 1B/3B 模型；不是现成 Qwen 的直接合并证据 | 区分 KV 缓存收益和参数/计算收益；作为架构可行性依据 |
|
|
| [Systematic Study, NAACL 2025](https://aclanthology.org/2025.naacl-short.34/) | 系统比较跨层 KV 共享配置；语言建模、下游任务及生成吞吐 | 摘要报告激进配置涉及额外训练及 prefill 代价；不能由摘要推断零训练可迁移性 | 复用方向、共享拓扑及 prefill/decode 成本须分别记录 |
|
|
| [MiniLM, 2002.10957v2](https://arxiv.org/abs/2002.10957) | 注意力分布及 value-value 关系蒸馏 | 明确训练学生模型；本项目不进行蒸馏 | 提醒检索分布和 value 内容需要分开考察 |
|
|
| [CKA, ICML 2019](https://proceedings.mlr.press/v97/kornblith19a.html) | 表征之间的关系相似性，不是模块替换实验 | 论文讨论表征比较及可逆变换不变性的局限；高 CKA 不是可替换保证 | 可作为候选诊断，不能取代输出误差、干预和成本评测 |
|
|
| [ALBERT, 1909.11942v6](https://arxiv.org/html/1909.11942v6), §3.1/4.5 | 跨层参数共享及训练后能力验证 | 共享架构参与训练；不能直接外推为已训练 checkpoint 可无损合并 | 参数存储减少与前向运算减少分别记账 |
|
|
|
|
## 对当前试验的推论
|
|
|
|
以上文献给出研究动机，没有证明 Qwen3.5-2B 已存在免训练的有效复用组。
|
|
静态权重试验也没有否定该可能性。应使用同输入功能探测筛选，再对实际计算图实施单处干预。
|
|
Qwen 的 full attention 与线性注意力需分别定义探测量；不能把 softmax attention 的结论照搬到状态递推模块。
|
|
|
|
数学工具参考：[SciPy orthogonal_procrustes](https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.orthogonal_procrustes.html)。
|
|
纯正交最小二乘有直接的矩阵分解解法，无须枚举旋转矩阵；但求解一个对齐并不自动带来可省略的计算。
|
|
本项目下一阶段默认不求 R，直接测目标函数和干预效果。
|