Document bounded training-free functional reuse investigation

README.md

@@ -4,6 +4,8 @@ Bounded, inference-free analysis of official unquantized model weights. The firs
 is **Qwen3.5-2B**. Model weights are downloaded and analyzed on the authorized remote host,
 then deleted after archived results pass validation. No model weights are committed here.
 
+- [Training-free functional reuse plan (proposed; not executed)](docs/TRAINING_FREE_FUNCTIONAL_PLAN.md)
+- [Primary-source literature and applicability](docs/FUNCTIONAL_REUSE_LITERATURE.md)
 - [Procedure and limits](docs/SOP.md)
 - [2B pilot findings and limitations](docs/PILOT_FINDINGS.md)
 - [Raw result report, data and figures](results/qwen35-2b/REPORT.md)

docs/FUNCTIONAL_REUSE_LITERATURE.md

@@ -0,0 +1,23 @@
+# 功能复用文献核对
+
+核对日期：2026-11-09。以下为原始论文摘要及相关章节核对，不是复现实验。
+本项目约束：不训练任何参数；已有静态试验没有执行模型前向。下面的方法不自动获得执行授权。
+
+| 原始来源 | 研究的共享对象 / 证据 | 训练条件与适用限制 | 对本项目的用途 |
+|---|---|---|---|
+| [LISA, 2408.01890v2](https://arxiv.org/html/2408.01890v2), §3–5 | 跨层 token 注意力分布；考察头对齐、浅层敏感性；基准能力和吞吐验证 | 学习头对齐网络及低秩差异修正；不能归类为免训练替换。论文的 attention weights 在此主要指注意力分布，不是 W_Q/W_K 权重 | 借鉴逐头比较、首 token 对照和替换敏感性验证；不采用训练模块 |
+| [CLA, 2405.12981](https://arxiv.org/abs/2405.12981) | 相邻层共享 K/V heads，降低 KV cache；语言模型能力验证 | 摘要明确实验为从头训练 1B/3B 模型；不是现成 Qwen 的直接合并证据 | 区分 KV 缓存收益和参数/计算收益；作为架构可行性依据 |
+| [Systematic Study, NAACL 2025](https://aclanthology.org/2025.naacl-short.34/) | 系统比较跨层 KV 共享配置；语言建模、下游任务及生成吞吐 | 摘要报告激进配置涉及额外训练及 prefill 代价；不能由摘要推断零训练可迁移性 | 复用方向、共享拓扑及 prefill/decode 成本须分别记录 |
+| [MiniLM, 2002.10957v2](https://arxiv.org/abs/2002.10957) | 注意力分布及 value-value 关系蒸馏 | 明确训练学生模型；本项目不进行蒸馏 | 提醒检索分布和 value 内容需要分开考察 |
+| [CKA, ICML 2019](https://proceedings.mlr.press/v97/kornblith19a.html) | 表征之间的关系相似性，不是模块替换实验 | 论文讨论表征比较及可逆变换不变性的局限；高 CKA 不是可替换保证 | 可作为候选诊断，不能取代输出误差、干预和成本评测 |
+| [ALBERT, 1909.11942v6](https://arxiv.org/html/1909.11942v6), §3.1/4.5 | 跨层参数共享及训练后能力验证 | 共享架构参与训练；不能直接外推为已训练 checkpoint 可无损合并 | 参数存储减少与前向运算减少分别记账 |
+
+## 对当前试验的推论
+
+以上文献给出研究动机，没有证明 Qwen3.5-2B 已存在免训练的有效复用组。
+静态权重试验也没有否定该可能性。应使用同输入功能探测筛选，再对实际计算图实施单处干预。
+Qwen 的 full attention 与线性注意力需分别定义探测量；不能把 softmax attention 的结论照搬到状态递推模块。
+
+数学工具参考：[SciPy orthogonal_procrustes](https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.orthogonal_procrustes.html)。
+纯正交最小二乘有直接的矩阵分解解法，无须枚举旋转矩阵；但求解一个对齐并不自动带来可省略的计算。
+本项目下一阶段默认不求 R，直接测目标函数和干预效果。

docs/PILOT_FINDINGS.md

@@ -122,3 +122,11 @@
 数据与标准化报告见 `../results/qwen35-2b/`；具体阈值、分组、覆盖率、来源和校验记录
 随原始图表数据归档。权重在交付副本校验后按授权删除，重现实验需要按固定 revision
 重新下载。
+
+## 功能复用假设仍待验证
+
+本轮坐标对齐权重结果不能排除 Q/K 的联合功能接近或 MLP 分支可复用。
+下一阶段采用同一隐藏输入下的函数比较，不训练参数、不默认求正交 R；
+注意力分布、完整分支输出、真实网络单处替换和运行收益分别验证。
+详见 [免训练有界方案](TRAINING_FREE_FUNCTIONAL_PLAN.md) 与
+[文献核对](FUNCTIONAL_REUSE_LITERATURE.md)。这些是方案，尚未执行。

docs/SOP.md

@@ -111,3 +111,13 @@ venv/bin/python -B -m pilot.validate --root runs/qwen35-2b --cleanup-weights
 - For MoE, analyze router behavior and joint gate/up/down expert consistency before treating
   independently similar matrix blocks as interchangeable experts.
 - Use these observations to revise this SOP before downloading a second model.
+
+## Training-free functional follow-up (design only)
+
+Direct coordinate-aligned parameter similarity is a baseline, not a test of Q/K/V or MLP
+functional interchangeability. The follow-up uses same-input module probes without solving
+rotations or training any parameters, then single-site intervention and held-out quality/cost
+validation. See the [bounded plan](TRAINING_FREE_FUNCTIONAL_PLAN.md) and
+[primary-source literature](FUNCTIONAL_REUSE_LITERATURE.md). No forward pass, new download,
+or new model is started by adopting this document. The original static pilot remains
+inference-free; the proposed follow-up requires a separately confirmed execution environment.

docs/TRAINING_FREE_FUNCTIONAL_PLAN.md

@@ -0,0 +1,119 @@
+# 免训练功能复用：下一阶段有界方案
+
+状态：研究设计，尚未执行。原始参数试验已完成；没有新增前向、下载或训练。
+目标：寻找并验证至少一个在留出数据上保持约定质量、同时降低明确运行成本的复用实例；
+若没有通过者，报告有界搜索的阴性结果，不保证一定能找到。
+
+## 1. 硬约束与研究对象
+
+- 冻结所有模型参数。不进行优化器更新、微调、蒸馏、LoRA、学习投影或低秩修正。
+- 默认不求正交 R。校准集只用于选择有限候选和阈值，留出集不参与选择。
+- 同类型模块配对；Q/K/V 联合作为功能系统，MLP 独立验证。保留归一化、位置处理、门控及头结构。
+- 已存配置为 24 个文本层，其中 6 个 full attention、18 个线性注意力；执行前按固定 revision 的实际实现复核。
+  full attention 的 15 个无序层对可穷举；线性注意力首轮只检查 6 个预先固定的相邻同类型层对。
+  MLP 首轮检查 6 个预先固定、覆盖浅中深层的相邻层对。具体名单在运行前写入 manifest。
+- 之前热力图的 in_proj_a 是线性注意力控制投影示例，不是 Q/K/V 功能相似性的测量。
+
+## 2. 为什么不用先找 R
+
+给定相同隐藏输入 H，且位置、mask 和缓存/递推状态一致，比较两套模块的实际检索函数：
+
+S_i(H) = Q_i(H) K_i(H)^T / sqrt(d)，P_i(H) = softmax(S_i(H) + mask)。
+
+这里 Q/K 指完成该架构实际归一化和位置处理后的量。直接比较 P 可避开内部坐标差异；
+logit 每行加常数不改变 softmax，因此同时报告去行均值的分数误差。
+
+这不是“存在共同正交 R”的数学证明。反例 Q_2=2Q_1、K_2=K_1/2 保持所有点积，
+但非零 Q 的范数改变，不能由正交变换产生。功能等价允许比共同正交旋转更广的关系。
+相反，在单套 Q/K 上共同右乘 R 保持点积，只说明坐标不唯一，并未说明两个已训练层可复用。
+实际 RoPE、GQA、归一化、门控也必须包含在函数边界内。
+
+有限探针只能提供相应输入分布上的经验证据，不是对所有 H 的形式证明。
+在无位置处理/归一化的纯线性特例中，可研究 W_Q W_K^T 的代数相等性；
+一般模块不据此简化，首轮不物化所有大算子。
+
+## 3. 同输入与真实输入分开
+
+对候选 i/j，分别从原模型 i 和 j 的入口收集 H_i、H_j；分别比较 f_i(H_i) 与 f_j(H_i)，
+以及 f_i(H_j) 与 f_j(H_j)。避免只选有利于某一层的输入。模块前归一化如位于边界外，
+必须明确分别测“归一化后核心”和“包含归一化的完整分支”。
+
+这检验模块函数接近程度。实际网络的 f_i(H_i) 与 f_j(H_j) 使用不同输入，是另一项量。
+权重共享仍需对每个输入计算；缓存上游输出用于下游则改变了输入，必须实际干预后检验。
+MLP 测残差相加前的分支输出，防止共同输入 H 掩盖分支差异。
+
+## 4. 指标和对照
+
+| 对象 | 首轮指标 | 不能据此宣称的结论 |
+|---|---|---|
+| full attention 逐头 P | 平均及 P95 行 JS（自然对数，范围 0–ln2）、top-5 重合率；去行均值 S 相对误差 | P 相似不保证 V/O 输出相似 |
+| 完整 attention 分支 | 相对 L2、逐 token 误差 P50/P95、余弦；包含 V/O/门控 | 平均低误差不保证长尾任务能力 |
+| 线性注意力 | 同输入、同合法初始状态的分支输出及最终状态误差；后续状态继续使用测试 | 不构造不存在的 softmax 图；状态数值相似不等于长期稳定 |
+| MLP | 同输入分支输出相对 L2、逐 token P95、余弦 | 不以各矩阵单独相似代替 gate/up/down 联合验证 |
+
+相对误差统一为 ||candidate-reference|| / max(||reference||, epsilon)，并记录低范数样本数量。
+首轮筛选门槛预设：P 平均 JS ≤0.01 且 top-5 重合 ≥0.8；完整分支相对 L2 ≤0.05、
+逐 token 相对误差 P95 ≤0.1。它们是筛选约定，不是文献保证或能力损失界。
+线性模块和 MLP 使用输出门槛；只通过 P 的候选不能自动通过完整模块门槛。
+
+对照：同模块重复测量、随机同类型层对；首 token 保留/移除并重新归一化两个版本；
+排除自注意与局部窗口主导后再测；按序列/位置/浅中深层分层。零分母与无效行单独标记。
+逐头记录，不先平均头。默认只用原头序；可选的离散头排列仅在校准集选定后冻结，
+须满足 GQA 分组和 V/O 一致性，不允许把最优头匹配分数当作可执行替换结果。
+CKA 仅作辅助筛选；共享位置模板、attention sink 和共同残差都可能制造高相似。
+
+## 5. 资源与阶段预算
+
+当前服务器实际约 1.7 GiB RAM，不按“60 GB 内存”安排前向；60 GB 是磁盘扩容。
+后续需要用户确认可执行前向的远程环境；建议先评估至少 16 GiB RAM/显存的单模型环境，
+这不是已验证最低配置。先做内存估算及一次短样本容量探测，不足即停止，不自动换机器。
+不在本机编译、不自动重下已删除权重。本轮只交付设计。
+
+后续若获执行授权，首轮固定模型/revision/dtype、batch=1、长度最多 256，
+校准和留出各 16 条固定且去重的文本序列（中文/英文各半），只处理文本路径。
+数据来源、许可、tokenizer revision、截断、样本 hash 和抽样 seed 必须先入 manifest。
+每序列至多 32 个固定 query 位置，保留这些行的全部合法 key，避免采样 key 改变 softmax。
+流式聚合，不保存全部层的 N×N attention，不调用生成式聊天作替代评测。
+
+| 阶段 | 上限 | 完成条件 / 停止条件 |
+|---|---|---|
+| 容量探测及基线 | 15 分钟 | 无 OOM，固定输出重复测量可复现；否则停止 |
+| 同输入探测与筛选 | 45 分钟 | 固定 27 对候选；每类别最多保留 1 对，总计最多 3 对；无通过者即停止后续干预 |
+| 单处干预与质量 | 45 分钟 | 逐个候选，不叠加；留出集测 token NLL 和逐序列变化；失败不追加搜索 |
+| 成本测量和归档 | 15 分钟 | 保存基线/干预的质量、内存和计时，超时则输出已完成覆盖率 |
+
+总计算上限 120 分钟；下载单独记录，不触发无限重试。16 条留出序列只是先导证据，
+不能据此宣布广泛能力保持。首轮通过后才另立更大留出任务验证计划。
+
+## 6. 干预必须对应可节省的对象
+
+| 干预 | 可以争取的收益 | 必须额外确认 |
+|---|---|---|
+| 跨层绑定权重 | 权重存储/加载内存 | 各层输入仍不同，通常不减少投影 FLOPs |
+| 重用上游 attention 分布，保留下游 V/O | 部分 Q/K 投影与 QK/softmax 计算 | 保留分布的内存及实现开销；decode 未必值得缓存完整图 |
+| 跨层共享 K/V cache | KV 内存，可能减少 K/V 投影 | GQA、位置、缓存布局与层依赖合法性 |
+| 重用完整 attention/MLP 输出 | 对应分支计算 | 下游输入不同，必须测试整个原模型中的替换效应 |
+
+选择的每个候选首先给出一种具体可实现干预；只有同输入指标通过却无实际可省操作，
+标记“功能相似但暂无复用实现”。不把整模块可替换和其中 Q/K 可替换混为一谈。
+
+首轮探索性质量门槛：留出平均 token NLL 增量 ≤0.01 nat/token，逐序列增量 P95 ≤0.05，
+输出有限；同时保存全部逐序列差值，不将该小样本阈值称为统计显著性或普适能力保证。
+候选只在校准集筛选；留出失败不回调阈值、不反复选择。
+
+性能分别测 prefill 和固定 32-token decode；固定 batch/长度/dtype/backend，预热 3 次、
+交错运行基线与干预各 10 次，报告原始时延和中位数/P95、峰值内存、KV/权重字节及理论运算变化。
+插桩诊断时延不作为优化实现时延。若速度差落在运行波动内，不宣称加速；
+若只减内存，则结论限定为内存收益。计入缓存、索引与数据移动开销。
+
+## 7. 分组与最终证据
+
+单处通过后，才讨论多成员组：每个成员必须通过对同一代表的定向替换检查；
+不能用 A≈B、B≈C 推出 A 可代表 C。多处同时替换须再测累积误差和性能，
+单处收益不能相加为最终模型收益。首轮不自动执行多处替换。
+
+输出每对候选/每序列/每头指标 CSV、覆盖率和失败原因、质量—成本散点图、逐层热图、
+基线与干预原始计时、环境及代码版本。结论分为：功能接近、单处干预通过、测得实际收益三档。
+“存在一个免训练复用点”的操作性证据必须同时具有后两项；当前静态试验尚未提供这类证据。
+
+相关依据与训练限制见 [文献核对](FUNCTIONAL_REUSE_LITERATURE.md)。