59 lines
4.2 KiB
Markdown
59 lines
4.2 KiB
Markdown
# 当前目标：已有学习部分是否重复实现相似函数
|
||
|
||
用户于 2026-11-09 明确：不以成本或加速作为成功条件，只关心相似功能重复是否存在。
|
||
权重继续保留，只有用户明确要求删除才清理；不训练、不拟合旋转或缩放。
|
||
|
||
## 什么可以作为正例
|
||
|
||
两个不同的已训练部分，在同一真实输入上产生接近、且并非恒定/接近零的输出；
|
||
独立留出输入仍满足预先固定的门槛。实际双向替换只作补充验证。
|
||
不能仅因替换一小部分后整模型 NLL 几乎不变，就认定它们实现相同函数。
|
||
|
||
Q/K 增益的解析合并证明同一计算的重参数化自由度，不等于两个现成学习部分功能重复。
|
||
前一轮 11 对完整/归一化模块未通过门槛，也不能否定更小粒度的重复。
|
||
不将两个模块都包含 SiLU、矩阵乘法等共同运算本身作为重复功能证据。
|
||
|
||
## 新增一次有界搜索：MLP 学习神经元
|
||
|
||
在已保存的第 5、6、20、21 层真实 MLP 入口输入上，研究
|
||
|
||
f_(l,j)(h) = SiLU(w_gate_(l,j)^T h) × (w_up_(l,j)^T h)。
|
||
|
||
每层 6,144 个神经元具有不同学习参数。比较同一层内两个 scalar 子函数，
|
||
不是比较来自不同输入的两个观测值，也不是把整层或整 tensor 称作重复。
|
||
下游 down-projection 的列保持各自原样；替换发生在两个投影和 SiLU 之后的激活值处。
|
||
|
||
1. 4 条校准文本、4 条留出文本，每条 32 tokens，中文/英文各半，沿用先前冻结样本。
|
||
2. 校准阶段只保留 RMS 至少为该层神经元中位数、std/RMS≥0.25、能量有效 token 数≥16
|
||
的非平凡单元。能量有效样本数定义为 (sum f²)² / sum f⁴，不是独立统计样本量。
|
||
3. 对这些单元做分块穷举；实际配对数必须记录。不用随机 hidden 向量作主要证据。
|
||
4. 预先固定门槛：双向直接相对 L2≤20%、余弦≥0.98、Pearson≥0.95；同时输出 5/10/20%
|
||
三档校准配对数量。没有拟合线性缩放、偏置或 R。
|
||
5. 全部层中仅按校准的最小最坏方向误差选择 1 对，冻结选择；无通过者停止。
|
||
6. 留出集要求同样的汇总函数门槛及活跃度条件，逐文本双向误差≤35%。不根据留出失败换候选。
|
||
7. 只有函数验证通过，才做两个方向的独立网络替换；留出平均 NLL 增量≤0.01 nat/token，
|
||
逐文本增量 P95≤0.05。它不是主要的功能重复判据，防止因单元贡献很小而得到假正例。
|
||
|
||
本阶段使用先前两小时累计预算的剩余额度，复用现有隐藏输入；不增加模型、样本规模或成本测试。
|
||
神经元层面的经验正例不证明完整层可以互换、不证明全输入空间等价，也不能推断独立任务能力。
|
||
留出只有 4 条文本，结论必须限定到此短文本先导分布；后续扩展文本才能检验稳健性。
|
||
|
||
## 同角色学习 RMSNorm：确定性函数误差界
|
||
|
||
静态试验已经发现部分语言层 post-attention norm 的参数接近。新增一次独立检验：
|
||
比较 24 层各自的 input/post-attention RMSNorm（同角色内共 552 对），
|
||
仅按训练后增益的全输入最坏误差界选 1 对，完全不依赖校准或留出输入。
|
||
增益需非零且不是常量向量（std≥0.001），不把没有学习参数的共同归一化运算当作正例。
|
||
|
||
相同 eps、相同形状下，f_a(x)=diag(a)x/sqrt(mean(x²)+eps)。对任意非零 x，
|
||
|
||
||f_a(x)-f_b(x)|| / ||f_a(x)|| ≤ max_j |a_j-b_j|/|a_j|。
|
||
|
||
反方向分母换为 |b_j|。该上界由相应坐标基向量达到，是实数算术下的精确最坏界。
|
||
因此可先证明两个现成学习模块的函数整体接近，而不只比较原始参数 w；实际增益为 1+w。
|
||
选择门槛：最坏双向界≤20%；同时记录≤5%、≤10%、≤20% 配对数量。只选最优界的一对。
|
||
随后重新采集其实际输入，要求留出逐文本直接双向输出误差≤5%，再测两个方向网络替换。
|
||
函数接近与替换后网络 NLL 分开报告；后者沿用已有 0.01/0.05 门槛，不决定函数存在性本身。
|
||
选定后不根据留出结果换配对；不搜索视觉模块、不增加模型、不以成本为条件。
|
||
归一化层正例不能推广为 attention 或 MLP 主体存在同样重复。
|