Validate repeated learned RMSNorm functions with CPU evidence

This commit is contained in:
2026-11-09 14:14:59 +08:00
parent 573cbedd98
commit 6d1acbc26a
108 changed files with 6526 additions and 33 deletions
+6
View File
@@ -67,3 +67,9 @@ CPU 上“找到输出接近的候选”能支持继续投入 GPU;
最多选择一个候选,必须分别验证两个替换方向;完整模块失败不会被小模块通过所掩盖。
归一化共享最多节省少量字节,不预设能显著减少计算。
采集真实隐藏输入必须正确执行前置线性注意力;它不进入首轮复用候选,但其递推计算纳入官方参考对照。
## 用户最新目标修订
不再以成本/加速作为成功条件;主问题是现有学习部分的功能重复。
新增一次固定四层的 MLP 神经元函数搜索、独立留出和双向替换,
见 [功能重复判据](LEARNED_FUNCTION_REPETITION.md)。解析增益合并单独归类,不冒充学习部分重复。
+86
View File
@@ -0,0 +1,86 @@
# CPU 先导结论:存在已训练归一化模块的相似功能重复
本轮主目标按用户最新要求为功能重复的存在性,不以成本/加速为成功条件。
全部计算在 2 核、约 1.7 GiB RAM 的 CPU 服务器完成,无训练、缩放拟合或旋转搜索。
层编号均为从 0 开始的索引。
## 一个具体正例
固定官方 Qwen3.5-2B checkpoint 的两个独立已训练模块:
- `model.language_model.layers.12.input_layernorm`
- `model.language_model.layers.13.input_layernorm`
二者均为 2048→2048 的 RMSNorm,eps=1e-6,使用训练后的有效增益 gamma=1+weight。
增益标准差分别约 0.1901、0.1685,最小值约 0.5547、0.5703;不是零函数或恒定增益。
| 证据 | 结果 |
|---|---|
| 全输入域数学界(相对于层12输出) | 输出相对 L2 误差≤10.1852% |
| 反方向全输入域数学界(相对于层13输出) | 输出相对 L2 误差≤11.3402% |
| 4 条留出文本、两个来源层输入的最坏双向误差 | 4.5285% |
| 相同留出比较中的最低余弦 | 0.999487 |
| 层12使用层13,留出平均 token NLL 增量 | +0.0000325651 nat/token |
| 层13使用层12,留出平均 token NLL 增量 | −0.0003639730 nat/token |
两方向逐文本 NLL 增量 P95 分别约 0.00098464、0.00070972,均通过原定小样本质量门槛。
所有数值来自保存的逐文本、逐 token 原始数据。留出为 4 条不同的实验原创短文本,
每条截取 32 tokens;校准另有 4 条。它们不是广泛任务能力评测。
## 为什么不只是“权重看起来接近”
对相同 eps 和维数,f_a(x)=diag(a)x/sqrt(mean(x²)+eps)。任意非零实数输入满足:
||f_a(x)-f_b(x)|| / ||f_a(x)|| ≤ max_j |a_j-b_j|/|a_j|。
共同归一化分母消去;坐标基向量可达到最大值,因而该界是精确的最坏情况。
反向分母换成 |b_j|。本轮先穷举 24 层同角色 input/post-attention norm 的 552 对,
仅按最小双向最坏界选定一对,未使用任何输入样本作选择。≤20% 界有 18 对,≤10% 无配对;
本轮只验证最优的一对,不根据留出结果换选。
这个确定性界直接给出两个已训练函数整体接近的证据。真实输入上的误差更小,
与只关心目标输入分布的目标一致。浮点实测与实数数学界分别报告。
重新采集输入时,未修改的完整前向逐 bit 复现了最初保存的基线输出。
输入探测分别使用两个来源层,对相同输入同时应用两套增益,避免比较不同输入的输出。
从已加增益的激活还原共同归一化输入时有额外 FP32 舍入,未将其称为 bitwise 等价。
结论限定为两个已有 RMSNorm 模块实现相似映射;不把共同包含 RMS 操作本身当作证据。
二者学习增益不同且非恒定,输出非零。完整 attention/MLP 主体的重复仍未得到正例。
## 已完成的阴性搜索
1. 原定 3 对完整 attention、2 对完整 MLP、6 对层内 Q/K norm 均未通过预设门槛。
attention 检索分布 JS 范围约 0.145~0.318,也未通过 0.01 的门槛;
未进行头排列、连续坐标变换或训练对齐,不能外推为不存在其他可复用表示。
2. 在层 5、6、20、21 各 6144 个 MLP scalar 子函数中,排除低活跃和近常量单元后,
共精确筛查 7,450,139 个唯一同层配对。要求双向相对误差≤20%、余弦≥0.98、
Pearson≥0.95,无通过者。没有针对留出集不断更换候选或放宽门槛。
3. 这些结果只覆盖声明的模块、输入和阈值,不否定其他粒度/角色的功能重复。
## 单独归类的解析恒等式
Q/K 未参与 RoPE 的 192 个维度,其增益只以乘积影响点积,可合并到任一侧。
96 组真实输入检查最大分数差 3.8147e-6、最大概率差 8.0466e-7;固定第3层两个方向
留出 NLL 变化接近 FP32 舍入。详见 [推导](QK_GAIN_FACTORIZATION.md)。
这是重参数化等价,不作为“两个已有学习部分功能重复”的正例。先前性能测试原始数据
保留用于溯源,成本不属于当前结论的成功条件。
## 正确性、资源与保留规则
- 固定模型 revision:15852e8c16360a2fea060d615a32b45270f8a8fc,原始权重 SHA256 校验通过。
- 流式读取原始 BF16,逐块转为 FP32,不同时载入全模型。
- 与固定 Transformers 官方定义比较的 22 项检查通过,最大差约 5.4e-7。
- 保留早期参考适配器错误、临时分区空间不足及两次过于保守的换页停止记录。
只归还自身临时堆页,未改变系统 swap 设置;后续有界前向完成。
- 计算预算跨重启累计,初始保守计入 180 秒先前检查预留;具体时长及峰值见归档日志。
- 当前权重按用户最新指令持续保留,只在用户明确要求删除时清理。
原始表、样本/token IDs、激活、NLL、证明界与图表见 `results/cpu-qwen35-2b/`。
后续 GPU 阶段可增加长度、语言和任务来验证正例的稳健性;本轮不自动启动新模型或扩展搜索。
## Git 交付与保留缓存
全部图表源 CSV/JSON、逐 token NLL、证明界和日志已交付。三份较大的中间激活缓存
保留在原服务器及本地完整归档,路径、大小、SHA256 见结果目录的 external-activation-cache.json。
其完整原实验校验表为 checksums-full-server.json;Git交付包校验表为 checksums-functional.json。
没有删除模型或缓存;这些缓存可由固定代码和样本重新生成,也可从服务器按哈希取回。
+58
View File
@@ -0,0 +1,58 @@
# 当前目标:已有学习部分是否重复实现相似函数
用户于 2026-11-09 明确:不以成本或加速作为成功条件,只关心相似功能重复是否存在。
权重继续保留,只有用户明确要求删除才清理;不训练、不拟合旋转或缩放。
## 什么可以作为正例
两个不同的已训练部分,在同一真实输入上产生接近、且并非恒定/接近零的输出;
独立留出输入仍满足预先固定的门槛。实际双向替换只作补充验证。
不能仅因替换一小部分后整模型 NLL 几乎不变,就认定它们实现相同函数。
Q/K 增益的解析合并证明同一计算的重参数化自由度,不等于两个现成学习部分功能重复。
前一轮 11 对完整/归一化模块未通过门槛,也不能否定更小粒度的重复。
不将两个模块都包含 SiLU、矩阵乘法等共同运算本身作为重复功能证据。
## 新增一次有界搜索:MLP 学习神经元
在已保存的第 5、6、20、21 层真实 MLP 入口输入上,研究
f_(l,j)(h) = SiLU(w_gate_(l,j)^T h) × (w_up_(l,j)^T h)。
每层 6,144 个神经元具有不同学习参数。比较同一层内两个 scalar 子函数,
不是比较来自不同输入的两个观测值,也不是把整层或整 tensor 称作重复。
下游 down-projection 的列保持各自原样;替换发生在两个投影和 SiLU 之后的激活值处。
1. 4 条校准文本、4 条留出文本,每条 32 tokens,中文/英文各半,沿用先前冻结样本。
2. 校准阶段只保留 RMS 至少为该层神经元中位数、std/RMS≥0.25、能量有效 token 数≥16
的非平凡单元。能量有效样本数定义为 (sum f²)² / sum f⁴,不是独立统计样本量。
3. 对这些单元做分块穷举;实际配对数必须记录。不用随机 hidden 向量作主要证据。
4. 预先固定门槛:双向直接相对 L2≤20%、余弦≥0.98、Pearson≥0.95;同时输出 5/10/20%
三档校准配对数量。没有拟合线性缩放、偏置或 R。
5. 全部层中仅按校准的最小最坏方向误差选择 1 对,冻结选择;无通过者停止。
6. 留出集要求同样的汇总函数门槛及活跃度条件,逐文本双向误差≤35%。不根据留出失败换候选。
7. 只有函数验证通过,才做两个方向的独立网络替换;留出平均 NLL 增量≤0.01 nat/token,
逐文本增量 P95≤0.05。它不是主要的功能重复判据,防止因单元贡献很小而得到假正例。
本阶段使用先前两小时累计预算的剩余额度,复用现有隐藏输入;不增加模型、样本规模或成本测试。
神经元层面的经验正例不证明完整层可以互换、不证明全输入空间等价,也不能推断独立任务能力。
留出只有 4 条文本,结论必须限定到此短文本先导分布;后续扩展文本才能检验稳健性。
## 同角色学习 RMSNorm:确定性函数误差界
静态试验已经发现部分语言层 post-attention norm 的参数接近。新增一次独立检验:
比较 24 层各自的 input/post-attention RMSNorm(同角色内共 552 对),
仅按训练后增益的全输入最坏误差界选 1 对,完全不依赖校准或留出输入。
增益需非零且不是常量向量(std≥0.001),不把没有学习参数的共同归一化运算当作正例。
相同 eps、相同形状下,f_a(x)=diag(a)x/sqrt(mean(x²)+eps)。对任意非零 x,
||f_a(x)-f_b(x)|| / ||f_a(x)|| ≤ max_j |a_j-b_j|/|a_j|。
反方向分母换为 |b_j|。该上界由相应坐标基向量达到,是实数算术下的精确最坏界。
因此可先证明两个现成学习模块的函数整体接近,而不只比较原始参数 w;实际增益为 1+w。
选择门槛:最坏双向界≤20%;同时记录≤5%、≤10%、≤20% 配对数量。只选最优界的一对。
随后重新采集其实际输入,要求留出逐文本直接双向输出误差≤5%,再测两个方向网络替换。
函数接近与替换后网络 NLL 分开报告;后者沿用已有 0.01/0.05 门槛,不决定函数存在性本身。
选定后不根据留出结果换配对;不搜索视觉模块、不增加模型、不以成本为条件。
归一化层正例不能推广为 attention 或 MLP 主体存在同样重复。
+46
View File
@@ -0,0 +1,46 @@
# Q/K 未旋转维度的确定性增益合并(已数值验证,归为重参数化)
这是从已核对架构直接推导的恒等式,不是看留出指标后扩大近邻搜索。
原定 11 对候选保留原协议;本项是独立的解析对照,不训练、不求 R,也不选择层。
预先固定完整网络干预层为第 3 层,分别验证两个移动方向;不根据数据换层。
## 恒等式与前提
以完成 RMS 单位化、尚未乘可学习增益的 q/k 为 u/v,Q/K 增益向量为 a/b。
固定 checkpoint 的 norm 参数实际使用 a=1+w_Q,b=1+w_K。
模型 head_dim=256,partial_rotary_factor=0.25:前 64 维旋转,后 192 维不旋转。
逐头共享的增益向量与 GQA 结构已由官方代码确认。
对于后 192 维,任意 query/key 位置 p/s:
sum_j (a_j u_pj)(b_j v_sj) = sum_j u_pj ((a_j b_j) v_sj)
= sum_j ((a_j b_j) u_pj) v_sj。
前 64 维保留原增益和位置旋转。因而完整 QK 点积在实数算术中相等,softmax、V、
输出门控和 O 不变时,完整 attention 分支也是同一个函数。这个结论不依赖某一输入分布。
浮点乘法次序改变,不能承诺逐 bit 相等;需报告实际误差并验证留出 NLL。
不能把这一规则用于旋转维度,或未经核对的逐头独立增益架构。
## 验证与成本边界
1. 在已有真实 q/k 输入上,检查 6 个 full-attention 层的原始/两个合并方向分数、概率及输出。
2. 固定第 3 层进行两个方向的独立网络替换,不叠加,使用原留出文本和质量阈值。
3. 记录预先缓存增益后、相同 CPU 环境下原版与合并版局部归一化耗时;不外推 GPU 性能。
4. 双精度数学推导和 FP32 实测分开。没有消除 Q/K 投影或 RMS 方差计算。
将 Q 的未旋转增益移入 K 时,每 token、每层少做 8×192=1,536 次逐元素增益乘法;
反方向少做 2×192=384 次。它们只是归一化里的小部分操作,不是整个模型的百分比加速。
NumPy 切片/拼接可能抵消这点收益,必须报告测得的局部时延。
参数量从两个 256 维增益变为两个 64 维旋转增益及一个 192 维联合增益,即 512→320 个数。
但原增益以 BF16 存储、联合乘积以 FP32 保留时,载荷仍是 1,024 字节,没有 checkpoint
净压缩;元数据还可能增加。FP32 运行时缓存增益的理论载荷 2,048→1,280 字节,
不等于已测得整个模型 RSS 降低。另行 BF16 量化乘积会增加误差,不属于本次恒等式验证。
这是同一注意力计算内部的重参数化与冗余消除,不是两个现成 attention 层能互换的证明。
若得到正例,应将它作为小粒度确定性优化机会;较大模块互换仍由原候选试验单独回答。
## 完成状态
96 组真实输入分数/概率检查及固定第3层双向网络检查均通过。
该结果独立归类;主目标的已训练函数重复正例见 [CPU 功能结论](CPU_FUNCTIONAL_FINDINGS.md)。
+10
View File
@@ -128,3 +128,13 @@ On 2026-11-09 the user explicitly changed retention: keep the CPU functional pil
checkpoint until the user explicitly requests deletion. Completion, timeout, failure
and archive validation do not authorize cleanup. The earlier pilot cleanup remains
a historical action; do not apply its automatic cleanup step to the current run.
## CPU functional follow-up outcome
The executed CPU study found a learned RMSNorm function-repetition example at text
layer indices 12/13. Use same-input function error and a uniform analytic bound as
primary evidence, with separate heldout network substitution checks. Costs are not
a success condition under the latest user instruction. See the
[executed findings](CPU_FUNCTIONAL_FINDINGS.md) and
[function-repetition criterion](LEARNED_FUNCTION_REPETITION.md).
Keep whole-module, neuron, normalization and algebraic-reparameterization results distinct.