CPU 验证 Qwen3.5-2B 已训练归一化模块的功能重复 #3

2026-11-08T20:41:03Z

codex-bot commented

2026-11-08 20:41:03 +00:00

问题与结论

研究现有 LM 的两个不同已训练部分是否实现相似功能。当前成功条件只看功能重复，不要求成本或加速收益；全程 CPU、冻结参数、无训练/缩放拟合/R 搜索。

找到固定 Qwen3.5-2B 的两个现成学习模块：model.language_model.layers.12.input_layernorm 与 layers.13.input_layernorm，均为 2048 维 RMSNorm（索引从0开始）。

相同 eps 的归一化分母可消去，直接证明双向全输入域实数相对误差上界分别为 10.1852%、11.3402%。
从 552 个同角色配对中仅按最小最坏界选定一对，不依赖输入样本；增益非零、非恒定。
4 条独立留出文本、两个来源层实际输入：最坏双向相对 L2 为 4.5285%，最低余弦 0.999487。
两方向单处网络替换的平均 token NLL 增量分别 +0.0000325651、−0.0003639730 nat/token，均通过原定小样本质量门槛。

证据范围是这两个归一化映射。完整 attention/MLP 主体尚无正例；4条32-token文本不是广泛任务能力验证。

实际交付

BF16 mmap 分块解码至 FP32 的完整文本计算；含正确的线性 delta 递推、部分 RoPE、GQA、Q/K norm 和输出门控。
独立官方 Torch 数值参考，内存/换页保护、累计预算台账、真实输入采集、固定候选筛选、数学界选对及双向网络干预。
原始样本/token IDs、逐文本/逐头指标、逐 token NLL、552 对函数界、四类 PNG/PDF/SVG、校验和及环境/失败记录。
SOP 和中文方法/结论；当前权重只在用户明确要求删除时清理，结果归档不会触发删除。模型仍保留在服务器，不提交权重。

阴性及单独归类结果

原定11对候选均未通过门槛。四个MLP层排除低活跃/近常量单元后，共检查7,450,139对 scalar 函数，无20%误差门槛正例。没有根据留出结果换候选或放宽门槛。
Q/K未旋转维度增益合并另有数学和96组数值验证，但归为重参数化等价，不冒充两个已有学习模块重复的正例。早先成本记录仅作溯源，不作为当前成功条件。

验证与限制

22项独立官方Torch对照通过，最大差约5.4e-7。
远程完整12项测试通过（40.946秒）；未修改完整前向逐bit复现保存的基线。
重算函数界与逐token NLL通过；83个交付文件SHA256、本地副本及Git blobs均匹配；全部86个Git交付成员齐全，16个交付源码hash匹配远程审计。
四类图视觉检查通过；仅对保存数据修订图例、标签和整数层索引。
历史记录保留参考适配器错误、wheel临时分区不足及两次保守换页停止；修正自身内存管理后完成，未改系统swap设置。
累计预算台账约1167秒（含180秒初始保守预留），另为最终测试/报告/审计预留600秒；均在两小时预算内。没有本机构建或模型执行。

base: main；head: codex/cpu-reuse-experiment。提交573cbed、6d1acbc。请用户评审后手动合并；bot未推main或合并PR。

交付缓存说明

三份大型中间激活缓存保留在服务器和本地完整归档，不进入Git传输；外部清单记录精确路径、大小和SHA256。全部绘图CSV/JSON及逐token NLL均在Git。原完整实验校验表和Git交付校验表分别保存，没有删除任何权重或缓存。旧SSH上传因缓慢主动中止，HTTPS尝试遇504；仅改写确认未发布的本地提交以拆出缓存，未强推或重写共享历史。

## 问题与结论研究现有 LM 的两个不同已训练部分是否实现相似功能。当前成功条件只看功能重复，不要求成本或加速收益；全程 CPU、冻结参数、无训练/缩放拟合/R 搜索。找到固定 Qwen3.5-2B 的两个现成学习模块：`model.language_model.layers.12.input_layernorm` 与 `layers.13.input_layernorm`，均为 2048 维 RMSNorm（索引从0开始）。 - 相同 eps 的归一化分母可消去，直接证明双向全输入域实数相对误差上界分别为 10.1852%、11.3402%。 - 从 552 个同角色配对中仅按最小最坏界选定一对，不依赖输入样本；增益非零、非恒定。 - 4 条独立留出文本、两个来源层实际输入：最坏双向相对 L2 为 4.5285%，最低余弦 0.999487。 - 两方向单处网络替换的平均 token NLL 增量分别 +0.0000325651、−0.0003639730 nat/token，均通过原定小样本质量门槛。证据范围是这两个归一化映射。完整 attention/MLP 主体尚无正例；4条32-token文本不是广泛任务能力验证。 ## 实际交付 - BF16 mmap 分块解码至 FP32 的完整文本计算；含正确的线性 delta 递推、部分 RoPE、GQA、Q/K norm 和输出门控。 - 独立官方 Torch 数值参考，内存/换页保护、累计预算台账、真实输入采集、固定候选筛选、数学界选对及双向网络干预。 - 原始样本/token IDs、逐文本/逐头指标、逐 token NLL、552 对函数界、四类 PNG/PDF/SVG、校验和及环境/失败记录。 - SOP 和中文方法/结论；当前权重只在用户明确要求删除时清理，结果归档不会触发删除。模型仍保留在服务器，不提交权重。 ## 阴性及单独归类结果原定11对候选均未通过门槛。四个MLP层排除低活跃/近常量单元后，共检查7,450,139对 scalar 函数，无20%误差门槛正例。没有根据留出结果换候选或放宽门槛。 Q/K未旋转维度增益合并另有数学和96组数值验证，但归为重参数化等价，不冒充两个已有学习模块重复的正例。早先成本记录仅作溯源，不作为当前成功条件。 ## 验证与限制 - 22项独立官方Torch对照通过，最大差约5.4e-7。 - 远程完整12项测试通过（40.946秒）；未修改完整前向逐bit复现保存的基线。 - 重算函数界与逐token NLL通过；83个交付文件SHA256、本地副本及Git blobs均匹配；全部86个Git交付成员齐全，16个交付源码hash匹配远程审计。 - 四类图视觉检查通过；仅对保存数据修订图例、标签和整数层索引。 - 历史记录保留参考适配器错误、wheel临时分区不足及两次保守换页停止；修正自身内存管理后完成，未改系统swap设置。 - 累计预算台账约1167秒（含180秒初始保守预留），另为最终测试/报告/审计预留600秒；均在两小时预算内。没有本机构建或模型执行。 base: main；head: codex/cpu-reuse-experiment。提交573cbed、6d1acbc。请用户评审后手动合并；bot未推main或合并PR。 ## 交付缓存说明三份大型中间激活缓存保留在服务器和本地完整归档，不进入Git传输；外部清单记录精确路径、大小和SHA256。全部绘图CSV/JSON及逐token NLL均在Git。原完整实验校验表和Git交付校验表分别保存，没有删除任何权重或缓存。旧SSH上传因缓慢主动中止，HTTPS尝试遇504；仅改写确认未发布的本地提交以拆出缓存，未强推或重写共享历史。

codex-bot added 1 commit 2026-11-08 20:41:04 +00:00

Implement bounded streaming CPU functional reuse pilot 573cbedd98

codex-bot added 1 commit 2026-11-09 06:32:07 +00:00

Validate repeated learned RMSNorm functions with CPU evidence 6d1acbc26a

codex-bot changed title from ~~WIP: CPU 免训练功能复用实测~~ to CPU 验证 Qwen3.5-2B 已训练归一化模块的功能重复

2026-11-09 06:33:22 +00:00

Zayden-Jung merged commit 5031aa604e into main

2026-11-09 06:41:25 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Zayden-Jung/exp-model-parameter-similarity#3