测量全部24层输出通道块的激活率与能量集中度 #5

2026-11-10T11:35:57Z

codex-bot commented

2026-11-10 11:35:57 +00:00

测量 Qwen3.5-2B 全24层参数输出通道块的观察激活率，检验是否存在大量静默。

实现记录全部线性投影输出、MLP SiLU及门控乘积、full-attention sigmoid门；以64/128连续输出通道分块，独立报告精确零、0.01/0.1 RMS近零、窗口曾活跃通道和90%能量通道数。明确SiLU与ReLU/Leaky ReLU的差别，不将负值计作静默，不将稀疏观察宣称为可删块证明。

四条既有中英文文本各32 token，仅描述该输入集；不声称长上下文或所有输入泛化。全部在授权CPU服务器运行，无训练或模型修改，保留权重及全部旧缓存。初次汇总到内存的执行触发内存保护，保留日志；修改为逐文本落盘释放内存后独立重跑，未关闭保护。

包含源代码、统计函数测试、完整指标CSV、聚合JSON、两组PNG/PDF/SVG科研图、运行/失败/测试日志、源码与数据SHA清单。等待用户手动合并。

结果：83,616行统计，所有记录输出精确零比例均为0；27,600条128通道块×文本观测中全零窗口为0。MLP门控乘积整模块平均0.1 RMS近零率21.046%，Q/K/V投影12.483%/12.083%/13.481%。最低活跃的局部块为层14、通道1024–1151、fresh-en-2：0.1块RMS阈值激活率10.47%，1个通道承载至少90%能量。这是输入条件下能量集中，不是已证明可跳过。

验证：远程完整22项回归测试通过；最终逐文本落盘版的2项统计测试再次通过。24层/4样本覆盖及所有指标范围一致性审计通过，交付文件SHA和远程源码SHA核对通过，图表人工检查通过。最终测量268.6秒，峰值RSS151.6 MiB。

测量 Qwen3.5-2B 全24层参数输出通道块的观察激活率，检验是否存在大量静默。实现记录全部线性投影输出、MLP SiLU及门控乘积、full-attention sigmoid门；以64/128连续输出通道分块，独立报告精确零、0.01/0.1 RMS近零、窗口曾活跃通道和90%能量通道数。明确SiLU与ReLU/Leaky ReLU的差别，不将负值计作静默，不将稀疏观察宣称为可删块证明。四条既有中英文文本各32 token，仅描述该输入集；不声称长上下文或所有输入泛化。全部在授权CPU服务器运行，无训练或模型修改，保留权重及全部旧缓存。初次汇总到内存的执行触发内存保护，保留日志；修改为逐文本落盘释放内存后独立重跑，未关闭保护。包含源代码、统计函数测试、完整指标CSV、聚合JSON、两组PNG/PDF/SVG科研图、运行/失败/测试日志、源码与数据SHA清单。等待用户手动合并。结果：83,616行统计，所有记录输出精确零比例均为0；27,600条128通道块×文本观测中全零窗口为0。MLP门控乘积整模块平均0.1 RMS近零率21.046%，Q/K/V投影12.483%/12.083%/13.481%。最低活跃的局部块为层14、通道1024–1151、fresh-en-2：0.1块RMS阈值激活率10.47%，1个通道承载至少90%能量。这是输入条件下能量集中，不是已证明可跳过。验证：远程完整22项回归测试通过；最终逐文本落盘版的2项统计测试再次通过。24层/4样本覆盖及所有指标范围一致性审计通过，交付文件SHA和远程源码SHA核对通过，图表人工检查通过。最终测量268.6秒，峰值RSS151.6 MiB。

codex-bot added 1 commit 2026-11-10 11:35:58 +00:00

Measure CPU block activation sparsity and energy concentration 419c7cb195

Zayden-Jung merged commit cd260a2483 into main

2026-11-10 13:43:18 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Zayden-Jung/exp-model-parameter-similarity#5