26 lines
1.7 KiB
Markdown
26 lines
1.7 KiB
Markdown
# 实测激活率：SiLU 门控模型
|
||
|
||
覆盖24层、4条中英文文本，每条32 token；所有投影输出及 MLP 门控中间量，按64/128输出通道分块。
|
||
|
||
| 输出 | 精确零比例均值 | 0.01 RMS以下均值 | 0.1 RMS以下均值 | 32 token内曾活跃通道比例均值 | 90%能量所需通道比例均值 |
|
||
|---|---:|---:|---:|---:|---:|
|
||
| mlp.gate_proj.output | 0.0000% | 0.7811% | 7.8005% | 100.0000% | 63.3063% |
|
||
| mlp.silu_gate | 0.0000% | 0.5031% | 5.1789% | 100.0000% | 70.1228% |
|
||
| mlp.gated_product | 0.0000% | 3.1636% | 21.0460% | 100.0000% | 54.8421% |
|
||
| self_attn.q_proj.output | 0.0000% | 1.2760% | 12.4831% | 100.0000% | 44.0277% |
|
||
| self_attn.k_proj.output | 0.0000% | 1.2245% | 12.0834% | 100.0000% | 53.4587% |
|
||
| self_attn.v_proj.output | 0.0000% | 1.3741% | 13.4814% | 100.0000% | 59.9447% |
|
||
|
||
128通道块×文本观测共27600条，整个32 token窗口全为精确零的块观测数为0。
|
||
|
||
表中是整模块逐文本统计再取均值；每个分块的独立统计见 metrics.csv。阈值是各自RMS的比例；阈值下激活率=1−近零比例。能量集中不等于可删除或可替换。
|
||
|
||
仅测该模型、四条短文本；不推断所有语言/长上下文。SiLU不把负值整体截零，负数不等于静默。未执行删块/跳算的质量验证。权重和既有缓存全部保留。
|
||
|
||
CPU测量耗时268.6秒，峰值RSS151.6 MiB。
|
||
|
||
mlp.gated_product: 128通道块在0.1 RMS阈值上的激活率范围 10.47%–89.04%。
|
||
self_attn.q_proj.output: 128通道块在0.1 RMS阈值上的激活率范围 75.49%–100.00%。
|
||
self_attn.k_proj.output: 128通道块在0.1 RMS阈值上的激活率范围 81.20%–93.95%。
|
||
self_attn.v_proj.output: 128通道块在0.1 RMS阈值上的激活率范围 76.66%–91.89%。
|