74 lines
5.4 KiB
Markdown
74 lines
5.4 KiB
Markdown
# 两个实际2B检查点：参数云的球壳检验
|
|
|
|
完整覆盖：1558组/模型，6232个模型×中心组合。632个参数张量，2,274,069,824个参数（包含语言、视觉和MTP）。
|
|
|
|
## 分布计数与范围
|
|
|
|
固定规则给出554个矩阵行／列视图、1,004个语言/MTP头视图；视图互相重叠，不能相加成参数节省量。1,522组有至少64个可用点，36组只有16个点；1组高维嵌入列视图使用8,192个抽样坐标。主表只汇总样本充足且没有投影的1,521组。319个一维张量和18个低维卷积核不构成此规则下的高维样本云。
|
|
|
|
## 原模型结果（逐组等权，非独立观测）
|
|
|
|
|中心|视图|组数|相对均匀球：90%半径内质量差中位数|相对矩匹配均匀盒：质量差中位数|矩匹配且RMS归一后，内外两尾差均>10个百分点的组占比|
|
|
|---|---|---:|---:|---:|---:|
|
|
|origin|matrix|517|0.980|0.977|93.8%|
|
|
|origin|head_rows|1004|0.973|0.973|87.8%|
|
|
|mean|matrix|517|0.977|0.977|94.4%|
|
|
|mean|head_rows|1004|0.969|0.969|86.4%|
|
|
|
|
这些是描述性质量差，不是显著性检验。正差表示所指定半径以内有更多样本；不能将其自动解释为整条径向分布向内平移。若RMS归一后内外尾均变多，更准确的解释是径向分布更宽。
|
|
|
|
|中心/视图|逐组零值率中位数|点坐标能量参与率÷维度，中位数|坐标方差参与率÷维度，中位数|
|
|
|---|---:|---:|---:|
|
|
|origin/matrix|0|0.3067|0.9346|
|
|
|origin/head_rows|0|0.3117|0.9055|
|
|
|mean/matrix|0|0.3072|0.9346|
|
|
|mean/head_rows|0|0.3118|0.9055|
|
|
|
|
能量参与率衡量坐标能量集中程度，依赖坐标基；有限样本Gram参与率反映样本间几何，另见图。两者均不是精确非零坐标计数，也不是模型功能的有效维度。
|
|
|
|
## 微调前后
|
|
|
|
原模型是官方Qwen3.5-2B；第二个模型是在同一revision上进行GSM8K GRPO的已有纯LoRA检查点，不是另一个完整模型。72个投影矩阵使用只读W+2BA展开，其余参数共享。972个视图受影响；其中936个属于主分析。未改变视图复用完全相同的分析结果。
|
|
|
|
|中心|指标|配对变化中位数|P10|P90|最大绝对变化|
|
|
|---|---|---:|---:|---:|---:|
|
|
|origin|median_max|6.30233e-07|-3.20939e-05|3.49557e-05|0.000402869|
|
|
|origin|median_rms|-2.02235e-06|-4.00888e-05|3.91646e-05|0.000121968|
|
|
|origin|covariance_participation|0.00011293|-0.0007975|0.00116302|0.0136976|
|
|
|origin|moment_box_interior90_gap|0|0|0|0|
|
|
|mean|median_max|3.08748e-07|-3.29473e-05|3.37828e-05|0.000395056|
|
|
|mean|median_rms|-1.97695e-06|-4.08665e-05|3.90134e-05|0.000306282|
|
|
|mean|covariance_participation|0.000126928|-0.000792364|0.00112596|0.0127131|
|
|
|mean|moment_box_interior90_gap|0|0|0|0.00390625|
|
|
|
|
## 单独描述的小样本与坐标抽样组
|
|
|
|
|模型|中心|类别|组数|中位r/Rcal的组间中位数|相对矩匹配盒的90%半径质量差中位数|
|
|
|---|---|---|---:|---:|---:|
|
|
|original|origin|small_sample|36|0.7490|0.7500|
|
|
|original|origin|projected|1|0.4199|0.9961|
|
|
|original|mean|small_sample|36|0.8109|0.6875|
|
|
|original|mean|projected|1|0.4245|0.9961|
|
|
|finetuned|origin|small_sample|36|0.7490|0.7500|
|
|
|finetuned|origin|projected|1|0.4199|0.9961|
|
|
|finetuned|mean|small_sample|36|0.8110|0.6875|
|
|
|finetuned|mean|projected|1|0.4245|0.9961|
|
|
|
|
## 如何读图
|
|
|
|
1. `interior_reference_sensitivity`：不同均匀参照下，90%校准半径内质量差的组间CDF。横轴向右表示更多内侧质量。
|
|
2. `radial_shape_two_tails`：匹配矩且按各自校准RMS归一后的最大正／负CDF差。右上角同时增加两尾，并非单纯向内。
|
|
3. `finetune_paired_radii`：同一视图的微调前后中位半径；对角线表示不变。
|
|
4. `participation_reference`：Gram矩阵参与率相对同样本量参照的比值。受样本秩上限影响，不能当作真实内在维度。
|
|
5. `fixed_role_radial_cdfs`：预先按角色固定的GDN Q、全注意力Q和MLP上投影示例，上排按校准最大半径、下排按RMS归一化。不是按结果挑选最明显的组。
|
|
|
|
## 方法与限制
|
|
|
|
每组最多512个不同参数向量，一半校准、一半留出；模型固定，留出指未用于拟合中心/半径的参数向量，不是独立训练模型。对照每组512个验证向量，最坏单项二项标准误约2.21个百分点；模型留出样本的误差还取决于样本数，且参数向量不保证独立。10个百分点仅是描述性筛选尺度，没有多重检验或总体显著性结论。
|
|
|
|
均匀球、坐标范围均匀盒、匹配均值和逐坐标方差的均匀盒都按同一规则拟合自身中心、最大半径及RMS。均匀球原点中心的精确拟合半径CDF为a^d*ncal/(ncal+1)，保留其对数以避免把模拟零命中误报成零概率。盒对照不是协方差匹配。校准最大半径不是已知总体支撑边界；留出越界率已记录。
|
|
|
|
`origin`保留坐标均值贡献；`mean`使用校准向量均值。没有使用所有数据来选边界、训练或推理；没有删除模型。坐标稀疏性、有限样本参与率与径向内侧质量分别测量，不能相互代替。该实验不能证明更好的模型更靠里，也不能证明功能重复、可剪枝或可复用。
|
|
|
|
复现：`OPENBLAS_NUM_THREADS=1 OMP_NUM_THREADS=1 venv/bin/python -m model_shell.analyze`，完成后 `... python -m model_shell.report`。只在已授权CPU服务器运行。分组协议见 `model_shell/PROTOCOL.md`；全量指标在metrics.csv，完整CDF/参照在profiles.json.gz，实测范数在measured_radii.npz。
|