5.4 KiB
两个实际2B检查点：参数云的球壳检验
完整覆盖：1558组/模型，6232个模型×中心组合。632个参数张量，2,274,069,824个参数（包含语言、视觉和MTP）。
分布计数与范围
固定规则给出554个矩阵行／列视图、1,004个语言/MTP头视图；视图互相重叠，不能相加成参数节省量。1,522组有至少64个可用点，36组只有16个点；1组高维嵌入列视图使用8,192个抽样坐标。主表只汇总样本充足且没有投影的1,521组。319个一维张量和18个低维卷积核不构成此规则下的高维样本云。
原模型结果（逐组等权，非独立观测）
| 中心 | 视图 | 组数 | 相对均匀球：90%半径内质量差中位数 | 相对矩匹配均匀盒：质量差中位数 | 矩匹配且RMS归一后，内外两尾差均>10个百分点的组占比 |
|---|---|---|---|---|---|
| origin | matrix | 517 | 0.980 | 0.977 | 93.8% |
| origin | head_rows | 1004 | 0.973 | 0.973 | 87.8% |
| mean | matrix | 517 | 0.977 | 0.977 | 94.4% |
| mean | head_rows | 1004 | 0.969 | 0.969 | 86.4% |
这些是描述性质量差，不是显著性检验。正差表示所指定半径以内有更多样本；不能将其自动解释为整条径向分布向内平移。若RMS归一后内外尾均变多，更准确的解释是径向分布更宽。
| 中心/视图 | 逐组零值率中位数 | 点坐标能量参与率÷维度，中位数 | 坐标方差参与率÷维度，中位数 |
|---|---|---|---|
| origin/matrix | 0 | 0.3067 | 0.9346 |
| origin/head_rows | 0 | 0.3117 | 0.9055 |
| mean/matrix | 0 | 0.3072 | 0.9346 |
| mean/head_rows | 0 | 0.3118 | 0.9055 |
能量参与率衡量坐标能量集中程度，依赖坐标基；有限样本Gram参与率反映样本间几何，另见图。两者均不是精确非零坐标计数，也不是模型功能的有效维度。
微调前后
原模型是官方Qwen3.5-2B；第二个模型是在同一revision上进行GSM8K GRPO的已有纯LoRA检查点，不是另一个完整模型。72个投影矩阵使用只读W+2BA展开，其余参数共享。972个视图受影响；其中936个属于主分析。未改变视图复用完全相同的分析结果。
| 中心 | 指标 | 配对变化中位数 | P10 | P90 | 最大绝对变化 |
|---|---|---|---|---|---|
| origin | median_max | 6.30233e-07 | -3.20939e-05 | 3.49557e-05 | 0.000402869 |
| origin | median_rms | -2.02235e-06 | -4.00888e-05 | 3.91646e-05 | 0.000121968 |
| origin | covariance_participation | 0.00011293 | -0.0007975 | 0.00116302 | 0.0136976 |
| origin | moment_box_interior90_gap | 0 | 0 | 0 | 0 |
| mean | median_max | 3.08748e-07 | -3.29473e-05 | 3.37828e-05 | 0.000395056 |
| mean | median_rms | -1.97695e-06 | -4.08665e-05 | 3.90134e-05 | 0.000306282 |
| mean | covariance_participation | 0.000126928 | -0.000792364 | 0.00112596 | 0.0127131 |
| mean | moment_box_interior90_gap | 0 | 0 | 0 | 0.00390625 |
单独描述的小样本与坐标抽样组
| 模型 | 中心 | 类别 | 组数 | 中位r/Rcal的组间中位数 | 相对矩匹配盒的90%半径质量差中位数 |
|---|---|---|---|---|---|
| original | origin | small_sample | 36 | 0.7490 | 0.7500 |
| original | origin | projected | 1 | 0.4199 | 0.9961 |
| original | mean | small_sample | 36 | 0.8109 | 0.6875 |
| original | mean | projected | 1 | 0.4245 | 0.9961 |
| finetuned | origin | small_sample | 36 | 0.7490 | 0.7500 |
| finetuned | origin | projected | 1 | 0.4199 | 0.9961 |
| finetuned | mean | small_sample | 36 | 0.8110 | 0.6875 |
| finetuned | mean | projected | 1 | 0.4245 | 0.9961 |
如何读图
interior_reference_sensitivity：不同均匀参照下，90%校准半径内质量差的组间CDF。横轴向右表示更多内侧质量。radial_shape_two_tails：匹配矩且按各自校准RMS归一后的最大正／负CDF差。右上角同时增加两尾，并非单纯向内。finetune_paired_radii：同一视图的微调前后中位半径；对角线表示不变。participation_reference：Gram矩阵参与率相对同样本量参照的比值。受样本秩上限影响，不能当作真实内在维度。fixed_role_radial_cdfs：预先按角色固定的GDN Q、全注意力Q和MLP上投影示例，上排按校准最大半径、下排按RMS归一化。不是按结果挑选最明显的组。
方法与限制
每组最多512个不同参数向量，一半校准、一半留出；模型固定，留出指未用于拟合中心/半径的参数向量，不是独立训练模型。对照每组512个验证向量，最坏单项二项标准误约2.21个百分点；模型留出样本的误差还取决于样本数，且参数向量不保证独立。10个百分点仅是描述性筛选尺度，没有多重检验或总体显著性结论。
均匀球、坐标范围均匀盒、匹配均值和逐坐标方差的均匀盒都按同一规则拟合自身中心、最大半径及RMS。均匀球原点中心的精确拟合半径CDF为a^d*ncal/(ncal+1)，保留其对数以避免把模拟零命中误报成零概率。盒对照不是协方差匹配。校准最大半径不是已知总体支撑边界；留出越界率已记录。
origin保留坐标均值贡献；mean使用校准向量均值。没有使用所有数据来选边界、训练或推理；没有删除模型。坐标稀疏性、有限样本参与率与径向内侧质量分别测量，不能相互代替。该实验不能证明更好的模型更靠里，也不能证明功能重复、可剪枝或可复用。
复现：OPENBLAS_NUM_THREADS=1 OMP_NUM_THREADS=1 venv/bin/python -m model_shell.analyze，完成后 ... python -m model_shell.report。只在已授权CPU服务器运行。分组协议见 model_shell/PROTOCOL.md；全量指标在metrics.csv，完整CDF/参照在profiles.json.gz，实测范数在measured_radii.npz。