4.4 KiB
实际2B参数：比均匀参照更靠里吗？
在明确的“校准最大半径以内”口径下，是；但数据同时显示更宽的径向分布，不能概括为整团参数向内收缩。此次GSM8K微调几乎没有改变这些几何指标。
这轮直接读取了保留的Qwen3.5-2B权重和同一底座的已有纯LoRA GRPO检查点，在8.211.154.134上使用CPU完成。没有训练、推理或删除权重。
一个模型有多少组高维分布？
按事先固定的参数矩阵行／列与语言注意力头视图规则，每个模型有 1,558组：554个矩阵视图、1,004个按头视图。它们有重叠，不是模型固有的唯一分布数量。
主要汇总使用1,521个样本充足、未抽取坐标的视图。另有36个小样本视图和1个坐标抽样视图，全部单列并保留数据。整个检查点包括语言、视觉与MTP，共632个参数张量；319个一维张量和18个低维卷积核不满足这次“高维向量云”的规则。
有更多内侧质量，但也有更长的外尾
每组最多512个参数向量，一半校准中心及半径，另一半测量。对照也使用同样的校准规则；没有用所有向量的最大范数事后包住全部数据。
以原点为中心，比较归一化半径 r / R_cal <= 0.9：
| 视图 | 组数 | 相对均匀球的内侧质量差中位数 | 相对匹配均值、逐坐标方差的均匀盒的质量差中位数 |
|---|---|---|---|
| 矩阵行／列 | 517 | +98.0个百分点 | +97.7个百分点 |
| 按头 | 1,004 | +97.3个百分点 | +97.3个百分点 |
改用校准均值作为中心，结果仍有约96.9–97.7个百分点的差异。因此，这个现象并非仅来自中心放在原点。
但最大半径很容易受到少数大范数向量影响。换成各自的校准RMS尺度，并比较完整CDF后，93.8%的矩阵视图和87.8%的头视图同时存在超过10个百分点的内尾、外尾差异。去均值后分别为94.4%和86.4%。这说明两尾同时增加是普遍现象，比“所有向量整体更靠内”更符合这些数据。
这三组示例按模块角色固定：GDN的Q头、全注意力的Q头、MLP上投影行。上排用校准最大半径，下排用RMS；它们只是帮助读图，不代替全量统计。
是否说明稀疏或低维？
还不能如此推断。采样视图的逐组精确零值率中位数为0；点坐标能量参与率除以维度的中位数约0.31。径向内侧质量、坐标能量集中和样本间的有效维数是不同的测量对象。
本轮同时记录了有限样本Gram参与率，并与同样本数的均匀参照比较。它受校准样本秩上限限制，不能作为真实内在维度的直接估计。盒参照也只匹配边际范围或逐坐标矩，并未匹配相关结构。因此，本轮没有单独识别“稀疏支持”导致的效应。
微调前后改变了吗？
LoRA实际改变72个投影矩阵，影响972个视图，其中936个属于主要汇总。只对这些受影响的主要视图配对，以免大量未改动参数稀释差异。
原点中心下，逐组中位 r/R_cal 的配对变化中位数为 6.30×10⁻⁷，最大绝对变化 4.03×10⁻⁴。去均值后的结论相近。90%半径质量差在原点中心口径下未跨越当前经验CDF的分辨率；这不表示两套权重完全相同。
因此，这两个检查点不能支持“微调后、更好的模型更靠内”的结论；本轮也没有测任务质量。参数几何中的宽径向结构可以继续挖掘，但它本身还不是功能重复或可互相替代的证据。
数据与核验
完整数值报告 · 冻结协议 · 复现方式 · 指标CSV · 摘要JSON · 审计SHA
6,232个模型×中心×视图组合全部核验；CDF从保留的校准／留出范数复算，检查有限样本秩上限，原模型和适配器SHA均与既有记录一致。远程4项测试通过，覆盖索引、LoRA读取、中心与尺度、均匀球校准和稀疏贴壳反例。图表、完整CDF及对照摘要、实测范数一同保存。结论为描述性统计：视图相关且重叠，没有将其当作独立重复实验进行显著性检验。