51 lines
4.4 KiB
Markdown
51 lines
4.4 KiB
Markdown
# 实际2B参数：比均匀参照更靠里吗？
|
||
|
||
**在明确的“校准最大半径以内”口径下，是；但数据同时显示更宽的径向分布，不能概括为整团参数向内收缩。此次GSM8K微调几乎没有改变这些几何指标。**
|
||
|
||
这轮直接读取了保留的Qwen3.5-2B权重和同一底座的已有纯LoRA GRPO检查点，在8.211.154.134上使用CPU完成。没有训练、推理或删除权重。
|
||
|
||
## 一个模型有多少组高维分布？
|
||
|
||
按事先固定的参数矩阵行／列与语言注意力头视图规则，每个模型有 **1,558组**：554个矩阵视图、1,004个按头视图。它们有重叠，不是模型固有的唯一分布数量。
|
||
|
||
主要汇总使用1,521个样本充足、未抽取坐标的视图。另有36个小样本视图和1个坐标抽样视图，全部单列并保留数据。整个检查点包括语言、视觉与MTP，共632个参数张量；319个一维张量和18个低维卷积核不满足这次“高维向量云”的规则。
|
||
|
||
## 有更多内侧质量，但也有更长的外尾
|
||
|
||
每组最多512个参数向量，一半校准中心及半径，另一半测量。对照也使用同样的校准规则；没有用所有向量的最大范数事后包住全部数据。
|
||
|
||
以原点为中心，比较归一化半径 `r / R_cal <= 0.9`：
|
||
|
||
|视图|组数|相对均匀球的内侧质量差中位数|相对匹配均值、逐坐标方差的均匀盒的质量差中位数|
|
||
|---|---:|---:|---:|
|
||
|矩阵行／列|517|+98.0个百分点|+97.7个百分点|
|
||
|按头|1,004|+97.3个百分点|+97.3个百分点|
|
||
|
||
改用校准均值作为中心，结果仍有约96.9–97.7个百分点的差异。因此，这个现象并非仅来自中心放在原点。
|
||
|
||
但最大半径很容易受到少数大范数向量影响。换成各自的校准RMS尺度，并比较完整CDF后，**93.8%的矩阵视图和87.8%的头视图同时存在超过10个百分点的内尾、外尾差异**。去均值后分别为94.4%和86.4%。这说明两尾同时增加是普遍现象，比“所有向量整体更靠内”更符合这些数据。
|
||
|
||
|
||
|
||
这三组示例按模块角色固定：GDN的Q头、全注意力的Q头、MLP上投影行。上排用校准最大半径，下排用RMS；它们只是帮助读图，不代替全量统计。
|
||
|
||
## 是否说明稀疏或低维？
|
||
|
||
还不能如此推断。采样视图的逐组精确零值率中位数为0；点坐标能量参与率除以维度的中位数约0.31。径向内侧质量、坐标能量集中和样本间的有效维数是不同的测量对象。
|
||
|
||
本轮同时记录了有限样本Gram参与率，并与同样本数的均匀参照比较。它受校准样本秩上限限制，不能作为真实内在维度的直接估计。盒参照也只匹配边际范围或逐坐标矩，并未匹配相关结构。因此，本轮没有单独识别“稀疏支持”导致的效应。
|
||
|
||
## 微调前后改变了吗？
|
||
|
||
LoRA实际改变72个投影矩阵，影响972个视图，其中936个属于主要汇总。只对这些受影响的主要视图配对，以免大量未改动参数稀释差异。
|
||
|
||
原点中心下，逐组中位 `r/R_cal` 的配对变化中位数为 **6.30×10⁻⁷**，最大绝对变化 **4.03×10⁻⁴**。去均值后的结论相近。90%半径质量差在原点中心口径下未跨越当前经验CDF的分辨率；这不表示两套权重完全相同。
|
||
|
||
因此，这两个检查点不能支持“微调后、更好的模型更靠内”的结论；本轮也没有测任务质量。参数几何中的宽径向结构可以继续挖掘，但它本身还不是功能重复或可互相替代的证据。
|
||
|
||
## 数据与核验
|
||
|
||
[完整数值报告](../results/model-shell/REPORT.md) · [冻结协议](../model_shell/PROTOCOL.md) · [复现方式](../model_shell/README.md) · [指标CSV](../results/model-shell/metrics.csv) · [摘要JSON](../results/model-shell/summary.json) · [审计SHA](../results/model-shell/audit.json)
|
||
|
||
6,232个模型×中心×视图组合全部核验；CDF从保留的校准／留出范数复算，检查有限样本秩上限，原模型和适配器SHA均与既有记录一致。远程4项测试通过，覆盖索引、LoRA读取、中心与尺度、均匀球校准和稀疏贴壳反例。图表、完整CDF及对照摘要、实测范数一同保存。结论为描述性统计：视图相关且重叠，没有将其当作独立重复实验进行显著性检验。
|