实测两个Qwen3.5-2B检查点的参数球壳与微调变化 #9

2026-11-11T16:25:20Z

codex-bot commented

2026-11-11 16:25:20 +00:00

直接使用保留的Qwen3.5-2B原权重与同底座已有GSM8K纯LoRA GRPO检查点，检验实际参数云是否比明确的均匀参照更靠内部。全部在已授权CPU服务器运行，没有训练、推理或删除任何权重。

每模型固定枚举1,558个互相重叠的矩阵/头视图；主分析使用1,521个样本充足、未抽取坐标的视图。比较原点/校准均值中心、均匀球/范围均匀盒/矩匹配均匀盒，并同时使用校准最大半径与RMS尺度。

原点中心下，矩阵与头视图相对均匀球的90%半径内质量差中位数分别为+98.0与+97.3个百分点；但RMS归一且矩匹配后，93.8%矩阵视图、87.8%头视图同时增加内外两尾。因此不能把结果概括成整体向内收缩，也不能据此推断模型质量、稀疏支持或功能重复。936个受LoRA影响的主要视图配对后，几何变化极小。

包含冻结协议、流式读取/分析、4项远程测试、审计与绘图程序；完整指标CSV、CDF/参照摘要、实测范数与3组示例范数、来源SHA、运行记录；5组PNG/PDF/SVG和固定图册入口。

验证：4项远程测试通过；6,232个模型×中心×视图组合完整覆盖，CDF从保存范数复算，样本秩上限核验通过；原模型及适配器SHA与既有记录一致；25项成果SHA在服务器、取回文件及暂存区一致；5组PNG完成视觉检查；git diff --check通过。数值计算与图表生成均在8.211.154.134执行。

限制：校准最大半径不是总体支撑边界；视图互相重叠且相关；有限样本参与率不是内在维度；对照匹配边际矩而非协方差。结论为描述性统计。

详见docs/MODEL_SHELL_FINDINGS.md、results/model-shell/REPORT.md与docs/FIGURE_GALLERY.md。等待用户手动合并。

直接使用保留的Qwen3.5-2B原权重与同底座已有GSM8K纯LoRA GRPO检查点，检验实际参数云是否比明确的均匀参照更靠内部。全部在已授权CPU服务器运行，没有训练、推理或删除任何权重。每模型固定枚举1,558个互相重叠的矩阵/头视图；主分析使用1,521个样本充足、未抽取坐标的视图。比较原点/校准均值中心、均匀球/范围均匀盒/矩匹配均匀盒，并同时使用校准最大半径与RMS尺度。原点中心下，矩阵与头视图相对均匀球的90%半径内质量差中位数分别为+98.0与+97.3个百分点；但RMS归一且矩匹配后，93.8%矩阵视图、87.8%头视图同时增加内外两尾。因此不能把结果概括成整体向内收缩，也不能据此推断模型质量、稀疏支持或功能重复。936个受LoRA影响的主要视图配对后，几何变化极小。包含冻结协议、流式读取/分析、4项远程测试、审计与绘图程序；完整指标CSV、CDF/参照摘要、实测范数与3组示例范数、来源SHA、运行记录；5组PNG/PDF/SVG和固定图册入口。验证：4项远程测试通过；6,232个模型×中心×视图组合完整覆盖，CDF从保存范数复算，样本秩上限核验通过；原模型及适配器SHA与既有记录一致；25项成果SHA在服务器、取回文件及暂存区一致；5组PNG完成视觉检查；git diff --check通过。数值计算与图表生成均在8.211.154.134执行。限制：校准最大半径不是总体支撑边界；视图互相重叠且相关；有限样本参与率不是内在维度；对照匹配边际矩而非协方差。结论为描述性统计。详见docs/MODEL_SHELL_FINDINGS.md、results/model-shell/REPORT.md与docs/FIGURE_GALLERY.md。等待用户手动合并。

codex-bot added 1 commit 2026-11-11 16:25:20 +00:00

Measure parameter shell geometry in paired Qwen3.5-2B checkpoints 2f1113323e

Zayden-Jung merged commit ea9bfd2a23 into main

2026-11-11 16:29:44 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Zayden-Jung/exp-model-parameter-similarity#9