固定科研图册并比较GSM8K LoRA微调前后的有效头数 #7

2026-11-10T16:15:03Z

codex-bot commented

2026-11-10 16:15:03 +00:00

修复科研图表只依赖聊天/本机入口而难以长期查找的问题，并测量同一Qwen3.5-2B底座在已有GSM8K任务微调前后的头影响集中度。

图表保存

增加docs/FIGURE_GALLERY.md及首页入口，原PNG/PDF/SVG都保留在Git；给出固定提交098ea865的在线副本和SHA。两张PNG在线响应与本地SHA逐字节一致，六种格式另存于实验服务器archives/head-dominance-098ea865。保留原表格及8.931822/16、P10=5.784081、P90=11.672658。

已有微调权重

选择Avifenesh/gdn-beta-gate-qwen3.5-2b-grpo固定HF revision038d8be9bd0edd3883fa019651b02bdf65609468，纯LoRA/seed0，先固定最小seed再观察指标。发布者注明其为GSM8K GRPO（非SFT），底座revision与当前15852e8c16360a2fea060d615a32b45270f8a8fc完全相同。仅下载18.9MB已有适配器，核对144个张量/72组A-B、rank16 alpha32及作者代码缩放系数2；不使用改变结构的beta-gate分支。

实际改动

新增finetune_compare只读FP32有效权重W+2BA、配对单头消融、报告与审计。源头输出拆分也使用有效权重，另以base projection+2B(Ax)作独立数值参考；不将小增量再次舍入为BF16。

原四条文本的同4800个观测精确复用底座原始数组，重算微调结果；另取原作者GSM8K固定版本test split中前4个至少32token题目，题目only前32token，两模型使用完全相同token IDs。全部六个普通注意力接收层、16个上游头和query7–31；本轮不重复与目标指标无关的联合掩码搜索。

保存全部原始影响、逐观测/逐文本/逐层数据、三组PNG/PDF/SVG、固定来源、校验清单和服务器缓存位置。旧23连接QKV汇总与本轮六接收层QKV补充指标的口径明确分开。

限制

单个已训练seed、每组4条短文本；无iid-token显著性、准确率或长推理过程结论。比较的是原后训练发布权重上额外GRPO的效果，不能推广到全参数SFT或所有任务。保留所有原模型、适配器和缓存，不训练、不用GPU、不覆盖权重。等待用户手动合并。

实测结果

原四条输入：有效头数中位数8.931822→8.918301；P10/P90由5.784081/11.672658变为5.776576/11.683940；配对变化中位数-0.007827。GSM8K题目前缀：8.906046→8.904117，配对变化中位数-0.006747。两组整体分布基本稳定，不能据此推广为所有微调或完整解题过程均不变。

这不是适配器未生效：72组权重增量均非零，八条文本的末层归一化前残差相对L2变化约2.19%–4.57%（非准确率变化）。有效矩阵与独立低秩前向的真实模型相对误差8.34e-7，原8.931822基线精确复现。

验证

远程30项回归通过（23.124秒）；96组影响数组、每组4800配对观测、288项头输出求和及空消融通过；有效头公式独立复算、原基线逐数组核对、底座/适配器/数据集SHA通过。126个结果文件和10个源码SHA及暂存区数据核对通过，三组科研图逐一检查，图册/复现入口链接检查通过。

模型测量1423.2秒，峰值RSS173.25 MiB。保留原模型、18.9MB适配器、300份新缓存及旧实验缓存；不将模型/适配器或大型基线缓存上传Git。分支codex/finetune-head-dominance，目标main，等待用户手动合并。

修复科研图表只依赖聊天/本机入口而难以长期查找的问题，并测量同一Qwen3.5-2B底座在已有GSM8K任务微调前后的头影响集中度。 ## 图表保存增加docs/FIGURE_GALLERY.md及首页入口，原PNG/PDF/SVG都保留在Git；给出固定提交098ea865的在线副本和SHA。两张PNG在线响应与本地SHA逐字节一致，六种格式另存于实验服务器archives/head-dominance-098ea865。保留原表格及8.931822/16、P10=5.784081、P90=11.672658。 ## 已有微调权重选择Avifenesh/gdn-beta-gate-qwen3.5-2b-grpo固定HF revision038d8be9bd0edd3883fa019651b02bdf65609468，纯LoRA/seed0，先固定最小seed再观察指标。发布者注明其为GSM8K GRPO（非SFT），底座revision与当前15852e8c16360a2fea060d615a32b45270f8a8fc完全相同。仅下载18.9MB已有适配器，核对144个张量/72组A-B、rank16 alpha32及作者代码缩放系数2；不使用改变结构的beta-gate分支。 ## 实际改动新增finetune_compare只读FP32有效权重W+2BA、配对单头消融、报告与审计。源头输出拆分也使用有效权重，另以base projection+2B(Ax)作独立数值参考；不将小增量再次舍入为BF16。原四条文本的同4800个观测精确复用底座原始数组，重算微调结果；另取原作者GSM8K固定版本test split中前4个至少32token题目，题目only前32token，两模型使用完全相同token IDs。全部六个普通注意力接收层、16个上游头和query7–31；本轮不重复与目标指标无关的联合掩码搜索。保存全部原始影响、逐观测/逐文本/逐层数据、三组PNG/PDF/SVG、固定来源、校验清单和服务器缓存位置。旧23连接QKV汇总与本轮六接收层QKV补充指标的口径明确分开。 ## 限制单个已训练seed、每组4条短文本；无iid-token显著性、准确率或长推理过程结论。比较的是原后训练发布权重上额外GRPO的效果，不能推广到全参数SFT或所有任务。保留所有原模型、适配器和缓存，不训练、不用GPU、不覆盖权重。等待用户手动合并。 ## 实测结果原四条输入：有效头数中位数8.931822→8.918301；P10/P90由5.784081/11.672658变为5.776576/11.683940；配对变化中位数-0.007827。GSM8K题目前缀：8.906046→8.904117，配对变化中位数-0.006747。两组整体分布基本稳定，不能据此推广为所有微调或完整解题过程均不变。这不是适配器未生效：72组权重增量均非零，八条文本的末层归一化前残差相对L2变化约2.19%–4.57%（非准确率变化）。有效矩阵与独立低秩前向的真实模型相对误差8.34e-7，原8.931822基线精确复现。 ## 验证远程30项回归通过（23.124秒）；96组影响数组、每组4800配对观测、288项头输出求和及空消融通过；有效头公式独立复算、原基线逐数组核对、底座/适配器/数据集SHA通过。126个结果文件和10个源码SHA及暂存区数据核对通过，三组科研图逐一检查，图册/复现入口链接检查通过。模型测量1423.2秒，峰值RSS173.25 MiB。保留原模型、18.9MB适配器、300份新缓存及旧实验缓存；不将模型/适配器或大型基线缓存上传Git。分支codex/finetune-head-dominance，目标main，等待用户手动合并。

codex-bot added 1 commit 2026-11-10 16:15:03 +00:00

Archive research charts and compare GSM8K LoRA head concentration 52e6d13fe5

Zayden-Jung merged commit 9e0e659287 into main

2026-11-10 16:33:46 +00:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Zayden-Jung/exp-model-parameter-similarity#7