Qwen3.5-2B 参数相似度结果与免训练功能复用方案 #1

2026-11-08T17:14:58Z

codex-bot commented

2026-11-08 17:14:58 +00:00

问题与交付

研究同形状权重及子张量能否通过代表共享降低模型成本。完成 Qwen3.5-2B 原始权重的有界静态先导试验，附代码、数据、科研图及基础 SOP；另外交付免训练功能复用的文献核对和下一阶段设计，尚未执行前向或训练。

实际改动

固定官方 revision、断点下载和 SHA256 校验，BF16 mmap 分块分析及页面释放。
同角色 tensor、二维和真实三维子块的筛选/精确复核、代表中心分组与净字节收益核算。
归档 632 tensor 清单、2,000 对完整 tensor 和 14,778/20,000 对子块结果；未计算覆盖如实标注。
六类 PNG/PDF/SVG 图及源数据；诊断图分维数/尺度，缺失热图单元加斜线，对照密度归一化并标注样本数。
结果检查、远程合成测试、资源观察、校验记录和权重清理记录；不提交模型权重。
SOP、结果解释、6 项原始文献核对；免训练同输入功能探测→单处干预→留出质量及成本的有界方案，默认不求 R。

结果及验证

在已复核候选及坐标对齐的直接替换条件下，20% 权重相对误差阈值整 tensor 净节省 119,424 字节（约 0.002626%）；不能外推为能力损失或否定功能复用。
分析及分组约 111 分钟，峰值进程 RSS 约 201 MiB；共享主机 I/O 等待显著。
远程最终 6 项合成测试通过（77.193 秒）；分组边、有限数值及 81 个归档文件 SHA256 校验通过。先前并行绘图测试发生 I/O 超时，记录保留，后续串行测试通过。
本轮最后文档变更检查本地链接和 diff 空白；未触发本机编译/构建。归档哈希再次通过。
权重在交付副本校验后按授权删除；未重新下载或执行模型前向。

限制与后续

该试验有抽样、近邻筛选与角色混合偏差，并非穷举；没有能力、困惑度或推理时延结论。免训练功能方案尚未执行，当前服务器实际约 1.7 GiB RAM，执行前需另行确认适用远程环境。没有开始第二模型。

base: main；head: codex/2b-parameter-pilot。请用户查看后手动合并；bot 不合并、不直接推 main。

## 问题与交付研究同形状权重及子张量能否通过代表共享降低模型成本。完成 Qwen3.5-2B 原始权重的有界静态先导试验，附代码、数据、科研图及基础 SOP；另外交付免训练功能复用的文献核对和下一阶段设计，尚未执行前向或训练。 ## 实际改动 - 固定官方 revision、断点下载和 SHA256 校验，BF16 mmap 分块分析及页面释放。 - 同角色 tensor、二维和真实三维子块的筛选/精确复核、代表中心分组与净字节收益核算。 - 归档 632 tensor 清单、2,000 对完整 tensor 和 14,778/20,000 对子块结果；未计算覆盖如实标注。 - 六类 PNG/PDF/SVG 图及源数据；诊断图分维数/尺度，缺失热图单元加斜线，对照密度归一化并标注样本数。 - 结果检查、远程合成测试、资源观察、校验记录和权重清理记录；不提交模型权重。 - SOP、结果解释、6 项原始文献核对；免训练同输入功能探测→单处干预→留出质量及成本的有界方案，默认不求 R。 ## 结果及验证 - 在已复核候选及坐标对齐的直接替换条件下，20% 权重相对误差阈值整 tensor 净节省 119,424 字节（约 0.002626%）；不能外推为能力损失或否定功能复用。 - 分析及分组约 111 分钟，峰值进程 RSS 约 201 MiB；共享主机 I/O 等待显著。 - 远程最终 6 项合成测试通过（77.193 秒）；分组边、有限数值及 81 个归档文件 SHA256 校验通过。先前并行绘图测试发生 I/O 超时，记录保留，后续串行测试通过。 - 本轮最后文档变更检查本地链接和 diff 空白；未触发本机编译/构建。归档哈希再次通过。 - 权重在交付副本校验后按授权删除；未重新下载或执行模型前向。 ## 限制与后续该试验有抽样、近邻筛选与角色混合偏差，并非穷举；没有能力、困惑度或推理时延结论。免训练功能方案尚未执行，当前服务器实际约 1.7 GiB RAM，执行前需另行确认适用远程环境。没有开始第二模型。 base: main；head: codex/2b-parameter-pilot。请用户查看后手动合并；bot 不合并、不直接推 main。

codex-bot added 1 commit 2026-11-08 17:14:59 +00:00

Add bounded 2B tensor and block similarity pipeline e98c5d0936

codex-bot added 1 commit 2026-11-08 17:20:05 +00:00

Bound mapped memory during sampling and block comparison 6121016a26

codex-bot added 1 commit 2026-11-08 20:07:33 +00:00

Record bounded Qwen3.5-2B pilot and stratified diagnostics 727b05eb3f

codex-bot added 1 commit 2026-11-08 20:16:56 +00:00

Document bounded training-free functional reuse investigation 70b8be25b4

codex-bot changed title from ~~WIP: Qwen3.5-2B 参数与多尺度子块相似度试验~~ to Qwen3.5-2B 参数相似度结果与免训练功能复用方案

2026-11-08 20:17:06 +00:00

Zayden-Jung merged commit 24b3c97fa5 into main

2026-11-08 20:17:54 +00:00