Validate repeated learned RMSNorm functions with CPU evidence
This commit is contained in:
@@ -67,3 +67,9 @@ CPU 上“找到输出接近的候选”能支持继续投入 GPU;
|
||||
最多选择一个候选,必须分别验证两个替换方向;完整模块失败不会被小模块通过所掩盖。
|
||||
归一化共享最多节省少量字节,不预设能显著减少计算。
|
||||
采集真实隐藏输入必须正确执行前置线性注意力;它不进入首轮复用候选,但其递推计算纳入官方参考对照。
|
||||
|
||||
## 用户最新目标修订
|
||||
|
||||
不再以成本/加速作为成功条件;主问题是现有学习部分的功能重复。
|
||||
新增一次固定四层的 MLP 神经元函数搜索、独立留出和双向替换,
|
||||
见 [功能重复判据](LEARNED_FUNCTION_REPETITION.md)。解析增益合并单独归类,不冒充学习部分重复。
|
||||
|
||||
Reference in New Issue
Block a user