先看证据
不是微调:模型直接读写另一张网络的权重
Weight-Space Programming 不是让优化器沿着梯度一步步更新参数。研究者给通用大语言模型一个自然语言目标,让它直接读取或改写另一张神经网络的权重。团队把实验分成三类:从权重中读取模型行为、修复一个表现失败的网络,以及从头写出网络权重。它们都围绕权重本身操作,但具体工具和反馈方式并不完全相同。
有些实验不使用工具,另一些则使用 Python 沙盒或受控的 forward pass。因而,文中的“50 次”指 forward-pass 预算,不是 50 个训练步骤,也不能概括所有实验的流程。Qwen 的结果尤其受到关注:GPT-6 Astra 在 Qwen3.5-0.8B 上进行权重编辑时,没有使用梯度下降或训练;作者报告改动了 131,072 个权重,约占模型的 0.016%。
Qwen 的大幅提升,伴随着循环输出减少
在 Qwen3.5-0.8B 上,作者报告 MATH-500 从 7.9% 升到 48.1%,GSM8K 从 13.8% 升到 67.1%,IFEval 从 21.0% 升到 62.3%。变化不只体现在几个基准分数上:MATH-500 中触及 32,768-token 上限的回答比例,也从 93% 降至 33.1%。这与研究者所描述的循环问题相呼应——模型反复生成内容时,答案会耗尽可用上下文。
这些结果说明,改动比例小并不等于影响必然小;如果模型有一个显著妨碍既有能力表现的失效模式,修复它可能同时改善多个任务的成绩。但实验没有证明只要改动很少的权重就能普遍提升能力。这里的直接证据是一个具体模型、一个特定失效问题和作者报告的评测结果,不能把它外推成任意模型都能被这样增强。
Gemma 对照说明:修复故障不等于补出能力
Gemma 3 270M 提供了重要的反例。它在 MATH-500 上的基线成绩为 6.8%,经过 50 次 forward pass 后是 7.0%;作者表示,没有一次编辑让分数提高超过约一个百分点。研究者的解释是,Gemma 的错误并不像 Qwen 那样集中在一个可移除的循环问题上。因此,Qwen 的显著改善不能直接理解为方法替模型补上了普遍缺失的数学能力。
这个差别关系到方法适用的任务类型。如果错误来源集中、表现方式清楚,直接编辑或许能去掉一个明显障碍;如果错误分散,或者模型本身缺少所需能力,现有实验并未显示这种做法能带来同等级的提升。Gemma 的结果不是无关紧要的失败案例,而是限定了该方法目前能支持什么判断:它可能修复特定行为,不等于能普遍教会模型新技能。
Go 实验展示了另一种用法,也有不同预算
研究者还让 Astra 从头写出一个包含 1,480,274 个权重的围棋网络。在这项实验里,forward pass 对应批量练习对局,权重编辑与练习交替进行。作者报告称,进行 50 次 forward pass 后,这个网络胜过了一个规模相同、用 2,000 万盘对局训练的 PPO 网络。这不是把 Qwen 的修复实验换到围棋上重做,而是“从头写权重”这条研究路线的结果。
预算也会改变结果的含义。研究材料还称,在零次 forward pass 时,该网络就胜过了两个更小的 PPO 网络中的一半以上;与同规模 PPO 网络的比较则对应 50 次 forward pass。两个比较对象的规模和训练条件不同,不能合并成一句“模型不训练也打败了 PPO”。这组实验显示了直接写出权重的可能性,但不足以说明它在更广泛的游戏任务或其他网络规模上会有同样表现。
下一步要验证可重复性与实际成本
研究者把这些结果称为早期实验,并指出上下文长度和 harness 效率是当前限制。现有材料没有确立这些提升能否跨随机种子、跨任务族稳定复现,也没有给出足以回答规模化部署问题的完整 harness 与人工审核成本。基准分数值得关注,但单凭分数还无法判断这套做法是否更省时、更省计算,或适合进入生产环境。
更有区分力的后续测试,应保留未参与编辑的评测集,在多个随机种子和不同任务上重复实验,并把分数与计算、工具调用及人工审核成本一起报告。还应检查评测是否能排除测试集或提示词造成的偶然影响。就目前证据而言,Weight-Space Programming 值得继续研究的理由,是它展示了直接改写网络权重的可行实例;它尚未证明通用 LLM 能改善任意模型,也没有取代训练的依据。