权重空间编程:当 AI 开始直接改写另一个 AI 的大脑
11 月 2 日,MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 与 Omar Khattab 团队发布「Weight-Space Programming(权重空间编程)」实验报告——HN 首页冲上 1993 分。核心声明听上去近乎科幻:前沿模型(GPT-6 Astra)可以不经过梯度下降、训练循环,某些场景下甚至不做前向传播,仅凭推理加 Python 工具,直接读写另一个神经网络的权重。
做了什么、效果如何
实验的约束条件设计得很克制:Astra 拿到的要么是当作文本的原始权重,要么是一个 CPU 上的 Python kernel;禁止训练与梯度访问,前向传播预算限 0-50 次;评估基准对模型保密。
最亮眼的一组结果:Astra 诊断出 Qwen3.5-0.8B 在数学题上陷入「循环失败」的原因——定位到第 15 与 19 层 MLP 中的一个方向,只编辑了 131,072 个权重(占总数 0.016%),效果为:MATH-500 从 7.9% 升至 48.1%(用满 50 次前向)、GSM8K 从 13.8% 升至 67.1%、IFEval 从 21.0% 升至 62.3%(提升 3 倍,且泛化到数学之外)、token 超限率从 93% 降到 33%。在三个 MinAtar 游戏网络上,一次写入的权重胜过了 PPO 训练 1 亿步的成果。
透明度也做得扎实:完整日志、代码与评估脚本已开源,被编辑后的 Qwen 上传 Hugging Face,还有第三方(akhaliq)重建的在线 demo 可试。
局限同样明确——这正是它的可信之处
报告没有回避失败案例:在 Gemma 3 270M(一个不存在循环问题的模型)上,Astra 无法有效改进数学能力,编辑最多让 MATH-500 动 1 个点——它能移除障碍,不能凭空添加能力;仅凭权重识别「谄媚者」也失败了,需要查看注意力模式才行。作者自评「非常早期」,并坦承最大的结构性问题:整个实验依赖未开源的 GPT-6 Astra,模型行为本身无法被独立复现——开放的部分(日志、代码、编辑后的模型)可核,但「Astra 为什么能做对」仍是黑箱。
对企业的启示
其一,「AI 修 AI」的工具化雏形已现。 过去修复一个模型的问题需要训练团队、GPU 集群与数周排期;这套方法展示的是另一种可能——用前沿模型当「神经外科医生」,定位故障方向、做最小干预。对拥有自托管模型的企业(我们此前报道过 DeepInfer、Mistral Large 4 开放权重),这类「外科手术式修复」值得放进技术雷达:它解决的是「模型在一个具体任务上反复失败」这类最磨人的长尾问题。
其二,别忘了它的边界。 只能移除障碍、不能添加能力,且依赖闭源模型——短期内它不会取代微调与 RAG,而是补充「最后一公里」的定点修复。任何想把它用于生产的人,都该先看那份公开的失败案例清单。
其三,方法论上的启示大于直接可用性:「让 AI 诊断并修改另一个 AI」的闭环一旦可复现,模型维护的人力结构会随之改变。ProMen 会持续跟踪这条线的可复现性验证结果——这决定了它三个月后是论文用语,还是运维手册用语。