精华速览

MIT CSAIL 提出 Weight-Space Programming 方法，让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的内部权重。Astra 定位到导致模型反复推理的循环相关参数，仅调整约 0.016% 的权重，就将 MATH-500 成绩从 7.9% 提升至 48.1%，GSM8K 从 13.8% 升至 67.1%。研究还显示 Astra 能仅凭权重识别网络训练过的游戏和语言，甚至从零生成可玩游戏的网络权重。这标志着机制可解释性的输出从“解释”变为“可执行的编辑指令”，为 AI 改进 AI 提供了一条不经过梯度下降的新路径，但距离自主递归自我改进仍有明显距离。

要点透视

  • Astra 修改 Qwen3.5-0.8B 第 15 层和第 19 层 MLP 各 64 个输出列，共涉及 131072 个参数，约占模型总权重的 0.016%。
  • 修改后 Qwen 的 MATH-500 成绩从 7.9% 升至 48.1%，GSM8K 从 13.8% 升至 67.1%，IFEval 从 21.0% 升至 62.3%；触及 32768 Token 上限的比例从 93.0% 降至 33.1%。
  • 在 96 条初始练习回答中，Qwen 有 85 条耗尽 32768 Token 预算；修改后 579 条回答从错误变为正确，仅 5 条反向退化，其中 576 条原为截断错误。
  • Astra 仅凭权重识别出 4 个相同架构（各 17253 参数）的神经网络分别训练了 Breakout、Pong、Pac-Man 和 Freeway，且未被告知游戏名称。
  • 在字符级 Transformer 实验中，Astra 从约 720 万参数的模型中识别出 Python 模型有 3 个 copying head，罗马字日语和英语模型各 1 个。
  • Astra 从零生成 Breakout 网络权重，平均得分 517.4，而 PPO 训练 1 亿步和 5 亿步的成绩分别为 15.8 和 25.3；生成 9×9 围棋网络（约 148 万参数）用 336 行 Python，可击败两个较小 PPO 对手。
  • 在 Kinetix 车辆控制实验中，Astra 修改 3.5% 权重增加倒车分支，使车辆在 1024 次测试中全部成功，修改前 256 次测试无成功记录。
  • 对照实验中，Astra 对 Gemma 3 270M 进行局部权重编辑后，MATH-500 仅从 6.8% 变化到约 7.0%—7.7%，未出现 Qwen 式大幅提升。

文章拆解

这项研究的核心突破在于把机制可解释性从“人类可读的分析”推进到“机器可执行的编辑指令”。传统上，理解模型内部状态与修改模型行为是两条分离的路径：前者依赖探针和可视化，后者依赖微调或重训练。Astra 将两者打通，使同一个模型既能定位功能回路，又能直接写出修改后的参数。Qwen 的实验表明，部分看似需要重新训练才能解决的问题，可能集中在少量参数形成的计算路径中。

从技术逻辑看，Astra 的编辑之所以有效，是因为 Transformer 的残差流会将局部修改传递到后续层。研究者在第 15 层和第 19 层 MLP 中削弱特定方向的写入强度，影响了自回归生成中循环特征的自我强化过程。修改后模型并未简单提前停止生成，正确回答的推理长度中位数仍达 9172 Token，说明它恢复的是正常完成推理的能力，而非绕过问题。

对行业而言，这提供了一种模型维护的新思路：训练负责让模型获得能力，权重编辑则可能让这些能力得到更直接的修复和调整。如果未来能够稳定识别功能回路并验证每次修改的影响，模型或许能像软件一样接受局部补丁。但当前方法仍高度依赖人类研究者设计探测策略、提供前向预算和筛选样本，与成熟微调流水线尚不可比。

值得关注的变量包括：该方法能否扩展到更大规模模型和更复杂故障；编辑的因果验证是否充分，因为同一方向可能参与多种行为；以及 Gemma 对照实验显示，局部手术更适合可定位的计算结构故障，对模型尚未掌握的知识难以补齐。潜在风险在于，一个能读写权重的模型在模型生态中扮演什么角色尚待确认，距离自主递归自我改进仍有明显距离，但方向已经指明。

查看原文