精华速览

腾讯混元Frontier团队发布Terminal-RSI方法，通过“递归自我重写”与“递归策略精炼”两个循环，让基座模型在终端Agent任务上实现能力跃升。实验采用阿里Qwen3.8-27B作为基座，在Terminal-Bench 4.0上从0%提升至19.84%，与GPT-5.6 Terra、Gemini 3.8 Flash持平；在Terminal-Bench 2.1上从51.7%升至86.5%，四个测试平均分从20.7%翻倍至50.6%。该方法旨在解决终端任务反馈慢、过程分难以区分对错的难题。论文同时承认，实验仅在27B模型上验证、仅三次评测且无独立训练种子，更大参数模型上的效果尚待确认。此举也是姚顺雨加入混元后，Frontier研究与主模型团队整合的阶段性成果。

要点透视

  • Terminal-RSI由腾讯混元Frontier团队发布，基座模型为阿里Qwen3.8-27B，最终产物命名为Terminal-RSI-27B。
  • 在Terminal-Bench 4.0上，基座模型原本得分为0%，经Terminal-RSI训练后达到19.84%，与GPT-5.6 Terra、Gemini 3.8 Flash齐平。
  • 在Terminal-Bench 2.1上，得分从51.7%提升至86.5%；四个测试平均分从20.7%升至50.6%，翻了一倍多。
  • 训练流程为Base→RSR-1→RPR-1→RSR-2→RPR-2，其中RSR只更新actor，RPR采用PPO同时更新actor和critic。
  • RSR通过保留完整验证的成功轨迹、由模型自写操作手册、经审查Agent检查泄漏后在新沙盒重做，最终仅保留动作序列做监督微调。
  • RPR在重写后先让critic单独重新训练4轮以适配新策略，再与actor联合强化学习，避免旧估计误差混入优势值。
  • 论文一作为Hy Frontier实习生杨竣尧、李宗夏及西雅图腾讯研究科学家史玉成，三人此前合作过终端Agent强化学习论文T1。
  • 姚顺雨加入后，AI Lab并入大语言模型部，Frontier与预训练、后训练、评估、Infra同属一条汇报线，层级压缩为三层。

文章拆解

Terminal-RSI的出现在技术逻辑上指向一个具体痛点：终端Agent任务的长时程特性使传统强化学习效率低下。论文给出的数据是，训练中平均交互回合数在50到117之间浮动，第二步出错往往要到流程末尾才能发现；同时验证器11条检查过了9条，这种部分成功很难在终端判定中转化为有效信号。RSR和RPR分别从数据策略和训练方法两个环节切入，前者把“偶尔做对”的轨迹固化为可复用操作手册，后者解决策略更新后critic失准的问题。这套思路与Hy4 Preview强调的全链路RSI形成互补，RSR对应数据策略环节，RPR偏向训练方法环节。

从组织背景看，这篇论文的信息价值不止于技术指标。素材显示，混元2023年立项时项目组连GPU都没有，从广告部门匀来2000张；首任负责人张正友做计算机视觉，第二任蒋杰长期做广告推荐和大数据平台，均未深度涉足强化学习。2025年中团队转向打榜，内部人承认“这么干下去不行”。姚顺雨加入后推动AI Lab并入大语言模型部，Frontier不再独立于混元，研究与产品同属一条汇报线。Terminal-RSI因此可视为组织调整后的产出样本，其研究线也并非漫无边际，2025年底混元重点跟进AI编程，姚顺雨搭建了全集团共用的强化学习基础设施，T1和Terminal-RSI都落在终端长程任务与强化学习这一方向上。

对行业和用户而言，最直接的信号是27B小模型在终端实操基准上追平头部闭源模型。如果这一方法能迁移到更大参数模型，意味着Agent能力的提升不必完全依赖参数扩张，训练流程设计可以释放存量模型潜力。但论文自己划出了边界：只在一个27B模型上跑过，只有三次评测，没有独立训练种子，放到Hy4这种大参数量模型上能否复现RSI尚待确认。另一个值得关注的变量是基座选择——用阿里Qwen3.8-27B做实验，说明这套方法在架构上可能不绑定混元自家模型，但跨模型迁移的稳定性同样尚待确认。潜在风险在于，RSR依赖审查Agent拦截验证器答案泄漏，若审查环节被绕过，监督微调数据可能混入污染；RPR的critic重训4轮是否足以适配所有任务类型，素材未给出更多消融数据。

查看原文