精华速览

阿里千问于10月12日正式发布 QwenGyre，一款面向长程智能体任务的在线强化学习框架。该框架针对智能体执行复杂任务时需数小时、数百轮交互、累计百万级 token 的场景，通过弹性调度与轨迹处理，将超长程任务转化为有效训练来源。其核心机制是把 GPU 划分为多个计算单元，任务批次结束后空出单元转入训练，运行中任务状态与缓存完整保留。在 NL2RepoBench 实验中，以每次 rollout 约 70 万 token 训练 48 步后，模型通过率从 52.5% 提升至 58.5%；相同 GPU 预算下较 Async 实现 1.78 倍端到端加速，并在 Qwen3.6-122B 的跨任务验证中取得提速。

要点透视

  • 阿里千问于10月12日发布 QwenGyre，定位为面向长程智能体任务的在线强化学习框架。
  • 官方称智能体复杂任务一次执行可持续数小时，模型与环境间有数百轮相互依赖交互，累计处理百万级 token。
  • QwenGyre 采用弹性调度：将 GPU 分成若干计算单元，任务批次结束后空出单元转入训练，运行中任务进度、状态和缓存原地保留。
  • 框架通过 Token-in Token-out 记录每段输出生成时的真实上下文，按共享前缀组织为轨迹树，仅将选中路径展开为训练样本。
  • 超时但部分完成的任务可通过 Partial Scoring 提供反馈，避免浪费已完成的步骤。
  • 在 NL2RepoBench 在线强化学习实验中，以每次 rollout 约 70 万 token 训练 48 步后，模型通过率从 52.5% 升至 58.5%。
  • 相同 GPU 预算下，QwenGyre 相对 Async 实现 1.78 倍端到端加速，训练分数与 Async、Colocate 接近。
  • 在 Qwen3.6-122B 上的跨任务验证中，NL2RepoBench、DeepSWE、TerminalBench 三类任务均获得端到端提速。

文章拆解

长程智能体任务正成为大模型能力竞争的新焦点。这类任务往往需要模型与环境进行数百轮交互，单次执行持续数小时，累计消耗百万级 token，传统在线强化学习框架在调度和样本利用上难以高效支撑。QwenGyre 的发布，正是针对这一训练瓶颈提出的工程化方案。

其核心逻辑在于把训练资源调度与任务执行解耦。通过将 GPU 划分为多个计算单元，已完成的任务批次让出算力转入训练，仍在运行的任务不受干扰，进度、状态乃至缓存整体迁移，避免重复计算。这种“谁先交差谁先复盘”的机制，使训练不必等待全部任务结束，从而提升 GPU 利用率。同时，Token-in Token-out 与轨迹树设计让每段输出的真实上下文可被记录，只展开被选中的路径作为训练样本，减少了无效计算；Partial Scoring 则让超时但部分完成的任务也能贡献反馈，进一步降低样本浪费。

从数据看，NL2RepoBench 实验中通过率提升 6 个百分点，1.78 倍端到端加速，说明该框架在保持训练分数接近 Async、Colocate 的同时，显著改善了效率。对行业而言，这意味着超长程智能体任务的强化学习训练门槛可能降低，更多团队有机会在有限 GPU 预算下开展此类训练。对用户而言，未来智能体在复杂工作流中的稳定性和完成率有望受益。

值得关注的变量包括：QwenGyre 目前公开的验证集中在特定基准和 Qwen3.6-122B 模型上，其在不同模型规模、不同任务类型上的泛化能力尚待确认；弹性调度在真实集群中的稳定性、缓存迁移开销以及多任务并发下的公平性，也需要更多实践检验。此外，Partial Scoring 的反馈质量如何影响最终策略，是否可能引入偏差，尚待确认。潜在风险在于，若调度粒度或轨迹树管理不当，可能带来额外的工程复杂度和调试成本。总体而言，QwenGyre 为长程智能体训练提供了一条可参考的工程路径，但其长期效果仍需观察。

查看原文