人工智能

阿里千问发布 QwenGyre：面向百万级 token 长程智能体任务的在线强化学习框架

2026年10月13日 · admin
OpenMagic API

据 IT之家 10 月 12 日消息，阿里千问今日正式发布 QwenGyre，这是一款面向长程智能体任务的在线强化学习框架。官方介绍显示，当智能体执行复杂工作时，一次任务可能持续数小时，并与环境发生数百轮相互依赖的交互，累计处理规模可达到百万级 token。QwenGyre 的目标，是把这类过去难以高效利用的超长程任务转化为有效训练数据来源，并通过弹性调度、轨迹处理和部分反馈机制，在能力训练与算力效率之间取得更好平衡。

面向“超长程智能体”的训练难题

openmagic_cn_banner

近一年，智能体从简单问答、工具调用，逐步走向代码仓库级任务、终端操作、多步骤软件工程等复杂场景。这类任务与传统大模型训练中的短上下文样本不同，模型需要不断观察环境变化、生成操作、读取反馈，再决定下一步动作。一个任务链路越长，训练系统就越容易遇到调度低效、样本组织复杂、反馈稀疏等问题。

来源显示，QwenGyre 针对的正是这类长程智能体任务：模型和环境之间可能存在数百轮交互，整个 rollout 过程会消耗大量 token。若采用传统训练流程，部分任务先完成、部分任务仍在运行，GPU 很容易出现等待或资源利用不均的问题；而如果强行中断任务，又可能丢失已经产生的上下文、缓存与中间结果。

QwenGyre 的核心思路，是让训练流程更像一个可动态分工的项目系统。它能够把 GPU 划分为若干计算单元，当某一批任务结束后，空出的计算单元可以立即转入训练；仍在执行的任务则继续保留状态，不受打扰。官方描述中，这种机制类似“谁先交差，谁先加入复盘”，以减少等待时间并提升端到端效率。

弹性调度与轨迹树：不让长任务的中间结果浪费

在超长程任务中，训练样本并不是一次性生成的静态文本，而是由多轮输入、输出、环境反馈共同构成的轨迹。QwenGyre 通过 Token-in Token-out 的方式，记录每段输出生成时的真实上下文，并按照共享前缀组织成轨迹树。这样一来，系统不必把所有路径都展开为训练样本，而是只针对被选中的路径进行展开，降低不必要的处理成本。

openmagic_cn_banner

另一个值得关注的机制是 Partial Scoring。对于超时但已经完成部分步骤的任务，QwenGyre 仍可利用这些中间结果提供训练反馈，而不是简单丢弃。这一点对真实智能体训练尤其关键：在代码修改、仓库理解、终端执行等场景中，任务失败并不意味着全过程没有价值，中间步骤可能已经体现出模型的计划、工具使用或局部推理能力。

  • 弹性 GPU 调度：任务完成一批后，空闲计算单元可直接加入训练，减少等待。
  • 状态与缓存保留：仍在运行的任务不被打断，已有进度和缓存可继续沿用。
  • 轨迹树处理：按共享前缀组织长程交互，只展开选中的路径作为训练样本。
  • 部分结果评分：超时但部分完成的任务仍可提供反馈，提升样本利用率。

实验结果：通过率提升，并在同等 GPU 预算下加速

跑分方面，官方在 NL2RepoBench 在线强化学习实验中，以每次 rollout 约 70 万 token 的任务开展训练。来源显示，在 48 步训练后，模型通过率从 52.5% 提升至 58.5%。在相同 GPU 预算下，QwenGyre 相对 Async 实现了 1.78× 的端到端加速，训练分数与 Async、Colocate 接近。

此外，官方还在 Qwen3.6-122B 上进行了跨任务验证，涉及 NL2RepoBench、DeepSWE、TerminalBench 三类任务，均获得端到端提速。虽然来源摘要没有展开各任务的详细指标，但从任务类型看，它们大多与代码、仓库级理解、终端环境交互相关，正是当前智能体系统中最能检验长程规划与工具执行能力的方向之一。

影响解读：智能体训练正在从“短反馈”走向“长任务闭环”

QwenGyre 的发布，反映出大模型竞争的一个新重点：不仅要提升基础模型参数规模或单轮问答能力，还要解决智能体在真实工作流中如何训练、如何评估、如何高效利用算力的问题。对于面向软件工程、自动化办公、数据分析和复杂工具调用的 AI 产品来说，长程任务能力将越来越重要。

传统强化学习常常依赖相对清晰、短周期的反馈；而智能体任务的反馈可能延迟很久，中途还会产生大量上下文和分支。QwenGyre 试图把这些长链路过程系统化处理，把百万级 token 的交互过程变成可训练、可复盘、可加速的样本来源。这意味着未来模型能力提升不只来自更多静态语料，也会越来越依赖真实任务中的交互数据。

对产业而言，训练框架效率同样会影响智能体产品落地速度。如果相同 GPU 预算下能够完成更多 rollout、保留更多有效轨迹，研发团队就能更快迭代模型在复杂场景中的行为策略。对于中文 AI 生态来说，QwenGyre 也体现出国内大模型团队正在向“模型 + 智能体训练系统 + 工具环境评测”的完整栈方向推进。

总体来看，QwenGyre 并不是一个面向普通用户的前端工具，而是服务于智能体能力训练的底层框架。它的价值在于，让长时间、多轮交互、高 token 消耗的复杂任务不再只是成本负担，而能成为提升模型长程执行能力的训练资源。