Overview of Agentic RL

Agentic RL 相对 RLVR 的本质差异是 turn-level 决策、long-horizon 交互，以及稀疏可验证奖励。本文在 Introduction 中给出 Agent 范式、POMDP 形式化与核心挑战，再分别讨论 Data 与 Infra，随后在 Methods 中统一奖励、算法、上下文管理与评测，最后以 Recent Progress（含案例）收束。

Introduction

Agentic RL 的目标是训练 agent 使用 tools，以最大化完成任务的能力：

SFT: 模仿学习，避免模型出现低级的工具调用错误
RL: 让模型探索并强化有效轨迹

要解决的问题：

高质量的可验证训练数据
怎样将可验证的数据有效地喂给模型

Scaling agentic RL 面临的系统瓶颈：

large scale sandbox environment
long context inference: 128k-1M, 50~100+ turns
long context training
agent harness RL: memory, tool, subagent, etc

agentic AI 的下一个瓶颈是 system scaling，而不只是 model scaling：

model scaling: parameters, data, compute
system scaling: memory, retrieval, tools, skills, verification, policy

相对 RLHF / RLVR，Agentic RL 的本质差异在于 turn-level 决策、long-horizon 交互，以及稀疏的可验证 outcome reward。后文按「Introduction（Agent / 形式化 / 挑战）→ Data / Infra → Methods → Recent Progress」展开；实践上，agent RL 往往是 environment > reward > algorithm，而 reasoning RL 更接近 algorithm > reward > environment。

Agent

Agent 定义为

An LLM agent runs tools in a loop to achieve a goal.

agent 的核心能力：

accurate tool calling
coherence over long context
customizability
complex task management
environment understanding
safety

提升模型的这些能力有两条路径：

LLM training
harness engineering

Capability	Harness	Training
accurate tool calling	grammar-constrained decoding	SFT on tool-calling traces
coherence over long context	1. context compression/compaction; 2. dynamic memory lookup; 3. sub-agent delegation	SFT on long context
Customizability	agent memory; skills; custom tools	RLHF
Complex task management	provide planning/decomposition tools;sub-agent delegation	train on complex/long horizon tasks
environment understanding	learn skills corresponding to domain knowledge	SFT on data with expected observation shape; RL on domain specific-env
safety	sandbox tools; limit access to credentials; monitor trajectories	safety aware RL

Paradigm

ReAct-style 中，agent 与 environment 交互过程定义如下：

给定 query $q$ , system prompt $s_0$ , tool metadata $\mathcal{T}_{\mathrm{meta}}$ , agent 通过 reasoning 产生 action 与环境进行交互, 这个交互过程产生一个轨迹 $\mathcal{H}_{T}$

\mathcal{H}_{T}:= \{(q,s_0,\mathcal{T}_{\mathrm{meta}}),(r_1,a_1,o_1),\dots,(r_i,a_i,o_i),\dots,(r_T,a_T)\}

其中 $r_i,a_i, o_i$ 分别代表 reasoning CoT, action 和 observation, $a_T$ 是最终回答。给定 $t\leq T$ , agent $\pi$ 基于历史交互信息 $\mathcal{H}_{t-1}$ 生成 reasoning CoT $r_t$ 和 action $a_t$ ,

r_t,a_t \sim\pi(\cdot\mid \mathcal{H}_{t-1})

environment $\mathcal{E}$ 基于 action $a_t$ 返回 observation $o_t=\mathcal{E}(a_t)$ , 然后更新轨迹

\mathcal{H}_{t} = \mathcal{H}_{t-1}\cup (r_t,a_t,o_t)

Formulation

Agentic RL 解决的任务可以定义为一个 partially Observable Markov Decision Process (POMDP)。

一个 POMDP 由 tuple $(\mathcal{S},\mathcal{A},\mathcal{T},\mathcal{R},\Omega,\mathcal{O}, \gamma)$ 确定，其中：

$\mathcal{S}$ 是状态空间
$\mathcal{A}$ 是动作空间
$\Omega$ 是 observation, 是状态空间的部分描述
$\mathcal{T}:\mathcal{S}\times\mathcal{A}\to\mathcal{S}$ 是状态转换函数
$\mathcal{R}:\mathcal{S}\times\mathcal{A}\to\mathbb{R}$ 是 reward function

在 agentic 场景下，模型输入为一个 task prompt $s_0$ ，与环境交互后产生轨迹

\tau=(s_0,a_0, o_0,r_0, s_1, a_1,\dots,a_{T-1}, o_{T-1}, r_{T-1}, s_T)

agent $\pi_{\theta}$ 从 action space 采样得到 $a_t\sim\pi_{\theta}(\cdot\mid s_t)$ ，这里 $a_t=(a_t^1,a_t^2,\dots,a_t^{<eos>})$ 是按自回归方式生成的 token sequence，即 $a_t^i\sim\pi_{\theta}(\cdot\mid s_t,a_t^{<i})$ ； $o_t$ 是执行 $a_t$ 后环境返回的观测，环境给予奖励 $r_t=\mathcal{R}(s_t,a_t)$ 并更新状态 $s_{t+1}\sim \mathcal{T}(s_t,a_t)$ 。

agent 的目标是最大化 expected return $\mathbb{E}[\sum_t \gamma^tr_t]$ 。

与 reasoning RL 相比，Agentic RL 的状态、动作与转移都发生了本质变化：

Paradigm	reasoning RL	agentic RL
state	context $(y_{<t},x)$	context, environment observation
action	token $y_t$	complete response at turn $t$
transition	concatenation	stochastic depends on tool use
reward	terminal state	terminal state
horizon	1 turn, 0.5k-30k tokens	10-100 turns, 100k-1M tokens
action type	tokens, homogeneous	tool, plan heterogeneous
intermediate verification	possible	rarely possible

Method	RLVR/RLHF	Agentic RL
Granularity	token	turn
Action	token	tool call / turn response
horizon	short	long
State	MDP (approx)	POMDP

Core Challenges

Agentic RL 相比 RLHF / RLVR 有三个核心挑战：

Granularity mismatch: 决策的自然单位从 token-level 转向 turn-level。agent 的一次交互包括 observation、reasoning、tool call、tool result；单个 token 不独立面对环境，也不会收到反馈。因此 agentic RL 与 RLHF/RLVR 存在 granularity mismatch：后者比前者细两三个数量级。
Long-horizon tasks: agentic rollout 动辄几十步、上万到数十万 token，很难做 credit assignment；由于 discount 的存在，初始 token 衰减严重，而早期决策往往又最关键。
Sparse outcome reward: agentic tasks 通常只有任务成功/失败信号。GRPO (Shao et al., 2024) 让一条 rollout 内所有 token 共享 advantage；在 agentic 场景下，这会显著降低数据使用效率。

用 GRPO 直接做 agentic RL 的问题：一条成功 rollout 里也有无效动作，一条失败 rollout 里也有高质量动作，但 episode-level outcome 会「凭结果论英雄」。本质上是把 multi-turn 当成 single-turn，仅用 outcome reward 打分，整个 rollout 变成一个单一决策步。

为什么需要更细的 credit assignment：

reasoning RL: 10k~30k tokens（例如 DeepSeek-R1 在 AIME2025 上平均输出约 23k tokens）。episode-level 方法对每个 token 使用相同 advantage。
agentic RL: 10~~100 turns，总 token 数 100k~~500k（如 SWE-bench 平均约 131k tokens、64 turns）。episode-level 方法可能给一个错误工具调用和三个正确工具调用相同的奖励。

除此之外，Agentic RL 还面临：

环境转移是随机的
部分可观测（POMDP）
vastly longer horizon
heterogeneous action types
non-verifiable intermediate states
The Bifurcation Point Problem

对 agent RL，优先级通常是 environment > reward > algorithm。环境与 reward 准备好之后，再做数据和算法消融更有意义；同时需要稳定的工具调用训练环境，并对齐训练与评测环境。工具层面的探索会影响能力上限；更大模型的 RL 泛化通常更好；continue RL 往往更依赖高质量数据，而不只是 trick。

Shao, Z., Wang, P., Zhu, Q., Xu, R., Song, J., Bi, X., Zhang, H., Zhang, M., Li, Y. K., Wu, Y., & Guo, D. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. https://arxiv.org/abs/2402.03300

Data

Agentic 训练数据由三部分构成：

environment: 比如 code repository、web browser 等，让模型理解不同环境
tools: 提供信息或改变环境，让模型学会使用不同工具
verifier: 比如代码单元测试、proof 的 math checker、DOM scripts 等，定义可完成的目标

关键是 environment 与 verifier 的 diversity。Mach-Mind-4-Flash (Team, 2026) 介绍了 EnvScaling，用于提高 multi-turn agentic RL 表现。工具层面的探索会影响模型能力上限；MiMo-V2.6 (Xiaomi MiMo Team, 2026) 发现 scaling harness 也可以迁移到其他 harness。

Chat Template

Format	Languages	Models
Schema	Json
Schema	XML	Mach-Mind-4-Flash

Dataset

SWE-Gym
R2E-Subset

(Jiang et al., 2026) 提出了 MidTool，一个合成 mid-training 阶段 general tool-use 数据的 pipeline，以及一个包含 20.3b token 的数据集；该数据可有效提高后续 SFT 与 RL 阶段表现。

Jiang, F., Wang, Y., Liu, B., Wang, Z., Xu, C., Yao, Z., Poovendran, R., & He, Y. (2026). MidTool: Mid-training Data Synthesis for Agentic Tool Use. Third Conference on Language Modeling. https://openreview.net/forum?id=T552O6uGeF
Team, F. M. (2026). Mach-Mind-4-Flash Technical Report. https://arxiv.org/abs/2607.09375
Xiaomi MiMo Team. (2026). MiMo-V2.6-Pro-RL. https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-RL

Infra

大规模 Agentic RL 依赖稳定的训练与推理系统：sandbox 扩缩容、长上下文训练/推理，以及 async rollout 与 train/infer 分离。

已知线索：

MiMo-V2.6 (Xiaomi MiMo Team, 2026) 介绍了 RL infra
工业级训练稳定性依赖 Training-Inference mismatch 处理、PPO EWMA 等
常见瓶颈包括大规模 sandbox、长轨迹吞吐，以及用 response mask 区分模型生成与工具观测

待补充：async agent loop、sandbox 调度与长轨迹内存优化。

Xiaomi MiMo Team. (2026). MiMo-V2.6-Pro-RL. https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-RL

Methods

Methods 覆盖奖励与验证、credit assignment 算法、长轨迹上下文管理，以及面向 harness 的评测。

Reward and Verification

Agentic RL 的奖励信号通常来自可验证的环境反馈，而不是纯偏好模型：

Outcome reward: 任务成功/失败、单元测试通过、exact match 等终局信号
Process / turn-level reward: 对中间工具调用或子目标打分，用于缓解 sparse outcome 与 credit assignment 困难

Verifier 是奖励的基础设施。需要同时关注 false positive 与 false negative：过松的 verifier 会鼓励 reward hacking，过严则会浪费有效探索。实践上应减少脆弱的 hand-craft reward，并警惕 LLM-as-a-judge：模型可能通过拉长回答等方式刷分，却仍有事实性错误。

典型约定：

结构化短答案：exact match
自由文本答案：rubric reward（需约束 hacking）
代码 / 证明 / UI：单元测试、math checker、DOM scripts 等可执行 verifier

奖励设计应与评测环境对齐；environment 与 reward 稳定后，再比较算法往往更可靠。

Algorithms and Credit Assignment

针对 turn-level、long-horizon 与稀疏 outcome reward，现有方法大致可分为：

Turn-level PRM: 如 agentPRM，在 turn 粒度估计过程奖励或优势
Hindsight and counterfactual methods: 如 reflection，利用事后信息或反事实轨迹重新分配 credit
Critic-free methods: 如 GiGPO、POAD，减少对额外价值网络的依赖
Hierarchical methods: 在不同时间尺度上分解决策与信用分配
Information-theoretic methods: 如 IGPO
Implicit and DPO-based methods: 用偏好或隐式目标近似多步优势

这些路线共同针对同一问题：避免把整条 multi-turn trajectory 压成单一 episode advantage。具体算法细节与近期进展（如 TEMPO 对 long-horizon 训练效率的优化）见 Recent Progress；奖励设计本身见上文 Reward and Verification。

Context Management

长轨迹场景下，上下文管理属于 harness / system 侧能力：在有限 context window 中保留对后续决策有用的 observation 与进度，而不是把完整交互历史原样塞进模型。这与 Agent 章中「coherence over long context」的 harness 路径一致。

Mach-Mind-4-Flash (Team, 2026) 提出了四个机制：

sliding window observation filtering
context restart via progress summary
dynamic adaptive threshold
answer self-check

相关讨论也出现在 DeepSeek-V3.2、DeepSeek-V4 等长上下文 agent 系统中。

Evaluation

为什么 model-centric evaluation 不够：

同一个模型，在不同 memory / tool / policy / runtime 下表现可能完全不同
风险往往不是单组件错误，而是组件交互产生
final answer 只是一小部分，真正重要的是整个 execution trajectory

因此评测需要同时覆盖工具、场景、指令模糊度、软件系统与鲁棒性这五个维度：

agents are expected to work with many different tools
agents are expected to work for many different use cases
agents are expected to work under vaguely specified instructions
agents are expected to work under many software systems
agents are expected to be robust

off-the-shelf benchmarks: (1) and (2)

agentic coding:
1. SWEBench
2. TerminalBench
3. AIDER
ToolCalling
1. TauBench
2. BFCL
3. ComplexFuncBench
Knowledge
1. HLE
2. BrowserComp

Agent Harness: (4)

SWEBench:
1. OpenHands
2. MiniSWE
3. OpenSWE
4. Aider-SWEBench
HLE:
1. with search harness
2. without search

focused unit-test evaluations: (3) and (5)

structured output adherence, structeval
instruction following, w/ conditional instructions, IFBench
Long Trajectories: NexusBench

好的评估：

多任务，多 verifier
当改变 harness 时，可以以不同的方式让 agent 在 sandbox 中探索
每个任务应该都包含多个 tools

benchmark 的质量：

hardness
separability
diversity

long horizon benchmark:

SWE-Marathon

Team, F. M. (2026). Mach-Mind-4-Flash Technical Report. https://arxiv.org/abs/2607.09375

Recent Progress

开放问题可以概括为三条：

构建并持续扩充 environments 与 verifiers 的集合，用环境多样性 scale intelligence
更清楚地定义「agent intelligence」应如何被测量与比较
发布能 train longer、on harder prompts、with diverse high-quality reward feedback 的算法与系统

一个好的 agentic RL 训练范式同样强调：

train for longer: 保持 entropy balance，控制 verbosity 无涨
train on more difficult prompts and tasks
train on more diverse responses，并配以高质量 reward feedback

Search-R1

Search-R1 让模型在回答过程中自主决定是否需要进行搜索，是 agentic RAG / tool-use RL 的一个代表性案例。

agentic RAG 的典型问题：

multi hop reasoning 能力不行
正确文档在库里，但是检索不到
同名实体

工程侧常见解决方案：

实体归一
重新分块
去重和时效性处理，去除重复文档，增加时效信息
混合检索和 reranker

奖励设计上，结构化短答案可用 exact match；自由文本答案常用 rubric reward。后者若直接用 LLM-as-a-judge，容易出现 reward hacking（回答很长但事实性仍错），具体讨论见 Methods 中的 Reward and Verification。

Pivot-RL

Pivot RL (Yi et al., 2026) 提出了使用 partial rollout 作为初始状态来解决 rollout cost 高的问题

TEMPO

小红书提出了 TEMPO，用于提高 long-horizon RL 的训练效率。

TEMPO 的核心思想在于，将连续 $H$ turns 作为一个 macro-step, 然后，与 pivot-RL 类似，作者使用 critic 对 partial rollout 进行评分，然后选取更优的 partial rollout 继续交互。

Yi, J., Mosk-Aoyama, D., Huang, B., Gala, R., Wang, C., Devare, S. D., Bhardwaj, K., Gupta, A., Kuchaiev, O., Jiao, J., Zhang, J., & Srinivasan, V. (2026). PivotRL: High Accuracy Agentic Post-Training at Low Compute Cost. https://arxiv.org/abs/2603.21383