ARLArena：稳定智能体强化学习的统一框架 ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning
通过四维策略梯度分析揭示ARL训练不稳定根源，提出SAMPO统一算法实现稳定训练
前置知识
策略梯度（Policy Gradient）
策略梯度是强化学习中直接优化策略参数的一类方法。其核心思想是通过计算目标函数对策略参数 $\theta$ 的梯度来更新策略：$$\nabla_\theta \mathcal{L}(\theta) = \mathbb{E}_{y \sim \pi_{\theta_{\text{old}}}} \left[ \sum_{t=0}^{T} w_t(y) \nabla_\theta \log \pi_\theta(y_t | x, y_{<t}) \cdot A(x, y) \right]$$ 其中 $w_t$ 是重要性采样权重，$A(x,y)$ 是优势函数。在LLM场景中，策略 $\pi_\theta$ 就是语言模型的生成分布，轨迹 $y$ 是生成的token序列。
本文的核心贡献就是将智能体RL中的策略梯度分解为四个正交维度进行系统分析，理解策略梯度的基本形式是阅读本文的前提。
重要性采样（Importance Sampling, IS）
重要性采样是一种在不同分布之间转移期望值的技术。在RL训练中，行为策略 $\pi_{\theta_{\text{old}}}$ 收集的数据用于更新当前策略 $\pi_\theta$，两者之间的分布差异通过IS权重 $w_t = \pi_\theta(y_t|x,y_{<t}) / \pi_{\theta_{\text{old}}}(y_t|x,y_{<t})$ 来校正。当 $w_t$ 过大时，说明当前策略与行为策略差异过大，可能导致高方差甚至训练崩溃，因此需要通过clipping来限制。
本文的核心发现之一是IS clipping的设计对ARL训练稳定性有决定性影响：宽松clipping导致快速但不可持续的学习，而序列级clipping才是稳定的关键。
GRPO（Group Relative Policy Optimization）
GRPO是由DeepSeek提出的策略优化方法，核心思想是在同一提示下采样一组回答，通过组内相对奖励来估计优势函数：$A_i = (r_i - \text{mean}(r)) / \text{std}(r)$，无需额外的价值网络。其损失函数采用token级的重要性采样clipping：$\mathcal{L}(\theta) = \frac{1}{N} \sum_{i=1}^{N} \frac{1}{T_i} \sum_{t=0}^{T_i-1} \min(w_{i,t} A_i, \text{clip}(w_{i,t}, 1\pm\epsilon) A_i)$。
GRPO是本文实验的主要基线方法，论文中的所有对比方法（GSPO、CISPO、SAPO等）都是GRPO的变体。理解GRPO才能理解各维度的改动及其影响。
智能体强化学习（Agentic RL, ARL）
智能体强化学习是指训练LLM作为自主智能体，在多轮交互环境中完成复杂任务的RL范式。与单轮推理任务不同，ARL涉及K轮交互：智能体在第k轮生成回答 $y^{(k)}$，提取动作 $a^{(k)}$，环境根据状态转移函数 $f$ 更新状态 $s^{(k+1)}$，形成完整的交互轨迹 $\tau = (x^{(1)}, y^{(1)}, x^{(2)}, y^{(2)}, \ldots, x^{(K)}, y^{(K)})$。这种多轮性质带来了无效动作、稀疏奖励、长期信用分配等独特挑战。
本文的出发点就是ARL训练的高度不稳定性——现有方法容易导致训练崩溃，限制了向更大环境和更长交互的扩展。
Clipping机制
Clipping是PPO系列方法的核心机制，用于限制策略更新的幅度。标准token级clipping对每个token的重要性采样权重 $w_t$ 进行截断：当 $w_t$ 超出 $[1-\epsilon, 1+\epsilon]$ 范围时，将其固定在边界值。宽松clipping（tolerant clipping）则允许更大的偏移范围。序列级clipping（如GSPO采用的）则以整个序列的平均IS比率为基准进行clipping，而非逐token操作。
论文的关键发现是：token级宽松clipping虽然初期学习快，但会导致训练崩溃；而序列级clipping才能保证长期稳定训练。
行为克隆（Behavior Cloning, BC）
行为克隆是一种模仿学习方法，通过在专家演示数据上进行监督微调（SFT）来初始化策略。在本文中，作者先用Qwen3系列模型在目标环境中收集高分交互轨迹，然后在这些轨迹上进行SFT，将策略初始化到合理的行为流形内。这为后续的RL训练提供了一个稳定的起点，避免了从随机策略开始探索可能导致的早期崩溃。
行为克隆是作者构建标准化测试平台的第一步，实验表明它能带来+20.71%的成功率提升，是ARL训练稳定的基础保障。
研究动机
智能体强化学习（ARL）在训练过程中表现出高度不稳定性，经常导致训练崩溃。这种不稳定性源于智能体环境的多轮交互性质——无效动作、稀疏奖励、长期信用分配和非平稳的智能体-环境动态等挑战相互叠加。早期决策中的微小偏差会在后续轮次中级联放大，导致分布漂移并产生退化的轨迹。具体而言，Xi等人（2025）的研究表明ARL训练结果在不同运行和环境间难以复现，向更长交互或更复杂环境的扩展受到严重限制。例如，采用宽松clipping的SAPO和CISPO方法虽然初期学习迅速（CISPO在ALFWorld上初期成功率达54.42%），但在训练约130步后就会出现梯度爆炸、KL散度激增和有效格式比例骤降，最终导致成功率暴跌至几乎为零。这种"快速起步、后期崩溃"的模式是ARL训练中的普遍现象，严重制约了该领域的可扩展性和可复现性。
本文的目标是本文的首要目标是构建一个稳定、标准化的测试平台和系统性分析框架，使不同策略优化方法能够在公平可控的条件下进行比较。在此基础上，作者将策略梯度分解为四个正交的设计维度——损失聚合、重要性采样clipping、优势设计和动态采样——逐一评估每个维度对训练稳定性和性能的影响。最终目标是基于这些分析洞察，提出一个统一的策略优化方法SAMPO（Stable Agentic Multi-turn Policy Optimization），能够同时解决ARL训练中的多个不稳定源，实现稳定且有效的训练。
与已有工作不同的是，现有ARL研究大多直接将单轮推理任务的方法（如GRPO）迁移到多轮交互场景，缺乏对训练不稳定性机制的系统性诊断和针对性修复。本文的独特切入角度在于：第一，提出将策略梯度分解为四个正交维度进行独立分析的框架，这种"控制变量"式的分析方法使得每个维度的影响可以被精确隔离和量化；第二，不仅仅满足于发现"什么方法好"，而是深入诊断"为什么不好"——例如通过token级和序列级的IS比率分析，发现负优势低IS比率序列是训练崩溃的主要驱动因素；第三，将多个维度的最优选择整合为统一的SAMPO方法，证明了稳定ARL训练需要同时满足多个必要条件，而非依赖单一的算法修改。
核心方法
ARLArena的整体方法论遵循"先诊断、再治理"的思路。首先，作者构建了一个标准化的测试平台，通过行为克隆初始化、格式惩罚和KL正则化等手段，确保所有方法在公平且稳定的基础上进行比较。然后，将策略梯度公式分解为四个正交维度：（1）损失聚合——如何在序列和token层面聚合损失；（2）重要性采样clipping——如何限制策略更新幅度；（3）优势设计——如何利用环境信息估计更精细的优势函数；（4）动态采样——如何过滤低信息量的轨迹。在每个维度上，作者选取代表性方法进行对比实验，观察训练动态并诊断失败模式。最终，将分析中得到的关键洞察——序列级clipping保证稳定、环境级优势提升性能、动态过滤减少退化梯度——整合为SAMPO统一算法。
SAMPO的核心创新在于将三个关键设计维度整合为统一框架，而非像现有方法那样只修改单一维度。具体来说，SAMPO结合了：（1）序列级重要性采样权重 $s_i(\theta) = \exp\left(\frac{1}{|T_i|} \sum_{t=0}^{|T_i|-1} \log \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_{\theta_{\text{old}}}(y_t|x, y_{<t})}\right)$ 来替代token级clipping，从而避免因单个异常token导致的训练不稳定；（2）结合全局和局部信息的精细优势设计 $A'_{i,k} = A_i + \omega \cdot A_{\text{step}}(\hat{y}_{i,k})$，其中 $A_i$ 是组内相对优势，$A_{\text{step}}$ 是步骤级优势；（3）动态轨迹过滤机制，去除所有成功或所有失败的退化轨迹组。与GRPO（仅修改优势）、GSPO（仅修改clipping）等单维度方法相比，SAMPO证明了多维度的协同优化对稳定ARL训练是必不可少的。
方法步骤详情
SAMPO的实施分为四个阶段：第一步，行为克隆初始化——使用Qwen3模型在目标环境中收集高分轨迹，构建多轮SFT数据集进行监督微调，将策略初始化到合理的行为流形内（成功率达20.71%的提升）。第二步，格式惩罚和KL正则化——在奖励中加入格式违反惩罚 $R_{\text{format}}$，并添加参考策略与当前策略之间的KL散度惩罚，使用k3估计器 $k_3(x) = \delta(x) - 1 - \log \delta(x)$ 进行近似。第三步，策略梯度计算——对每个提示采样G个回答，按组计算相对优势 $A_i = (r_i - \text{mean}(r)) / \text{std}(r)$，并添加步骤级环境优势；使用序列级IS比率 $s_i(\theta)$ 进行clipping而非token级。第四步，动态过滤——过滤掉组内所有轨迹奖励相同（全对或全错）的样本组，仅保留有信息梯度信号的样本进行更新。整个流程在verl RL框架上实现，采用智能体循环架构协调rollout和环境交互。
技术新颖性
本文的技术新颖性体现在三个层面。在分析框架层面，首次提出将智能体RL的策略梯度分解为四个正交维度进行系统性分析的方法论，这种"控制变量"式的实验设计使得每个维度的影响可以被精确隔离，而此前的ARL研究大多只关注单一维度的改进。在诊断深度层面，论文不仅报告"哪个方法更好"，还通过token级IS比率统计和序列级KL散度归因分析，揭示了训练崩溃的根因——负优势低IS比率序列的累积。这种精细的诊断直接导出了序列掩码（sequence masking）这一针对性修复策略。在算法设计层面，SAMPO是首个同时整合序列级clipping、精细优势设计和动态过滤三个维度的方法，其损失函数 $\mathcal{L}(\theta) = \frac{1}{\sum N_i T_i} \sum_{i=1}^{N} \sum_{t=0}^{T_i-1} \min(s_i A'_i, \text{clip}(s_i, 1\pm\epsilon) A'_i)$ 在形式上统一了GSPO的序列级clipping、GIGPO的环境级优势和DAPO的动态过滤，这种多维度的协同整合在ARL领域尚属首次。
实验结果
论文的核心发现可以归纳为四点。第一，在IS clipping维度上，宽松clipping（如CISPO和SAPO采用的）虽然初期学习迅速——CISPO在ALFWorld上初期成功率达54.42%，SAPO的初期KL散度增长更快——但在约130步后会导致训练崩溃，表现为梯度爆炸、KL散度激增和有效格式比例骤降至零。相比之下，序列级clipping（GSPO）实现了稳定持续的改进，在ALFWorld上达到78.61%的成功率，比GRPO基线高26.1%。第二，训练崩溃的根因是负优势低IS比率序列的累积——通过token级分析发现，崩溃阶段超出clipping范围的token比例急剧增长，且主要来自负优势序列的下界部分；序列级分析进一步确认这些序列对KL散度的贡献在崩溃时突然增大。序列掩码（对负优势低IS比率序列进行掩码）可以有效稳定训练，将CISPO的成功率从54.42%提升至78.88%，SAPO从25.16%提升至76.92%。第三，在优势设计维度上，GIGPO通过整合全局和局部环境信息，在ALFWorld上比GRPO提升34.3%（4.97 vs 3.70），证明精细的环境级优势设计有助于缓解奖励稀疏性。第四，动态过滤与GIGPO的组合（DAPO_{GIGPO}）取得了平均53.36的分数，比GRPO的46.16高11.0%，但与GRPO的组合（DAPO_{GRPO}）仅得42.67，说明动态过滤的效果依赖于优势信号的多样性。最终，SAMPO整合了这三个维度的最优选择，在所有任务上都取得了最佳性能：ALFWorld成功率92.72%（比GRPO高48.7%）、WebShop成功率77.73%（高34.7%）、Sokoban成功率88.86%（高5.6%），平均分数60.21比GRPO基线的48.08高25.2%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld（具身家务任务） | All-Task Success Rate (%) | 92.72 | 62.36 (GRPO) | +48.7% |
| ALFWorld（具身家务任务） | Task Score | 7.04 | 3.70 (GRPO) | +90.3% |
| WebShop（网页购物任务） | Success Rate (%) | 77.73 | 57.71 (GRPO) | +34.7% |
| WebShop（网页购物任务） | Score | 88.37 | 75.32 (GRPO) | +17.3% |
| Sokoban（推箱子游戏） | Success Rate (%) | 88.86 | 83.90 (GRPO) | +5.6% |
| Sokoban（推箱子游戏） | Score | 6.56 | 5.51 (GRPO) | +19.1% |
| 综合平均（前三任务） | Average Score | 60.21 | 48.08 (GRPO) | +25.2% |
局限与改进
本文存在几个值得关注的局限性。首先，SAMPO在TIR Math任务上未进行评估——表格中用"–"标注表示该方法"不适用"，这意味着SAMPO的设计可能与数学推理任务的特性不完全匹配，其泛化能力到纯推理场景尚不明确。其次，所有实验均在Qwen3-4B和Qwen3-8B上进行，未在更大规模的模型（如70B或更大）上验证，考虑到ARL训练的计算成本随模型规模急剧增长，SAMPO在更大模型上的效果和稳定性仍有待验证。第三，作者承认IS clipping是"高风险高回报"的方向，SAMPO中的超参数（如clipping范围 $\epsilon$、优势权重 $\omega$ 等）敏感性较高，虽然论文进行了网格搜索，但最优配置可能因任务而异，降低了方法的即插即用性。第四，论文的评估集中在四个特定任务上，这些任务的交互轮次和复杂度相对有限（通常几轮到十几轮），对于更长交互（如数十轮对话）或更开放的环境（如真实网页导航），SAMPO的有效性尚未得到验证。此外，论文本身也指出离策略偏差的影响——高离策略程度会降低性能（ALFWorld成功率从60.80%降至52.71%），但SAMPO并未显式解决这一问题。
独立分析的弱点
论文存在几个可以改进的具体弱点。第一，序列级IS比率 $s_i(\theta) = \exp(\frac{1}{|T_i|} \sum_t \log \frac{\pi_\theta}{\pi_{\theta_{\text{old}}}})$ 本质上是对token级IS比率的几何平均，这种平滑操作可能掩盖了序列内局部的异常token的影响——一个严重偏离的token可能被其他正常token"稀释"，导致问题token未被有效抑制。改进方向可以是引入加权的序列级指标，对偏离较大的token赋予更高权重。第二，动态过滤机制简单地排除所有成功或所有失败的组，但在某些任务中（如ALFWorld早期），所有组都失败可能恰恰包含丰富的格式学习信号——论文自己也观察到DAPO_{GRPO}因过滤掉这些组而导致格式学习不稳定。更精细的过滤策略应该考虑训练阶段，在早期保留格式信号、在后期过滤退化样本。第三，SAMPO的步骤级优势 $A_{\text{step}}$ 的具体设计和权重 $\omega$ 的选择缺乏理论指导，实验中是通过网格搜索确定的，这增加了方法的调参负担。第四，论文未探讨课程学习（curriculum learning）的可能性——从简单环境逐步过渡到复杂环境可能进一步提升训练稳定性。
未来方向
作者在论文第6节提出了三个有前景的研究方向。第一，干净的训练配方是复杂推理的基础——作者建议未来研究应将训练配方视为定义推理策略可行域的关键算法组件，而非辅助技巧。第二，IS clipping高度敏感而优势设计相对稳定——这意味着IS clipping是一个高风险高回报的方向，值得深入探索新的clipping策略，而优势设计可以提供更可预测但有限的收益。第三，稳定的ARL解锁了长时序扩展机会——一旦训练崩溃被缓解，智能体策略可以在更多优化步骤中持续改进，这为环境多样性、交互数据量和多任务课程的扩展打开了大门。基于本文成果还可以延伸出几个方向：（1）将SAMPO与离策略修正技术结合，解决论文中观察到的离策略偏差问题；（2）探索自适应的IS clipping策略，根据训练阶段动态调整clipping范围；（3）将四维分析框架应用于其他RL场景（如多智能体RL或离线RL），验证其普适性；（4）研究SAMPO在更大模型和更复杂环境中的scaling behavior。
复现评估
论文的可复现性较好。作者在GitHub上开源了完整代码库（https://github.com/WillDreamer/ARL-Arena），并在HuggingFace上提供了模型（https://huggingface.co/UCLA-SCAI/models）。整个实验基于verl RL框架构建，这是一个已有的开源RL训练框架，降低了复现的基础设施门槛。训练数据方面，行为克隆的SFT数据是通过模型自举（self-bootstrapping）生成的——在目标环境中部署Qwen3模型收集高分轨迹——这意味着复现者可以使用相同的流程生成训练数据，但具体数据集未直接提供。算力要求方面，实验使用NVIDIA H200或B200 GPU，对于Qwen3-4B模型，多任务多方法的完整实验（包括超参数网格搜索）需要相当可观的计算资源，个人研究者复现全部实验结果有一定难度。不过，论文提供了详细的超参数配置（在附录B中），关键训练配方（行为克隆+格式惩罚+KL正则化+超参数搜索）也被清晰记录，使得复现单个方法的训练过程是可行的。
论文图表
