SeeUPO：具有收敛保证的序列级智能体强化学习 SeeUPO: Sequence-Level Agentic-RL with Convergence Guarantees
提出SeeUPO算法，通过逆序顺序更新解决多轮智能体RL的收敛性问题
前置知识
优势估计（Advantage Estimation）
优势估计是强化学习中用于量化某个动作相对于平均动作好坏程度的关键技术。在LLM-RL训练中，优势函数 $\hat{A}(s,a)$ 告诉模型在状态 $s$ 下采取动作 $a$ 比随机选择动作好多少。GAE（广义优势估计）通过价值网络（critic）计算TD误差来估计优势，公式为 $\hat{A}_{GAE}(s_t,a_t) = \sum_{l=0}^{\infty}(\gamma\lambda)^l\delta_{t+l}$，其中 $\delta_t = r_t + \gamma V_\phi(s_{t+1}) - V_\phi(s_t)$。GRAE（群体相对优势估计）则无需critic，通过同一查询下多个采样响应的奖励差异来估计：$\hat{A}_{GRAE}(s_t,a_t) = R^{(i)} - \bar{R}$，其中 $\bar{R}$ 是组内平均奖励。
理解优势估计的区别是理解本文核心分析的基础——论文正是从这个维度出发，揭示了现有算法在多轮场景下的根本局限性。
近端策略优化（PPO/PPU）
PPO是一种通过重要性采样和裁剪机制实现部分在线策略更新的算法。其核心是裁剪代理目标函数：$\nabla_\theta J_{PPU}(\theta) = \nabla_\theta E_{(s_t,a_t)\sim\pi_{\theta_{old}}} \left[\min\left(r_t(\theta)\hat{A}_t, \mathrm{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t\right)\right]$，其中 $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ 是重要性采样比率，$\epsilon$ 是裁剪参数。PPO允许在同一批数据上进行多次更新，提高样本效率。论文将PPO的裁剪更新机制称为PPU，与完整的PPO算法区分。
PPU是论文分析的两大策略更新机制之一，理解其工作原理对于理解为何GRAE与PPU的组合会破坏单调改进性质至关重要。
异构智能体镜像学习（HAML）
HAML是将镜像学习（Mirror Learning）框架扩展到多智能体设置的理论框架。其核心思想是通过将联合优势函数分解为条件优势，并执行顺序策略更新，实现跨智能体的协调策略改进，避免同时更新可能产生的冲突。HAML保证联合回报的单调改进和纳什均衡的收敛。论文利用HAML的理论基础，将其应用于多轮交互场景，将每个轮次抽象为一个虚拟智能体。
HAML是SeeUPO算法的理论基础，理解HAML框架才能理解SeeUPO如何继承单调改进保证并通过反向归纳实现全局最优。
反向归纳（Backward Induction）
反向归纳是一种在序贯决策问题中寻找最优策略的方法，从最后一个决策点开始，逆向推导每个决策点的最优选择。在SeeUPO中，通过按照执行顺序的逆序（$T \to T-1 \to \cdots \to 1$）更新每个轮次的策略，当更新轮次 $t$ 时，所有后续轮次 $t+1,...,T$ 已经更新到最优策略。这使得每个轮次都能基于后续轮次的真实最优延续值 $V^*$ 进行优化，从而实现全局最优。
反向归纳是SeeUPO实现全局最优的关键机制，论文证明了在固定顺序执行的场景中，反向更新顺序能够保证收敛到全局最优策略。
上下文赌博机（Contextual Bandit）
上下文赌博机是一种简化的序列决策问题，每个决策只涉及一步，没有状态转移。在序列级RL建模中，单轮任务退化为上下文赌博机模型，其中状态 $s$ 是上下文信息，动作 $a$ 是完整的响应序列。在这种设置下，GRAE变得无偏，因为不存在跨时步的信用分配问题。论文利用这一特性，将多轮交互建模为顺序执行的多智能体赌博机问题。
理解上下文赌博机模型有助于理解SeeUPO如何将复杂的多轮MDP问题转化为更易处理的赌博机问题，从而实现无偏的优势估计。
研究动机
在大语言模型智能体训练中，强化学习已成为主导范式，但现有主干RL算法在多轮交互场景中缺乏经过验证的收敛保证，导致训练不稳定和无法收敛到最优策略。具体而言，现有算法存在一个根本性权衡：无法同时实现无critic操作和多轮场景下的收敛保证。批评器依赖的方法（如PPO）需要准确的令牌级价值函数估计，但在多轮场景中由于非平稳状态转移变得极具挑战性。无批评器方法（如GRPO、GSPO）在多轮场景中存在优势估计偏差——GRAE的结构偏差 $\Delta(s_t) = V(s_t) - V(s_0)$ 在PPU的裁剪目标中无法消除，破坏了单调改进性质。实验表明，在Qwen-2.5 + AppWorld设置中，GRPO和GSPO出现了严重的性能崩溃，从初始性能跌至接近零。
本文的目标是本文的具体目标是提出一种新的算法框架，能够在多轮智能体RL场景中同时实现无critic操作和收敛保证。作者希望通过系统分析现有主干RL算法的收敛性质，揭示根本性权衡的来源，然后设计一种新方法来解决这一权衡。该方法需要提供单调改进保证和全局最优收敛保证，同时保持训练稳定性，避免现有方法中观察到的灾难性失败。
与已有工作不同的是，本文的独特切入角度是将多轮交互问题建模为顺序执行的多智能体赌博机问题，其中每个轮次被抽象为一个虚拟智能体。这种建模方式实现了两个关键转换：（1）将轮次级的收敛分析转换为智能体级的收敛分析，从而可以利用现有多智能体RL理论；（2）将多时间步MDP问题转换为赌博机问题，从而无需价值函数估计即可实现无偏优势估计。通过采用反向执行顺序的顺序策略更新机制，SeeUPO能够通过反向归纳实现全局最优，这是现有方法无法实现的。
核心方法
SeeUPO的核心思路是将多轮交互任务抽象为顺序决策的多智能体单轮赌博机问题。直觉上，如果我们将每个对话轮次视为一个独立的决策者，那么整个多轮交互就变成了多个决策者依次做出决策的问题。关键洞察是：如果我们按照与执行顺序相反的顺序来更新这些决策者的策略（从最后一个轮次开始，逆向更新到第一个轮次），那么当更新某个轮次时，所有后续轮次已经优化到最优状态。这使得每个轮次都可以基于后续轮次的真实最优策略进行优化，从而实现全局最优。技术路线包括：多智能体建模（每个轮次映射为虚拟智能体）、反向顺序策略更新（利用HAML框架）、以及基于GRAE的无critic优势估计。
SeeUPO的核心创新点在于将多轮交互建模为顺序执行的多智能体赌博机问题，并采用反向顺序更新策略。与已有方法的本质区别在于：（1）相对于GRPO和GSPO，SeeUPO通过多智能体建模和反向更新避免了GRAE在多轮场景中的结构偏差问题，保持了单调改进性质；（2）相对于PPO，SeeUPO无需critic网络，避免了多轮场景中非平稳状态转移带来的价值函数估计困难；（3）相对于RLOO，SeeUPO不要求无折扣设置（$\gamma=1$），更适用于实际的多轮交互场景。核心公式是反向顺序更新的策略优化规则，其中关键在于使用已更新的后续轮次策略来计算局部优势函数。
方法步骤详情
SeeUPO的具体步骤包括：（1）数据收集阶段：对于批次中的每个初始状态 $s_0$，采样 $G$ 个轨迹 $a_{1:T}$ 并收集团队奖励 $r(s_0, a_{1:T})$，然后按轮次组织样本池 $D_t = \{(s_0, a_{1:t-1}, a_t)\}$；（2）联合优势估计：使用GRAE计算全局优势 $\hat{A}(s_0, a_{1:T}) = r(s_0, a_{1:T}) - \bar{r}(s_0)$，其中 $\bar{r}(s_0)$ 是相同初始状态下的平均奖励；（3）反向顺序策略更新：从 $t=T$ 开始逆序更新到 $t=1$，每轮使用PPO风格的裁剪目标，其中 $M_{t+1}$ 是维护的顺序优势信息量，初始化为 $M_{T+1} = \hat{A}(s_0, a_{1:T})$，并在更新后递归计算；（4）应用批次级归一化进行数值稳定性处理。
技术新颖性
SeeUPO的技术新颖性体现在多个层面。首先，多智能体建模视角是全新的——将每个对话轮次视为独立的虚拟智能体，这是首次将多智能体强化学习理论应用于LLM多轮训练场景。其次，反向顺序更新机制是核心创新，与HAML框架中的随机更新顺序不同，SeeUPO利用固定的逆序更新实现反向归纳，这在理论上证明了在顺序多智能体系统中，更新顺序必须与执行顺序强耦合。第三，批次级归一化策略在保持理论收敛性质的同时提供数值稳定性，避免了组归一化破坏收敛保证的问题。第四，隐式轮次级信用分配通过优势函数分解实现——$M_t$ 的递归计算有效地将全局优势分解为轮次特定贡献，无需显式的信用分配机制。
实验结果
实验结果表明SeeUPO在多个维度上显著优于现有主干RL算法。在Qwen3-14B模型上，SeeUPO在AppWorld基准上达到63.60% avg@4和80.70% pass@4，在BFCL v4上达到58.00% avg@4和65.00% pass@4，相比PPO、GRPO和GSPO的平均提升分别为43.3%、31.4%和54.6%。在Qwen2.5-14B模型上，SeeUPO在AppWorld上达到50.88% avg@4和70.18% pass@4，在BFCL v4上达到55.25% avg@4和57.00% pass@4，平均提升24.1%到41.9%。训练稳定性方面，SeeUPO在所有四个场景中都保持稳定的训练曲线，而GRPO和GSPO在Qwen-2.5 + AppWorld设置中出现了严重的性能崩溃，从约35%跌至接近零。反向更新顺序实验验证了理论预测：反向顺序（63.60% avg@4）优于自然顺序（56.14%）和随机顺序（33.33%）。归一化策略实验显示批次级归一化（63.60%）略优于组归一化（62.35%），两者都显著优于无归一化（39.91%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AppWorld（Qwen3-14B） | avg@4 | 63.60% | PPO 35.09%, GRPO 40.35%, GSPO 32.89% | 相对提升54.6%-93.4% |
| AppWorld（Qwen3-14B） | pass@4 | 80.70% | PPO 54.39%, GRPO 57.89%, GSPO 52.63% | 相对提升35.4%-53.3% |
| BFCL v4（Qwen3-14B） | avg@4 | 58.00% | PPO 43.75%, GRPO 44.50%, GSPO 45.75% | 相对提升26.8%-32.6% |
| BFCL v4（Qwen3-14B） | pass@4 | 65.00% | PPO 52.00%, GRPO 53.00%, GSPO 55.00% | 相对提升18.2%-25.0% |
| AppWorld（Qwen2.5-14B） | avg@4 | 50.88% | PPO 40.79%, GRPO 35.53%, GSPO 24.12% | 相对提升24.7%-111.0% |
| AppWorld（Qwen2.5-14B） | pass@4 | 70.18% | PPO 57.89%, GRPO 49.12%, GSPO 38.60% | 相对提升21.2%-81.8% |
| BFCL v4（Qwen2.5-14B） | avg@4 | 55.25% | PPO 44.75%, GRPO 46.25%, GSPO 50.75% | 相对提升8.9%-23.5% |
| BFCL v4（Qwen2.5-14B） | pass@4 | 57.00% | PPO 56.00%, GRPO 55.00%, GSPO 56.00% | 相对提升1.8%-3.6% |
局限与改进
论文承认的局限性包括：（1）HAML框架理论上要求智能体间的异构策略，对应于非共享网络参数，但在LLM上下文中所有轮次共享相同策略参数，作者论证说足够大的参数空间为不同轮次开发功能上不同的行为提供了充分的表示能力；（2）论文的分析基于当前主流的下一个token预测范式，序列级RL方法本质上是一种元轮次级建模和优化方法，可能在替代范式（如多token预测或校正流扩散架构）中有潜在应用。从独立观察来看，计算效率是一个值得关注的问题——SeeUPO的训练时间约为基线方法的1.5倍，这在大规模训练中可能成为瓶颈。此外，实验仅在14B规模的模型上进行，更大规模模型（如70B、100B+）上的表现尚不清楚。
独立分析的弱点
SeeUPO的几个潜在弱点值得分析：（1）计算开销：反向顺序更新需要逐轮更新策略，导致训练时间约为基线方法的1.5倍，在大规模训练场景中可能成为瓶颈，改进方向包括探索并行化更新或近似方法；（2）参数共享假设：虽然作者论证了大参数空间的表示能力，但在较小模型或简单任务中，轮次间的参数共享可能导致策略同质化，改进方向包括引入显式的轮次特定参数化；（3）轮次数量敏感性：论文实验中最大轮次为10步，对于更长的交互序列，反向归纳的效率和效果需要进一步验证；（4）环境建模假设：SeeUPO假设环境状态转移由轮次动作隐式决定，对于有复杂外部状态转移的环境可能需要扩展。
未来方向
作者提出的未来方向包括：（1）探索显式的轮次特定参数化以更好地满足异构性假设；（2）将序列级RL方法应用于替代范式如多token预测或校正流扩散架构。基于现有成果可延伸的方向包括：（1）将SeeUPO扩展到更复杂的多智能体协作场景，如多个LLM智能体协作完成任务；（2）结合课程学习策略，逐步增加交互轮次数量以提高训练效率；（3）探索SeeUPO与其他技术的结合，如推理增强模板、工具使用优化等；（4）在更大规模模型（70B+）上验证方法的有效性和可扩展性。
复现评估
论文基于开源框架实现，使用veRL库进行分布式训练，基于AgentEvolver构建智能体相关基础设施。实验在NVIDIA H20（96GB）GPU集群上进行，每个集群8个GPU，PPO需要2个集群（16 GPU），而SeeUPO等无critic方法只需1个集群（8 GPU）。数据使用AppWorld和BFCL v4两个公开基准。复现难度中等——算法实现相对清晰，但需要大规模GPU资源（至少8张H20 GPU）和较长的训练时间（每个基准50-75个epoch）。论文提供了详细的超参数设置和训练配置，有助于复现。
论文图表