SPPO：面向长时域推理任务的序列级近端策略优化 SPPO: Sequence-Level PPO for Long-Horizon Reasoning Tasks
将推理任务重构为序列级上下文强盗问题，用标量价值函数解决PPO在长链推理中的信用分配不稳定问题
前置知识
Proximal Policy Optimization (PPO)
PPO 是一种基于策略梯度的强化学习算法，通过截断目标函数来限制策略更新幅度，在每一步采样后使用优势函数估计每个状态-动作对的价值。PPO 使用 Generalized Advantage Estimation (GAE) 来计算优势，GAE 的形式为 ȦGAE_t = Σ(γλ)^l δ_{t+l}，其中 δ_t = r_t + γV(s_{t+1}) - V(s_t) 是时序差分误差，γ 是折扣因子，λ 是 GAE 参数。PPO 的目标是最大化 J_PPO(θ) = E[min(r_t(θ)Ȧ_t, clip(r_t(θ), 1-ε, 1+ε)Ȧ_t)]，其中 r_t(θ) 是新旧策略的概率比。
PPO 是 LLM 对齐的主流方法，理解它的工作原理对于理解 SPPO 如何改进它至关重要。SPPO 也是基于 PPO 的框架，只是改变了优势函数的计算方式。
Generalized Advantage Estimation (GAE)
GAE 是一种优势估计方法，通过平衡偏差和方差来计算优势函数。它结合了 n-step returns（低偏差高方差）和蒙特卡洛 returns（高偏差低方差）。GAE 的公式是 ȦGAE_t = Σ_{l=0}^{T-t-1} (γλ)^l δ_{t+l}，其中 γ 是折扣因子，λ 是控制偏差-方差权衡的参数（0 到 1 之间）。当 λ=1 时，GAE 等价于蒙特卡洛优势；当 λ=0 时，GAE 等价于 1-step TD 误差。在稀疏奖励任务中，通常设置 γ=λ=1 来传播终端奖励。
理解 GAE 的工作原理有助于理解为什么标准 PPO 在长链推理任务中会失败。GAE 需要将稀疏的终端奖励传播到每个 token，这在长序列中会导致高偏差。
Contextual Bandit
上下文强盗是强化学习的一个特例，它将整个决策过程简化为单步决策。在上下文强盗中，智能体观察到上下文 s（即状态），然后选择动作 a，并获得即时奖励 r。与完整的马尔可夫决策过程（MDP）不同，上下文强盗不考虑时序依赖性和状态转移，将每个决策视为独立的原子动作。上下文强盗的目标是学习一个策略 π(a|s)，使得期望奖励 E[r|s,a] 最大化。由于没有时序依赖，上下文强盗不需要考虑价值函数的时间传播，这大大简化了问题。
SPPO 的核心创新就是将推理任务从多步 MDP 重构为序列级上下文强盗。理解上下文强盗的概念有助于理解 SPPO 如何绕过 token-level 的信用分配问题。
Temporal Credit Assignment
时间信用分配是强化学习中的一个核心问题，指的是如何将最终的奖励分配给序列中的每个决策步骤。在长序列任务中，智能体做出一系列决策，但只在最后收到一个稀疏的奖励信号。时间信用分配的目标是确定每个决策对最终结果的贡献度。这非常困难，因为最终的奖励可能受到多个决策的影响，而且这些决策之间存在复杂的依赖关系。在 Chain-of-Thought 推理中，这意味着需要确定哪些推理步骤是正确的，哪些是错误的。
SPPO 的核心贡献就是解决了长链推理任务中的时间信用分配问题。通过将整个推理链视为一个原子动作，SPPO 绕过了这个难题。理解时间信用分配有助于理解 SPPO 的动机和优势。
Sparse Reward
稀疏奖励是指智能体在环境中很少收到奖励信号的情况。在数学推理等任务中，智能生生成整个推理链后，只在最后收到一个二值奖励（答案正确或错误）。在生成过程中，每个中间步骤的奖励都是零。稀疏奖励使得强化学习变得困难，因为智能体很难知道哪些行为是好的，哪些是坏的。GAE 需要将稀疏的终端奖励通过时间传播到每个 token，这在长序列中会导致高偏差和梯度消失问题。
SPPO 专门针对稀疏奖励任务设计。理解稀疏奖励的挑战有助于理解为什么标准 PPO 会失败，以及 SPPO 如何通过序列级建模来解决这个问题。
研究动机
标准的 Token-Level PPO 在长 Chain-of-Thought (CoT) 推理任务中面临两个严重问题。首先，时间信用分配的不稳定性：由于奖励是稀疏的（只有最终答案正确/错误的二值反馈 R ∈ {0, 1}），GAE 需要跨越数千个 token 传播信号，导致高偏差。更严重的是「尾部效应」（Tail Effect）：Critic 倾向于在序列尾部「过度拟合」语义线索，对于正确的轨迹，V(st) 上升较晚导致 Ȧ_t 消失（奖励信号消失）；对于不正确的轨迹，V(st) 显著低估。这种基于位置而非贡献的信用分配严重破坏了优化过程。其次，计算成本高昂：Value Model 需要消耗大量内存，限制了在大规模模型上的应用。实验显示，标准 PPO 在 AIME24/25、AMC23、MATH500、Minerva 等数学基准上难以持续改进基线模型，有时甚至导致性能下降。
本文的目标是本文的目标是设计一个既能保持 PPO 样本效率，又能获得基于结果的更新稳定性的可扩展算法，专门用于长时域、稀疏奖励的推理任务。具体而言，需要解决两个核心问题：(1) 如何在不依赖高偏差的 token-level 价值估计的情况下进行稳定的优化；(2) 如何避免 GRPO 等方法的计算瓶颈（需要每个提示采样 N=8 个响应来构建基线），实现高吞吐量的单样本更新。
与已有工作不同的是，本文的独特切入角度是重新理解 GRPO 的成功机制。作者发现 GRPO 的成功并非偶然，而是因为它隐式地将推理任务从多步 MDP 重构为序列级上下文强盗（Sequence-Level Contextual Bandit）——将整个响应视为一个原子动作来绕过 token-level 噪声。本文的贡献在于将这个隐式洞察显式化，提出一个基于学习的标量价值函数来构建稳定的序列级基线，从而在不牺牲样本效率的情况下获得 GRPO 的结构稳定性。这不同于 GRPO 使用经验统计基线（需要多采样），也不同于标准 PPO 使用 token-level Critic（存在高偏差）。
核心方法
SPPO 的核心思想是将推理任务从 token-level 马尔可夫决策过程（MDP）重构为序列级上下文强盗（Sequence-Level Contextual Bandit）。在这个新视角下，提示 sp 作为静态上下文，整个推理链 a_seq = (y_1, ..., y_T) 被视为一个单一原子动作。奖励 r(sp, a_seq) 评估生成链的整体正确性。这种框架有效地「折叠」了时间视界（H=1），消除了标准 PPO 固有的 token-level 信用分配高偏差问题。SPPO 使用一个解耦的标量价值函数 V(sp) 来估计给定提示的标量成功概率，从而构建低方差的优势信号，而不需要多采样（N=1）。整个算法可以概括为三个步骤：(1) 训练一个标量价值函数来估计提示的可解性；(2) 使用该价值函数计算序列级优势；(3) 将统一的优势传播到序列中的所有 token。
SPPO 的核心创新点是显式地将推理任务建模为序列级上下文强盗，而不是 token-level MDP。与标准 PPO 不同，SPPO 不尝试将稀疏结果分解为 noisy token-level 信号，而是优化基于提示的条件序列奖励期望。价值函数 V(sp) 的作用从预测任意中间状态的未来回报（标准 PPO）转变为估计给定提示的标量成功概率（SPPO）。这种改变使得价值估计的任务大大简化：它只需要评估问题的难度，而不是预测序列中每个位置的价值。此外，SPPO 引入了「解耦 Critic」策略，使用轻量级 critic（如 1.5B）对齐更大的 policy（如 7B），由于价值估计的复杂性降低，这种方法不仅有效，还将内存使用减少了 12.8%。
方法步骤详情
SPPO 的方法步骤完整描述如下：(1) **价值函数训练**：训练一个价值模型 V_φ(sp) 来估计给定提示 sp 的标量成功概率。使用二元交叉熵（BCE）损失函数进行优化：L_V(φ) = -E[R log V_φ(sp) + (1-R) log(1-V_φ(sp))]，其中 R ∈ {0, 1} 是二值奖励。这个损失函数确保 V_φ(sp) 成为一个校准的基线。(2) **优势估计**：将单个采样结果视为伯努利试验，其成功概率为 V_φ(sp)。采用标准化优势公式来稳定训练：A(sp, a) = (R - V_φ(sp)) / σ，其中 R ∈ {0, 1} 是二值奖励。在简化形式中，A(sp, a) = R - V_φ(sp)。这个公式自然地放大了模型自信但错误时的信号（V_φ(sp) 接近 1 但 R=0 时，A 为大的负值），并抑制了模型不确定时的噪声（V_φ(sp) ≈ 0.5 时，A 的幅度较小）。(3) **序列级策略优化**：SPPO 修改了 PPO 的截断代理目标，但改变了优势项的范围。目标函数定义为：J_SPPO(θ) = E[ min(Σ_{t∈a} r_t(θ)A(sp, a), Σ_{t∈a} clip(r_t(θ), 1-ε, 1+ε)A(sp, a)) ]，其中 r_t(θ) = π_θ(a_t|sp,a_{ 0），链中的每一步都得到等强强化；相反，如果链失败（A < 0），每一步都被惩罚。通过将优势信号与序列长度解耦，SPPO 有效解决了困扰标准 PPO 在长链推理任务中的时间信用分配问题。
技术新颖性
SPPO 的技术新颖性体现在多个方面。首先，它提供了对 GRPO 成功机制的新理解：GRPO 隐式地将推理任务建模为上下文强盗，而不是多步 MDP。这个洞察为理解 LLM 推理对齐提供了新的理论框架。其次，SPPO 显式地将这个隐式洞察形式化，提出了基于学习的标量价值函数来构建序列级基线，这不同于 GRPO 使用经验统计基线（需要多采样）和标准 PPO 使用 token-level Critic（存在高偏差）。第三，SPPO 首次证明了序列级建模可以与 PPO 的截断机制结合，实现稳定的优化。这与之前认为序列级奖励与 PPO 的 token-level 设计不相容的观点（如 GMPO、GSPO 等工作）形成对比。第四，SPPO 引入了「解耦 Critic」策略，证明了轻量级 critic 可以有效对齐大型 policy，这显著降低了 RLVR 训练的内存占用。第五，SPPO 在多个数学基准（AIME24/25、AMC23、MATH、Minerva）上超越了标准 PPO 和计算密集的基线方法，同时实现了 5.9× 的训练加速（相比 GRPO），展示了其在实际应用中的价值。
实验结果
实验结果提供了三个核心发现。首先，SPPO 在 1.5B 和 7B 两个规模上都显著超越了标准 PPO 和其他序列级方法（ReMax、RLOO），并匹敌或超越了计算密集的 GRPO (N=8)。在 1.5B 模型上，SPPO 在五个基准上的平均得分为 48.06，显著超过基线模型的 44.96、标准 PPO 的 44.06、ReMax 的 46.74、RLOO 的 46.15 和 GRPO 的 47.08。具体而言，在 AIME24 上，SPPO 达到 34.17%（基线 27.50%）；在 AIME25 上达到 25.83%（基线 21.67%）；在 AMC23 上达到 74.38%（基线 71.56%）；在 MATH500 上保持 83.78%（基线 83.73%）；在 Minerva 上达到 22.15%（基线 20.35%）。关键的是，SPPO 使用单样本效率（N=1）就达到了这些性能，而 GRPO 需要每个提示采样 8 个响应。在 7B 模型上，SPPO 的表现更加突出，平均得分为 58.11，显著超过基线模型的 52.49、标准 PPO 的 56.44、ReMax 的 57.09、RLOO 的 57.02 和 GRPO 的 57.44。其次，训练效率分析显示 SPPO 达到峰值性能（平均分数 ≈58）所需时间约为 22 小时，而基线方法需要更长时间才能达到相当水平或在较低分数处停滞。例如，标准 PPO 在 7B 模型上无法持续改进，最终停留在 56.44。第三，「解耦 Critic」验证了标量可解性估计比生成推理简单得多。使用 1.5B Critic 训练 7B Policy 的配置不仅保持了有效性，还达到了最高平均分数 58.56。这验证了轻量级 critic 可以有效对齐大型 policy，显著降低了 RLVR 训练的内存占用（内存使用减少 12.8%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME24 数学推理 | Average@16 Accuracy | 34.17% (1.5B) / 50.83% (7B) | 27.50% (Base 1.5B) / 41.25% (Base 7B) | +6.67% absolute (1.5B) / +9.58% absolute (7B) |
| AIME25 数学推理 | Average@16 Accuracy | 25.83% (1.5B) / 35.00% (7B) | 21.67% (Base 1.5B) / 26.67% (Base 7B) | +4.16% absolute (1.5B) / +8.33% absolute (7B) |
| AMC23 数学推理 | Average@16 Accuracy | 74.38% (1.5B) / 86.25% (7B) | 71.56% (Base 1.5B) / 79.38% (Base 7B) | +2.82% absolute (1.5B) / +6.87% absolute (7B) |
| MATH500 数学推理 | Average@16 Accuracy | 83.78% (1.5B) / 90.13% (7B) | 83.73% (Base 1.5B) / 87.20% (Base 7B) | +0.05% absolute (1.5B) / +2.93% absolute (7B) |
| Minerva Math 数学推理 | Average@16 Accuracy | 22.15% (1.5B) / 28.35% (7B) | 20.35% (Base 1.5B) / 27.94% (Base 7B) | +1.80% absolute (1.5B) / +0.41% absolute (7B) |
| 训练速度 | Wall-clock Time to Peak Performance | ~22 hours (SPPO) | >120 hours (GRPO, RLOO) | 5.9× faster than GRPO |
| 内存使用 | Peak VRAM (7B Policy) | 78.7% (Decoupled 7B+1.5B) | 89.8% (PPO 7B+7B) | -12.4% relative reduction |
| Value Model Correlation | Pearson / Spearman Correlation | 0.642 / 0.664 | N/A | Strong correlation with empirical difficulty |
局限与改进
作者承认的主要局限性是 SPPO 专门针对 RLVR（Reinforcement Learning with Verifiable Rewards）任务设计，依赖于可验证的结果奖励来估计提示可解性。这意味着将序列级强盗公式扩展到缺乏客观真实性验证器的开放性生成任务（如伦理决策、主观内容生成）仍然是一个未来研究方向。在这些领域应用序列级优化而没有稳健的奖励建模可能会放大基础模型中存在的偏见，或者生成看似合理但事实不正确的推理链（幻觉）。此外，虽然 SPPO 降低了训练强大推理模型的计算门槛，但也需要持续监控以确保这些可访问的能力不会被用于生成有害内容或自动化恶意任务。从技术角度观察，SPPO 的价值函数预测分布（单峰、准正态分布，中心约 0.6-0.7）与实证任务难度（双峰分布，任务通常要么完全不可解要么可解）之间存在分布差异，表明 Critic 倾向于采用保守预测策略，聚合不确定性而不是过度拟合到实证数据的二元极端。虽然回归趋势（红虚线）保持清晰的正斜率，证实了 V(sp) 作为有效的方差减少基线的作用，但这种保守主义可能会限制模型在极端困难任务上的性能提升空间。
独立分析的弱点
独立分析的第一个弱点是 SPPO 的价值函数采用保守预测策略，导致对极端困难或极端简单任务的预测不够精确。对于非常困难的任务（Avg@k ≈ 0），Critic 预测较低值（≈0.5），虽然确保了稀有成功产生强正优势，但可能低估了真实难度；对于非常简单的任务（Avg@k ≈ 1），Critic 预测较高值（≈0.8），确保失败产生显著负惩罚，但也可能低估了简单性。这种保守主义限制了模型在边缘任务上的学习能力。改进方向可以是引入自适应的权重机制，根据 Critic 的置信度动态调整优势信号的幅度。第二个弱点是 SPPO 对每个序列的所有 token 应用统一的优势，这忽略了推理链中不同步骤对最终结果的贡献度可能不同。例如，某些中间步骤可能是关键的转折点，而其他步骤可能是冗余的。改进方向可以是结合 token-level 和序列级信号，使用多粒度优势估计。第三个弱点是 SPPO 专门针对二元奖励设计，对于多级奖励（如部分正确、质量评分）的支持可能不够直观。改进方向可以是扩展优势公式以支持连续奖励，使用更复杂的价值估计策略。第四个弱点是在开放性生成任务中缺乏明确的奖励信号，SPPO 的有效性可能受到限制。改进方向可以是结合 reward model 或其他信号源来估计任务难度。
未来方向
作者提出的未来研究方向包括将序列级强盗公式扩展到缺乏客观真实性验证器的开放性生成任务。这可能涉及开发能够捕捉任务质量而不依赖二元结果的奖励建模策略。另一个方向是进一步优化价值函数的校准，使其更准确地反映实证任务难度，特别是在极端难度水平上。此外，可以探索结合 token-level 和序列级信号的多粒度优势估计策略，以更精细地分配信用。从更广泛的角度来看，SPPO 的成功为研究其他稀疏奖励长时域任务（如代码生成、科学推理、规划等）的序列级优化提供了新的方向。另一个有趣的方向是研究 SPPO 在更大规模模型（如 70B+）上的可扩展性，以及与其他技术（如 Curriculum Learning、Multi-task Learning）的结合。最后，可以研究 SPPO 在非确定性奖励环境中的鲁棒性，以及如何处理奖励噪声和延迟奖励的情况。
复现评估
论文提供了完整的开源代码（https://github.com/sustech-nlp/SPPO），包括所有算法的精确执行脚本和配置命令。使用的模型包括 DeepSeek-R1-Distill-Qwen-1.5B 和 DeepSeek-R1-Distill-Qwen-7B，都采用 MIT 许可证。训练数据包括 DAPO-Math-17k（Apache 2.0 许可）和 DeepScaleR-Preview（MIT 许可）。评估基准包括 AIME 2024/2025、AMC 23、MATH-500 和 Minerva Math，都是公开可用的数学推理数据集。实验在 4×A100（1.5B）和 4×H100（7B）GPU 上进行。超参数设置包括：全局批量大小 256（1.5B）和 512（7B），学习率 1e-6（Actors）和 5e-6（Critics），标准 PPO 使用 γ=1, λ=1 来传播稀疏奖励。论文提供了详细的附录（Appendices A-E），包括 GRPO 优势函数的推导、Critic 动态的扩展可视化、风险评估、资源和实现细节、以及所有基线的精确执行命令。这使得其他研究者可以准确复现实验结果。复现难度中等，主要挑战是获得足够的计算资源（A100/H100 GPU）和配置 verl 框架。总体而言，论文的可复现性良好，提供了足够的细节和资源。
论文图表
这张图可视化了标准 PPO 中 token-level Critic 的值动态 V(st)。蓝色和红色线分别表示正确和不正确的轨迹。x 轴是时间步（token 位置），y 轴是 Critic 的值估计。图显示 Critic 只能在序列尾部附近区分正确和不正确的轨迹：对于正确的路径，V(st) 上升较晚，导致 Ȧ_t 消失；对于不正确的路径，V(st) 无法在中间步骤进行惩罚。这表明信用分配基于 token 位置而不是语义贡献。
这张图对理解论文至关重要，因为它直观地展示了标准 PPO 在长链推理任务中失败的根本原因——「尾部效应」。它解释了为什么 token-level 价值估计在稀疏奖励任务中会失效，为 SPPO 的动机提供了实证支持。
这张图展示了 GRPO 优势函数的可视化。x 轴是经验概率 p̂(sp)（提示的估计难度），y 轴是标准化优势。图中显示了两种情况的成功（蓝色，R=1）和失败（红色，R=0）。图展示了 GRPO 如何动态地根据提示的估计难度缩放奖励：对于成功的响应，优势随着难度增加而增加；对于失败的响应，劣势随着难度增加而增加。这与伯努利假设下的导出公式一致。
这张图对理解论文重要，因为它展示了 GRPO 如何隐式地将推理任务建模为上下文强敌：优势是基于提示的估计难度动态缩放的，而不是静态奖励。这为理解 SPPO 的动机提供了关键洞察——GRPO 的成功源于序列级建模，而非其他因素。
这个表格展示了在 1.5B 和 7B 两个规模上，不同方法（Base Model、Standard PPO、ReMax、RLOO、GRPO (N=8)、SPPO (Ours)、SPPO w/ Small Critic）在五个数学基准（AIME24、AIME25、AMC23、MATH、Minerva）上的性能比较，以及平均分数。在 1.5B 规模上，SPPO (Ours) 在所有基准上都达到或超越基线，平均得分 48.06 超越 GRPO 的 47.08。在 7B 规模上，SPPO w/ Small Critic 达到最高平均得分 58.56，超越了所有其他方法。
这个表格对理解论文重要，因为它提供了 SPPO 性能的定量证据，证明 SPPO 在多个数学基准上超越了标准 PPO 和其他序列级方法，并匹敌或超越了计算密集的 GRPO。特别值得注意的是，SPPO 使用单样本效率（N=1）就达到了这些性能，而 GRPO 需要每个提示采样 8 个响应。
这张图展示了 Critic 值动态的扩展分析，包含从验证集中随机采样的十个不同的数学问题。每个子图代表一个独特的问题，蓝色线是正确轨迹（R=1）的值估计，红色线是不正确轨迹（R=0）的值估计。这些样本一致表现出第 1 节分析的「尾部效应」。在多样化的推理任务中，token-level Critic 在中间推理过程中未能区分正确和不正确的轨迹。值曲线通常在最后几个 token 之前保持纠缠，确认标准 PPO Critic 在长时域推理任务中难以分配精确的时间信用。
这张图对理解论文重要，因为它提供了 Figure 1 的扩展验证，确认「尾部效应」是系统性问题，而非偶然现象。十个随机样本的一致性增强了论文的实证基础，为 SPPO 的动机提供了更广泛的支持。