VESPO：面向离策略大模型训练的变分序列级软策略优化 VESPO: Variational Sequence-Level Soft Policy Optimization for Stable Off-Policy LLM Training
变分推导闭式重要性权重核，64×陈旧下稳定LLM训练
前置知识
重要性采样（Importance Sampling）
重要性采样是一种从一个分布（行为策略 $\mu$）中采样来估计另一个分布（目标策略 $\pi$）下期望值的技术。核心工具是重要性权重 $W(\tau) = \pi(\tau)/\mu(\tau)$，它衡量目标策略与行为策略对同一轨迹 $\tau$ 的概率比。当用于策略梯度估计时，离策略样本通过 $W$ 加权来校正分布偏移。然而，当 $\mu$ 与 $\pi$ 差距较大时，权重 $W$ 的方差会急剧增长，尤其在自回归生成中，序列级权重是逐token比率的乘积，方差随序列长度 $T$ 指数级增长。
VESPO 的核心贡献就是设计一种重要性权重变换函数 $\phi(W)$ 来控制这个方差，因此理解重要性采样的基本原理和方差问题是读懂本文的前提。
PPO与裁剪代理目标
Proximal Policy Optimization（PPO）是当前大模型RL训练中最常用的策略梯度方法。它通过裁剪重要性比率来限制策略更新幅度：当优势 $A > 0$ 时，将比率 $\rho$ 限制在 $[0, 1+\varepsilon]$；当 $A < 0$ 时，限制在 $[1-\varepsilon, 1]$。超出范围的梯度被置零。这种硬裁剪虽然有效防止了过大的策略更新，但引入了目标函数的不连续性（梯度在裁剪边界处突变），且是启发式设计而非从理论推导。
VESPO 提出的平滑核函数正是对 PPO 硬裁剪的替代，理解 PPO 的裁剪机制才能理解 VESPO 的改进动机和方法差异。
GRPO与GSPO
GRPO（Group Relative Policy Optimization）是 DeepSeek 提出的无价值函数策略优化方法，在每个 prompt 组内对奖励进行归一化作为优势估计，并在 token 级别应用 PPO 风格的裁剪。GSPO 则在序列级别操作，通过对逐token比率取几何平均（即 $T$ 次方根）进行长度归一化后再裁剪。这两种方法分别代表了 token 级和序列级两种策略优化范式，但都依赖启发式设计。
VESPO 论文将 GRPO、GSPO 和 SAPO 作为主要基线进行对比，实验结果表明 VESPO 在所有设置下都优于或持平这些方法，理解这些基线才能理解 VESPO 的贡献。
序列级与token级优化
在自回归语言模型中，token 级优化将每个生成步骤的策略比率 $\rho_t$ 独立处理（如 GRPO 对每个 token 单独裁剪），而序列级优化将整个响应视为一个整体，使用乘积 $W = \prod_t \rho_t$ 作为权重。token 级方法是序列级方法的一阶近似，但破坏了 token 间的依赖关系；序列级方法理论上更准确，但面临方差爆炸的挑战。GSPO 通过长度归一化（几何平均）来控制方差，但这引入了长度偏差。
VESPO 的一个核心设计选择就是直接在序列级操作而不做长度归一化，这与 GSPO 形成鲜明对比。理解这两种范式的权衡是理解 VESPO 方法设计的关键。
MoE模型的训练不稳定性
Mixture-of-Experts（MoE）模型如 Qwen3-30B-A3B 通过路由机制将输入分配给不同的专家网络。在训练-推理引擎分离的场景下，不同实现的路由决策会产生差异，这种差异在网络各层间累积放大。此外，MoE 模型在 RL 训练中面临更严重的离策略分布偏移问题，因为路由不一致会导致同一个输入在训练和推理时产生截然不同的输出。
VESPO 在 MoE 模型上的改进最为显著（+10.9pp），这正是因为 MoE 模型对离策略偏移最为敏感。理解 MoE 的特殊挑战有助于理解为什么 VESPO 的平滑抑制机制特别有效。
方差约束与有效样本量
在重要性采样中，估计量的方差与二阶矩 $E_{\mu}[W^2]$ 相关。有效样本量（ESS）是衡量重要性采样效率的诊断指标，定义为 $\text{ESS} = (\sum w_i)^2 / \sum w_i^2$，其中 $w_i$ 是归一化权重。ESS 越小表示采样效率越低、方差越高。控制 $E_{\mu}[W^2]$（或等价地控制 $E_Q[W]$）是确保重要性采样有效的关键。
VESPO 的理论保证就是通过控制 $E_Q[W] \leq C$ 来约束方差，并推导出 $E_{\mu}[\phi(W)^2] \leq Z \cdot K \cdot C$ 的显式上界。理解方差控制的基本原理是理解 VESPO 理论贡献的基础。
研究动机
在大语言模型的强化学习训练中，离策略更新是不可避免的。异步训练系统（如 vLLM/SGLang）将 rollout 与训练完全解耦，导致训练使用的样本来自已过期的策略；批量顺序更新中，后续 mini-batch 相对于演进的策略变得陈旧。训练引擎（FSDP/Megatron）和推理引擎之间的数值差异进一步加剧了分布偏移，在 MoE 模型中，路由决策的不一致会在各层间累积放大。现有方法试图通过截断重要性采样（TIS）、硬裁剪（PPO/GRPO）或长度归一化（GSPO）来应对这一挑战，但这些方法都是启发式设计：硬裁剪在边界处引入梯度不连续性，长度归一化引入依赖序列长度的偏差，而 token 级变换仅为序列级权重的一阶近似。更关键的是，缺乏从理论原则出发设计重要性权重变换函数的系统方法——现有方法通过经验调参来平衡偏差与方差，而非从优化目标中推导最优解。
本文的目标是本文的目标是建立一个从变分原则出发设计重要性权重变换函数 $\phi(W)$ 的理论框架。具体而言，作者希望通过明确地将方差控制纳入变分推导过程，得到一个闭式解的权重变换核，该核函数应满足以下要求：直接在序列级重要性权重上操作，避免 token 级近似和长度归一化带来的偏差；对正负优势样本有差异化处理以匹配不同的梯度动力学；具有明确的方差上界保证，使得在任意策略陈旧程度下训练都保持稳定；且无需额外的前向传播或内存开销，可作为现有 RL 流水线的即插即用替代。
与已有工作不同的是，本文的独特切入角度在于将任意重要性权重变换 $\phi(W)$ 重新解释为隐式定义了一个提案分布 $Q$：通过等式 $Q(\tau) \propto \mu(\tau) \cdot \phi(W(\tau))$，任何权重重塑都对应一次从行为分布 $\mu$ 到某个隐式提案分布 $Q$ 的测度变换。这一视角将启发式的权重变换设计转化为一个有约束的优化问题：在保持 $Q$ 与采样分布 $\mu$ 接近（KL 正则化）的同时，适度偏向目标策略 $\pi$（重要性倾斜），并约束 $E_Q[W] \leq C$ 以控制方差。通过拉格朗日乘子法求解这一约束优化问题，直接得到了闭式最优核函数 $\phi(W) = W^{\alpha} \cdot \exp(-\lambda W)$，而非通过经验设计。
核心方法
VESPO 的方法路线可以概括为：从测度变换的视角出发，将重要性权重的重塑理解为从行为分布到隐式提案分布的映射；然后将重塑函数的设计形式化为一个带方差约束的 KL 正则化变分优化问题；通过拉格朗日乘子法求解得到闭式核函数 $\phi(W) = W^{c_1} \exp(c_2(1-W))$，其中幂项 $W^{c_1}$ 在 $W < 1$ 时产生下权重效应，指数项 $\exp(c_2(1-W))$ 在 $W > 1$ 时提供平滑抑制。在实践中，对正优势和负优势使用不同的超参数 $(c_1^+, c_2^+) = (2.0, 3.0)$ 和 $(c_1^-, c_2^-) = (3.0, 2.0)$，以匹配正负样本在训练中表现出的不同梯度动力学。整个方法是对标准 GRPO/GSPO 流水线的即插即用替换，不引入额外的前向传播或内存开销。
VESPO 的核心创新在于从变分推导而非启发式设计出发构造重要性权重变换函数。关键洞察是：任何权重重塑函数 $\phi(W)$ 都隐式定义了一个提案分布 $Q(\tau) \propto \mu(\tau) \cdot \phi(W(\tau))$，这为分析和设计 $\phi$ 提供了统一的数学框架。在此基础上，作者将 $\phi$ 的设计形式化为一个变分优化问题 $\min_Q D_{KL}(Q \| \mu) - \alpha E_Q[\log W]$，约束 $E_Q[W] \leq C$，求解得到闭式最优解 $\phi(W) = W^{\alpha} \exp(-\lambda W)$。与已有方法的本质区别在于：硬裁剪（PPO/GRPO）在边界处引入不连续性，几何平均归一化（GSPO）引入长度偏差，而 VESPO 的平滑核函数在每个位置都可微，且从理论上保证了方差有界。具体而言，当 $c_1 \geq 1$ 时，$K = \sup_{w>0} \phi(w)/w$ 有限，从而 $E_{\mu}[\phi(W)^2] \leq Z \cdot K \cdot C$ 给出了明确的方差上界。
方法步骤详情
VESPO 算法的具体步骤如下。首先，从行为策略 $\mu$ 中采样响应 $y = (y_1, \ldots, y_T)$，计算每个 token 的 log-probability。第二步，计算逐 token 的重要性比率 $\rho_t = \pi_{\theta}(y_t|x, y_{ 0$ 时使用 $\phi^+(W) = W^{c_1^+} \exp(c_2^+(1-W))$，当 $A < 0$ 时使用 $\phi^-(W) = W^{c_1^-} \exp(c_2^-(1-W))$。在对数域中计算 $c_1 \log W + c_2(1-W)$，仅在最后一步取指数以避免数值溢出。第六步，计算梯度 $\nabla J_{\text{VESPO}} = E_{\tau \sim \mu}[\phi(W) \cdot A(\tau) \cdot \nabla \log \pi_{\theta}(\tau)]$，并用此梯度更新策略参数 $\theta$。
技术新颖性
VESPO 在技术层面的新颖性体现在以下几个方面。第一，测度变换视角的引入：将任意权重重塑函数解释为隐式提案分布的定义，为分析和设计重要性权重变换提供了统一的数学语言，使得可以将 GRPO、GSPO、SAPO 等已有方法在同一个框架下进行比较分析。第二，从变分目标推导闭式核函数：通过构建 KL 正则化线性目标（$D_{KL}(Q\|\mu) - \alpha E_Q[\log W]$）加上方差约束（$E_Q[W] \leq C$），用拉格朗日乘子法求解得到 $\phi(W) = W^{\alpha} \exp(-\lambda W)$，这是首次为重要性权重变换提供从优化原则出发的理论推导。第三，显式方差保证：当 $c_1 \geq 1$ 时，核函数的上界 $K$ 有限且可计算（$K = \frac{(c_1-1)^{c_1-1}}{c_2^{c_1-1}} \exp(c_2 - c_1 + 1)$），从而 $E_{\mu}[\phi(W)^2] \leq Z \cdot K \cdot C$ 为训练稳定性提供了理论保证。第四，序列级操作无需长度归一化：平滑核的有界性天然避免了权重爆炸，无需 GSPO 那样的几何平均归一化，从而保留了 token 间依赖关系并避免了长度偏差。
实验结果
实验结果展示了 VESPO 在数学推理和代码生成任务上的全面优势。在数学推理的主实验中（$N = gbs/mbs = 8$），VESPO 在三个模型尺度上均达到最佳或持平最佳的平均准确率：在 Qwen3-30B-A3B-Base（MoE 模型）上达到 70.0%，比最佳基线 GSPO 的 59.1% 高出 10.9 个百分点；在 Qwen3-8B-Base 上达到 60.9%，与 SAPO 持平；在 Llama-3.2-3B-Instruct 上达到 28.3%，比 GRPO 的 26.8% 高出 1.5 个百分点。在策略陈旧鲁棒性实验中，当陈旧比率 $N$ 从 4 增长到 64 时，VESPO 的训练奖励曲线几乎重合（均收敛到约 0.7），最终准确率仅从 70.0% 缓慢下降到 61.8%。形成鲜明对比的是，SAPO 在 $N \geq 32$ 时准确率崩塌到 20.9%（$N=32$）和 16.5%（$N=64$）；GRPO 和 GSPO 在 $N=64$ 时分别下降到 48.6% 和 47.6%。在跨域代码生成任务中，使用与数学推理完全相同的超参数 $(c_1, c_2)$（无需重新调参），VESPO 在 HumanEval+（88.4%）、MBPP+（75.4%）和 LiveCodeBench v6（25.3%）上均达到最佳，平均准确率 63.0% 优于 GRPO 的 60.9% 和 SAPO 的 61.8%。在与其他重要性权重方法的直接对比中，VESPO 在 Qwen3-30B-A3B-Base 上以 70.0% 大幅超越 TOPR（48.7%）、CISPO（48.7%）和 BAPO（63.6%）。消融实验还揭示了两个关键设计选择的必要性：长度归一化会破坏训练稳定性（线性归一化在约 350 步时导致 KL 尖峰和梯度爆炸），不对称超参数是平衡正负优势样本不同梯度动力学的关键（对称设置会导致不稳定或学习缓慢）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理 - Qwen3-30B-A3B-Base (AIME25) | avg@k 准确率 (%) | 44.3% | GSPO 25.1%, GRPO 28.2%, SAPO 21.4% | 比最佳基线 GRPO +16.1pp |
| 数学推理 - Qwen3-30B-A3B-Base (AIME24) | avg@k 准确率 (%) | 59.6% | GSPO 43.3%, GRPO 40.0%, SAPO 27.9% | 比最佳基线 GSPO +16.3pp |
| 数学推理 - Qwen3-30B-A3B-Base (AMC23) | avg@k 准确率 (%) | 91.4% | GSPO 83.0%, GRPO 81.4%, SAPO 73.0% | 比最佳基线 GSPO +8.4pp |
| 数学推理 - Qwen3-30B-A3B-Base (MATH500) | avg@k 准确率 (%) | 84.8% | GSPO 84.8%, GRPO 78.3%, SAPO 84.6% | 与 GSPO 持平，比 GRPO +6.5pp |
| 数学推理 - Qwen3-30B-A3B-Base (综合平均) | 平均准确率 (%) | 70.0% | GSPO 59.1%, GRPO 57.0%, SAPO 51.7% | 比最佳基线 GSPO +10.9pp |
| 数学推理 - Qwen3-8B-Base (综合平均) | 平均准确率 (%) | 60.9% | SAPO 60.9%, GSPO 56.4%, GRPO 54.6% | 与 SAPO 持平，比 GSPO +4.5pp |
| 数学推理 - Llama-3.2-3B-Instruct (综合平均) | 平均准确率 (%) | 28.3% | GRPO 26.8%, GSPO 26.7%, SAPO 24.5% | 比最佳基线 GRPO +1.5pp |
| 陈旧鲁棒性 - N=64 (综合平均) | 平均准确率 (%) | 61.8% | GRPO 48.6%, GSPO 47.6%, SAPO 16.5% | 比 GRPO +13.2pp，SAPO 完全崩塌 |
| 陈旧鲁棒性 - N=32 (综合平均) | 平均准确率 (%) | 64.5% | GRPO 52.4%, GSPO 50.0%, SAPO 20.9% | 比 GRPO +12.1pp |
| 代码生成 - HumanEval+ | pass@10 (%) | 88.4% | SAPO 86.6%, GRPO 84.8%, GSPO 82.9% | 比最佳基线 SAPO +1.8pp |
| 代码生成 - MBPP+ | pass@10 (%) | 75.4% | GRPO 74.9%, SAPO 74.6%, GSPO 73.0% | 比 GRPO +0.5pp |
| 代码生成 - LiveCodeBench v6 | pass@10 (%) | 25.3% | SAPO 24.2%, GRPO 23.1%, GSPO 23.1% | 比 SAPO +1.1pp |
| 方法对比 - Qwen3-30B-A3B-Base (vs TOPR) | 平均准确率 (%) | 70.0% | TOPR 48.7% | +21.3pp |
| 方法对比 - Qwen3-30B-A3B-Base (vs BAPO) | 平均准确率 (%) | 70.0% | BAPO 63.6% | +6.4pp |
局限与改进
作者在论文中坦承了若干局限性。首先，虽然核函数的形式是从变分原则推导得到的，但具体的超参数值 $(c_1, c_2)$ 仍需要用户根据经验选择，论文中的 $(2.0, 3.0)$ 和 $(3.0, 2.0)$ 是在特定设置下通过实验确定的，并未给出选择这些值的通用指导。其次，实验覆盖的奖励模态仅限于可验证奖励场景（数学推理使用验证器奖励、代码生成使用执行奖励），对于更广泛的奖励模态（如人类偏好奖励、奖励模型打分）的适用性尚未验证。第三，实验的模型规模上限为 30B 参数，对于更大规模的前沿模型（如 70B+ 或 400B+）的效果需要进一步验证。从独立分析的角度看，消融实验仅在 Qwen3-30B-A3B-Base 一个模型上进行，不同模型架构上设计选择的敏感性可能不同。此外，论文未与 DAPO 等近期的解耦裁剪方法进行对比，且未详细讨论在连续学习或多任务设置下的表现。方差上界的理论保证虽然形式优美，但在实际训练中的 tightness 尚不清楚——论文报告的实际训练曲线比理论上界暗示的要稳定得多，这意味着理论界可能较为保守。
独立分析的弱点
从独立分析的角度，VESPO 存在以下几个值得探讨的弱点。第一，超参数调优指南的缺失：虽然论文声称 $(2.0, 3.0)$ 和 $(3.0, 2.0)$ 在所有设置下通用（包括数学推理和代码生成），但这是在有限的实验范围内验证的。对于不同的奖励分布（如密集奖励 vs 稀疏奖励）、不同的序列长度范围、或不同的模型规模，最优的 $(c_1, c_2)$ 值可能需要调整。改进方向可以是建立基于理论分析的超参数自动选择机制，例如根据训练过程中的权重统计量自适应调整 $c_1$ 和 $c_2$。第二，缺少与 DAPO 的对比：DAPO 引入了解耦裁剪和动态采样，是当前 GRPO 系列中较先进的变体，论文未与之比较使得实验说服力略有不足。第三，消融实验的泛化性：长度归一化和不对称超参数的消融仅在 Qwen3-30B-A3B-Base 上进行，对于稠密模型（如 Llama-3.2-3B）这些设计选择的影响可能不同。第四，理论界与实际表现的差距：Proposition 3.1 给出的方差上界 $E_{\mu}[\phi(W)^2] \leq Z \cdot K \cdot C$ 在实践中可能相当保守，因为训练曲线的稳定性远好于最坏情况界所暗示的，这说明理论分析可以进一步收紧。
未来方向
论文作者指出的未来方向包括：将 VESPO 推广到更广泛的奖励模态（如人类偏好反馈、奖励模型评估）和更大规模的前沿模型上验证。基于现有成果可以进一步延伸的方向包括：第一，将测度变换框架扩展到价值函数学习和奖励模型评估中的分布偏移问题，论文在结论中提到这一更广泛的应用潜力，但尚未展开；第二，探索自适应核参数机制，根据训练过程中的权重分布动态调整 $(c_1, c_2)$，避免手动调参；第三，将 VESPO 与工程优化（如 Routing Replay、Truncated IS）更紧密地结合，论文已展示了互补性（VESPO+R2 达到最佳），但系统性的融合方案值得深入研究；第四，研究核函数形式在离线 RL 和安全 RL 中的应用，这些场景同样面临严重的分布偏移和方差控制挑战；第五，将变分框架扩展到多目标优化场景，其中不同的优化目标可能需要不同的方差约束和提案分布。
复现评估
在复现性方面，论文的条件较为有利。代码已在 GitHub 开源（https://github.com/FloyedShen/VESPO），提供了完整的实现。实验使用的是公开可用的数据集（DAPO-Math 用于数学训练，PRIME-RL/Eurus-2-RL-Data 用于代码训练）和公开模型（Llama-3.2-3B-Instruct、Qwen3-8B-Base、Qwen3-30B-A3B-Base）。论文提供了详细的超参数设置（包括 VESPO 的 $(c_1, c_2)$ 值和各基线的官方超参数），并在附录中给出了完整的伪代码（Section I）。然而，主要实验需要 32 块 NVIDIA H20 GPU，这构成了相当的算力门槛，特别是对于 Qwen3-30B-A3B-Base 这样的 MoE 模型。训练框架使用 veRL，复现者需要熟悉该框架。总体而言，方法本身并不复杂（本质上只是将 GRPO 中的裁剪替换为平滑核函数），核心代码改动量小，复现难度中等。
论文图表
