CEPO：基于对比证据策略优化的 RLVR 自蒸馏方法

用正反答案对比信号解决 RLVR 中 token 级信用分配难题

前置知识

RLVR（可验证奖励强化学习）

一种通过确定性验证器（如数学答案匹配）给出 0/1 奖励的后训练范式。给定问题 $x$，模型采样多条 rollout，由规则验证器打分，再通过 PPO 类算法更新策略。它不需要奖励模型，是当前开源大模型推理训练的主流框架。

本文所有方法都属于 RLVR 范畴。理解 GRPO/RLSD/CEPO 的差异，首先需要把握 RLVR 是怎么把正确/错误轨迹转化为梯度信号的。

GRPO 与序列级优势

Group Relative Policy Optimization 在每个问题上采样 $ 条 rollout，按奖励归一化得到 ^{(i)} = (R(x,y^{(i)}) - \mu_G)/\sigma_G$。所有 token 共享同一个标量优势，无法区分哪个 token 真正决定正确性。

GRPO 的「均匀信用分配」正是本文要解决的核心痛点。要理解 CEPO 的贡献，必须先看到 GRPO 把填空词和关键推理步骤同等对待这一缺陷。

证据比与自蒸馏

让策略同时扮演学生 $P_S(y_t|x, y_{<t})$ 和「正确答案条件下的教师」$P_{T^+}(y_t|x, r^+, y_{<t})$，二者概率的比值 $P_{T^+}/P_S$ 被称为证据比。On-policy 自蒸馏（OPSD、SDPO）则用 KL 散度把教师分布整体蒸馏给学生。

CEPO 是基于证据比这一思想，但用 $P_{T^-}$ 替代了 $P_S$。理解两类自蒸馏方法的差异是看懂 CEPO 的关键，也是理解「信息泄露」问题的前提。

信息泄露（information leakage）

当优化目标把正确答案 $r^+$ 的信息直接编码进梯度时，模型会学到虚假的 $x \to r^+$ 关联而非真正的推理能力。文献 [21] 证明 OPSD/SDPO 这类 KL 蒸馏的梯度含有跨整个词表的 $r^+$ 加权和，其方差正比于 $I(Y_t; R^+|X)$，无法通过工程手段消除。

信息泄露是 RLVR 自蒸馏的「原罪」。CEPO 的所有设计——只用采样 token 的对数、不对词表求和——都是为了绕开这个陷阱。如果不理解泄露机制，就体会不到 CEPO 保留 RLSD 安全性的意义。

研究动机

RLVR 后训练存在两大难题。其一是 GRPO 的均匀信用分配：正确的几何推理轨迹中，关键的代数化简 $x+4=3x-6$ 与「Therefore」等填充词获相同正向优势，梯度浪费在无关 token。其二是 on-policy 自蒸馏的信息泄露：OPSD/SDPO 把 $P_{T^+}$ 作为整段 KL 目标，文献 [21] 证明其梯度含词表级 $\sum_{v \in V} P_{T^+}(v|r^+) \nabla_\theta \log P_S(v)$，方差正比于 $I(Y_t; R^+|X)$，训练后期驱动模型编码 $x \to r^+$ 的虚假捷径。Table 2 用数据坐实：OPSD/SDPO 在 2B 上跌至 34.96%/35.70%，显著低于未训练基线 39.73%。RLSD 此前通过证据比 $P_{T^+}/P_S$ 解决泄露，但本文指出其信号存在三个新缺陷：分母 $P_S$ 把高频填充词压低（流畅性混淆）、错误轨迹负向信号完全间接、单边证据无法区分「真推理步骤」与「两边都支持的填充词」。

本文的目标是本文目标是设计一种 RLVR 训练算法，既能像 RLSD 一样严格避免信息泄露，又能比 RLSD 更精细地区分「决定性 token」与「填充 token」，从而在相同的 50 步训练预算下稳定超越 GRPO。具体目标包括：在 5 个多模态数学推理基准上平均准确率较 GRPO 提升 ≥2 个百分点；让优势调制权重的动态范围更宽（实际 clip 率从 71.3% 降至 49.5%）；以及保留 RLSD 的方向锚定与无泄露保证，使 CEPO 在结构上是 RLSD 的严格泛化而非替代品。

与已有工作不同的是，本文的独特切入角度是用「同一批训练数据中被拒绝的 rollout」构造负向教师 $P_{T^-}$，把 RLSD 的单参考证据比 $P_{T^+}/P_S$ 替换成对比证据比 $P_{T^+}/P_{T^-}$。这一替换有三重效果：第一，分母从 $P_S$ 换成 $P_{T^-}$，学生先验被完全抵消，结构性消除流畅性混淆；第二，$r^-$ 直接来自当前批次低奖励拒绝样本，零额外采样开销；第三，对比比天然具有贝叶斯解释——它是「同时抬升 $r^+$ 后验、压低 $r^-$ 后验」的差分信念更新，对填充 token 自然衰减到 0，对决定性 token 自然放大。已有方法要么走 KL 蒸馏路线（OPSD/SDPO，泄露），要么走单边证据路线（RLSD，信号弱），CEPO 是首个在 RLVR 循环内同时使用正反参考答案、并保留无词表求和结构的 token 级信用分配方法。

核心方法

CEPO 沿用 RLSD 的「证据比调制 GRPO 优势」框架，但把分子分母都换成条件在答案上的教师分布。给定 $x$，策略采样 $G$ 条 rollout，由验证器划分为 $G^+$ 与 $G^-$，从中选 $r^+$（标准答案）与 $r^-$（错误集最低奖励轨迹的最终答案）。对每 token $y_t$ 计算 $\Delta^{CE}_t = \mathrm{sg}(\log P_{T^+}(y_t) - \log P_{T^-}(y_t))$，再通过 $\hat{A}^{(i)}_t = A^{(i)} \cdot [(1-\lambda) + \lambda \cdot \mathrm{clip}(e^{\mathrm{sign}(A)\Delta^{CE}_t}, 1-\epsilon_w, 1+\epsilon_w)]$ 把 GRPO 优势转为 token 级调制优势，最后用 PPO clip 代理目标更新 $\theta$。直觉：正确教师支持且错误教师反对的 token 是真推理步骤，应被放大；两边给差不多概率的填充词权重自然回到 1。

CEPO 与 RLSD 的本质区别在于分母的选择：RLSD 用 $P_S(y_t)$ 作分母，CEPO 用 $P_{T^-}(y_t)$。这一替换带来三个连锁性质：(1) 学生先验 $P_S$ 在分子分母中完全抵消，结构性消除流畅性混淆；(2) Proposition 1 证明当且仅当 $P_{T^-}(y_t) < P_S(y_t)$ 时（即错误教师相对学生更低估该 token），$w^{CE}_t > w^{RLSD}_t$，且该条件精确对应算术/推理决定性位置，填充 token 处 $P_{T^-}\approx P_S$，CEPO 自然退化为 RLSD；(3) 整个 $\Delta^{CE}_t$ 被 stop-gradient 包裹，梯度里仍只出现采样 token 的对数，不存在词表级 $r$ 条件求和，因此继承 RLSD 的方向锚定和无泄露保证。技术上的关键新颖之处是：教师和负向参考都从同一批 on-policy rollout 中采样得来，零额外推理开销，仅多出一次 teacher forward pass，相比 GRPO 的 wall-clock 仅多 36 分钟。

方法步骤详情

Algorithm 1 共 11 步：(1) 每批 32 prompt；(2) 对 $(x, r^+)$ 采样 $G=8$ rollout 并算优势 $A^{(i)}=(R-\mu_G)/\sigma_G$；(3) 从 $G^-$ 选最低奖励答案作 $r^-$，若 $G^-$ 空则 $P_{T^-}=P_S$ 退化为 RLSD；(4) 对每位置 $t$ 算 $\Delta_t=\mathrm{sg}(\log P_{T^+}(y_t)-\log P_{T^-}(y_t))$，教师共享 actor；(5) 构造 $w^{CE}_t=e^{\mathrm{sign}(A)\Delta_t}$，clip 到 $[1-\epsilon_w,1+\epsilon_w]$ 后与 $(1-\lambda)$ 凸组合得 $\hat{A}^{(i)}_t$；(6) $\lambda$ 从 0.5 线性衰减至 0；(7) PPO clip 更新 $\theta$，teacher stop-gradient。默认 AdamW、lr $5\times 10^{-6}$、LoRA rank 16。

技术新颖性

技术新颖性体现在三个层面。理论层面，本文首次在 RLVR 循环内构造「正反双教师」对比证据，并证明 Theorem 1 的三个性质——方向锚定、无词表级泄露梯度、RLSD 包含（$P_{T^-}=P_S$ 时严格退化），以及 Proposition 1 给出 CEPO 严格优于 RLSD 的充要条件 $P_{T^-}(y_t)<P_S(y_t)$。方法层面，把贝叶斯差分信念更新 $\log \frac{P(r^+|x,y_{\le t})}{P(r^+|x,y_{<t})} - \log \frac{P(r^-|x,y_{\le t})}{P(r^-|x,y_{<t})}$ 首次与 RLVR 的 token 级优势联系起来。工程层面，通过共享 actor 参数 + stop-gradient 把额外开销压到「每条轨迹多一次 teacher forward pass」，并系统验证了多种教师来源（reference / EMA / actor）与反馈来源（peer / GT）对性能的影响，给出最佳实践：actor 作为教师 + GT 作 $r^+$ + 拒绝答案作 $r^-$。

**Figure 2**: CEPO training pipeline and its relationship to GRPO and RLSD

实验结果

Table 2 报告 50 步训练后在 5 个多模态数学推理基准上的结果。Qwen3-VL-2B 上 CEPO 平均 43.43%（±0.8），相对 GRPO 41.17% 提升 +2.26 pp，相对基线 39.73% 提升 +3.70 pp；Qwen3-VL-4B 上 CEPO 达 60.56%，相对 GRPO 57.43% 提升 +3.13 pp。逐 benchmark（2B）：DynaMath 51.44（+1.08）、LogicVista 37.72（+0.22）、MathVisionmini 25.99（+4.94）、MMMU 45.78（+3.45）、WeMath 56.21（+1.61）。4B 上 LogicVista 提升最大（61.16 vs 54.98，+6.18 pp）。Figure 5 的 token 热力图展示 CEPO 把权重集中到「代数化简 $x+4=3x-6$」等决定性 token 上，clip 率从 RLSD 的 71.3% 降到 49.5%。OPSD/SDPO 在两规模上跌破未训练基线（2B -4.77/-4.03 pp），验证信息泄露理论。

**Table 1**: Comparison of credit assignment methods

**Table 2**: Results on five multimodal mathematical reasoning benchmarks

**Table 3**: Wall-clock training time for 50 steps on Geo3k

**Table 6**: Shared training hyperparameters

**Table 7**: Method-specific hyperparameters used in our reimplementation

**Figure 3**: Hyperparameter sensitivity averaged across 5 reasoning benchmarks

**Figure 4**: Contrastive delta fractions during CEPO training

**Figure 5**: Token-level credit assignment on a parallelogram problem

查看结构化数据

任务	指标	本文	基线	提升
Qwen3-VL-2B 平均准确率	5 基准平均准确率 (%)	43.43	GRPO 41.17 / 基线 39.73	+2.26 pp over GRPO, +3.70 pp over Base
Qwen3-VL-4B 平均准确率	5 基准平均准确率 (%)	60.56	GRPO 57.43 / 基线 58.36	+3.13 pp over GRPO, +2.20 pp over Base
DynaMath (2B)	准确率 (%)	51.44	GRPO 50.36	+1.08 pp
LogicVista (4B)	准确率 (%)	61.16	GRPO 54.98	+6.18 pp（最大提升）
MathVisionmini (2B)	准确率 (%)	25.99	GRPO 21.05	+4.94 pp
MMMU (2B)	准确率 (%)	45.78	GRPO 42.33	+3.45 pp
WeMath (4B)	准确率 (%)	74.77	GRPO 73.10	+1.67 pp
Wall-clock 训练时间 (50 步)	小时:分	CEPO 6h34m	GRPO 5h58m	+36 分钟（≈10% 开销）
Token clip 率	被裁剪权重占比 (%)	49.5	RLSD 71.3	动态范围更宽，未饱和

局限与改进

作者承认两类局限。一是规模受限：所有实验仅 50 步、单一数据集 Geo3k（3000 题）、两个 Qwen3-VL 规模，未验证大规模/长程训练下的稳定性。二是任务单一：只覆盖多模态数学推理，未测试纯文本推理（GSM8K、MATH）、代码生成（HumanEval、MBPP）或更长推理链。本文独立观察到四点局限：第一，CEPO 依赖每批至少一条错误 rollout 才能构造 $r^-$，当题目简单使 $G^-$ 为空时自动退化为 RLSD；第二，Figure 3c 显示 $\epsilon_w$ 安全区间仅 $[0.4, 0.5]$，调参窗口偏窄；第三，$r^+$ 直接用 GT 而非 peer rollout，部署中 GT 不总是可用；第四，作者未提供错误分析，CEPO 失败 case 与 GRPO 失败 case 的差异未被刻画。

独立分析的弱点

独立分析识别六个弱点及改进方向。第一，$r^-$ 选取过简：仅取 $G^-$ 中最低奖励 final answer，丢弃中间推理；改进方向是对 $G^-$ 多轨迹 ensemble 或按步骤粒度匹配。第二，teacher 与 student 共享参数虽省内存，但 $r^+$ 与 rollout 严重分歧时梯度可能不稳定；可引入 KL 阈值或 EMA。第三，仅在 Geo3k 训 50 步，泛化性论证不充分；应在 AIME、OlympiadBench 上跑更长训练。第四，clip 率仍 49.5%，近半 token 到边界，调参敏感；可换自适应分位数截断。第五，GT 作 $r^+$ 比 peer 高 0.69 pp，缺 GT 场景优势被压缩；需 verifier-free 伪 GT 估计。第六，CEPO 严格泛化 RLSD 但 $G^-=\emptyset$ 时退化，并非所有 batch 都优于 RLSD。

未来方向

作者明确下一步是「extending CEPO to larger models, text-only reasoning, and code generation」。本文成果打开了多条独立的研究线：(1) 把对比证据推广到非二元奖励（多级 verifier、soft reward）；(2) 探索 $r^-$ 的更优选取策略——通过 DPO 式的 pairwise 偏好或 critic 网络做 rollout-level 评分；(3) 把 Theorem 1 的方向锚定推广到 off-policy 或 advantage estimation；(4) 把 CEPO 的差分信念解释与 process reward model (PRM) 结合，构建「正反教师 + 步骤监督」的混合信用分配；(5) 探索 CEPO 与 tree search/MCTS 的协同，让对比信号反向指导 branch selection；(6) Figure 3b 显示前 10–25 步拿主要增益，可研究 CEPO 与 curriculum learning 的结合。

复现评估

复现性总体良好。论文开源（github.com/ahmedheakl/CEPO），基于 EasyR1 + FSDP + vLLM 成熟栈；Table 6/Table 7 详尽到 optimizer、LR、LoRA rank 16/$\alpha$32、$\epsilon_{high}=0.28$、$\epsilon_{low}=0.20$ 等。Geo3k（3000 题）与 5 个评测基准（DynaMath、LogicVista、MathVisionmini、MMMU、WeMath）通过 lmms-eval 调用均公开。算力门槛：作者用 RTX6000 Pro Blackwell 100GB × 多卡，50 步约 6.5h，单卡显存建议 ≥80GB（多模态 2B/4B + LoRA + teacher forward）。复现风险：(a) $r^-$ 抽取正则等代码细节可能影响数值；(b) RLVR 方差大，±0.8 误差带说明需多次 seed 才能稳定复现 +2 pp；(c) Qwen3-VL 多模态管线对 vLLM/transformers 版本敏感。

CEPO：基于对比证据策略优化的 RLVR 自蒸馏方法 CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization