重新审视 PPO 中的评论家学习：理解并缓解价值扁平化 Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening
发现 PPO 价值扁平化失效模式，用稀疏锚点监督 SP3O 让 critic 重新看见价值变化
前置知识
PPO（近端策略优化）
PPO 是大模型 RL 训练的主流算法：策略 $\pi_\theta$ 生成回答后，用重要性比率 $\rho_t(\theta)=\pi_\theta(a_t|s_t)/\pi_{\theta_{old}}(a_t|s_t)$ 与截断代理目标 $L^{PG}=\mathbb{E}[\min(\rho_t\hat{A}_t,\ \mathrm{clip}(\rho_t,1\pm\epsilon)\hat{A}_t)]$ 更新策略，同时训练一个 critic 预测状态价值以降低策略梯度方差。
本文全部讨论围绕 PPO 的 critic 分支展开，先理解 PPO 的 actor–critic 双模型结构，才能看清『价值扁平化』到底发生在训练流程的哪个环节。
Critic 与 GAE（广义优势估计）
Critic $V_\phi(s_t)$ 逼近策略条件价值 $V^\pi(s_t)=\mathbb{E}_\pi[G_t|s_t]$。GAE 用 TD 残差 $\delta_t=r_t+\gamma V_{\phi_{old}}(s_{t+1})-V_{\phi_{old}}(s_t)$ 构造优势 $\hat{A}_t=\sum_\ell(\gamma\lambda)^\ell\delta_{t+\ell}$，并把 $\hat{G}_t=\hat{A}_t+V_{\phi_{old}}(s_t)$ 作为 critic 的回归目标。
价值扁平化本质是 critic 对回归目标的拟合出了问题；理解 GAE 中 critic 值同时参与优势计算，才能明白扁平的 critic 如何间接拖累 actor 的更新方向与稳定性。
蒙特卡洛状态价值估计
从中间状态 $s_t$ 出发，用当前策略独立采样 $K$ 条续写直到结束，取终端奖励平均 $\hat{V}^{MC}(s_t)=\frac{1}{K}\sum_k G_t^{(k)}$。在二值终端奖励下，它就是『从该状态继续能否答对』的经验成功率，是低方差的真实价值参照。
论文用它作为诊断基准来评判 critic 预测：价值扁平化的定义就是 MC 值在回答内部剧烈变化，而 critic 预测却近乎平坦。
终端奖励（terminal-only reward）设定
推理类 RLVR 训练通常只在回答结束给奖励：$r_t=0\ (t<T)$、$r_T=R(\tau)$（本文为二值对错），并取 $\gamma=\lambda=1$。此时单条轨迹上每个 token 位置的回归目标都相同：$\hat{G}_t=R(\tau)$，这是推导隐式方差惩罚的结构性前提。
『同一终端目标被复制到每个 token 位置』正是 MSE 损失分解出方差惩罚项、进而压平价值曲线的根源，是全文因果分析的核心设定。
GRPO 等免 critic 方法
RLOO、GRPO、DAPO 等方法不训练价值模型，直接用同一提示下多条完整回答的奖励统计量（如组内均值作基线）构造响应级优势；训练更省，但无法区分同一回答内部不同中间状态的优劣。
SP3O 的定位是『保留 critic、修好 critic』。对比这条免 critic 路线，才能理解论文为何坚持细粒度信用分配，并用实验证明其确有回报。
研究动机
在用强化学习训练大模型做长链推理时，PPO 依赖 critic 在轨迹的每个 token 位置估计状态价值并构造 token 级优势，这要求 critic 能捕捉同一回答内部期望成功率（即状态价值）的实质变化。作者发现事实并非如此：他们从中间状态用同一策略独立采样多条续写，取终端奖励平均得到蒙特卡洛价值 $\hat{V}^{MC}$ 作为参照。在 Qwen3-4B-Base + DAPO-Math-17k 的 PPO 训练中，MC 值在相邻推理状态间经常剧烈跳变（$\Delta V_{MC}$ 普遍在 $\pm0.45\sim\pm0.84$），而 critic 预测几乎水平（$\Delta V_{pred}$ 仅 $\pm0.00\sim\pm0.13$），个别甚至方向相反；该现象跨训练 checkpoint、对答对与答错样本都存在，说明是 critic 本身的性质。作者又在随机 FrozenLake 中固定训练配置、把迷宫从 $n=32$ 扩到 $n=128$，发现 critic 的价值图越来越平滑，与真值相比 $\Delta V_{pred}/\Delta V_{gt}$ 持续下降、MAE 上升。而现有 critic 改进工作（初始化、优化技巧）很少检验 critic 是否真的分辨了回答内部的价值变化。
本文的目标是本文的目标分三层。第一，严格定义并系统刻画这个此前被忽视的失效模式——Value Flattening（价值扁平化）：由多条蒙特卡洛续写估计出的真实状态价值在同一回答内部变化剧烈，而 PPO critic 的预测却相对平坦、无法分辨价值变化的方向与幅度。第二，找出其成因：作者希望从 critic 的训练目标本身和监督信号的时间相关性出发，给出可验证的机理解释，而不是停留在现象描述，也不把责任简单归于优化不充分或模型容量不足。第三，在不改动 PPO 主体框架（actor 目标、rollout 流程、GAE 目标）的前提下，设计一个改动极小、几乎零额外开销的干预，能够同时缓解两个成因，并在不同规模模型（Qwen3-4B/8B-Base）与域内数学、分布外通用推理评测上稳定提升最终策略性能，从而证明『修好 critic』是一条值得走的路线，而非必须放弃 critic。
与已有工作不同的是，独特之处在于把批评的矛头指向『监督结构』而非『训练技巧』。已有工作要么放弃 critic（RLOO/GRPO/DAPO 用响应级优势回避细粒度信用分配），要么继续给 PPO 的 critic 打补丁（更好的初始化、异步与结构化轨迹适配），但都不回答『critic 到底有没有捕捉同一回答内部的价值变化』；VinePPO 一类方法用辅助续写精确估计状态价值，但每个被评估的中间状态都要额外 rollout，代价随回答长度膨胀。本文则先诊断出两个此前无人指出的结构性病因——终端奖励下 MSE 损失隐式惩罚回答内价值方差、相邻 token 状态高度相关导致大量冗余的同向梯度更新——再据此推出『少而稀疏的监督反而更好』这一反直觉结论：不需要更多数据或更大模型，只需把价值损失限制在少数间隔良好的锚点状态上，就能恢复 critic 的分辨率。
核心方法
直觉上，价值扁平化不是训练 bug，而是损失函数的『必然产物』。终端奖励设定下（$\gamma=\lambda=1$），一条回答内每个 token 位置的回归目标都是同一个 $R(\tau)$。把 MSE 按回答内均值 $\bar v=\frac{1}{T}\sum_t v_t$ 分解：$\frac{1}{T}\sum_t (v_t-R)^2=(\bar v-R)^2+\frac{1}{T}\sum_t(v_t-\bar v)^2$，第二项是预测值的经验方差——优化器会把所有位置的预测拉平来降低这一惩罚。同时相邻状态只差一个 token、共享几乎全部输入，表征与梯度高度相似（梯度余弦随 token 距离增大才下降），密集监督实际是在重复叠加同向更新。SP3O 的技术路线因此极其简洁：保持 actor 的截断代理目标、rollout 流程和 GAE 完全不变，只把价值损失 $L^{SP3O}_V=\frac{1}{\sum_\tau|I(\tau)|}\sum_\tau\sum_{t\in I(\tau)}\big(V_\phi(s_t)-\hat G_t\big)^2$ 限制在每条回答少数几个间隔良好的锚点状态 $I(\tau)$ 上，默认取相对位置 0.3/0.6/0.9，长回答（≥6144 token）追加 0.95 尾锚点；critic 仍在所有生成状态输出价值供 GAE 使用。
核心创新是『稀疏即解药』：作者证明密集的逐 token critic 监督本身内嵌了两股压平价值的力，因此解决办法不是更多监督，而是更少、更分散的监督。只监督 $K$ 个锚点后，隐式方差惩罚只在 $K$ 个预测值上计算（$K=3$ 时方差项被限制在 3 个数上），压平效应大幅减弱；锚点之间 token 距离大、表征与梯度相似度低，冗余的同向更新也随之减少。这与已有方法的本质区别在于：GRPO 等免 critic 路线是『绕开问题』，VinePPO 是『花更多 rollouts 换取精确价值』，而 SP3O 是『零额外计算地修好标准 PPO 的 critic』——actor 目标、采样、GAE 一概不动，只改价值损失作用的下标集合 $I(\tau)$。消融进一步印证该直觉：$K=3$ 最优、$K=16/64$ 退化回密集 PPO 水平，说明监督密度存在甜点而非越多越好。
方法步骤详情
完整流程分五步。第一步，正常采样：策略 $\pi_{\theta_{old}}$ 对 DAPO-Math-17k 的提示生成回答，终端给出二值奖励 $R(\tau)\in\{0,1\}$，KL 系数为 0。第二步，选锚点：对每条回答取相对位置集合 $I(\tau)$，默认 $\{0.3,0.6,0.9\}$ 三个锚点，回答超过 6144 token 则追加 0.95 处尾锚点（消融显示尾锚点把平均分从 44.10 提到 45.57，重复率从 18.33 降到 1.12）。第三步，更新 critic：只在这些锚点上计算稀疏 MSE 损失（式 6），目标仍是 $\hat G_t=R(\tau)$，用学习率 $\eta$ 梯度更新；非锚点位置不产生损失。第四步，算优势：GAE 照旧使用 critic 在全部生成状态上的输出，$\delta_t=r_t+\gamma V_{\phi_{old}}(s_{t+1})-V_{\phi_{old}}(s_t)$，$\hat A_t=\sum_\ell(\gamma\lambda)^\ell\delta_{t+\ell}$。第五步，更新 actor：标准 PPO clip 目标。论文的诊断流程还会在选定中间状态采样多条续写求 $\hat V^{MC}$，用于对比两种 critic 的价值曲线（图 4）。方法对标准 PPO 是『一行式』修改，不增加采样或模型开销。
技术新颖性
技术新颖性体现在三点。其一，发现本身新颖：作者首次把『同回答内 MC 价值剧烈变化 vs critic 预测平坦』确立为系统性失效模式，并用误差分解和受控 FrozenLake 实验（迷宫 $n$ 从 32 到 128、其余配置不变）证明它随状态空间增大而加剧，而非 LLM 特有的偶然现象。其二，机理分析新颖：式 (5) 的损失分解第一次明确指出 MSE 里藏着方差惩罚项；图 3 对 hidden cosine、gradient cosine、update energy 的测量（梯度余弦随 token 位置相对距离增大而下降）把『密集监督冗余』从直觉变成可测量的证据。其三，方案新颖且极简：SP3O 不引入新模型、新损失或额外采样，只改损失下标，却带来 4B 数学平均 +7.97 个百分点的提升，且消融（K=3 最优、随机放置接近 baseline）反过来验证了机理解释，形成『诊断—解释—最小干预—反证』的完整闭环。
实验结果
(1) 现象确证：Qwen3-4B-Base 的 PPO 训练中，$\Delta V_{MC}$ 高达 $\pm0.45\sim0.84$ 而 $\Delta V_{pred}$ 仅 $\pm0.13$ 以内，跨 checkpoint、答对答错样本均如此（图 1）；FrozenLake 迷宫从 $n=32$ 扩到 $128$ 时价值图显著变平，MAE 上升、$\Delta V_{pred}/\Delta V_{gt}$ 下降（图 2）。(2) 机理：式 (5) 分解出方差惩罚项；梯度余弦随 token 距离增大而下降，证明密集更新冗余（图 3）。(3) SP3O 恢复分辨率：对 MC 值的 MSE 在 30%/60%/90% 进度处分别降低 36%/11%/21%（图 4）；hidden 有效秩中位数从 4.33 升到 5.63，梯度差异 RMS 全程更低，响应级判别 AUC 不降反升（图 5）。(4) 策略性能：数学七项平均，4B SP3O 45.57 vs PPO 37.60（+7.97）与 GRPO 39.26；8B SP3O 50.51 vs PPO 48.50、GRPO 47.91（表 1）。OOD 六项平均，4B 59.28 vs PPO 51.95（+7.33）、GRPO 56.44；8B 66.37 vs 64.38（表 2）。(5) 消融：K=3 最优，K=16/64 退化到密集 PPO（图 7）；放置 0.3/0.6/0.9 得 45.57，优于 0.2/0.5/0.8 的 44.65 与随机的 36.59（表 3）；尾锚点使 44.10→45.57、重复率 18.33→1.12。(6) 训练动力学：迭代内更新更小、验证准确率与奖励更高、回答更长（图 6）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 域内数学推理（AIME24/25/26、AMC23、MATH500、Minerva、OlympiadBench 七项平均，avg@32） | 平均准确率 (%)，Qwen3-4B-Base | SP3O 45.57 | PPO 37.60；GRPO 39.26；Base 17.95 | 较 PPO +7.97 个百分点，较 GRPO +6.31 |
| 域内数学推理（七项平均，avg@32） | 平均准确率 (%)，Qwen3-8B-Base | SP3O 50.51 | PPO 48.50；GRPO 47.91；Base 23.58 | 较 PPO +2.01，较 GRPO +2.60 |
| 分布外通用推理（ARC-C、MMLU-Pro、GPQA、AGIEval、BBH、ZebraLogic 六项平均，avg@4） | 平均准确率 (%)，Qwen3-4B-Base | SP3O 59.28 | PPO 51.95；GRPO 56.44；Base 19.26 | 较 PPO +7.33 个百分点，较 GRPO +2.84 |
| 分布外通用推理（六项平均，avg@4） | 平均准确率 (%)，Qwen3-8B-Base | SP3O 66.37 | PPO 64.38；GRPO 64.91；Base 38.21 | 较 PPO +1.99，较 GRPO +1.46 |
| critic 对 MC 价值的拟合精度（响应中心化锚点 MSE） | MSE 降低幅度，30%/60%/90% 回答进度 | SP3O 分别降低 36% / 11% / 21% | 标准 PPO critic | 回答内价值分辨率显著恢复 |
局限与改进
作者承认的局限：消融实验的跨 run 方差不可忽略（图 7 中训练 reward 波动明显），结论是趋势性而非严格统计显著；锚点位置 0.3/0.6/0.9 是人工设定的固定超参，没有给出最优放置的理论依据；实验只覆盖 Qwen3-4B/8B-Base 与数学推理训练，未验证更大模型或其他领域。我自己的观察：其一，全部实验建立在终端二值奖励、$\gamma=\lambda=1$ 的设定上，隐式方差惩罚的推导依赖『所有位置共享同一目标』，若引入过程奖励或密集 shaping，结论未必直接迁移；其二，MC 诊断需要对每个中间状态采样多条续写，成本高，只能作离线分析，无法在线用作训练信号；其三，8B 上相对 GRPO 的优势收窄（50.51 vs 47.91），Minerva 上 4B 的 SP3O 47.93 仅略高于 GRPO 45.71，说明收益随规模与任务有波动；其四，稀疏监督丢弃了非锚点位置的信号，对奖励分布复杂的长轨迹是否欠拟合值得检验。
独立分析的弱点
独立分析的弱点及改进方向：(1) 固定相对位置的锚点与语义断点并不对齐——推理的关键转折（如公式推导的分叉）可能落在 0.1 或 0.75 处，改进方向是用 TD 残差 $\delta_t$、价值不确定性或熵自适应选锚点，把监督放在价值真正变化的位置。(2) $K$ 是全局超参：数千 token 的长回答只用 3 个锚点可能欠采样，短回答又可能过密，可按长度或信息量伸缩调度。(3) 结论只在终端二值奖励下推导，多目标奖励（正确性+格式+安全）或部分奖励场景下方差惩罚结构不同，需重新推导并实验。(4) 即便 SP3O 后 hidden 有效秩中位数也只有 5.63，说明 critic 价值头输入的维度多样性仍然很低，可对 critic 主干加正则或采用独立编码器。(5) 训练方差较大、缺少多 seed 显著性检验，落地前应补齐；SP3O 生成更长回答，需监控长度与奖励的耦合，避免『长而啰嗦』式的奖励 hacking。这些弱点都不动摇主结论，但决定了方法能否直接迁移到工业级多目标 RLHF 流水线。
未来方向
可延伸的方向：(1) 自适应锚点选择——用 TD 残差、ensemble 价值不确定性或熵引导挑选锚点，甚至学习放置策略，替代固定 0.3/0.6/0.9；(2) 与 VinePPO 结合——只在少数锚点用少量蒙特卡洛续写提供低方差目标，把『稀疏监督』与『精确目标』叠加，有望进一步压低价值估计误差；(3) 理论化——对稀疏 MSE 监督给出偏差—方差权衡刻画，解释 $K=3\sim8$ 甜点为何存在，并预测不同长度/奖励分布下的最优 $K$；(4) 推广到更复杂 RLVR 场景——过程奖励模型、密集 shaping、多轮 agent/工具调用轨迹，检验价值扁平化是否仍由同样的两个机制驱动；(5) 研究稀疏监督与响应长度效应的因果链——SP3O 生成更长回答，值得分析 critic 分辨率如何影响长度分布与探索行为；(6) 在更大规模模型及代码、科学推理等领域验证可扩展性，并补充多 seed 显著性检验。
复现评估
复现条件较好。代码已开源（github.com/Dodojordi/SP3O），训练数据 DAPO-Math-17k 公开，模型用公开的 Qwen3-4B/8B-Base，评测套件（AIME24/25/26、AMC23、MATH500、Minerva、OlympiadBench；ARC-C、MMLU-Pro、GPQA、AGIEval-English、BBH、ZebraLogic）全部公开；数学 avg@32、OOD avg@4 的评测协议以及 xVerify（gpt-oss-120b 打分）的评分方式在文中写明。方法本身是把价值损失限制在少数下标上，对现有 PPO 实现是极小改动，工程门槛低。难点主要在算力与工程：4B/8B 的 RLVR 训练需要多卡集群同时承担 rollout 与训练、数百 step 的成本不低；MC 价值诊断还要对每个中间状态采样多条续写，开销更大，复现图 1/4/5 的分析型实验尤其费算力。FrozenLake 部分用小型网格即可低成本复现，适合先验证机理再上大模型。总体难度中偏高，但方法内核简单，忠实复现主表（表 1/2）可行。
论文图表
四个训练 checkpoint × 答错/答对两类回答共 32 个面板。每个面板画出一条回答上 MC 价值与 PPO critic 预测随回答进度的曲线：MC 值出现剧烈局部跳变（$\Delta V_{MC}$ 从 -0.66 到 +0.84），而 critic 预测曲线几乎水平（$\Delta V_{pred}$ 在 $\pm0.13$ 以内），个别甚至与 MC 变化方向相反；该模式跨 checkpoint、跨对错稳定存在。
这是定义『价值扁平化』的核心证据图：直观展示了真实状态价值在回答内部剧烈变化而 critic 几乎无分辨率，是全文问题的起点。
(a) LLM 中相邻状态 MC 变化 $\Delta V_{MC}$ 与 critic 变化 $\Delta V_{pred}$ 的散点图，按 $|\Delta V_{MC}|$ 是否超过 0.3 着色：预测变化集中在零附近而非沿对角线。(b) FrozenLake 迷宫 $n=32/64/128$ 的真值价值图与 critic 价值图对比，迷宫越大 critic 图越平滑。(c) 分辨率统计：随迷宫增大，$\Delta V_{pred}/\Delta V_{gt}$ 下降、MAE 上升。
证明价值扁平化不是 LLM 特有现象，且随状态空间增大而加剧，为后续机理解析提供了受控实验支撑。