TPPO：面向语言模型推理的追踪价值 PPO TPPO: Tracking-Value PPO For Language Model Reasoning
用 log-odds 累积参数化重构 PPO 评论家，显式建模价值演化，推理提升 7-10 分
前置知识
RLVR（可验证奖励强化学习）
用规则可验证的结果奖励（如数学答案对错、代码是否通过测试）训练 LLM 的强化学习范式。奖励只在回答末尾给出 $r_T = R(x,y) \in \{0,1\}$，中间步骤奖励为 0，配合长思维链（CoT）生成，是 DeepSeek-R1 等推理模型的核心训练方式。
本文的全部场景都建立在终端稀疏二值奖励设定上，价值函数的定义（成功率）和贝叶斯推导都依赖这一点。
PPO 与评论家（critic）
近端策略优化（PPO）用价值网络 $V_\phi$ 估计每个状态的价值，配合裁剪的策略比率目标 $\min(\rho_t \hat A_t, \mathrm{clip}(\rho_t, 1-\epsilon, 1+\epsilon)\hat A_t)$ 更新策略。评论家通过最小化预测值与采样回报的 MSE 学习，为每个 token 提供基线与信用信号。
TPPO 是对标准 PPO 评论家参数化的一处修改，理解评论家原始的工作方式（逐位置独立回归完整价值）才能看出改动在何处。
GAE（广义优势估计）
广义优势估计用 TD 残差 $\hat\delta_t = r_t + \gamma \hat V_{t+1} - \hat V_t$ 的指数加权组合 $\hat A_t = \sum_\ell (\gamma\lambda)^\ell \hat\delta_{t+\ell}$ 来在偏差与方差间折中。在终端奖励、$\gamma=\lambda=1$ 时退化为 $\hat A_t = R - \hat V_t$，且相邻 token 的优势差恰等于价值差 $\hat A_t - \hat A_{t+1} = \hat V_{t+1} - \hat V_t$。
这一恒等式是全文动机的核心：价值差的符号预测错了，两个 token 的相对信用顺序就会被颠倒。
蒙特卡洛（MC）价值估计
从某个前缀状态 $s_t$ 出发，用当前策略采样 $K$ 条完整续写，以最终奖励的均值 $\hat V_{MC}(s_t) = \frac{1}{K}\sum_k R(y^{(k)})$ 作为该状态真实价值（续写成功率）的无偏估计。代价是需要大量额外采样，通常只用于诊断或 VinePPO 类方法。
论文用 MC 估计作为真值参照来诊断 PPO 评论家预测价值演化的方向是否正确，全部关键证据都来自这套协议。
log-odds 与贝叶斯更新
对概率 $p$，logit 变换为 $\mathrm{logit}(p) = \log \frac{p}{1-p}$。贝叶斯定理指出，新证据到来时后验几率等于先验几率乘以似然比 $\Lambda = \frac{P(\text{证据}|\text{成功})}{P(\text{证据}|\text{失败})}$，因此在 log-odds 空间中多次证据更新是简单的加法累积。
这是 TPPO 参数化的理论根基：逐 token 生成把前缀价值变成一连串贝叶斯更新，加性结构直接催生了累积求和的评论家设计。
研究动机
在 RLVR 中，奖励只出现在回答末尾（$r_T = R(x,y) \in \{0,1\}$），PPO 依赖评论家网络为每个前缀状态估值，再经 GAE 计算逐 token 优势来完成长思维链中的信用分配。但标准 PPO 评论家对每个前缀独立回归，从不显式建模相邻状态间的价值演化 $\Delta V_t^\pi = V^\pi(s_{t+1}) - V^\pi(s_t)$，而这恰恰决定相对信用：$\gamma=\lambda=1$ 时相邻 token 的优势差就是 $\hat A_t - \hat A_{t+1} = \hat V_{t+1} - \hat V_t$，符号预测错误会直接颠倒两个 token 的信用顺序。实证上问题很严重：一个数学推理样例中，从正确步骤 At $\sin^2 x = 0$ 推进到错误结论 The only solution is $x=0$，蒙特卡洛估计的价值骤降 $\Delta V_{MC} = -0.992$，而 PPO 评论家却预测 $\Delta V_{PPO} = +0.036$，方向完全相反；系统性统计显示，评论家对价值变化方向的预测准确率只在随机水平附近，且随训练从 50.34% 降至 45.91%——训练越久反而越差，持续产生嘈杂的信用信号。
本文的目标是本文的核心目标是：在不增加任何额外 rollout 采样、树搜索或过程级标注的前提下，让 PPO 评论家学会正确跟踪价值沿推理轨迹的演化，从而产生更可靠的优势估计与信用分配。作者把问题凝练为 How can a critic better model and learn value evolution across successive states，并要求答案能作为标准评论家的即插即用替换：输入输出接口不变（仍逐位置输出价值、仍只用最终 0/1 结果做监督）、训练管线不变（仍走 GAE 与 PPO 裁剪目标），只在评论家的内部参数化上做文章，使改动可以直接迁移到现有 RLVR 训练框架（Slime、VERL）和各种可验证奖励任务（数学、Countdown、科学编程）上。
与已有工作不同的是，已有改进信用分配的两条主线都要付出额外代价：一是用蒙特卡洛续写或树搜索（如 VinePPO、TreeRL）为中间状态获得更准的价值，训练时需要海量额外采样；二是引入过程奖励模型或步骤级标注（如 Math-Shepherd、PRM）。另一支价值函数学习研究——Stop Regressing 与 HL-Gauss 的分类式价值、VAPO 的训练配方、SPPO 的序列级 bandit——改变了损失函数或训练流程，但评论家仍是逐位置独立预测完整价值。TPPO 的独特切入点是先从概率语义出发：在二值终端奖励下前缀价值就是续写成功率，逐 token 条件化在数学上构成贝叶斯更新，且在 log-odds 空间更新是加性的，即 $\mathrm{logit}\,V^\pi(s_{t+1}) - \mathrm{logit}\,V^\pi(s_t) = \log \frac{\Pr(a_t|s_t,R=1)}{\Pr(a_t|s_t,R=0)}$。利用这一加性结构，只需把评论家改成累积参数化就能让价值演化成为一阶建模对象——不添采样、不添标注，是结构层面的创新而非损失层面的修补。
核心方法
直觉上，推理过程中每写一个 token 都会改变最终答对的概率：有的步骤让成功概率大增，有的步骤几乎注定失败。既然前缀价值 $V^\pi(s_t)$ 就是「从这里续写下去最终答对」的概率，那么从 $s_t$ 到 $s_{t+1}$ 的转移天然是一个贝叶斯更新——把新见到的 token 当作证据，不断修正成功概率。论文证明这一更新在对数几率空间是简单的加法：$\mathrm{logit}\,V^\pi(s_{t+1}) = \mathrm{logit}\,V^\pi(s_t) + \Delta^\pi_{t+1}$，其中 $\Delta^\pi_{t+1}$ 是该 token 在成功与失败两种续写分布下的对数似然比。沿轨迹递归展开得到 $V^\pi(s_t) = \sigma(\sum_{i=1}^t c_i)$，即价值等于一串位置级标量的累积和过 sigmoid。TPPO 据此把评论家参数化为 $\hat V_t = \sigma(\sum_{i=1}^t f_\phi(s_i))$：每个位置只输出一个标量增量，逐步累加成价值 logits 再过 sigmoid 重建前缀价值；训练仍只用终点 0/1 结果做 BCE 监督，重建值照常送入 GAE 和 PPO 裁剪目标，策略侧完全不变。
核心创新是把价值演化从「隐式指望 MSE 回归顺带学出来」变成「由参数化结构直接保证可表达」。标准评论家每个位置独立输出完整价值 $\hat V_t$，相邻两个预测之间没有任何约束，模型要学出正确的 $\Delta \hat V_t = \hat V_{t+1} - \hat V_t$ 只能靠间接拟合，实证表明它连方向都学不对（符号准确率约 50%）。TPPO 的本质区别在于：贝叶斯恒等式（命题 4.1 与式 8）表明真值的演化在 log-odds 空间是加性的，因此把每个位置的标量输出定义为一个 logit 增量、把价值定义为累积和的 sigmoid，价值演化就从「待推断的派生量」变成了「一阶建模对象」——每个位置的输出直接就是价值变化的载体。与现有方法对比：VinePPO 等靠额外 MC 采样获取中间价值；过程奖励方法需要步骤标注或辅助奖励模型；HL-Gauss/Stop Regressing 把回归改成分类但保留独立预测结构；SPPO 干脆放弃 token 级价值改用序列级 bandit。TPPO 只动评论家参数化这一层，用终端结果监督即可，零额外计算与标注成本。
方法步骤详情
方法流程分四步。第一步，问题建模：把自回归生成视为 token 级 MDP，状态 $s_t = (x, y_{<t})$，奖励仅在末端给出 $r_T = R(x,y) \in \{0,1\}$，$\gamma = 1$，此时真值 $V^\pi(s_t) = \Pr(R=1 \mid s_t)$ 即续写成功率。第二步，累积参数化：评论家在每个位置输出标量 $f_\phi(s_i)$，位置 1 的输出作为初始 logit，其后输出作为增量，价值 logits 为 $\hat z_t = \sum_{i=1}^t f_\phi(s_i)$，重建价值 $\hat V_t = \sigma(\hat z_t)$；默认所有位置共享一个标量输出头（消融显示分离双头初始 logit 标准差 0.30，远大于共享头的 0.005，训练不稳定）。第三步，价值学习：用终端结果对重建值做 BCE 损失 $\mathcal{L}_V = -\frac{1}{|T|}\sum_{t}[R \log \hat V_t + (1-R)\log(1-\hat V_t)]$；论文推导出每个增量的梯度是后缀聚合信号 $\frac{\partial \mathcal{L}_V}{\partial \hat\Delta_i} = \frac{1}{T}\sum_{t \ge i}(\hat V_t - R)$，相邻增量梯度之差为 $\frac{1}{T}(\hat V_i - R)$，无需任何增量的直接目标。第四步，策略优化：把 $\hat V_t$ 代入 GAE（$\gamma=\lambda=1$ 时退化为 $\hat A_t = R - \hat V_t$），再用标准 PPO 裁剪目标更新，其余超参与标准 PPO 完全一致。
技术新颖性
技术新颖性体现在三点。其一，理论刻画新：论文首次把 LLM 推理中前缀价值的演化解释为贝叶斯更新，并证明其在 log-odds 空间的加性分解（命题 4.1、推论 4.2），为「评论家应该输出什么」给出概率语义——位置输出对应似然比，累积和对应成功概率。其二，参数化新：累积 logit 参数化把有序回归思想引入 RL 价值头，使 BCE 监督自动转化为位置相关、后缀聚合的增量梯度（式 48-49），缓解了稀疏终端奖励下所有位置共享同一回归目标导致的信用均一化问题。其三，实证归因严谨：通过固定 actor 的受控实验（Table 1）分离了损失函数与参数化的贡献——标准评论家从 MSE 换成 BCE 仅带来约 0.2 个百分点变化（50.51 到 50.70），而同样用 BCE 的 TPPO 累积参数化高出 2.01-2.80 个百分点；TPPO+MSE 变体反而早期即劣化，说明增益主要来自累积结构本身而非损失选择。这种「同损失比参数化、同参数化比损失」的双向消融设计在同类工作中较少见，使结论更可信。
实验结果
主实验覆盖数学推理、Countdown 与科学编程。数学推理（约 3 万条 Polaris 数据，8×H200，Slime 框架）：n=8 时，TPPO 在 Qwen3-4B-Base 上域内平均 41.6%（PPO 34.6%，+7.0 分），AIME24/25/26 达 18.5/18.4/18.5（PPO 仅 13.5/9.5/9.3）；Qwen3-8B-Base 上域内平均 45.9%（PPO 37.5%，+8.4 分），AIME 三项 25.8/22.3/20.5，且超过 GRPO、VAPO、SPPO，域外平均 69.7% 也高于 PPO 的 67.6%。n=1 时增益更大：Qwen3-8B-Base 达 44.9%（+7.5），Qwen3-4B 达 64.1%（PPO 54.0%，+10.1）。换模型家族同样有效：Llama3.2-3B-Instruct 上 TPPO 19.88 对 PPO 16.30（+3.58）。Countdown（Qwen2.5-Math-1.5B）：3-4 数字题 Pass@4 从 62.5 升至 67.1（+4.6），5 数字外推题从 61.3 升至 64.5（+3.2）。科学编程（Qwen3.5-9B）平均 +7.0，其中 LiveCodeBench v6 从 57.6 提到 73.1（+15.5），APPS 80.8（+8.5）。机制层面：固定 actor 受控实验中方向准确率 53.94% 对标准 BCE 评论家 51.14%；训练中价值变化符号一致性好于 PPO 3.9-7.4 个百分点；与 MC 参考优势的符号准确率提升 15.3-19.9 个百分点；AIME 上各位置 MAE 更低、价值准确率更高；训练动态上梯度范数更小、熵衰减更慢。消融：PPO+BCE 不及 TPPO，TPPO+MSE 早期即劣化，说明增益主要来自累积参数化；$\lambda \in \{1, 0.95, 0\}$ 下 TPPO 全面保持优势。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理域内（Qwen3-4B-Base，n=8） | 7 个域内基准平均准确率 (%) | 41.6 | PPO 34.6 | +7.0 |
| 数学推理域内（Qwen3-8B-Base，n=8） | 7 个域内基准平均准确率 (%) | 45.9 | PPO 37.5 | +8.4 |
| 数学推理域内（Qwen3-4B，n=1） | 7 个域内基准平均准确率 (%) | 64.1 | PPO 54.0 | +10.1 |
| 数学推理域外泛化（Qwen3-8B-Base，n=8） | ARC-C/AGI-Eval/BBH 平均 (%) | 69.7 | PPO 67.6 | +2.1 |
| LiveCodeBench v6 代码生成（Qwen3.5-9B） | 准确率 (%) | 73.1 | PPO 57.6 | +15.5 |
| Countdown（Qwen2.5-Math-1.5B，3-4 数字 / 5 数字外推） | Pass@4 (%) | 67.1 / 64.5 | PPO 62.5 / 61.3 | +4.6 / +3.2 |
| 价值演化方向预测（Qwen3-8B-Base，固定 actor） | 符号一致率 (%)，SNR > 1 | 53.94 | 标准评论家 + BCE 51.14 | +2.80 pp |
| 优势估计质量（Qwen3-8B-Base，训练后四个检查点） | 与 MC 参考优势的符号准确率增益 | +15.3 至 +19.9 pp | PPO | 95% bootstrap 区间均大于 0 |
局限与改进
作者承认的局限：实验规模最大只到 9B，未验证更大模型；任务限于数学、Countdown、科学编程等可验证奖励域，更广任务覆盖有待检验；MC 诊断只在 64 个 prompt 子集、每条回答 9 个锚点处估计，会漏掉区间内部的价值波动且受有限 MC 样本噪声影响；理论假设二值终端奖励与 $\gamma=1$，扩展到稠密或非二值奖励还需研究。我自己的观察：其一，即便用 TPPO，价值变化方向准确率也只有约 52-54%，仍接近随机水平，说明累积参数化是缓解而非解决价值学习难题；其二，贝叶斯推导假设 actor 固定，而训练中策略持续更新，$\pi_\theta$ 漂移会使增量偏离真实似然比，论文也明确指出恒等式不保证学到的输出恢复真实对数似然比；其三，Figure 7 显示 TPPO 的价值误差随推理进度仍在增大，长序列上的累积结构在后段可能积累误差；其四，评论家网络带来额外显存与计算开销，相对 GRPO 类无价值方法仍有成本劣势，论文未报告训练吞吐或开销对比。
独立分析的弱点
独立分析出以下弱点并给出改进方向。1) 二值奖励假设：BCE 监督与「价值=成功率」的解释都依赖 $R \in \{0,1\}$ 与 $\gamma=1$，面对过程奖励或连续打分时理论失效，可推广为 Brier/高斯似然版本或分位数式累积参数化。2) 累积和的长程误差传播：位置 $i$ 的输出影响其后所有重建价值，早期增量的小误差会被后续位置放大，且 Figure 7 显示误差随推理进度增大，可引入增量先验正则、方差约束或门控缩放来稳定。3) 固定策略假设与策略漂移：Bayes 恒等式中的似然比以当前 $\pi_\theta$ 为条件，on-policy 更新使价值目标非平稳，可研究带信任域的价值目标或对增量做 off-policy 校正。4) 信号强度有限：方向准确率仅约 54%，可与轻量 MC 锚点监督联合训练，或利用 $\lambda=0$ 时优势恰为局部价值变化的性质做更细粒度信用。5) 诊断覆盖窄：64 prompt、9 锚点的协议可能高估稳定性，应在更多 prompt 上在线评估区间内价值波动。6) 效率未报告：评论家额外计算与显存开销、与 GRPO 的吞吐对比缺失，落地需补充效率分析。
未来方向
作者提出或暗示的方向：把累积参数化扩展到稠密或非二值奖励（需重新推导更新结构）、验证更大规模模型与更广任务域、设计更精细的在线价值诊断协议。基于本文成果可自然延伸：1) 与过程奖励模型结合——TPPO 的位置级增量在理论上可解释为对数似然比，可用 PRM 蒸馏或正则化增量，把隐式信用显式化并可解释；2) 与分类式价值学习（HL-Gauss、Stop Regressing）正交组合，在累积参数化上再做分桶分类，两类增益可能叠加；3) 系统研究 $\lambda$ 与参数化的联合设计：论文证明 $\lambda=0$ 时优势恰为局部价值变化 $\hat\Delta V_t$，TPPO 结构应在此最有效，值得做完整的 λ 扫描与理论分析；4) 把学到的 $\hat\Delta_t$ 与步骤对错做相关性分析，构建无需人工标注的步骤评分器，反哺数据筛选与课程学习；5) 解释分离头为何不稳定（初始 logit 量纲与增量差异悬殊），引出更稳健的多头或归一化设计；6) 把加性 log-odds 结构迁移到对话策略、代码 agent 等长程信用分配场景，验证其超越单轮数学推理的普适性。
复现评估
复现条件较好。代码已开源（https://github.com/LINs-lab/TPPO），训练数据公开：数学用 Polaris 约 3 万条，科学编程用 Sciwalker 数据（8,178 主问题、37,820 子问题），评测全部为公开基准（AIME24/25/26、AMC、MATH-500、Minerva、OlympiadBench、ARC-C、AGI-Eval、BBH、SciCode、HumanEval 系列、LiveCodeBench v6、APPS），并用 Math-Verify 计分，评测协议细致（AIME/AMC 取 Avg@32、其余 Avg@4、温度 1.0、最大 24k token）。附录给出完整超参（actor 学习率 $10^{-6}$、critic 学习率数学 $4 \times 10^{-6}$/代码 $10^{-5}$、batch 64/128 prompts、固定种子 42 等）与框架（Slime/Megatron、VERL），MC 诊断协议（64 prompt、9 锚点、每锚点 128 条续写、约 590 万条样本、bootstrap 2000 次）也完全公开。算力门槛高：复现 8B/9B 主实验需多个 8×H200 节点，MC 诊断本身也很昂贵；1.5B Countdown 与 3B Llama 实验相对亲民。总体属「细节充分但算力密集」，单节点 8 卡团队可从缩小模型入手复现核心结论。
论文图表
面板 (a) 展示代表性回答：跨越错误结论 The only solution is $x=0$ 时 MC 估计的价值变化为 $\Delta V_{MC} = -0.992$，跨越正确步骤 Choose 2 of the remaining 4 时为 $+0.430$，而 PPO 评论家在这两个例子中都预测出符号相反的变化（如 $+0.036$）；面板 (b) 显示随着训练推进，评论家对价值变化方向的符号准确率从 50.34% 降至 45.91%，始终在随机水平附近且不断恶化。
这是全文的问题陈述：用具体数字证明标准 PPO 评论家连价值演化的方向都学不对，且训练不会自愈，直接引出「需要显式建模价值演化」的核心动机。
以「把评论家价值替换为 MC 估计」得到的参考优势为基准，衡量评论家优势估计的余弦相似度与符号准确率：首个检查点之后 TPPO 在两个指标上持续领先，后四个检查点符号准确率提升 15.3-19.9 个百分点。
回答 RQ3：价值演化跟踪的改善确实传导为更准确的信用分配，补全了「参数化 → 价值质量 → 优势质量 → 策略性能」的证据链。
共享头与分离头的输出统计：初始 logit 均值/标准差分别为 -0.0273/0.0052（共享）与 -0.8657/0.3016（分离），而增量统计两者接近（约 -0.0005 至 -0.0013，标准差约 0.002）——分离头的初始 logit 幅值和方差比共享头大两个数量级，解释了其训练不稳定。
为「为何默认共享输出头」提供定量证据，是理解实现细节与设计权衡的关键附录表格。