后训练中被忽视的免费午餐：LLM 智能体的进程优势

从 RL 后训练中提取隐式优势函数，无需额外训练即可评估 agent 轨迹质量

前置知识

Process Reward Model (PRM)

进程奖励模型是一种评估生成过程质量的模型，不同于仅在最终结果上打分的 Outcome Reward Model。PRM 为推理或决策轨迹中的每个中间步骤提供评分，实现细粒度的信用分配。在数学推理任务中，PRM 可以逐步评估推理链的正确性，为训练时提供更精准的监督信号，也能在推理时帮助模型选择更好的推理路径。

本文的核心目标是解决为 LLM agents 构建 PRM 的难题，因此理解 PRM 的概念和作用是理解本文研究动机的基础

Advantage Function

优势函数是强化学习中的关键概念，定义为 A(s, a) = Q(s, a) - V(s)，其中 Q(s, a) 是动作值函数，表示在状态 s 采取动作 a 后的期望累积回报，而 V(s) 是值函数，表示在状态 s 下按照当前策略的期望累积回报。优势函数衡量了在特定状态下采取特定动作相对于该状态下平均动作的质量，它告诉我们在状态 s 下，动作 a 是否比通常选择的动作更好或更差。

本文的核心理论贡献是证明从 RL 后训练中可以提取出精确的优势函数，即'进程优势'，这是理解整个方法的理论基础

KL 正则化的强化学习

KL 正则化的强化学习是一种将策略保持在参考策略附近的训练方法。目标函数为 max J(pi_theta) = max E[a_t ~ pi_theta(|s_t)] sum_t [r(s_t, a_t) - beta log (pi_theta(a_t|s_t) / pi_ref(a_t|s_t))]，其中 beta 是正则化系数，pi_ref 是参考策略（通常是预训练或 SFT 检查点）。这种约束防止策略偏离太远，避免了灾难性遗忘，并且有理论上的最优解。

本文的理论推导建立在 KL 正则化 RL 的基础上，论文证明在这种设置下，对数概率比恰好等于最优优势函数

研究动机

为 LLM agents 构建进程奖励模型极其困难，原因在于三个核心问题。首先是长期交互：agent 轨迹可能跨越数百个步骤，涉及多轮与工具、网页、代码执行环境的交互，收集如此长轨迹的步骤级人工标注成本高到不可行。其次是不可逆动作：agent 环境中的操作如发送邮件、删除文件等不可逆转，这阻止了传统蒙特卡洛估计所需的回溯和重复采样。最后是随机环境反馈：用户响应、工具输出、环境反馈都引入随机性，使得基于确定性假设的方法失效。即便能够针对特定任务训练 PRM，它们在不同任务或环境间泛化能力很差。论文指出结果是一个明显的悖论：最需要进程级评估的 agents 正是那些最难构建 PRM 的系统。

本文的目标是本文的具体目标是展示强化学习后训练已经免费编码了一个进程级信号，可以直接用于推理时间评分，无需任何额外的奖励模型训练。论文希望证明从 RL 训练的策略和其参考策略的对数概率比可以构成一个理论上基础的每步进程度量，称为'进程优势'。这个目标不仅是为了提供一种新的评估方法，更是为了开辟一个新范式：从已经存在的后训练产物中提取有价值的信号，而不是投入大量资源构建专门的奖励模型。

与已有工作不同的是，本文的独特切入角度在于不从奖励建模的角度解决问题，而是发现后训练过程本身已经包含了所需的信号。与之前依赖确定性文本推理的隐式 PRM 工作不同，本文处理的是涉及随机转换和外部交互的 agent 环境。论文指出之前的工作如式 (3) 的简洁形式 r(s_t, a_t) = beta log (pi*(a_t|s_t) / pi_ref(a_t|s_t)) 依赖于确定性转换，当 agent 收到随机观察时就失效了。Remark 1 展示了在随机转换下会出现额外的价值函数项 delta_t = V*(s_t) - E[s_{t+1} ~ f(|s_t,a_t)][V*(s_{t+1})]，这些项不会抵消。论文的关键洞察是将目标从恢复绝对奖励 r(s_t, a_t) 转移到恢复优势函数 A(s_t, a_t)，后者在随机 MDP 下有非常简洁的形式。

核心方法

方法整体思路基于一个简单的直觉：强化学习训练过程本身已经'知道'什么是好的动作，这种知识编码在策略分布中。如果在同一个状态下，RL 训练的策略比参考策略更偏好某个动作（更高的概率），那么这个动作很可能就是更好的动作。从技术上讲，方法基于 KL 正则化的强化学习理论。在随机马尔可夫决策过程下，论文证明最优策略 pi* 和参考策略 pi_ref 的对数概率比恰好等于最优优势函数：A*(s, a) = Q*(s, a) - V*(s) = beta log (pi*(a|s) / pi_ref(a|s))。这个优势函数衡量了在状态 s 下采取动作 a 相对于平均动作的相对优劣，是一个状态归一化的统计量。在实际实现中，需要做出三个设计决策：指定策略、将每令牌优势聚合成进程级分数、表示令牌概率。

核心创新点是将奖励建模问题转换为优势函数恢复问题。在确定性 MDP 下，之前的工作发现对数概率比可以恢复隐式奖励，但在随机 agent 环境中这个结果失效了，因为会出现额外的价值函数项。论文的突破是意识到优势函数的定义本身就隔离了随机性——A(s, a) = Q(s, a) - V(s) 通过减去状态价值 V(s)，已经考虑了状态的固有难度。在随机转换下，对数概率比恰好恢复最优优势函数，如 Proposition 1 所述。这与之前依赖确定性推理设置的隐式 PRM 方法有本质区别。此外，Proposition 2 扩展了方法的适用范围，证明即使使用基于裁剪的代理目标（如 PPO 的裁剪）而非显式 KL 惩罚的算法，也能推导出隐式的 KL 约束，因此进程优势适用于几乎所有主流的后训练管道。

方法步骤详情

方法步骤的完整描述如下。第一步是指定策略：pi* 可以是任何通过 KL 正则化或基于裁剪的 RL 目标训练的策略模型，涵盖今天使用的大部分主流后训练管道。参考策略 pi_ref 的选择取决于获得 pi* 所采用的 RL 管道：它可以是 RL-Zero 设置中的预训练基础检查点、标准单阶段 RL 中的 SFT 检查点，或在线迭代 RL 中上一轮的策略。关键考虑是 pi_ref 应该既不太远也不太近于 pi*。如果太远，对数比率会被通用分布差异主导而非任务相关区分；如果太近，信号不足以区分好和差的动作。第二步是进程优势聚合：由于式 (6) 在每个位置 t 产生令牌级优势 A*(s_t, a_t)，需要聚合策略来获得适合每个应用的步骤级和轨迹级分数。Table 1 列出了自然选择：简单求和产生标准加性轨迹优势，平均产生长度归一化变体防止长轨迹得分更高。还可以基于知识注入归纳偏差实现位置加权优势，或使用极值令牌优势捕捉子轨迹内的最差或最佳情况令牌优势。第三步是表示令牌概率：式 (6) 的简洁实现是直接使用 pi*(a_t|s_t) 和 pi_ref(a_t|s_t)，但纯令牌概率在 RL 期间往往嘈杂且不稳定，因此论文也探索了 top-k 平均令牌概率变体。

技术新颖性

技术新颖性体现在多个维度。理论方面，论文首次在随机 MDP 下建立了隐式奖励表述的理论基础，这是之前工作仅在确定性推理设置下研究的扩展。实践方面，之前的工作主要利用隐式奖励作为训练时间目标进行策略优化，而本文探索了它们作为推理时间评分信号的潜力，这是一个被忽视的应用方向。方法方面，进程优势是免注释的、领域无关的，作为标准 RL 后训练管道的副产品可用，这与需要大量人工标注或任务特定训练的传统 PRM 形成鲜明对比。实验方面，论文在五个 agent 基准测试和四个模型家族上验证了进程优势，覆盖了三种实际推理时间应用：测试时间扩展、不确定性量化和失败归因，而之前的工作主要关注数学推理任务。最独特的是，进程优势证明了在没有任何任务特定训练的情况下，可以匹配甚至超越专门训练的奖励模型。

**Figure 1**: Framework overview. (a) We derive an optimal advantage function from an RL-trained policy and its reference policy, which can (b) score the LLM agent trajectories at both the step and trajectory levels without dedicated reward model training.

实验结果

论文的核心发现是在所有实验设置下，进程优势始终优于基于置信度的基线，并且尽管不需要任务特定训练，还是超越了专门的训练奖励模型。在测试时间扩展的 Table 2 中，进程优势通过 best-of-8 采样提升任务成功率，平均显著超过基于训练的方法和基于置信度的方法，在 Gemma4-4B 上达到 15.5% 的提升，在 Qwen3.5-9B 上达到 11.3% 的提升。值得注意的是，它在高温度探索轨迹有益的任务中一致优于基线方法，如 WebShop 和 tau 2-Airline。论文假设最优优势信号偏好平均和上限都高的轨迹设置，这与定理相关。Table 12 显示它甚至超越 AgentPRM-7B，一个专门在下游任务上训练的模型。在不确定性量化的 Table 3 中，进程优势预测轨迹级成功或失败的 AUROC 显著高于所有基线，包括预训练 PRM 和强大的专有 LLM-as-a-Judge 基线 Sonnet-4.6。在 tau 2-Airline 上，Gemma4-4B 达到 0.865 AUROC，远超 WildReward-8B 的 0.312 和 Self-Certainty 的 0.840。在失败归因的 Figure 2 中，进程优势在 Who & When 基准上定位多智能体系统中错误步骤的表现接近专门为此任务训练的 AgenTracer，在 Hand-Crafted split 上与之竞争。这些结果在不同模型家族和基准测试中一致成立，表明进程优势捕获的信号稳健且广泛有用。

**Table 1**: Sub-trajectory advantage aggregation over a set of consecutive token indices I.

**Table 2**: Test-time scaling through best-of-8 sampling. We compare reward scoring methods across four benchmarks and two LLM backbones, reporting the success rate (%) of the selected trajectory.

**Table 3**: Uncertainty quantification for trajectory monitoring. We compare scoring methods across four LLM backbones on tau 2-bench Airline and Retail domains to predict an agent's success on each model's greedy-decoding trajectory with trajectory-level scoring, measured by AUROC.

**Table 4**: Uncertainty quantification on trajectories generated by a different policy. Gemma4-4B as a reward model scoring trajectories produced by different behavior policies on tau 2-Airline. Trajectory-level AUROC over success prediction (higher is better).

**Table 5**: Progress advantage and its ingredients on UQ. Method Avg. Rank

**Figure 2**: Who & When step-level accuracy. We predict when the agent system makes a decisive error. SC denotes Self-Certainty, and the dashed line denotes AgenTracer, which is specifically trained on this.

**Figure 3**: Qualitative analysis on token-level signals. Progress advantage effectively rewards actions specifically helpful to achieve the downstream goal, whereas the policy log probability does not.

**Figure 4**: Combinations of token and step aggregation strategy for progress advantage. The aggregation across token and step advantages affects the effectiveness of progress advantage, and each downstream task and model shows quite a different flavor in the aggregation strategy.

**Figure 5**: Varying reference policy. We merge Qwen3.5-9B-Base with Qwen3.5-9B in the weight space and use it as pi_ref in our progress advantage for tau 2-Airline UQ.

查看结构化数据

任务	指标	本文	基线	提升
BFCLv4-MT (Gemma4-4B)	Best-of-8 Success Rate (%)	19.0	Greedy Decoding 19.0, Mean-of-N 17.5, WildReward-8B 20.0, Self-Certainty 15.0	与 Greedy Decoding 持平，优于 Self-Certainty 4个百分点，与训练的 WildReward-8B 相当
WebShop (Gemma4-4B)	Best-of-8 Success Rate (%)	45.0	Greedy Decoding 32.0, Mean-of-N 41.6, WildReward-8B 41.0, Self-Certainty 34.0	优于 Greedy Decoding 13个百分点，优于 WildReward-8B 4个百分点
tau 2-Airline Uncertainty Quantification (Gemma4-4B)	AUROC	0.865	WildReward-8B 0.312, ThinkPRM-7B 0.478, Self-Certainty 0.840, DeepConf Tail 0.581	显著优于所有基线，特别是训练的 PRM 模型
Who & When Hand-Crafted Split	Step-level Accuracy	接近 AgenTracer（专门训练的基线）	AgenTracer（专门训练）	无需任务特定训练就接近专门方法的性能

局限与改进

论文承认的局限性包括依赖公开可用的策略对，大多数模型提供商不发布中间检查点，限制了可用策略对的范围。论文也分析了参考策略选择的影响，指出如果参考策略与行为策略太远或太近，进程优势的效用会下降。Table 5 证实仅使用其中一个策略（log pi*(a|s) 或 log pi_ref(a|s)）不如对比两者更可靠。我观察到的其他局限包括：方法的适用性假设模型有 RL 后训练阶段，一些模型可能只通过 SFT 或 DPO 训练；计算开销需要同时运行两个模型来获得对数概率，这增加了推理成本；令牌概率的嘈杂性可能影响稳定性，虽然论文探索了 top-k 平均变体但没有完全解决这个问题；聚合策略需要根据应用调整，Figure 4 显示不同任务偏好不同的聚合组合，这增加了使用复杂性。此外，论文主要验证了相对较小的模型（4B-14B），在更大模型上的表现尚未充分验证。

独立分析的弱点

独立分析的弱点包括：首先，方法假设参考策略与行为策略的距离适中，但在实践中，这个最佳距离可能因任务而异，而且缺乏自动选择最佳参考策略的机制。Figure 5 显示策略合并可以帮助，但需要探索更多合并方法如 TIES 以获得更稳健的性能。其次，令牌概率的嘈杂性问题可能影响稳定性，尤其是在处理工具调用字符串等低频令牌时。Figure 3 显示纯策略对数概率对工具调用字符串分配低分，虽然进程优势通过参考策略的偏移效果缓解了这个问题，但更根本的解决方案是探索更稳定的概率表示方法，如温度缩放或集成方法。第三，聚合策略的启发式性质：论文发现不同任务偏好不同的聚合组合，但目前选择仍基于经验，缺乏理论基础来自动选择最佳聚合策略。可以研究基于任务特性的自适应聚合方法。第四，对检查点的依赖：如果模型提供商不发布中间检查点，方法无法应用。可以研究是否可以从单个检查点中提取类似信号，例如通过内部探针或通过分析注意力模式。

未来方向

作者提出的未来方向包括分析进程优势的特性，为实际采用提供实用指导，这些在论文的 4.5 节有部分体现。基于成果可以延伸的方向包括：探索进程优势在更多 agent 应用中的使用，如实时监控、自动纠错和主动学习；研究进程优势与传统 PRM 的结合，例如用进程优势初始化 PRM 训练或作为正则化项；将进程优势扩展到非 RL 训练的模型，例如 DPO 或其他对齐方法，需要研究类似的理论表述；探索进程优势在多模态 agents 中的应用，如处理图像、视频的 agents；研究进程优势的在线更新机制，使 reference policy 可以动态调整以适应当前任务分布；分析进程优势与其他评估信号（如困惑度、人类反馈）的关系，探索多信号融合方法；在实际部署中验证进程优势的实用性，例如在真实的 customer service 或 coding assistant 场景中。最有前景的方向可能是探索进程优势作为训练信号的使用，而不仅仅是推理时间评估，这可能开启无需显式奖励的新的 RL 范式。

复现评估

论文的复现性评估：开源情况方面，论文没有明确提到代码或数据开源，但实验使用了公开可用的模型（Gemma4、Qwen3.5/3、Olmo3）和基准测试（BFCLv4-MT、WebShop、AgentDojo、tau 2-bench、Who & When），这有利于复现。数据方面，所有基准测试都是公开的，论文在 Appendix B 中提供了完整的模型对列表。算力方面，实验涉及在多个基准测试上评估多个模型，每个任务生成多个轨迹（如 best-of-8 需要 8 倍的推理），需要相当大的计算资源，但不是不可承受的。难度方面，理论推导的复现相对简单，只需要实现对数概率比的计算和聚合策略。实验复现的主要挑战是获取所有模型和正确设置每个基准测试的评估协议。论文在 Appendix B 和 C 中提供了额外的实验细节，包括超参数设置和更多结果，这有助于复现。一个潜在的难点是令牌概率的提取可能需要访问模型的 logits，一些 API 可能不提供这个信息。总体而言，复现难度中等，主要挑战是计算资源和对模型 API 的访问。

后训练中被忽视的免费午餐：LLM 智能体的进程优势 Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents