PACT：从信用分配到评论家对齐 PACT: From Credit Assignment to Critic Alignment
公理化刻画token级信用并证明唯一性，据此提出评论家对齐训练PACT
前置知识
信用分配
在强化学习后训练中，模型往往生成成百上千个 token 后才拿到一个标量结果奖励，信用分配研究如何把这个最终奖励拆解并归因到每个 token 或句段上，即回答"这个 token 该记多少功、记多少过"。它是优势估计与策略梯度的地基，不同估法（组均值基线、GAE 加权残差、蒸馏对数比）对应不同算法流派。
本文的核心贡献就是为信用分配给出三条公理并证明唯一表示定理，全文所有结论与算法设计都建立在这个概念之上。
GAE（广义优势估计）
用 TD 残差的指数加权和 $\hat{A}_t = \sum_{i \geq t} \lambda^{i-t} \delta_i$ 估计优势，参数 $\lambda$ 在"依赖 critic（低方差高偏差）"与"依赖真实回报（低偏差高方差）"之间折中。$\lambda=1$ 时退化为 $R - V_{t-1}$，中间 critic 估计误差恰好完全消去。
论文用信用稀疏性证明解释了为何 $\lambda<1$ 会失效而 $\lambda=1$ 更稳，并为 PACT 选定 $\lambda=1$，这是理解第 3.3 节与实验中 PPO 崩溃现象的关键。
RLOO 与 GRPO 组级基线
对同一 prompt 独立采样 $G$ 条响应，用其余 $G-1$ 条的平均奖励 $\bar{R}_{-i}$ 作为当前响应的基线（RLOO 的 leave-one-out），或用组均值（GRPO），优点是完全不需要训练 critic。基线定义在响应级，再广播到响应内每个 token 位置。
定理 3 证明 RLOO 的期望策略梯度与唯一 token 级信用完全一致，这解释了无 critic 方法为何有效，以及它与细粒度方法之间的统计效率差距。
On-Policy Distillation（OPD）
学生模型在自己生成的轨迹上训练，教师对每个 token 给出稠密信号 $A^{OPD}_t = \log \frac{q_t(T_t)}{p_t(T_t)}$，即师生对数概率比。已有工作证明该目标可代数重写为稠密 KL 约束强化学习，但并未说明这个信号与结果奖励 $R$ 之间的信用层面联系。
定理 2 证明在理想教师假设下 OPD 更新在期望上正比于唯一信用诱导的策略梯度，"教师即隐式 critic"是本文统一视角的重要一环。
重要性采样与测度变换
想用分布 $\mu$ 下的样本估计分布 $\pi$ 下的期望，需要乘密度比：$\mathbb{E}_{\pi}[R|\mathcal{F}_{t-1}] = \mathbb{E}_{\mu}[I_t R|\mathcal{F}_{t-1}]$，其中延展比率 $I_t = \prod_{k=t}^{\tau} \frac{\pi(T_k|\mathcal{F}_{k-1})}{\mu(T_k|\mathcal{F}_{k-1})}$。长轨迹下该比率方差很大，实践中常用截断或单 token 比率近似。
PACT 的 critic 修正目标 $I_t R$ 完全依赖这个恒等式支撑，理解它才能看懂 4.3 节为何一次额外前向就能让 critic 同步到新策略。
研究动机
LLM 强化学习后训练中，奖励几乎总是轨迹结束后才揭晓的一个标量（答案对不对、测试过没过），而参数更新却发生在每个生成的 token 上，粒度错位造成根本性的信用分配难题：最终结果该怎样分摊到几千个 token？更麻烦的是，信用至今没有公认的数学定义——GRPO/RLOO 用组均值当基线，GAE 用加权 TD 残差，OPD 用教师对数比，各家操作化方式互不相通。实际后果很具体：本文实验里 PPO 在 $\lambda=0.95$ 时四个数学基准平均仅 26.31%，训练中直接策略崩溃；调到 $\lambda=1.0$ 才回升到 59.71%，DeepSeek-R1 也独立报告过同样现象。论文给出理论解释：有界奖励下 token 级信用近似稀疏（$\mathbb{E}[\sum_i C_i^2|\mathcal{F}_0] \leq 1/4$），$\lambda<1$ 时 GAE 保留的中间 critic 误差 $(1-\lambda)\sum_i \lambda^{i-t}\epsilon_i$ 极易与真实信用同量级甚至将其淹没。此外标准 PPO 中 critic 永远落后 actor 一次更新，优势基于过时策略的价值差分，进一步扭曲信用。
本文的目标是目标分两层。理论层：把"信用"从算法相关的工程量提升为有公理基础的数学对象，提出三条正则性条件——完备性（信用之和解释奖励偏差 $\sum_i C_i = R - \mathbb{E}[R|\mathcal{F}_0]$）、前缀一致性（前缀累计信用不因未来采样而变）、中性性（下一 token 期望信用为零 $\mathbb{E}[C_i|\mathcal{F}_{i-1}]=0$）——证明满足它们的信用唯一存在且恰为条件奖励预测之差 $C_i = V_i - V_{i-1}$（鞅差序列），并以此统一解释 OPD、RLOO、GAE 三类现象。实践层：既然信用就是价值预测的差分，就必须让 critic 又准又同步，据此设计 PACT（Policy Aligned Critic Training）：Actor-then-Critic 更新顺序加重要性采样修正，让 critic 始终对齐最新策略，并用 BCE 取代 MSE 逼近真实价值，在数学推理与代码智能体基准上超越 GRPO、PPO 与 SAO。
与已有工作不同的是，切入点的独特性在于"公理化"三个字。此前所有与信用相关的量都是某一目标函数或算法构造的副产品：OPD 与稠密 KL 约束 RL 的代数等价、RLOO 的无偏性、GAE 的偏差方差权衡，都是各自独立证明的，没有人反过来问：如果把"合理的信用"应当满足的性质列出来，满足这些性质的信用是否唯一、形式是什么？本文不预设任何训练目标，只要求三条朴素正则性，就推出信用唯一为 $C_i = V_i - V_{i-1}$，且附录 C.2.3 证明三条缺一不可。这个表示像一块罗塞塔石碑，把离散的算法现象翻译成同一套数学语言：教师对数比在期望上正比于信用（解释 OPD 为何有效）、组基线的梯度期望等于信用梯度（解释 RLOO/GRPO 为何够用）、信用平方和与序列长度无关地有界（解释 GAE 对 $\lambda$ 为何敏感）。更重要的是它直接给出算法改进的处方——保护价值估计精度、消除策略-价值滞后——从而从定理一步步走到 PACT。这种"先公理后算法"的研究路线在 LLM RL 文献中相当少见。
核心方法
直觉很朴素：一个 token 的信用，就是"看到它之后我对最终奖励的预期修正了多少"，即 $C_i = V_i - V_{i-1}$，$V_i = \mathbb{E}[R|\mathcal{F}_i]$。论文先证明该量被三条公理唯一刻画，再展开到算法。其一，理想教师下的 OPD：教师分布 $q^\star_t = \arg\max_q \mathbb{E}_q[Q^\pi_t(a)] - \beta D_{KL}(q\|p_t)$，此时 OPD 更新正比于信用梯度——教师即隐式 critic。其二，RLOO：定理 3 证明 leave-one-out 基线的期望策略梯度与唯一信用完全一致，只是方差更大。其三，信用稀疏性（定理 4）：$R \in [0,1]$ 时 $\mathbb{E}[\sum_i C_i^2|\mathcal{F}_0] \leq 1/4$，|信用| 超过 $\epsilon$ 的 token 期望不超过 $1/(4\epsilon^2)$ 且与长度无关；代入 GAE 可见 $\lambda<1$ 时中间 critic 误差会盖过稀疏信用，$\lambda=1$ 只剩前缀误差 $-\epsilon_{t-1}$。据此 PACT 流程为：旧 critic 提优势 → actor 先行更新 → 新 actor 对同批 rollout 一次前向得重要性比率 → 以 $I_t R$ 为目标、BCE 损失训练 critic。
核心创新两条，互为表里。第一是唯一表示定理：把信用定义为同时满足完备性、前缀一致性、中性性的唯一对象 $C_i = \mathbb{E}[R|\mathcal{F}_i] - \mathbb{E}[R|\mathcal{F}_{i-1}]$，本质是把"奖励信息流"分解为鞅差序列——每步信用恰是该步新透露的奖励信息量，以往各种信用代理（GAE 残差、组基线、教师对数比）从此有了共同度量衡。第二是 PACT 的 Actor-then-Critic 依赖结构：标准 PPO 中 actor 与 critic 独立更新，第 $k$ 轮 critic 参数来自第 $k-1$ 轮数据，价值差分基于过时策略；PACT 在 actor 更新后用新策略对同一批轨迹再做一次前向，把 critic 目标从 $R$ 换成 $I_t R$，依据测度变换 $\mathbb{E}_{\pi}[R|\mathcal{F}_{t-1}] = \mathbb{E}_{\mu}[I_t R|\mathcal{F}_{t-1}]$，BCE 最优解自动落在更新后策略的价值上。与已有方法的本质区别：PACT 不设计新的优势估计器，而是修复"价值输入必须来自当前策略"这个此前被忽视的前提，且同步成本近乎免费。
方法步骤详情
PACT 单次迭代分五步。第一步，轨迹采集：用当前策略 $\pi_k$ 采样 512 条轨迹；数学任务在 DAPO-Math-17k 的 3200 题子集上经 OpenCode agent 交互，代码任务在 OpenSWE 上经 Codex agent（Harbor）执行，上下文 128k，单轮生成上限 64k，奖励分别为答案正确性与验证器判定。第二步，actor 更新：每 prompt 采 8 条、共 64 prompts、优化 batch 128；数学任务用 DIS 且重要性比率限 [0.7, 6.0]，代码任务用 PPO clip；优势由当前未更新的 critic 给出。第三步，重要性修正：actor 更新后用 $\pi_{k+1}$ 对同一批 rollout 做一次额外前向，结合更新前缓存的 log 概率，取 detach 的当前 token 比率 $\frac{\pi(T_t|\mathcal{F}_{t-1})}{\mu(T_t|\mathcal{F}_{t-1})}$ 替代方差爆炸的完整延展比率 $I_t = \prod_{k=t}^{\tau}\pi/\mu$。第四步，critic 训练：sigmoid 参数化 $\hat{V}_{\phi,i} = \sigma(z_{\phi,i})$，最小化 $\mathbb{E}[-I_t R \log \hat{V} - (1 - I_t R)\log(1 - \hat{V})]$，比率超出 [0, 6] 的 token 掩掉；最优解恰为新策略价值 $V^{\pi}_{t-1}$。第五步，循环。
技术新颖性
新颖性体现在三方面。理论新颖性：首次在 LLM RL 语境下对信用分配做公理化刻画，唯一性定理连同三条公理的必要性证明（附录 C.2.3 构造反例说明缺一不可）是全新的；OPD 的"隐式 critic"结论超出已有工作只证到"目标函数代数等价"的层次，首次建立蒸馏信号与结果奖励信用的联系。工程新颖性：Actor-then-Critic 顺序在主流 LLM RL 实现里几乎不存在——工程惯例恰恰是独立更新以省时间，PACT 用"一次额外前向 + 单 token 比率"把策略同步成本降到近乎免费；off-policy 价值修正思想虽在经典 RL（如 retargeted Q-learning）中存在，但引入 LLM actor-critic 并与 BCE 组合是新做法。实证新颖性：BCE 与 MSE 的受控预训练（同一初始化、同一数据、固定策略）给出干净证据；论文同时诚实指出 $R \in [0,1]$ 时两者最优解相同（$\arg\min$ 均为 $V^{\pi}_i$），故 BCE 收益来自优化动力学（收敛更快、loss 更低、价值分离度 $\Delta_{\pm}$ 更大）而非估计目标本身，把"改什么"与"为何有效"分开论证。
实验结果
数学推理（Qwen3.5-4B，Avg@16）：PACT 四个基准全第一——AIME 2025 达 83.12%（GRPO 76.50%、PPO $\lambda$=1.0 66.04%、SAO 51.25%、基座 46.67%），AIME 2026 达 85.21%（GRPO 74.78%），BeyondAIME 达 51.69%（GRPO 41.81%），HMMT Nov. 2025 达 71.46%（GRPO 63.19%），平均 72.87%，领先 GRPO 8.80、PPO 13.16、SAO 21.73 个百分点。有力旁证是 PPO $\lambda$=0.95 平均仅 26.31% 且训练崩溃，与定理 4 对 $\lambda<1$ 时 critic 误差危害的预测吻合。代码智能体（Qwen3.6-35B-A3B，SWE-bench Verified pass@1）：PACT 67.4%，高于 GRPO 65.4%、PPO 65.0%、SAO 63.6%、基座 60.8%，但领先幅度（+2.0pp）明显小于数学任务，提示收益随基座增强递减。消融：PACT w/o IS 平均 67.74%，完整 PACT 72.87%，重要性修正贡献 +5.13pp 且四基准全升、训练更稳；图 3 显示 BCE critic 在两个规模上 loss 均低于 MSE 组，价值分离度 $\Delta_{\pm}$ 更大（35B 组约 0.50）。
局限与改进
作者明示的局限：实践中不用精确延展比率 $I_t = \prod_{k=t}^{\tau}\pi/\mu$，而是 detach 的当前 token 比率加 [0, 6] 掩码，论文自认只是"稳定而廉价的替代"，critic 未严格收敛到新策略价值；定理 2 依赖"理想教师"假设（KL 正则奖励改进意义下的最优教师且更新期间固定），真实教师不满足；定理 4 要求奖励有界且可归一到 [0,1]。我补充的观察：第一，代码任务领先 GRPO 仅 2.0pp、相对基座 60.8% 提升 6.6pp，且 SAO 在编码上反而低于 GRPO，基线强度与调参公平性需更多独立评估；第二，实验与 Qwen 系模型、DAPO-Math-17k 子集、OpenSWE 强耦合，未验证过程奖励、稀疏惩罚或多轮长程任务，而框架整体假设 $R \in [0,1]$；第三，未报告多种子方差或置信区间，Avg@16 与 pass@1 差异的显著性不明；第四，掩码 [0, 6] 系统性丢弃高比率 token，策略更新剧烈的轮次可能引入选择偏差；第五，critic 额外前向的显存与时间开销缺少量化。
独立分析的弱点
第一，IS 修正近似粗糙：完整延展比率方差随长度爆炸，只取当前 token 比率又等价于假设"未来分布不变"，忽略后续策略偏移；[0, 6] 掩码丢极端样本带来选择偏差。改进方向：按回合段聚合比率、对延展比率做信任域截断，或用控制变量降方差。第二，同步频率不足：critic 只在整轮 actor 更新后对齐一次，一轮内有四个 minibatch，后几个 minibatch 的优势仍基于旧价值。改进方向：minibatch 粒度增量前向，或维护轻量 EMA 价值头实时跟随。第三，奖励模型受限：$R \in [0,1]$ 排除过程奖励、负惩罚与多目标加权奖励，归一化选择也未讨论敏感性。改进方向：把公理推广到 $R = \sum_t r_t$ 并重述中性性。第四，BCE 端点数值行为：单个实现的 $I_t R$ 可超出 [0,1]，端点损失按极限趋于无穷，极端 logit 下可能不稳，可用 label smoothing 或目标 clip 缓解。第五，基线覆盖不足：未与 DAPO、VAPO 等价值敏感型方法对比，PACT 的相对位置可能被高估。
未来方向
作者方向：把唯一表示推广到更多粒度与更一般奖励结构（推论 1 已给段级聚合，过程奖励是自然下一步）；研究理想教师假设能松弛到什么程度、真实教师与隐式 critic 差距如何度量；进一步分析信用稀疏性对优化动力学的含义。基于本文成果可延伸：其一，定理 4 的误差界可直接用于构造自适应 GAE 系数——按响应长度与 critic 质量动态选 $\lambda$，有望超越 SAO 的长度启发式；其二，"教师即隐式 critic"提示可用信用理论反推蒸馏教师的最优温度、$\beta$ 与数据配比；其三，Actor-then-Critic 同步思想可移植到异步/流式 RL 系统，让 critic 后台持续刷新；其四，信用稀疏性启发"稀疏感知"critic 设计，只对 |信用| 大的 token 施加拟合压力；其五，与 RLHF 偏好奖励、噪声 RAG 奖励结合，检验 BCE critic 对重尾目标的鲁棒性；其六，把唯一信用当诊断工具，量化现有算法偏离理想信用信号的程度。
复现评估
开源情况：代码位于 github.com/AllSpark-Research/PACT，理论证明完整收录于附录（唯一性及必要性、BCE 最优性、IS 修正的 logit 梯度分析、训练曲线），透明度较高。数据与模型：数学任务用 DAPO-Math-17k 的 3200 题子集（优先挑基座 pass@1 失败的题），代码任务用 OpenSWE，模型为 Qwen3.5-4B 与 Qwen3.6-35B-A3B，训练框架 Dressage 基于 slime 构建，agent 侧依赖 OpenCode/Codex/Harbor。算力门槛：每轮 rollout 512 条、上下文 128k、单轮生成 64k，35B-A3B 级 agentic RL 需要大型 GPU 集群，个人复现 SWE-bench 实验困难；4B 数学实验相对可达但仍是数天级多卡训练。评测成本：Avg@16 每题采样 16 次，SWE-bench 需运行验证器，中等偏贵。风险点：依赖较新的模型版本与专用框架，沙箱与工具调用格式细节若有出入结果会漂移。总体：理论部分零算力可核验，完整复现属中高难度。
论文图表
