各奖励归其相关 token：多奖励强化学习中的奖励特定 token 级信用分配 Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL

完整流程分七步。第一步采样：每个 prompt $P_0$ 从 $\pi_{\theta_{old}}$ 采 $G$ 个响应（text-to-SQL 与指令遵循 $G=8$，工具调用 $G=4$）。第二步打分：$K$ 个验证器给出 $r_1^{(j)},\dots,r_K^{(j)}$，例如 text-to-SQL 是 format/executable/execution 三个 0/1 奖励，指令遵循每条约束一个 0/1 奖励。第三步组内标准化：$A_k^{(j)}=(r_k^{(j)}-\mu_k)/(\sigma_k+\epsilon)$，$\mu_k,\sigma_k$ 是该奖励在 $G$ 个响应上的均值与样本标准差。第四步构造上下文：$P^{all}=P_0\oplus Z_{K_x}$，$P^{\neg k}=P^{all}$ 删去 $Z_k$，信息块 $Z_k$ 拼在用户消息后、空行分隔——text-to-SQL 的 $Z_k$ 是格式要求、该响应自己的 SQLite 报错、参考查询；工具调用是格式要求与参考调用列表；指令遵循的约束本就在 prompt 里，$P^{all}$ 就是原 prompt、$P^{\neg k}$ 删掉一条约束。第五步自回放：只对组内取值有变化的奖励回放（实测 12%–21% 的响应-奖励对需要回放），用 $\pi_{\theta_{old}}$ 前向读出 $p^{all}_t$ 与 $p^{\neg k}_t$，在完整词表上算 $q_{k,t}=JS(p^{all}_t\|p^{\neg k}_t)/\ln 2$。第六步加权：$w_{k,t}=(1-\beta)+\beta\,q_{k,t}/\bar q_k$，每响应权重平均为 1，任何 token 至少保留 $1-\beta$ 的份额。第七步合并更新：$S_t^{(j)}=\sum_k A_k^{(j)}w_{k,t}^{(j)}$，批内重缩放 $A_t^{(j)}=S_t^{(j)}/\mathrm{std}_B(S)$ 后进入 clip 目标。训练细节：$\beta_n=\beta\cdot(3u^2-2u^3)$、$u=\min(n/N,1)$ 做 warm-up；重分配部分用 $s=\min\big(1,\sqrt{\sum_j T_j(S^{(j)})^2/\sum_t(R_t^{(j)})^2}\big)$ 封顶，保证 token 优势二阶矩不超过均匀分配的 2 倍。

技术新颖性体现在四个层面。概念层面：首次在多奖励 RL 中把『奖励之间的权重』与『奖励到 token 的分配』分离成两个独立问题，并系统对比（Table 8）指出 SAW、DARA、DVAO、SA-MRPO、GD2PO、RVPO 全部只作用于响应级、token 仍均分，MRTPO 的改动维度与它们正交可叠加。度量层面：不需要任何 token 级监督，用删信息回放的 JS 散度定义相关性——这是一种因果敏感性分析（leave-one-out），而且在整个词表上比较分布而非只看被采样 token 的概率，因此能捕捉『概率质量在候选间移动但采样 token 不变』的情况。工程层面：零额外采样，回放复用 $\pi_{\theta_{old}}$ 与已采样响应，每个奖励只多一次前向；只回放组内有方差的奖励-响应对（12%–21%），训练步只慢 10%–20%，成本控制精细。稳健性层面：权重保底 $1-\beta$、重分配二阶矩封顶、$\beta$ warm-up 三重方差控制，说明作者明确意识到相关性估计的噪声风险。相比同期 token 级工作 CoRT（去掉整个 rubric 回放、对聚合优势重加权），MRTPO 的 reward-specific 是质的不同：Table 5 中『联合回放共享一个 profile』的变体只有 72.56、明显低于逐奖励回放的 73.15，直接证明每奖励独立分配是增益来源。

弱点一：相关性度量是敏感性而非责任。删除 $Z_k$ 后预测变化大的 token 只是『依赖该信息』，不一定是『造成奖励增减的原因』——比如模型可能在正确列上对参考查询敏感、却在真正出错的 join 条件上不敏感。改进方向：引入反事实回放，把 $Z_k$ 替换成『修正后的信息』（如正确的参考查询），看哪些 token 的预测会因此被修复，用预测修复量而非预测变化量定权重。弱点二：静默退化。若模型对验证器信息不敏感（弱模型、或信息在上下文中大量冗余重复），$q_{k,t}$ 整体趋零，方法无声地退回 GDPO。改进方向：把组内 $q$ 分布作为训练诊断信号监控，对持续低敏感的奖励自动回退到其他信用分配方案或加大 $\beta$。弱点三：回放与采样的条件不一致。$P^{all}$ 包含全部信息块而采样时的 prompt 未必有（工具调用场景把参考调用列表加进上下文相当于轻微换了任务），相关性估计建立在偏离策略分布的条件下。改进方向：统一在采样时就把 $Z_{K_x}$ 放入 prompt（指令遵循已是这样做的），或用重要性加权校正条件差异。弱点四：负优势集中风险。把大额惩罚（Figure 1 中的 $-2.15$）集中到少数 token 可能造成局部策略坍缩、损害探索。改进方向：对负优势使用更小的有效 $\beta$，或按 token 熵自适应调节分配强度，并监控训练中的熵曲线。弱点五：$Z_k$ 模板需人工设计，限制了即插即用。改进方向：用 LLM 从验证器原始输出（报错栈、diff、约束列表）自动生成信息块，并验证自动生成与人工模板的相关性质量差异。

作者提出的方向：把方法验证推广到更大模型（当前只有 1.5B–7B）；处理由 LLM 判分的奖励（如 AdvancedIF 的人工 rubric 项），看其判分信息能否写成有效的 $Z_k$；自适应地按任务甚至按奖励选择 $\beta$（Table 6/7 已显示最优值因任务而异）。基于本文成果可以自然延伸的方向：一是把 leave-one-out 回放距离当作廉价的过程级信号，与过程奖励模型或 VinePPO 结合，替代昂贵的蒙特卡洛估计；二是扩展到多步 agent 轨迹，把环境反馈（报错、工具返回）当作 $Z_k$，做长 horizon 的步级信用分配；三是与更激进的响应级聚合（如 RVPO 的 soft-min）正交叠加，系统研究『重加权 × 重分配』的交互；四是给出理论分析——JS 敏感性权重下策略梯度的偏差与方差性质，以及重分配封顶 $s$ 与训练稳定性的关系；五是利用相关性权重做数据选择与 curriculum（哪些响应值得回放、哪些奖励在该阶段有信息量）；六是监控熵与多样性，确认负优势集中不损害探索，必要时引入熵正则；七是把方法用于偏好类不可验证奖励，探索用成对比较信息构造 $Z_k$ 的可能性。

复现条件较好。代码已开源（github.com/zhaihaotian/MRTPO），有项目页。训练数据全部公开：Spider 训练集（剔除 3 条参考不可执行与 82 条超 4096 token 的 prompt 后剩 6915 条）、HIR-16K 前两个子集（6998 条 prompt、43496 条约束）、RLLA（3920 条）。附录 B 给出完整超参数表：AdamW（$\beta_1=0.9$、$\beta_2=0.999$）、学习率 $10^{-6}$、rollout 温度与 top-p/top-k、clip 区间（如指令遵循 $[0.2,0.27]$）、每任务训练步数（100/300/100）、硬件（text-to-SQL 8×H20、指令遵循 8×H200、工具调用 4×A100）；附录 C 给出全部任务的 $Z_k$ 文本块模板原文；附录 D 给出 JS 散度的完整词表计算、smoothstep warm-up 公式与重分配封顶公式 $s$。算力门槛中等偏下：最小配置 4 张 A100 训 1.5B 模型 100 步即可复现工具调用实验；text-to-SQL 需要 8 张 H20（约相当于 8×80GB 卡）训 3B/7B 各 100 步。结果报 3–5 个随机种子并附标准差，可信度高。复现难度评估为中低：方法本体只是 GDPO 之上加回放与加权，逻辑清晰、伪代码完备（Algorithm 1）；主要风险在于基线（GDPO/SAW/OPSD/CoRT）的实现细节与可得性——部分基线是 2026 年的预印本，官方代码未必齐整，需按论文描述自行实现，以及 $Z_k$ 模板的具体措辞可能影响相关性质量（论文未做模板敏感性分析）。