辅助奖励驱动的自我改进：从已验证轨迹中学习并评估迁移 Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer
用模型自身的置信度与熵轨迹信号在同样正确的答案间挖掘额外学习信号，提升小模型自改进与迁移
前置知识
RLVR 与 TTRL
可验证奖励强化学习（RLVR）用规则检查最终答案对错作为奖励来训练推理模型。TTRL（测试时强化学习）更进一步：不用参考答案，对每题采样多条响应，把与多数票答案一致的响应视为正确（奖励 +1）、不一致视为 −1，从而在无标签数据上做策略梯度训练。本文的在线实验主干就是 TTRL，并在此之上叠加辅助轨迹奖励。
所有在线辅助奖励都是通过修改 TTRL 的多数票奖励实现的，不理解 TTRL 就无法看懂核心奖励公式 $R_i = 2g_i - 1 + \lambda b_i$ 中每一项的含义。
GRPO（组相对策略优化）
GRPO 对同一 prompt 采样一组响应，用组内奖励标准化（减均值、除标准差）得到相对优势，替代价值网络，再配合 clip 比例目标与参考 KL 惩罚更新策略。本文使用 clip 阈值 0.2、双 clip 参数 3、KL 系数 $10^{-3}$。附录 B.2.1 还专门分析了组内标准化会让小的辅助项在一致组中以 $b_i/s_b$ 的量级进入优势。
辅助奖励对训练的全部影响都经由 GRPO 的组内标准化传导，理解这一点才能明白为何一个有界 0.05 的扰动也能产生非零策略梯度。
Self-Certainty（SC）
一种 Best-of-N 选择与奖励信号：把响应重新过一遍生成模型，在每个响应 token 位置取 top-25 logit 重归一化的分布，计算其与该支撑上均匀分布的 KL 散度并按 token 平均，$\mathrm{SC}(y)=\frac{1}{T}\sum_t D_{\mathrm{KL}}(U_{25}\|p_t)$，衡量整条响应的预测置信度。分数越高代表模型对这条推理越笃定。
SC 是本文两个辅助信号之一，也是此前文献（Intuitor、Kang et al. 2025）中最主要的模型内部置信信号，理解它才能看懂与 UID-Conj 的系统性对照。
均匀信息密度（UID）
源自语言学的假设：自然语言倾向于让信息密度均匀分布。本文将其操作化为熵轨迹特征：把响应按相对位置切成 32 个分箱求平均熵 $h_k$，全局特征 $G$ 为分箱间的总体方差（信息流是否张弛有度），局部特征 $S$ 为相邻分箱差的负 Huber 均值（过渡是否平滑），各自经无标签校准集的经验分位数归一后相乘得到 UID-Conj 分数。
UID-Conj 是本文的核心新信号，其『全局变化 × 局部平滑』的设计与纯置信度的 SC 形成全文最关键的对比，也是主要训练收益的来源。
DPO 与加权 SFT
DPO 用成对偏好数据（chosen/rejected）直接优化策略而无需单独的奖励模型，损失是负的 Bradley-Terry 对数似然，强度由系数 β 控制。加权 SFT 则保留全部训练样本、按权重 $w_i$ 加权负对数似然，权重经每题 softmax 归一化保持均值 1。本文用这两种离线目标在『全部已验证正确』的响应池上消费辅助分数。
离线实验的两大目标函数：辅助分数分别以偏好对（DPO）和示例权重（SFT）的形式注入，这是论文中证据最强的两条结果线。
多数投票与 Borda 聚合
多数投票（self-consistency）选取最频繁出现的最终答案；Borda 聚合按响应排名赋权重（本文用 $\sqrt{m}-r+1$）再按答案汇总权重，是一种利用答案一致性的排名聚合方法。二者代表『只用最终答案一致性』的基线选择器。
第 3 章的诊断实验正是检验辅助分数相对这些答案级聚合方法有没有增量价值（Table 1 与 Figure 3），这是全文论证逻辑的起点。
研究动机
以最终答案对错为奖励的强化学习（RLVR）在推理后训练中占主导，但答案级奖励无法区分『最终答案同样正确』的推理轨迹：同一道 AIME 题 8 条采样轨迹中若有 5 条都得到正确答案 49，它们获得完全相同的奖励，而推理的严谨性、论证完整性、不必要的重复绕路等差异被完全掩盖（Figure 1 正是展示这一点）。在监督受限场景下这种浪费尤其严重——TTRL 用多数票一致作为正确性代理，而训练集可能只有 30 道题（本文在线适应只用 AIME2026 全部 30 题），每条一致轨迹都是宝贵数据，答案级反馈却把组内差异全部抹平。已有工作（Intuitor 把 Self-Certainty 当作唯一奖励、熵最小化训练）证明模型内部信号可以用作奖励，但留下一个悬而未决的问题：当正确性反馈可得时，熵-轨迹结构能否在置信度之外提供额外有用的监督？以及这些内部信号选出的『更好』轨迹，是否真的能转化为训练收益和跨任务迁移？
本文的目标是本文的目标是在保留答案级监督不变的前提下，受控地检验辅助轨迹偏好能否提升小语言模型自我改进的效果与下游迁移能力。目标拆成三个可检验的研究问题：(1) 在线有效性——辅助分数能否改进基于多数票门控的测试时适应（TTRL），并向其他数学基准迁移？(2) 离线有效性——在已验证正确的固定响应池上，辅助分数作为 DPO 偏好对或 SFT 示例权重是否有用？(3) 可验证任务之外的迁移——用数学自我改进训练出的模型，能否在不做任务特定训练的情况下改进批评判定（CriticBench）、证据条件下的科学推理（LabBench2）以及指令遵循（IFBench/IHEval）？实验以 Qwen3-1.7B 为主（Qwen3-4B 做附加在线评估），在线只用 30 道 AIME2026 题（不使用参考答案），离线用截至 2025 年的历史 AIME 题生成响应池。
与已有工作不同的是，本文的独特切入角度有三点。第一，不替换而是增强答案奖励：与 Intuitor 用置信度完全取代答案奖励不同，辅助信号只在多数票一致的组内、以有界（$\lambda=0.1$、$\delta=0.5$，最大调整幅度 0.05）且组内中心化的方式加到奖励上，保证一致与不一致响应之间的奖励排序严格不变，从而把『辅助信号的增量价值』隔离成唯一变量。第二，诊断先行的实验方法论：先用盲评 LLM 裁判（不知道响应来自哪个选择器、不提供参考答案）验证辅助分数确实能在固定答案正确性的条件下区分轨迹质量，再去测训练收益，从而把『选出的轨迹被裁判认为更好』与『对训练更有用』这两个命题分开检验——结果发现二者居然不一致，这本身成为论文的重要发现。第三，迁移评估延伸到可验证任务之外（批评判定、科学问答、指令遵循），检验数学自改进的收益能否外溢到开放任务，这正是实际应用中最缺答案监督的场景。
核心方法
直觉是：两条最终答案都正确的轨迹，其 token 预测分布的『熵流』形态不同——成功的推理呈现局部平滑但全局不均匀的信息流，先难后易的步骤熵有起伏、常规步骤之间过渡平滑。本文用两个从模型自身预测分布导出的分数刻画这种差异：Self-Certainty（SC）奖励整体预测置信度高的轨迹，UID-Conj 则奖励熵轨迹兼具全局变化幅度与局部平滑性的轨迹。技术路线分四步：(1) 对每个问题用思维模式采样 8 条 rollout；(2) 在 detach 的 token 级统计量上计算辅助分数 $q$（在线用旧策略的统计量，离线用冻结基座模型加上校准集拟合的分位数）；(3) 用三种训练目标消费分数——在线 TTRL 把 $\lambda\,\mathrm{clip}(q_i-\bar{q}_x,-\delta,\delta)$ 加到多数票一致响应的奖励上做 GRPO；离线 DPO 在已验证正确的响应里取分数最高与最低者构成偏好对；加权 SFT 用 softmax 权重放大高分正确响应的贡献；(4) 在 4 个可验证基准（AIME2026/HMMT2026/MinervaMath/GPQA-Diamond）和 5 个迁移基准（CriticBench/LabBench2/IFBench/IHEval）上评估更新后的策略。
核心创新是『把答案级奖励无法分辨的自由度变成监督信号』。当多数票一致指示 $g_i$ 把所有一致响应映到同一个奖励时，本文引入组内中心化、截断的辅助项 $b_i=\mathrm{clip}(q_i-\bar{q}_x,-\delta,\delta)$，使奖励在一致组内部按轨迹质量产生梯度。与已有方法的本质区别有二。其一，Intuitor 与熵最小化把内部信号当作唯一奖励，可能丢失正确性约束；本文的门控加有界设计保证 $R_i=2g_i-1+\lambda b_i$ 中一致响应至少得 0.95、不一致响应得 −1，答案排序严格保留，辅助信号只在『本来没有梯度的地方』注入方差。其二，UID-Conj 是新的训练信号：它不奖励全程低熵（即不完全追求自信），而是要求熵轨迹在 32 个相对位置分箱上同时具有显著的全局方差 $G$ 与局部平滑性 $S$，二者经无标签校准集的经验中秩 CDF 归一后相乘 $q=u\cdot v$，从而偏好『张弛有度』的成功推理而非全程自信的模式。论文还通过置换对照证明收益确实来自轨迹特定的偏好而非单纯的奖励方差。
方法步骤详情
完整流程如下。第一步生成：对每题用思维模式采样 8 条 rollout（在线温度 1.0、离线 0.7，top-p 0.95），剔除截断、无法提取答案以及少于 32 个可计分 token 的响应。第二步打分：在每个有效位置取 top-25 logit 重归一化的分布 $p_t$，熵 $H_t=-\sum_j p_{t,j}\log p_{t,j}$；SC 是响应级均值 $\mathrm{SC}(y)=\frac{1}{T}\sum_t D_{\mathrm{KL}}(U_{25}\|p_t)$；UID 把 $T$ 个位置切成 $B=32$ 个等相对位置分箱求均值熵 $h_k$，全局特征 $G$ 为 $h_k$ 的总体方差（离线先除以鲁棒尺度 $s=1.4826\,\mathrm{MAD}$），局部特征 $S$ 为相邻分箱差的负 Huber 均值，再各自映射为组内（在线 $Q_x$）或校准集（离线 $\hat{F}$）经验中秩分位数 $u、v$，得分 $q^{\mathrm{Conj}}=u\cdot v$；所有统计量 detach，辅助分数不影响多数票本身。第三步在线训练：奖励 $R_i=2g_i-1+\lambda b_i$（$\lambda=0.1$、$\delta=0.5$，仅一致组且 $|M_x|\ge 2$ 时启用），组内 GRPO 标准化优势，clip 0.2、双 clip 3、参考 KL $10^{-3}$，LoRA r16，仅 2 个 epoch，训练集为 30 道 AIME2026 题。第四步离线 DPO：在已验证正确的响应中取 $y^+=\arg\max q$、$y^-=\arg\min q$，要求分数差至少 0.05，得到 413 个训练对，$\beta=0.1$，共享 SFT 热启动。第五步加权 SFT：$w_i=m_x\,\exp(2q_i)/\sum_j\exp(2q_j)$（每题权重均值 1），共 2967 条训练响应，1 个 epoch。第六步评估：数学与 GPQA 每题采样 5 次取均值准确率，宏平均跨基准等权。
技术新颖性
技术新颖性体现在四个层面。(1) 信号层面：UID-Conj 首次把均匀信息密度假设（Meister et al. 2021 的语言学假设以及 Gwak et al. 2026 对 LLM 推理的再验证）操作化为训练信号——分箱熵轨迹、鲁棒 MAD 尺度、Huber 平滑、无标签经验 CDF 校准再相乘的组合是新的，并与 SC（分布置信度）形成有理论对照意义的双信号设计。(2) 训练机制层面：多数票门控、组内中心化、$\delta=0.5$ 截断保证答案排序不变，是对 TTRL 的最小侵入式增强；附录 B.2.1 严谨分析了 GRPO 优势标准化下 $\lambda$ 在一致组中近似消去、但辅助项仍以 $b_i/s_b$ 量级进入优势的非平凡效应，并在一致组可能全体同错的背景下讨论其含义。(3) 实验方法论层面：用置换对照（把已实现的辅助奖励项在一致响应之间随机重排，保持奖励多重集不变）分离『轨迹特定偏好』与『单纯引入组内奖励方差』的贡献；用配对 prompt-cluster bootstrap（100,000 次重采样）报告置信区间；诊断与训练使用不同的 cohort。(4) 结论层面：诚实报告裁判评分与训练效用排序相反（SC 裁判分更高但 UID-Conj 训练增益更大），并把这一张力作为发现而非缺陷加以讨论。
实验结果
论文实验分四块。(1) 轨迹选择诊断（Table 1、Figure 3）：仅用辅助分数直接选答案并不优于多数投票——Qwen3-1.7B 上 SC 25.4%、UID-Conj 25.7%，均低于多数投票的 25.9%；Qwen3-4B 上为 33.8%、34.2% 对 33.9%。但与 Borda 答案聚合结合后出现互补：UID-Conj+Borda 在 1.7B 上达 27.0%（最高），SC+Borda 在 4B 上达 34.7%（最高）。(2) 盲裁判诊断（Table 2、Figure 4）：在答案都正确的轨迹上，SC 相对随机正确选择的净胜率为 +13.2/+11.7 个百分点（1.7B/4B），总分平均高 0.584/0.338 分；UID-Conj 为 −7.7/−0.5，仅在『相关性/非冗余』维度占优。(3) 训练收益：在线（Table 3）UID-Conj TTRL 把 Qwen3-1.7B 四基准宏平均从基线 25.91% 提到 27.59%（+1.68），SC-TTRL 27.54%（+1.63），比未修改 TTRL 的 25.51% 分别高 2.08/2.03 个百分点，且 UID-Conj 在 HMMT2026（9.09%）、MinervaMath（26.25%）、GPQA-D（39.70%）三个分布外基准全部改进；4B 上 TTRL 过拟合 AIME（55.33%→60.00%）却损害 HMMT/Minerva，UID-Conj 则保住 AIME 55.33% 同时把 HMMT 提到 13.94%、Minerva 提到 31.40%。离线（Table 4）UID-Conj SFT 宏平均 29.49%（比均匀 SFT 的 27.56% 高 1.93，95% CI [0.44, 3.44]，显著），UID-Conj DPO 29.03%（比随机 DPO 的 27.78% 高 1.25）。(4) 迁移（Table 5、6）：UID-Conj TTRL 在 CriticBench 判定 F1 达 63.23%（+1.58 vs TTRL，CI [0.18, 3.01]）、判定准确率 68.00%（+1.24，CI [0.20, 2.32]）、LabBench2 42.00%（+0.76），均无需任务特定训练；但指令遵循聚合上 SC（39.16%）优于 UID-Conj（38.51%）。换用 S1K 训练集（Table 7）结论保持；置换对照（Table 12）显示轨迹特定偏好在 AIME、CriticBench F1/准确率上确实超出单纯奖励方差的作用。需要强调：多数对比的置信区间仍包含 0（如在线 vs TTRL 的 CI [−0.25, 2.85]）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 在线 TTRL 四基准宏平均（Qwen3-1.7B） | 平均准确率 (%) | UID-Conj TTRL 27.59 | TTRL 25.51（基线模型 25.91） | +2.08 pp（相对 TTRL）；+1.68 pp（相对基线） |
| 离线加权 SFT 四基准宏平均（Qwen3-1.7B） | 平均准确率 (%) | UID-Conj SFT 29.49 | Uniform-SFT 27.56（基线模型 25.91） | +1.93 pp（95% CI [0.44, 3.44]，显著）；相对基线 +3.58 pp |
| 离线 DPO 四基准宏平均（Qwen3-1.7B） | 平均准确率 (%) | UID-Conj DPO 29.03 | Random-DPO 27.78 | +1.25 pp（CI [−0.90, 3.47]）；相对基线 +3.12 pp |
| CriticBench 批评判定（F1） | 错误类 F1 (%) | UID-Conj TTRL 63.23 | TTRL 61.65 | +1.58 pp（CI [0.18, 3.01]，显著） |
| CriticBench 批评判定（准确率） | 判定准确率 (%) | UID-Conj TTRL 68.00 | TTRL 66.76 | +1.24 pp（CI [0.20, 2.32]，显著） |
| LabBench2 证据条件科学推理 | 裁判评分 (%) | UID-Conj TTRL 42.00 | TTRL 41.24 | +0.76 pp（CI [−0.80, 2.32]） |
| 正确轨迹盲评（vs 随机正确选择） | 净胜率（赢−输，pp） | SC +13.2 / +11.7（1.7B / 4B） | UID-Conj −7.7 / −0.5 | SC 显著更受裁判青睐，但与训练收益排序相反 |
局限与改进
作者承认的局限：实验集中于 Qwen3-1.7B（4B 仅做在线评估），且在线 AIME2026 结果度量的是对训练题的适应而非泛化；在线对比无法完全区分『轨迹特定偏好』与『给一致组引入奖励方差』的效应（置换对照只部分回应）；轨迹质量诊断只用了单一模型裁判（gpt-6-luna）且条件于固定的已保存响应池；迁移评估限于判定准确率、证据条件科学与程序化指令验证，而非开放式推理；多数票一致可能反映共享的错误观念，置信度与平滑熵也不保证事实或逻辑正确性；论文未建立计算成本与能耗的净收益。我自己的观察：从统计看，在线 UID-Conj vs TTRL 的 CI [−0.25, 2.85]、离线 DPO 的 CI [−0.90, 3.47]、以及 prompt 加权敏感性分析（Table 13）中全部四个 CI 都包含 0，真正显著的只有加权 SFT 对比与 CriticBench 两项——证据强度明显弱于摘要给人的印象；所有训练只用种子 42、没有多种子重复，1-2 个百分点的差异在 30 题的适应集上很容易被噪声淹没；SC 与 UID-Conj 在裁判评分与训练收益上排序相反，说明缺乏一个能预测『响应学习价值』的理论，目前的信号选择更像经验搜索；UID-Mix 与 UID-Conj 在 4B 在线上的巨大差异（Overall 54.50 vs 50.46）也提示聚合方式的选择相当敏感且缺乏原则性指导。
独立分析的弱点
独立分析几点弱点。第一，统计功效不足：AIME2026 只有 30 题、HMMT 33 题，宏平均差异 1-2 个百分点且多数 CI 含零，又不做多种子训练方差估计，结论稳健性存疑——改进方向是每配置跑 3-5 个种子并报告种子间方差。第二，SC 与 UID-Conj 的适用边界不明：SC 在指令遵循聚合上占优、UID-Conj 在批评判定与离线训练上占优，但论文给不出先验的判断规则，使用者只能全部试一遍——可以训练一个小型元预测器，用任务与响应特征预测哪种辅助信号在该场景有效。第三，UID 特征工程较脆弱：32 等分箱、Huber 尺度、top-25 截断、MAD 校准都是手工选择，缺少对分箱数、K、聚合函数（Mix 还是 Conj）的系统消融。第四，多数票门控在全一致组（包括全错但一致的组）时辅助信号依然注入梯度（$\lambda$ 在标准化下不完全消去，附录 B.2.1 自己证明了这一点），可能放大共享误解——可以在一致组引入不确定性加权或在低一致率时关闭辅助项。第五，辅助分数需对旧策略重打分，在线 TTRL 每步的计算开销与响应长度、top-25 近似误差的敏感性均未报告。第六，迁移增益普遍小于 1.6 个百分点，距离『有用』还有距离，论文也未测试更难的分布外数学（如竞赛外推题）。
未来方向
作者明确提出的方向：(1) 开发能直接预测『响应学习贡献』的辅助偏好，弥合裁判评分质量与训练效用之间的落差；(2) 弄清辅助偏好如何与 GRPO 优势标准化交互，特别是在一致组中的表现；(3) 把推理改进扩展到没有可靠答案监督的研究级数学（FrontierMath、ResearchMath-14k）与需要人类专家验证的开放式推理。基于本文成果可以延伸的方向：将 UID 轨迹特征与过程奖励模型（PRM）融合，做多分辨率（步骤级 + 轨迹级）信号组合；探索 UID-Mix 与 UID-Conj 的互补或自适应选择——在线 4B 上 UID-Mix 明显更强（AIME 62.67% vs 55.33%、HMMT 23.03% vs 13.94%），提示聚合方式与任务强相关；把辅助奖励推广到代码生成、智能体工具使用等可执行验证之外的领域；研究辅助信号随策略更新（打分分布与生成策略漂移）的时效性与定期重校准；以及优化打分开销（例如用缓存 logits 或轻量探针模型近似 SC/UID）。
复现评估
复现条件总体友好但精确数字难复现。数据全部公开且版本固定：math-ai/aime26（30 题）、MathArena/hmmt_feb_2026（33 题）、math-ai/minervamath（272 题）、GPQA Diamond（198 题）、CriticBench 500 例、LabBench2 文本子集 500 例（含七类任务分布）、IFBench 300 例、IHEval 500 例；离线响应池由 Qwen3-1.7B 在历史 AIME 上自生成（882 个 prompt、每题 8 响应）。算力门槛不高：训练 4×A100 + 推理 1×A40，全部 LoRA（在线 r16、离线 r64），veRL/OpenRLHF/vLLM 均为开源栈，附录 C 逐项给出超参数（在线学习率 5e-7、离线 SFT 5e-5、DPO 1e-5、种子 42、2 epoch 在线 / 1 epoch 离线）。主要障碍：(1) 正文未给出明确的开源代码或适配器发布链接，打分与校准管线（top-25 重归一化、32 分箱、MAD 尺度、中秩 CDF）需按附录 B 重新实现，细节多且容易出错；(2) 迁移评估依赖 gpt-6-luna 高推理档做裁判（CriticBench/LabBench2），有 API 成本且裁判模型更替会带来数字漂移；(3) TTRL 在线训练在 30 题规模上对超参与种子敏感，1-2 pp 级别的差异很难精确复现。总体评估：中等偏难，方法流程与方向可复现，精确指标不宜强求。
论文图表
概念示意图：同一个问题（求 $72026$ 除以 $100$ 的余数），轨迹 A 用幂循环（$74\equiv 1\pmod{100}$）得到 49，轨迹 B 用末两位模式枚举也得到 49。两条轨迹都正确，答案级奖励完全相同，但论文提问：这些轨迹之间的偏好能否帮助模型学得更好？
它是全文的问题陈述：用一个最小例子说明答案级奖励的盲区——正确答案之间仍存在可以被利用的偏好自由度，这正是辅助轨迹奖励的动机。
两组柱状图对比多数投票、SC+Borda、UID-Conj+Borda 三种选择器在 rollout 预算 $n\in\{2,4,8\}$ 下的平均准确率。Qwen3-1.7B 上辅助分数加 Borda 在小预算时提升最明显（最高 27.0%），Qwen3-4B 上 SC+Borda 最佳（34.7%），增益随预算与模型规模变化。
展示了辅助信号作为推理时选择器的价值是『条件性的』——与答案级聚合互补而非替代，为后续把信号用于训练（而非推理选择）提供了动机。