超越模式：面向语言模型分布推理的多答案强化学习 Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models
多答案RL训练模型单次前向推理生成多个候选答案及置信度
前置知识
RLVR (Reinforcement Learning with Verifiable Rewards)
RLVR是一种用于语言模型后训练的强化学习范式，其核心思想是使用可验证的奖励函数来训练模型。标准做法是采用二元正确性奖励 $R_{\text{correct}}(y, y^*) = \mathbf{1}_{y \equiv y^*}$，即当模型输出 $y$ 与标准答案 $y^*$ 匹配时奖励为1，否则为0。这种方法被广泛用于数学推理、代码生成等有明确正确答案的任务，GRPO（Group Relative Policy Optimization）是常用的RL算法之一。RLVR能显著提升模型的推理能力，但也容易导致熵坍塌——模型反复生成相同的主导答案。
本文的Multi-Answer RL正是在RLVR基础上的改进，理解标准RLVR的奖励设计和训练范式是理解本文创新点的前提。
RLCR (Reinforcement Learning with Calibration Rewards)
RLCR是RLVR的扩展版本，在标准正确性奖励基础上加入了校准奖励。模型不仅要输出答案 $y$，还要输出一个置信度估计 $q \in [0,1]$。训练使用联合奖励 $R_{\text{RLCR}}(y, q, y^*) = \mathbf{1}_{y \equiv y^*} - S(q, \mathbf{1}_{y \equiv y^*})$，其中 $S$ 是proper scoring rule（如Brier分数 $(q - \mathbf{1}_{y \equiv y^*})^2$）。Damani et al. 证明这种设计能同时激励正确性和校准性。
本文的Multi-Answer RLCR将RLCR扩展到多答案场景，理解RLCR的校准奖励机制是理解多答案版本校准设计的基础。
Proper Scoring Rules（恰当评分规则）
恰当评分规则是概率预测中用于评估预测分布质量的评分函数。一个评分规则 $S(q, y)$ 是proper的，当且仅当预测者报告其真实信念分布时期望得分最优。常用的proper scoring rule包括Brier分数 $(q - y)^2$ 和对数分数 $-\log q$。在本文中，proper scoring rule被用作奖励信号的一部分，激励模型产生校准良好的置信度估计。
理解proper scoring rule的数学性质对于理解本文Multi-Brier分数的设计原理和理论保证至关重要。
熵坍塌（Entropy Collapse）
熵坍塌是指RL训练过程中模型输出多样性急剧下降的现象。当使用二元奖励训练时，模型倾向于集中概率质量在少数高奖励的输出上，导致生成多样性丧失。具体表现为：pass@1可能提升但pass@k下降，模型反复生成相同的推理路径和答案。这是RLVR的已知失败模式，在多个文献中有记录。
熵坍塌是本文的核心动机之一，Multi-Answer RL直接解决这一问题，训练模型显式生成多样化的答案集合。
Conformal Prediction（保形预测）
保形预测是一种统计方法，用于为机器学习模型的预测提供具有理论保证的预测区间或预测集合。它不依赖于数据分布假设，能提供有限样本覆盖保证。在本文中，作者提到他们的方法与保形预测相关，但区别在于模型学习输出 $p(y|x)$ 中最可能的 $K$ 个答案，而非保证覆盖固定概率质量的集合。
这是本文方法与现有不确定性量化方法的理论联系，理解这一区别有助于把握本文方法的独特定位。
研究动机
现代大语言模型在后训练阶段通常通过强化学习进行单答案优化，训练模型为每个查询生成一个最佳答案。然而，这种目标函数与许多现实任务存在根本性不匹配。在临床场景中，当患者出现右下腹疼痛和发热时，医生可能会同时考虑急性阑尾炎和右侧肾结石等多个诊断，而无法仅凭有限信息确定单一答案。在医学诊断、歧义问答、信息不完整等场景中，多个不同的答案可能同时正确，或者不确定性源于信息的不完整。标准RL训练会导致熵坍塌问题——模型将概率质量集中在单一主导模式上，抑制了其他合理的备选假设。实验表明，RLVR Single模型在多次采样时会产生高度重叠的推理链，重复相同的推理框架和中间短语，导致计算冗余严重。在编码任务中，RLVR Single的三次采样往往产生几乎相同的程序实现，无法捕获不同的算法方案。
本文的目标是本文的目标是训练语言模型在单次前向推理中直接生成多个候选答案及其置信度估计，实现分布推理。具体而言，作者希望：（1）模型能在一个chain-of-thought中联合推理多个合理假设；（2）通过显式的多答案训练克服熵坍塌，提升输出多样性和覆盖率；（3）通过proper scoring rule激励产生校准良好的置信度分数；（4）相比多次独立采样，显著减少token使用量和计算冗余。这使得语言模型的输出从单一答案 $y$ 扩展为显式的分布 $P$，包含多个候选答案及其对应概率。
与已有工作不同的是，现有工作主要在推理阶段解决这些问题：通过并行采样生成多个答案，通过提示或后处理模型输出置信度估计，或通过采样基方法估计不确定性。然而，这些后处理方法并未改变底层训练目标，导致训练-测试不匹配。特别是对于经过RL后训练的模型，训练优化的是单一高奖励完成，恢复替代方案既计算昂贵又行为不匹配——模型被训练为commit一个答案，而非在多个答案间hedge。本文的独特切入角度是将多答案能力内化到训练过程中，通过修改RL目标函数，直接优化模型的集合级输出能力，而非依赖推理时的外部搜索机制。
核心方法
Multi-Answer RL的核心思路是将语言模型从单一答案生成器训练为分布生成器。直觉上，与其让模型通过多次独立采样来探索答案空间（产生大量冗余推理token），不如训练模型在单次推理中显式生成多个候选答案及其置信度。技术路线上，作者扩展了RLVR和RLCR两种现有的RL训练范式：（1）将单答案奖励推广为集合级奖励，衡量生成答案集合对标准答案集合的覆盖率；（2）引入格式奖励强制生成答案的唯一性；（3）对于RLCR版本，使用Multi-Brier分数作为校准奖励，激励每个答案的置信度估计接近其真实正确概率。方法基于GRPO算法，使用Qwen3-8B基础模型，最大响应长度1536 tokens。
本文的核心创新是将RL训练从单答案正确性优化推广为集合级正确性优化。Multi-Answer RLVR的奖励函数 $R_{\text{multiRLVR}}(A, Y^*) = \sum_{i=1}^{K} \mathbf{1}[a_i \in Y^*]$ 将标准RLVR的二元奖励自然推广：当 $N=1, K=1$ 时退化为标准RLVR；当 $N=1, K>1$ 时等价于pass@K目标；当 $N>1, K \leq N$ 时鼓励最大覆盖；当 $N>1, K \geq N$ 时最优策略恢复完整标准答案集。与已有方法的本质区别在于：现有方法（如多次采样、best-of-k）在推理时外部化搜索过程，而Multi-Answer RL将搜索过程内化到模型的生成过程中。模型被训练为在单次forward pass中显式输出多个不同的候选答案，而非被动地通过随机采样产生变异性。
方法步骤详情
方法分为以下几个关键步骤：（1）提示模型生成结构化输出：在单次chain-of-thought中输出 $K$ 个不同的候选答案 $A = \{a_1, a_2, ..., a_K\}$，RLCR版本还输出对应的置信度集合 $Q = \{q_1, q_2, ..., q_K\}$；（2）格式奖励：使用格式奖励强制答案包含在正确标签中（如answer标签），并强制多个答案互不相同（唯一性约束）；（3）集合级正确性奖励：计算 $R_{\text{multiRLVR}}(A, Y^*) = \sum_{i=1}^{K} \mathbf{1}[a_i \in Y^*]$，衡量生成答案中有多少属于标准答案集；（4）Multi-Brier校准奖励（仅RLCR版本）：$R_{\text{multiBrier}}(A, Q, Y^*) = \frac{1}{K} \sum_{i=1}^{K} (q_i - \mathbf{1}[a_i \in Y^*])^2$，激励每个置信度 $q_i$ 接近该答案正确的真实概率；（5）联合优化：RLCR版本的完整目标为 $R_{\text{multiRLCR}} = R_{\text{multiRLVR}} - R_{\text{multiBrier}}$，同时激励覆盖率和校准性；（6）使用GRPO算法进行训练，在25,000个DDXPlus样本上训练。
技术新颖性
本文的技术新颖性体现在多个层面。首先，从目标函数设计角度，这是首次将RLVR和RLCR从单答案场景推广到多答案场景，给出了一个统一的框架自然涵盖pass@K、部分集恢复、完整集恢复等多种训练设置。其次，从方法论角度，将推理时的搜索过程内化到训练过程中，模型学习主动探索答案空间而非被动依赖采样随机性，这与best-of-k、多次采样等外部化方法形成本质区别。第三，Multi-Brier校准奖励的设计将proper scoring rule从单答案扩展到多答案场景，激励每个答案的独立校准而非整体分布校准。第四，实验展示了该方法在三个性质迥异的数据集上的有效性：从天然多答案（DDXPlus医学诊断）、歧义单答案（HotPotQA-Modified）、到低歧义多方案（MBPP编程），证明了方法的通用性。
实验结果
本文在三个基准数据集上进行了全面实验，核心发现如下。在DDXPlus医学诊断数据集上，Multi-Answer RLVR的平均正确诊断数为0.79（vs RLVR Single的0.62），多样性达到完美1.00（vs 0.62），token效率为677（vs 1191），Top-1准确率为0.42。Multi-Answer RLCR的平均正确诊断数为0.77，token效率进一步提升到510（vs RLCR Single的1378）。在MBPP编程任务上，Multi-Answer RLVR的Top-1准确率从RLVR Single的0.29大幅提升到0.49（提升超过50%），同时token使用量从511.73降至235.49（减少超过一半）。平均正确答案数从0.98提升到1.35，多样性从2.09提升到2.98。在HotPotQA-Modified上，Multi-Answer RLVR的平均正确数从RLVR Single的0.17提升到0.27，多样性从0.59提升到完美1.00。校准方面，RLCR Multi在DDXPlus和MBPP上显著优于RLVR Multi：DDXPlus上Set ECE从0.13降至0.02，MBPP上Set ECE从0.44降至0.26。在30个答案的匹配采样预算实验中，RLVR-Multi产生约8个唯一答案，是RLVR-Single的两倍。训练稳定性方面，随着K从2增加到5，Multi-Answer RLVR的平均正确诊断数单调增加，训练保持稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DDXPlus医学诊断 | 平均正确诊断数（Coverage） | RLVR Multi: 0.79, RLCR Multi: 0.77 | RLVR Single: 0.62, RLCR Single: 0.65 | RLVR Multi提升27.4%, RLCR Multi提升18.5% |
| DDXPlus医学诊断 | 多样性（Uniqueness） | RLVR Multi: 1.00, RLCR Multi: 1.00 | RLVR Single: 0.62, RLCR Single: 0.50 | RLVR Multi提升61.3%, RLCR Multi提升100% |
| DDXPlus医学诊断 | Token效率（Avg Token Count） | RLVR Multi: 677, RLCR Multi: 510 | RLVR Single: 1191, RLCR Single: 1378 | RLVR Multi减少43.2%, RLCR Multi减少63.0% |
| MBPP编程 | Top-1准确率 | RLVR Multi: 0.49, RLCR Multi: 0.48 | RLVR Single: 0.29, RLCR Single: 0.27 | RLVR Multi提升69.0%, RLCR Multi提升77.8% |
| MBPP编程 | Token效率（Avg Token Count） | RLVR Multi: 235.49, RLCR Multi: 250.94 | RLVR Single: 511.73, RLCR Single: 518.07 | RLVR Multi减少54.0%, RLCR Multi减少51.6% |
| HotPotQA-Modified问答 | 平均正确数（Coverage） | RLVR Multi: 0.27, RLCR Multi: 0.27 | RLVR Single: 0.17, RLCR Single: 0.22 | RLVR Multi提升58.8%, RLCR Multi提升22.7% |
| DDXPlus医学诊断 | Set ECE（校准） | RLCR Multi: 0.02 | RLVR Multi: 0.13 | 提升84.6% |
| MBPP编程 | Set ECE（校准） | RLCR Multi: 0.26 | RLVR Multi: 0.44 | 提升40.9% |
局限与改进
本文的局限性主要体现在以下几个方面。首先，单答案方法在Top-1准确率上仍然具有一定优势，虽然Multi-Answer RL在MBPP上大幅提升了Top-1准确率，但在DDXPlus和HotPotQA上，Multi-Answer RLCR的Top-1准确率（分别为0.43和0.19）与单答案RLCR（分别为0.55和0.17）相比并不一致优胜。其次，实验仅限于QA类任务（医学诊断、问答、编程），尚未验证在数学推理、创意写作等其他任务类型上的有效性。第三，序列生成限制了并行性——尽管token效率更高，但单次生成多个答案的推理链仍然较长，无法像并行采样那样充分利用硬件并行性。第四，在HotPotQA-Modified上，Multi-Answer RLCR的校准性反而不如单答案RLCR（Top-1 ECE: 0.31 vs 0.13），作者将其归因于模型的生成先验倾向于将置信度总和约束为1，这在pass@K < 30%的困难单标签场景中是不恰当的。第五，所有实验基于Qwen3-8B模型，未验证方法在更大规模模型上的扩展性。
独立分析的弱点
本文存在几个值得关注的弱点。第一，置信度总和约束问题：在HotPotQA-Modified这样的困难单标签场景中，模型倾向于将多个答案的置信度总和约束为1，导致校准性下降。改进方向可以是在损失函数中加入针对单标签场景的先验正则项，或设计自适应的置信度归一化策略。第二，固定K值的局限：所有实验使用固定的K=3，未探索动态K的策略。改进方向可以是让模型根据问题难度自适应决定输出多少个候选答案，或使用验证器决定何时停止生成。第三，格式奖励的设计较为简单，仅强制答案唯一性，未考虑答案排序或质量分级。改进方向可以引入答案质量排序奖励，使模型按置信度从高到低排列答案。第四，训练数据量相对较小（DDXPlus仅25,000样本），未充分探索数据规模的影响。
未来方向
作者提出的未来研究方向包括：（1）改进探索策略，解决模型在困难单标签场景中置信度总和约束为1的先验问题；（2）将Multi-Answer RL扩展到更多任务类型，如数学推理、创意写作等。基于已有成果可延伸的方向包括：（1）动态K机制——让模型根据问题复杂度自适应决定输出的答案数量，可能通过引入特殊的终止token或使用外部验证器；（2）将Multi-Answer RL与推理时技术（如best-of-k、beam search）结合，进一步提升性能；（3）在更大规模模型（如70B、400B）上验证方法的扩展性；（4）探索Multi-Answer RL在多模态任务中的应用，如图像诊断、视频理解等；（5）研究Multi-Answer RL对模型内部表示的影响，理解模型如何在单次推理中编码和切换多个假设。
复现评估
论文提供了代码和更多信息的链接（multi-answer-rl.github.io），开源情况相对良好。数据方面，DDXPlus是公开的大规模医学诊断数据集，HotPotQA也是公开数据集，MBPP是标准编程基准，数据可获取性良好。算力方面，实验使用Qwen3-8B基础模型（8B参数），训练在25,000个DDXPlus样本上进行，最大响应长度1536 tokens，使用GRPO算法，算力需求相对可控，适合学术团队复现。但论文未详细报告训练硬件配置、训练时间、超参数搜索范围等细节，可能增加精确复现的难度。此外，HotPotQA-Modified是作者修改的版本，需要确认是否提供了数据处理脚本。总体而言，复现难度中等偏低，核心算法实现不复杂，但需要正确实现格式奖励和Multi-Brier校准奖励。
论文图表
该图展示了标准RL和Multi-Answer RL的核心区别。左侧Standard RL从分布中采样，坍塌到单一模式，输出重复的Tuberculosis答案。右侧Multi-Answer RL返回完整分布，鼓励多样性，输出三个不同诊断（Tuberculosis 50%, Pneumonia 25%, Bronchitis 25%）及其置信度。底部展示了标准RLVR仅能达到单答案性能，而Multi-Answer RL能恢复RLVR-Single永远无法到达的答案。
这是论文的核心概念图，直观展示了从单一答案到分布推理的范式转变，是理解整篇论文的关键入口。