推理竞技场：当可验证奖励不足时的轨迹锦标赛 Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short
通过轨迹锦标赛提取非多样化奖励组中的细粒度推理质量信号
前置知识
可验证奖励强化学习（RLVR）
RLVR是一种训练大语言模型推理能力的范式，通过基于规则的验证器提供结果层面的信号来训练模型。对于给定提示，系统采样N条推理轨迹，用验证器对每条轨迹评分，然后使用相对于组均值计算的优势来更新策略。典型的算法包括CISPO，其目标函数使用裁剪的重要性采样权重乘以优势，再乘以对数策略概率。这种方法的核心优势在于验证器（如代码测试用例、数学验证器）提供精确的二元反馈。
本文的工作建立在RLVR框架之上，理解RLVR的组相对策略优化机制对于理解本文提出的非多样化奖励组问题至关重要。
非多样化奖励组
在RLVR中，当一个采样组内的所有轨迹从验证器获得完全相同的奖励时，该组就是非多样化的。对于二元可验证奖励，这表现为两种形式：全对组（R_v(x, y_i) = 1对所有轨迹）和全错组（R_v(x, y_i) = 0对所有轨迹）。在这种情况下，组内奖励方差为0，根据优势计算公式，所有优势都等于零，因此该组对策略更新没有贡献。
这是本文要解决的核心问题。作者通过实验发现，非多样化组在训练中很常见：训练早期模型较弱时全错组占主导，随着模型改善全对组逐渐增加，两者都消耗大量生成计算但产生零梯度。
Bradley-Terry模型
Bradley-Terry模型是一种用于排序的统计模型，假设每个项目都有一个潜在的强度参数。项目i优于项目j的概率定义为通过logistic sigmoid函数计算。模型通过对数似然最大化来估计强度参数。在本文中，作者使用L-BFGS-B优化算法最小化L2正则化的软交叉熵损失。
Bradley-Terry模型是本文处理不完整比较图的关键。由于实时锦标赛只产生O(N)次比较而非O(N^2)，需要一个鲁棒的方法从稀疏、非均匀采样的比较图中推断一致的奖励信号。
CISPO算法
CISPO（Clipped Importance Sampling Policy Optimization）是本文采用的底层RLVR算法。与PPO不同，CISPO裁剪重要性采样权重而非策略梯度项，这有助于保留来自稀有token的学习信号。其目标函数包含裁剪的重要性采样权重、优势和对数策略概率的乘积。
理解CISPO有助于把握本文的技术背景，特别是为什么组内优势必须非零才能产生学习信号，以及本文方法如何与现有RLVR管道无缝集成。
研究动机
现有的强化学习与可验证奖励（RLVR）方法存在一个根本性瓶颈：当同一个prompt采样的所有推理轨迹从验证器获得完全相同的奖励时，组相对优势估计无法提供任何梯度信号。作者通过实验展示了这个问题的严重性：使用Ministral-3-8B-Instruct模型训练时，非多样化组在整个训练过程中持续存在。训练早期模型较弱时，全错组主导（某些时刻超过60%的组）；随着模型改善，全对组逐渐增加（训练后期超过40%）。虽然这些轨迹在推理质量、严密性和简洁性上可能有实质差异，但验证器无法区分它们。在现代异步RL系统中，批次必须填充到目标大小才能执行训练步骤，一旦产生非多样化组，所有N条已经生成的轨迹都被丢弃，必须采样额外的rollouts来填充批次，导致每条轨迹的生成成本决定了整个流水线的延迟。这种结构效率问题促使作者开发一种方法，从这些非多样化组中提取并利用推理变化。
本文的目标是本文的目标是设计一个自适应训练框架，在不损失可验证奖励的精确性的前提下，将原本会被丢弃的非多样化奖励组转化为有意义的梯度更新。具体而言，作者希望构建一个混合奖励学习范式，当验证器产生有意义的优势信号时保持标准RLVR更新，当验证器失效时动态切换到基于裁判的奖励系统。通过这种方式，作者旨在解锁非多样化组中隐藏的细粒度学习信号，提高训练效率（减少生成计算）和样本效率（利用零优势样本），同时保持或提升整体推理性能。
与已有工作不同的是，现有文献主要通过数据策划来解决零方差问题，使用预过滤或难度预测来避免过于简单或不可能的prompt。DAPO引入动态采样过滤训练期间的全对或全错组，DEPO和GRESO类似地在数据策划或rollout选择阶段跳过无信息提示。然而，这些方法避免而非解决问题：生成计算仍然被浪费，并且forfeits了从这些样本学习的潜力。另一条工作从非多样化组本身恢复信号：RL-ZVP和ZAPO通过熵引导的优势重塑重新利用零方差提示，RLPR用概率代理替换验证器。但由于恢复的信号从根本上依赖于策略本身的内部token分布，无法区分严格证明和自信幻觉。REASONING ARENA的独特切入角度是引入外部裁判奖励的自适应应用，在组级别组合可验证和裁判奖励，使非多样化组获得丰富的梯度信号，同时精确验证器仍然在保持信息量的地方驱动学习。
核心方法
REASONING ARENA的整体思路是一个自适应路由系统，根据每个rollout组的奖励方差动态选择不同的奖励源。直觉上，当验证器能够区分组内轨迹时（奖励多样化），继续使用标准RLVR，因为验证器高效且精确；当验证器失效时（奖励非多样化），切换到基于裁判的锦标赛系统，通过比较中间推理步骤来揭示轨迹之间的细粒度差异。技术路线上，REASONING ARENA首先计算组的奖励多样性，即检查组内奖励方差是否大于零。对于多样化组，使用标准验证器奖励；对于非多样化组，构建轨迹锦标赛，使用LLM裁判两两比较推理轨迹，提取相对偏好信号。为了高效扩展到异步RL，作者开发了实时锦标赛策略，将每个新轨迹与从已生成轨迹池中动态选择的三个锚点（当前最佳、最差、中位数）进行比较，将比较复杂度从O(N^2)降低到O(N)。最后，在结果的不完整比较图上拟合Bradley-Terry模型，鲁棒地估计每条轨迹的潜在推理强度，生成标量奖励用于策略更新。
REASONING ARENA的核心创新点是将锦标赛机制嵌入RLVR流程，并与可验证奖励进行自适应组合。与现有方法的本质区别在于：第一，自适应路由策略确保裁判只在验证器失效时被调用，保留了验证器的精确性和效率优势；第二，比较中间推理轨迹而非最终答案，使裁判能够区分共享相同验证器结果但逻辑严密性和推理质量不同的解决方案；第三，实时锦标赛策略与Bradley-Terry估计的结合，使得在不完整比较图上产生一致的奖励信号成为可能，避免了完全循环锦标赛的O(N^2)推理成本。这种设计使非多样化组从完全浪费的计算转变为丰富的梯度信号源，在保持验证器作为黄金标准的同时，补充了裁判的细粒度区分能力。
方法步骤详情
REASONING ARENA的工作流程包含四个关键步骤。第一步是组级奖励多样性检测和自适应路由。对于采样组，计算组内奖励均值和方差。如果组内奖励方差大于零，使用验证器奖励；否则路由到裁判奖励。第二步是轨迹锦标赛构建。对于非多样化组，裁判处理上下文并输出分类判断，映射为软结果，其中软边际超参数在(1/2, 1]之间。为了减少位置偏差，对每个观察到的匹配对称增强其镜像。第三步是实时对手选择。每当新轨迹完成生成，从已经到达的轨迹中动态选择三个对手作为锚点：根据胜率排行榜确定的当前最佳、最差和中位数轨迹。这种策略以恒定速率提供信息性比较，将每组的裁判复杂度从O(N^2)降低到O(N)。第四步是Bradley-Terry奖励聚合。从实时锦标赛产生的不完整、非均匀采样比较图中，估计每条轨迹的潜在推理对数强度。构造对称化匹配集，最小化L2正则化的软交叉熵损失，使用L-BFGS-B优化算法求解。最后将拟合的潜在对数强度进行min-max归一化，产生标量奖励用于策略更新。
技术新颖性
REASONING ARENA的技术新颖性体现在多个方面。首先，这是第一个将锦标赛机制系统地嵌入RLVR管道的工作，在可验证奖励和基于裁判的奖励之间建立自适应路由，而不是简单地替换验证器或丢弃非多样化组。其次，实时锦标赛策略与Bradley-Terry估计的结合是一种新颖的工程创新，使得在不完整比较图上产生一致的奖励信号成为可能，同时保持与异步RL系统的兼容性。第三，作者系统性地比较了轨迹锦标赛和逐点评分，揭示了成对比较在校准难度和避免表面启发式方面的优势。最后，REASONING ARENA在保持验证器作为黄金标准的同时，成功地将裁判的细粒度区分能力作为有针对性的补充，实现了两种奖励机制的优势互补。
实验结果
实验结果表明，REASONING ARENA在数学和代码推理任务上持续超越标准RLVR和纯裁判基线。主要发现包括：第一，在竞争数学（AIME 2024/2025/2026、Beyond AIME）、科学推理（GPQA-Diamond）和代码推理（LiveCodeBench v6）六个基准测试上，REASONING ARENA-Live达到平均性能53.9，比RLVR基线提升7.6分。具体到每个任务：AIME 2024从58.5提升到63.5（+5.0），AIME 2025从43.8提升到51.7（+7.9），AIME 2026从46.0提升到59.0（+12.9），Beyond AIME从28.2提升到36.4（+8.3），GPQA-Diamond从54.8提升到60.5（+5.7），LiveCodeBench v6从46.7提升到52.2（+5.6）。第二，训练效率显著提高。REASONING ARENA将训练步时间减少27%到41%，每个优化步节省近50%的生成次数，同时保持性能增益。在组大小N=8的情况下，RLVR每步生成908个样本，而REASONING ARENA-Live仅需455个。第三，训练过程分析显示，REASONING ARENA在整个训练过程中保持进步，特别是在后期阶段。随着策略改善，全对组变得更加普遍，标准RLVR为这些组分配零优势，而REASONING ARENA成功提取细粒度的轨迹级偏好。第四，作者扩展了裁判模型的范围，使用Qwen3-235B-A22B和Qwen3.5-122B-A10B作为裁判，所有选择都显著超越RLVR，表明REASONING ARENA对裁判模型的鲁棒性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 (数学竞赛) | Pass Ratio@16 | 63.5 | 58.5 (RLVR) | +5.0 |
| AIME 2025 (数学竞赛) | Pass Ratio@16 | 51.7 | 43.8 (RLVR) | +7.9 |
| AIME 2026 (数学竞赛) | Pass Ratio@16 | 59.0 | 46.0 (RLVR) | +12.9 |
| Beyond AIME (数学推理) | Pass Ratio@16 | 36.4 | 28.2 (RLVR) | +8.3 |
| GPQA-Diamond (科学推理) | Pass Ratio@16 | 60.5 | 54.8 (RLVR) | +5.7 |
| LiveCodeBench v6 (代码生成) | Pass@5 | 52.2 | 46.7 (RLVR) | +5.6 |
局限与改进
作者在论文中承认了一些局限性。首先，REASONING ARENA的性能依赖于裁判模型的质量，虽然实验表明方法对不同的裁判模型（DeepSeekMath-V2、Qwen3-235B-A22B、Qwen3.5-122B-A10B）是鲁棒的，但更弱的裁判可能产生噪声信号。其次，虽然实时锦标赛将比较复杂度从O(N^2)降低到O(N)，但裁判调用仍然产生额外的推理成本，对于大规模部署可能需要优化。第三，本文专注于推理任务，锦标赛机制如何扩展到其他领域（如创意写作、开放式生成）需要进一步研究。第四，当前的软边际超参数和L2正则化强度是基于经验设置的，更系统的超参数搜索可能带来进一步改进。从我的观察来看，另一个潜在的局限性是Bradley-Terry模型假设传递性（如果A优于B，B优于C，则A应优于C），但在复杂的推理任务中，裁判的偏好可能不满足传递性，尤其是在不同推理风格之间的比较中。
独立分析的弱点
REASONING ARENA存在几个可以改进的弱点。首先，当前的实时锦标赛策略仅选择三个对手（最佳、最差、中位数），这可能不足以全面覆盖轨迹空间的多样性。改进方向是扩展对手选择策略，考虑更多样化的锚点，如基于聚类的代表轨迹或最大化信息增益的主动学习策略。其次，Bradley-Terry模型假设成对比较的独立性，但在实践中，裁判的判断可能受到顺序、疲劳或其他上下文因素的影响，违反独立同分布假设。改进方向是引入更复杂的排名模型，如Plackett-Luce或Thurstone-Mosteller模型，或考虑裁判的置信度和一致性指标。第三，当前的自适应路由仅基于奖励方差，这是一个二元决策，没有考虑组内轨迹的其他特征，如长度、复杂性或多样性度量。改进方向是设计更精细的路由策略，综合考虑多个因素以决定何时使用裁判奖励。第四，裁判的判断基于中间推理步骤，但当前的方法没有显式地区分不同类型的推理质量（如逻辑严密性、简洁性、创造性），所有差异都映射到一个标量奖励。改进方向是多维度奖励建模，为不同方面的推理质量提供细粒度的反馈。
未来方向
作者提出的未来工作方向包括探索更复杂的锦标赛结构和排名算法，以及将REASONING ARENA扩展到其他推理任务和领域。基于本文的成果，可以延伸的研究方向包括：第一，探索多裁判集成策略，使用不同专长的裁判模型（如数学专用、代码专用、通用推理）来提供更全面的评估。第二，研究自适应锦标赛大小，根据组的复杂性动态调整比较次数，平衡效率和信息量。第三，将REASONING ARENA与curriculum learning结合，根据模型能力动态调整训练数据的难度，进一步减少非多样化组的发生频率。第四，探索在线裁判学习，从训练过程中收集的裁判判断中学习，持续改进裁判模型的准确性和一致性。第五，研究REASONING ARENA在多模态推理任务中的应用，如视觉-语言推理，其中验证器可能更难设计，锦标赛机制的价值可能更大。第六，探索与人类反馈的结合，使用人类裁判标注一些关键比较来校准或改进LLM裁判的判断。
复现评估
从复现性角度评估，本文提供了相对充分的技术细节，但开源情况不明确。论文详细描述了模型配置（Ministral-3-8B-Instruct-2512作为策略模型，DeepSeekMath-V2作为主要裁判）、训练设置（STEM RL数据混合物，组大小N=8）和评估指标（数学和GPQA-Diamond使用pass ratio@16，LiveCodeBench使用pass@5）。关键的算法细节，如实时锦标赛的对手选择规则和Bradley-Terry模型的优化过程，都有清晰描述。然而，论文没有明确提供代码链接或数据集访问信息，这可能增加复现难度。从算力需求来看，实验涉及中等规模的模型（8B参数策略模型，685B裁判模型）和大量RL训练步骤（1400+步），需要相当的计算资源。复现的主要挑战可能在于：第一，获取STEM RL数据混合物，作者明确过滤了编码和视觉推理数据；第二，配置异步RL管道和裁判系统；第三，实现Bradley-Terry模型的稳定优化，特别是处理不完整和可能断开的比较图。总体而言，复现难度为中等，需要一定的RL和大规模训练经验，但技术细节足够充分，有经验的团队可以实现。
论文图表
Figure 1展示了非多样化奖励组在RLVR训练中的普遍性。纵轴表示样本比例，横轴是训练步数（0到1400）。曲线分为两部分：All Wrong（太难）和All Correct（太简单）。使用Ministral-3-8B-Instruct模型的训练数据显示，全错组在训练早期占主导地位（某些时刻超过60%），随着模型改善，全对组逐渐增加（训练后期超过40%）。这两个区域都接收到零组相对优势，尽管已经消耗了rollout计算。
这张图对理解论文至关重要，因为它定量展示了非多样化奖励组问题的严重性。如果没有这个数据，读者可能低估这个问题的普遍性，也无法理解为什么需要专门开发一个解决方案来解决它。图还揭示了问题的动态性质：训练早期和后期分别受不同形式的非多样化组影响，这解释了为什么自适应路由在整个训练过程中都很有价值。
Table 1总结了竞争数学、科学推理和代码基准测试的主要结果。表格包含七行（方法和指标）和七列（评估任务）。方法包括：RLVR [3]（平均分46.3）、RLAIF [11]（平均分47.3）、ArenaRL [34]（平均分51.6）、Adaptive Pointwise（平均分51.3）、REASONING ARENA（平均分53.5）和REASONING ARENA-Live（平均分53.9）。最后一行显示REASONING ARENA-Live相对于RLVR的提升：AIME 2024 +5.0、AIME 2025 +7.9、AIME 2026 +12.9、Beyond AIME +8.3、GPQA-Diamond +5.7、LiveCodeBench v6 +5.6，平均提升+7.6。
这个表格是论文的核心结果展示，提供了所有方法在所有任务上的定量比较。它清晰地展示了REASONING ARENA相对于基线的改进幅度，特别是与纯验证器（RLVR）和纯裁判（ArenaRL）基线的比较。表格还允许读者分析不同方法在不同任务上的相对优势，例如RLVR在LiveCodeBench上相对较强，而REASONING ARENA在所有任务上都持续改进。