无监督 RLVR 能将 LLM 训练推多远？ How Far Can Unsupervised RLVR Scale LLM Training?
揭示内在奖励的分布锐化机制与不可避免的崩溃，提出外部奖励作为可扩展替代路径
前置知识
RLVR（Reinforcement Learning with Verifiable Rewards）
RLVR 是一种利用可验证奖励信号来训练大语言模型的范式。与传统 RLHF 依赖人类偏好标注不同，RLVR 使用可以程序化验证的奖励，例如数学题的答案是否正确（通过字符串匹配）、代码是否通过测试（通过执行）、或形式化证明是否成立（通过 Lean 检查器）。这种可验证性使得奖励信号客观、可扩展，是 DeepSeek-R1、Qwen3 等推理模型取得突破的关键技术之一。在本文中，RLVR 是基础框架，而 URLVR（无监督 RLVR）研究的是在没有 ground truth 标签时如何获取这类可验证奖励。
理解 RLVR 是理解本文的前提，因为本文的核心问题就是：当没有人工标注的 ground truth 时，RLVR 的奖励信号从哪来、能走多远？
Intrinsic Reward（内在奖励）
内在奖励是指完全由模型自身的内部状态（如输出概率分布、logits）产生的奖励信号，不依赖任何外部信息。本文将内在奖励分为两类：Certainty-Based（基于确定性），通过模型输出分布的熵或置信度来衡量，假设「模型越自信的输出越可能是正确的」；Ensemble-Based（基于集成），通过对同一问题生成多个回答并投票，假设「多数一致的回答更可能是正确的」。代表方法包括 RLIF（Self-Certainty）、EM-RL（Token-Level Entropy）、TTRL（Majority Voting）等。
内在奖励是本文理论分析的核心对象，论文证明所有内在奖励方法都趋向于「锐化」模型初始分布，这是理解其「先升后降」模式的关键。
Distribution Sharpening（分布锐化）
分布锐化是指通过训练不断放大模型已有偏好、使输出分布变得更尖锐的过程。用一个比喻来理解：如果模型一开始对某个答案有 60% 的置信度，锐化机制会把它推到 80%、90%、99%，最终趋向确定性输出。数学上，论文证明了在内在奖励训练下，策略会几何级收敛到一个只在初始多数答案上有概率质量的确定性策略。关键在于，这个机制只放大已有偏好，不创造新知识——如果初始偏好是错的，它会忠实地放大错误。
这是论文最核心的理论贡献，解释了为什么所有内在奖励方法最终都会崩溃：它们本质上只是在放大模型已有的知识边界。
Model Collapse Step（模型崩溃步数）
Model Collapse Step 是本文提出的一个新指标，定义为内在 URLVR 训练过程中 Reward Accuracy（伪奖励与真实奖励的一致率）下降到 1% 以下的训练步数。直觉是：如果模型的先验知识很强（初始 confidence 与正确性对齐良好），它能撑更久才崩溃；如果先验弱，很快就崩溃。论文在 7 个模型（来自 OLMo、LLaMA、Qwen 三个家族）上验证了该指标与标准 RLVR 训练收益（GT Gain）的强相关性，且计算成本仅为完整 RL 训练的 1/5.6。
这个指标为实践者提供了一个低成本的模型先验评估工具，无需运行完整 RL 训练就能预测哪个基座模型更适合做 RLVR。
Generation-Verification Asymmetry（生成-验证不对称性）
这是许多推理任务的一个基本属性：生成正确解很难，但验证一个候选解是否正确却很容易。例如，写一个通过所有测试用例的程序需要复杂的多步推理，但执行程序并检查测试结果是确定性且瞬时的；找到不定积分的闭式解很难，但用数值采样验证答案是否正确只需常数时间。这种不对称性意味着外部验证器可以提供可靠、廉价且无限可扩展的奖励信号，不受模型自身知识边界的限制。论文在 Countdown 算术任务上初步验证了自验证方法（Self-Verification）在持续训练中不崩溃。
这是论文认为可扩展 URLVR 的未来方向，它突破了内在奖励「只能放大已有知识」的根本局限。
研究动机
近年来 RLVR（强化学习 + 可验证奖励）是提升 LLM 推理能力的核心技术，DeepSeek-R1、Qwen3 等模型都通过它取得了突破。但这个范式面临一个根本瓶颈：scaling supervision 需要大量高质量的 ground truth 标注。当模型在特定领域接近甚至超越人类专家水平时，获取可靠的人类标注成本急剧上升甚至变得不可能。这一「监督瓶颈」促使研究者探索无监督 RLVR（URLVR），即在没有 ground truth 标签的情况下推导奖励信号。已有工作提出了多种内在奖励方法，如 TTRL 的多数投票、EM-RL 的熵最小化等，报告了令人鼓舞的早期训练增益。但这些方法的潜力和局限性仍然不清楚——多个研究指出了 reward hacking 和模型崩溃等严重问题，且不同方法在不同模型和评估设置下缺乏系统比较，领域内对「什么是可靠的无监督奖励」尚无共识。
本文的目标是本文的目标是对 URLVR 进行一次全面、系统的研究，覆盖分类学、理论分析和大规模实验三个层面。具体来说，论文要回答四个关键问题：（1）内在奖励方法的底层机制是什么？（2）内在 URLVR 在什么条件下有效、什么条件下失效？（3）能否找到一个实用指标来预测模型的 RL 训练潜力？（4）有没有可扩展的替代方案能突破内在奖励的天花板？论文不仅想描述现象，更想建立理论框架来解释这些现象，并为实践者提供可操作的指导。
与已有工作不同的是，本文的独特切入点在于：它不提出新的 URLVR 方法，而是首次对所有现有内在奖励方法建立统一的理论框架，揭示它们共享一个共同机制——分布锐化（distribution sharpening）。此前的工作要么只关注单一方法的实验表现，要么只提供经验性的失败分析。本文从数学上证明了所有内在奖励（无论是基于确定性的还是基于集成的）都会收敛到对初始分布的锐化，这个统一视角让之前看似分散的现象（reward hacking、模型崩溃、不同方法的不同失败模式）都得到了一致的解释。此外，论文还首次系统地将 URLVR 方法分为内在和外部两类，并指出外部奖励（利用生成-验证不对称性）可能是突破内在奖励天花板的方向。
核心方法
想象你在教一个学生做数学题，但你手里没有答案。一种策略是看学生自己最自信的答案，然后鼓励他更自信地选择那个答案——这就是内在奖励。如果你的学生本来就会做大部分题，这个策略很有效，因为它会强化他的正确判断。但如果学生一开始就在某类题上犯系统性错误，这个策略就会把他推向更深的错误深渊——越练越错。本文的理论贡献就在于严格证明了这个直觉：所有内在奖励方法，不管设计多么精巧，本质上都在做同一件事——放大模型已有的偏好。技术路线上，论文首先建立统一理论框架（第3节），证明多数投票奖励的最优策略具有闭式解，实际训练动态满足序关系，最终几何级收敛到确定性策略。然后通过大规模实验（第4-6节）验证理论预测，提出 Model Collapse Step 指标，并初步探索外部奖励方法。
本文最核心的创新点是一个统一视角：尽管现有内在奖励方法形式各异（Self-Certainty、Token-Level Entropy、Majority Voting、Probability Disparity 等，详见论文 Table 1 和 Table 2），但它们都趋向于锐化模型的初始分布。具体来说，论文以 TTRL 的多数投票奖励为切入点，推导出在 KL 正则化 RL 目标下，最优策略的闭式解为 pi*(y|x) = pi_ref(y|x) * exp(r(x,y)/beta) / Z(x)，其中 r_k 是二值多数投票奖励。这意味着多数答案的概率被放大 e^(1/beta) 倍，其他答案概率不变。迭代这个过程，论文证明了策略会以速率 rho = e^(-1/beta) 几何级收敛到只集中在初始多数答案上的确定性策略。这个锐化机制的双刃剑性质在于：当初始置信度与正确性对齐时，它放大正确答案（先升）；当不对齐时，它放大错误（后降）。与已有方法的本质区别在于：本文不是在设计新方法，而是在解释为什么所有现有方法都会失败。
方法步骤详情
论文的研究方法可分为五个递进步骤。第一步，分类学构建（Section 2）：将 URLVR 方法按奖励来源分为内在奖励（intrinsic）和外部奖励（external）两大类，内在奖励进一步分为 Certainty-Based（基于模型置信度，包括 RLIF、EM-RL、RENT、RLSC、RLSF）和 Ensemble-Based（基于集成一致性，包括 TTRL、SRT、SeRL、EMPO、CoVo 等）。第二步，理论分析（Section 3）：以多数投票为代表，推导出 KL 正则化 RL 目标下最优策略的闭式解，证明序关系 p^{*,(k+1)}_{maj} >= p^{(k+1)}_{maj} >= p^{(k)}_{maj} 成立，并通过 Theorem 1 证明策略以几何速率收敛到确定性策略。第三步，实验验证「先升后降」模式（Section 4）：在 Qwen3-1.7B-Base + DAPO-17k 上系统测试 5 种内在奖励方法，对 4 个超参数（温度、batch size、KL 正则化、rollout 数量）进行穷举调优，发现所有设置最终都会崩溃。第四步，安全应用场景探索（Section 5）：发现小数据集（小于等于128 样本）可以避免崩溃，提出 Test-Time Training 作为内在奖励的安全应用场景。第五步，Model Collapse Step 指标（Section 6）：在 7 个模型上验证崩溃步数与 RL 训练收益的强相关性，并通过激进超参数加速评估（计算成本降低 5.6 倍）。
技术新颖性
本文的技术新颖性体现在三个层面。首先是理论层面的统一性：此前的 URLVR 工作要么只关注单一方法（如 TTRL 只研究多数投票），要么只提供经验性分析（如观察到 reward hacking 但不解释机制）。本文首次提出了统一的理论框架，通过 Theorem 1 和附录中的推广分析，证明了所有内在奖励方法都趋向分布锐化，将看似不同的方法收敛到同一个理论本质上。其次是指标层面的实用性：Model Collapse Step 是一个全新的模型先验评估指标，它利用内在 URLVR 的「先升后降」模式来度量模型先验强度，比 pass@k 更准确（与 GT Gain 相关性更强）、比完整 RL 训练更高效（计算成本降低 5.6 倍）、且不依赖 ground truth 标签。最后是方向层面的前瞻性：论文系统地将 URLVR 分为内在和外部两类，并通过 Countdown 任务上的 Self-Verification 实验初步证明了外部奖励方法的潜力——Reward Accuracy 先下降后恢复稳定在 0.5 以上，Ground Truth Reward 持续上升，没有出现内在奖励的崩溃模式。
实验结果
论文的实验发现可以归纳为五个核心结论。第一，内在 URLVR 普遍存在「先升后降」模式。在 Qwen3-1.7B-Base + DAPO-17k 的标准设置下，多数投票训练在 AIME 2024、AIME 2025、AMC 2023 三个基准上最初匹配甚至超越 ground truth 训练的表现，但继续训练后验证性能持续下降，而代理奖励（Majority Voting Reward）却持续上升，形成典型的 reward hacking。第二，五种内在奖励方法有不同的失败模式：Self-Certainty 和 Majority Voting 退化最慢（一个 epoch 内不崩溃），Probability 奖励导致长度崩溃（模型生成过短回答），两种熵方法（Token-Level Entropy、Trajectory-Level Entropy）导致重复崩溃（模型用重复文本填充输出）。第三，小数据集可以避免崩溃：小于等于128 样本的训练保持稳定（DAPO-32 从不崩溃，DAPO-512 总是崩溃），因为小数据集只引起局部过拟合而非系统性策略偏移——KL 散度测量显示 DAPO-32 在 600 步后仅达到 0.057，而 DAPO-512 达到 2 倍以上。第四，即使初始多数投票全部错误（极端 DAPO-32 设置），小规模训练仍能在 OOD 基准上产生增益，验证了局部过拟合机制。第五，Model Collapse Step 与标准 RL 训练收益强相关：在 7 个模型上，崩溃越晚的模型获得的 GT Gain 越大（Qwen3-8B-Base 崩溃最晚、收益最大），且该指标可通过激进超参数加速评估，计算成本仅为完整 RL 训练的 1/5.6。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 数学推理 | avg@32 准确率 | 内在奖励早期匹配 ground truth 训练（约6%），后期崩溃至0% | Ground Truth RLVR 训练保持约6% | 早期持平，后期严重退化 |
| AIME 2025 数学推理 | avg@32 准确率 | 内在奖励早期约3%，后期崩溃至0% | Ground Truth RLVR 训练保持约3% | 早期持平，后期严重退化 |
| AMC 2023 数学推理 | avg@32 准确率 | 内在奖励早期约32%，后期崩溃至约24% | Ground Truth RLVR 训练保持约32% | 早期持平，后期退化约8个百分点 |
| Countdown 算术任务 | avg@16 准确率（Self-Verification） | Qwen3-1.7B-Base 最终约45%，Qwen3-4B-Base 约80% | Trajectory-Level Entropy（内在奖励）最终约15%（1.7B）和40%（4B） | 自验证显著优于内在奖励，且不出现崩溃 |
| Model Collapse Step 预测 RL 可训练性 | 与 GT Gain 的排序一致性 | 7个模型的崩溃步数排序与 GT Gain 排序一致 | Pass@k Gain 排序一致性较差 | 更准确、不依赖 ground truth、计算成本低5.6倍 |
局限与改进
论文的局限性主要体现在以下几个方面。首先，理论分析主要基于多数投票奖励的闭式解推导，虽然论文在附录中通过统一奖励框架推广到其他内在奖励，但严格的收敛证明（Theorem 1）依赖于两个假设：多数稳定性（maj_k(Y_k) = maj_0(Y_0) 对所有 k 成立）和有效学习（p^{(k+1)}_{maj} > p^{(k)}_{maj}）。前者需要足够大的 rollout 数量 N，后者在实际训练中不一定始终成立（如梯度噪声、学习率调度等可能导致偶尔回退）。其次，实验主要在数学推理任务上进行（AIME、AMC、MATH500），对其他可验证任务（如代码生成、形式化证明）的推广性尚未充分验证。第三，外部奖励部分（Self-Verification）的实验仅在 Countdown 算术任务上进行，这是一个相对简单的任务（生成-验证不对称性非常明显），在更复杂的推理任务上自验证的可靠性仍有待证明。第四，Model Collapse Step 的评估需要运行内在 URLVR 训练到崩溃，虽然比完整 RL 训练便宜 5.6 倍，但仍需要一定的计算资源，且崩溃步数的测量存在噪声。最后，论文主要使用小规模模型（1.5B-8B），对更大规模模型（如 70B+）上内在 URLVR 的行为是否一致尚不清楚。
独立分析的弱点
本文有三个值得改进的弱点。第一，内在奖励的统一分析虽然在理论上很优雅，但实际训练中的崩溃时间点受超参数影响很大（论文自己在 B.3 节展示了这一点），这意味着「锐化机制」虽然是底层驱动力，但实际的崩溃行为可能受到训练工程因素的显著调节。改进方向是建立更精细的训练动态模型，将学习率、batch size、KL 正则化系数等因素纳入理论框架，而不是只关注渐近行为。第二，Self-Verification 的实验过于简单——Countdown 任务的验证器就是算术表达式求值，这是一个「完美验证器」。在更复杂的任务（如开放性数学证明、长篇代码）中，自验证器本身可能出错（模型既是生成器又是验证器，可能产生「自欺欺人」的 reward hacking）。改进方向是在更多样化的任务上测试自验证的鲁棒性，并研究验证器能力与生成器能力的匹配关系。第三，论文声称 Model Collapse Step 可以替代 pass@k 作为模型选择指标，但在实际应用中，崩溃步数的测量本身也有随机性（不同随机种子、不同数据子集），论文虽然验证了跨超参数的稳定性，但没有充分讨论跨运行的方差。改进方向是提供崩溃步数的置信区间估计，或开发更鲁棒的崩溃检测算法。
未来方向
基于本文的成果，未来研究可以在三个方向延伸。第一，将外部奖励方法推广到更多领域：论文已经证明了生成-验证不对称性在算术任务上的有效性，自然的下一步是将这一思路应用到代码生成（编译器+测试用例作为验证器）、形式化数学（Lean/Isabelle 作为验证器）、科学计算（数值模拟器作为验证器）等领域。DeepSeekMath-V2 和 AlphaProof 已经在形式化证明方向做了初步尝试，但系统性的探索尚不充分。第二，探索内在奖励与外部奖励的混合策略：论文将两者对立起来讨论，但在实践中，内在奖励在 Test-Time Training 场景下仍然有效（论文 Section 5 已经证明），可以考虑在训练早期用内在奖励快速提升，中后期切换到外部奖励避免崩溃。第三，将 Model Collapse Step 发展为模型选择的标准工具：当前该指标只在数学推理任务上验证，需要在更多任务类型（代码、科学问答等）上验证其泛化性，同时探索是否可以用更少的训练步骤（如只训练 50 步）来预估崩溃步数，进一步降低评估成本。
复现评估
论文的复现条件相对友好。代码已开源在 GitHub（https://github.com/PRIME-RL/TTRL），提供了 TTRL 方法的实现。训练数据使用公开的 DAPO-17k 数据集，评估基准（AIME 2024/2025、AMC 2023、MATH500）都是标准数学推理基准。算力方面，论文使用 Qwen3-1.7B-Base 作为主要实验模型，这是 1.7B 参数的小模型，在单张消费级 GPU 上即可微调；7 模型的 Model Collapse Step 评估总共消耗约 1.19B tokens，远低于完整 RL 训练的 6.66B tokens。复现难度中等：理论部分需要理解 KL 正则化 RL 的最优策略推导，实验部分需要配置 RL 训练框架（论文使用了 DAPO 训练设置）。需要注意的是，论文的 Self-Verification 实验使用了 Countdown 任务的公开数据集和奖励函数（来自 TinyZero 项目），复现外部奖励部分也较为直接。总体而言，一个有 RL 训练经验的团队可以在 1-2 周内复现核心实验。
论文图表
