多样性还是精确性？对下一个词预测的深入探究 Diversity or Precision? A Deep Dive into Next Token Prediction
重新审视交叉熵损失，通过奖励重塑策略发现精确导向的预训练分布更利于强化学习的探索空间，提升推理性能。
前置知识
策略梯度
策略梯度是强化学习中的一类方法，直接优化策略参数，使期望累积回报最大化。核心公式为策略梯度的期望形式，通过采样轨迹并沿着对数概率梯度的方向更新参数。这种方法不需要知道环境模型，只需与环境交互获得奖励信号即可。在本文的上下文中，作者将标准的交叉熵损失重新解释为一种特殊的策略梯度优化，其中每个词的生成都被视为一个独立的单步 episode。
本文将标准的交叉熵损失重新解释为单步策略梯度优化的特例，理解策略梯度原理是把握论文核心洞察的基础。只有理解了策略梯度的框架，才能真正明白为什么作者可以在预训练中引入奖励重塑，以及这种方法与强化学习之间的理论联系。
交叉熵损失
交叉熵损失是语言模型预训练的标准目标函数，定义为对真实下一个词对数概率的负值，其中 x_t 是真实的下一个词，s_t 是上下文。该损失通过最大化真实词的对数概率来训练模型。在 softmax 归一化约束下，增加真实词的概率会自动压制其他所有竞争词的概率。作者在论文中通过数学推导展示了交叉熵损失的内在奖励函数，揭示了它如何隐式地平衡多样性和精确性。
本文的核心贡献是将交叉熵损失推广为广义目标，理解原始交叉熵的工作机制对理解本文的创新点至关重要。论文通过将交叉熵重新解释为策略梯度优化的特例，建立了一个理论桥梁，允许将强化学习中的奖励塑造技术引入预训练。
熵
熵是衡量分布不确定性的指标，对于离散分布，熵定义为负的期望对数概率。在语言模型的上下文中，熵反映了模型输出的多样性：高熵表示分布平坦，候选词多且概率接近；低熵表示分布尖锐，概率集中在少数几个词上。熵的直观解释是对预测结果的惊讶程度。论文中的核心研究问题就是预训练应该追求高熵（多样性）还是低熵（精确性），以及这个选择如何影响后续强化学习的性能。
本文的核心研究问题就是多样性（高熵）还是精确性（低熵），深入理解熵的概念有助于把握论文的实验设计和结果解读。论文通过控制熵值来研究预训练配置对强化学习的影响，理解熵的含义对理解实验结果至关重要。
奖励塑造
奖励塑造是通过修改奖励函数来引导智能体学习更优策略的技术，核心是保持最优策略不变的前提下加速收敛。在强化学习中，一个好的奖励形状可以让智能体更快地发现有效策略。本文中的奖励塑造通过调整对正负词的奖励强度来控制训练过程中的熵值变化。具体而言，作者引入了正奖励缩放因子和排名感知的负奖励机制，显式地控制全局和局部熵。
本文提出的广义目标本质上就是一种奖励塑造策略，理解这个概念有助于把握论文的方法创新点。通过奖励塑造，作者可以在预训练阶段显式控制熵值，而不是让熵值被动地由交叉熵损失决定，这是论文方法的核心创新。
Pass@k 指标
Pass@k 是评估代码生成和数学推理任务的指标，它测量在 k 次独立尝试中至少有一个正确解的概率。这个指标在多项选择场景中比准确率更能反映模型的上限能力。例如，在论文中，作者使用 Pass@64 来评估模型在 64 次采样中找到正确解的概率。这个指标对于理解模型的上限能力很重要，因为它考虑了多次尝试的机会。
本文使用 Pass@k 分析基准模型的性能，理解这个指标有助于评估论文实验结果的实际意义。论文通过 Pass@k 曲线展示了不同配置下模型的上限能力差异，这是评估预训练配置优劣的一个重要维度。
研究动机
现有研究表明，强化学习可以显著提升大语言模型的推理能力，但 RL 的效果严重依赖于预训练模型定义的探索空间。具体而言，RL 需要在预训练模型输出的词分布基础上进行搜索，而预训练分布的熵值决定了 RL 能探索到的推理路径的广度。直觉上，高熵（多样性）的预训练分布应该为 RL 提供更广阔的探索空间。然而，这个直觉缺乏系统性的验证，且标准预训练使用的交叉熵损失本质上如何影响后续 RL 的探索潜力也缺乏深入理解。现有方法要么在预训练时完全不考虑后续 RL 的需求，要么将多样性和精确性的平衡推迟到 RL 阶段处理，导致预训练和 RL 之间存在目标错位。例如，GSM8K 和 MATH-500 等数学推理基准测试的准确率在不同预训练配置下可能有显著差异，但缺乏对这种差异背后机制的理解。
本文的目标是本文的核心目标是建立预训练目标与后续 RL 探索空间之间的理论联系，通过在预训练阶段主动控制多样性和精确性的权衡，为后续 RL 提供更有利的探索空间，从而提升端到端的推理性能。具体而言，作者希望回答：预训练阶段应采用什么样的奖励配置（高熵还是低熵）才能让 RL 收敛得更快、达到更好的性能？通过系统研究不同预训练配置对 RL 阶段性能的影响，作者希望能够为 LLM 的预训练提供新的指导原则。
与已有工作不同的是，本文的独特切入点在于将标准的交叉熵损失重新解释为单步策略梯度优化的特例，从而建立预训练与 RL 之间的理论桥梁。与以往将预训练和 RL 视为两个独立阶段的观点不同，本文认为预训练实际上是在定义 RL 的初始策略分布，这个分布的性质会直接影响 RL 的探索效率和最终性能。这个视角允许作者将 RL 中的奖励塑造技术引入预训练，提出广义的预训练目标，系统研究不同奖励配置对后续 RL 的影响。这种将预训练视为 RL 初始化的视角是本文相对于现有工作的独特之处。
核心方法
本文的方法核心是将标准的下一个词预测问题形式化为一个随机决策过程，通过揭示交叉熵损失的内在奖励机制，引入一个可调的奖励重塑策略来显式控制训练过程中的多样性和精确性权衡。具体而言，作者将每个词的生成视为一个完整的 episode（单步策略梯度），定义了广义的奖励函数，包含两个可调的机制：一个是针对正确词的正奖励缩放因子 beta，用于控制全局熵；另一个是针对负词的排名感知机制（lambda_hat 和 lambda_tilde），用于控制局部熵。通过调节这些参数，作者可以系统研究不同预训练分布对后续 RL 性能的影响。例如，当 beta 小于零时，奖励被放大，模型更 aggressively 将概率质量集中在真实词上，导致分布更尖锐；当 beta 大于零时，奖励被衰减，模型维持更平坦的分布。这种显式的熵控制使得预训练可以根据后续 RL 的需求进行优化。
本文的核心创新点是提出了广义的预训练目标，该目标将标准交叉熵损失作为一个特例，同时引入两个可调机制。第一个机制是正奖励缩放因子 beta，通过调整项来缩放对正确词的奖励强度。当 beta 小于零时，奖励被放大，模型更 aggressively 学习真实词；当 beta 大于零时，奖励被衰减，模型允许更多样性。第二个机制是排名感知的负奖励机制，区分 top-k 的高排名负词和低排名负词，分别给予不同的奖励 lambda_tilde 和 lambda_hat。例如，设置 lambda_hat 为负值会惩罚尾部负词，使分布更集中在头部；设置 lambda_tilde 为正值会奖励高排名负词，保留一些概率质量给合理的替代词。这个框架允许作者在预训练阶段显式控制熵值，而不是让熵值被动地由交叉熵损失决定。与已有的 label smoothing 或 focal loss 不同，本文的方法同时考虑正负词的奖励配置，且明确将这些配置与后续 RL 的探索空间联系起来。
方法步骤详情
本文方法的完整流程分为三个步骤。首先，作者推导出交叉熵损失的内在奖励函数，即正确词的奖励是概率的倒数，负词的奖励为 0。这揭示了交叉熵本质上是一个稀疏奖励的策略梯度问题。这个推导很重要，因为它建立了一个理论桥梁，允许将 RL 中的奖励塑造技术引入预训练。其次，作者引入广义奖励函数：对于正确词，修改奖励为概率倒数的缩放版本，其中缩放因子是（1 减去概率）的 beta 次方；对于负词，定义奖励为 lambda_tilde（如果在 top-k 中但不是正确词）或 lambda_hat（如果不在 top-k 中）。最后，组合得到完整的奖励函数，并通过策略梯度优化模型参数。作者在论文中展示了如何通过设置不同的 beta、lambda_tilde、lambda_hat 和 k 值来实现不同的熵控制策略，并系统地研究了这些配置对预训练和后续 RL 性能的影响。
技术新颖性
本文的技术新颖性体现在三个方面。第一，理论层面的新颖性：首次明确建立了交叉熵损失与策略梯度优化的理论联系，将预训练重新解释为定义 RL 初始策略分布的过程。这个视角为理解预训练和 RL 之间的关系提供了新框架，允许将 RL 中的奖励塑造技术直接应用于预训练。第二，方法层面的新颖性：提出了同时控制全局熵和局部熵的奖励重塑策略，与已有的损失修改方法不同，本文的方法明确考虑正负词的不对称处理，且通过 top-k 机制实现细粒度的熵控制。例如，作者可以同时设置全局低熵和局部高熵，这种配置在实验中表现出色。第三，发现层面的新颖性：通过大量实验发现了一个反直觉的结论，即精确导向的预训练（低熵）比高熵预训练更有利于后续 RL 的探索和收敛，这与高熵促进探索的传统直觉相悖。这个发现对 LLM 的预训练实践有重要的指导意义，因为它挑战了现有的常识并提供了新的优化方向。
实验结果
论文通过大规模实验得到了几个关键发现。在预训练阶段，不同奖励配置下的模型都能收敛到类似的 PPL 水平（约 2.0-2.2），但熵值差异显著：beta 等于负 0.25 的低熵配置使得分布更尖锐，而 beta 等于 0.50 的高熵配置维持更平坦的分布。在中间训练阶段，beta 等于负 0.25 的配置在知识和推理任务上持续超越基线（beta 等于 0），平均提升约 0.5 到 1.5 分；lambda_hat 等于负 0.1、lambda_tilde 等于 0、k 等于 100 的配置（惩罚尾部负词）也略优于基线，而 lambda_hat 等于 0.1、lambda_tilde 等于 0 的配置在知识任务上表现不稳定。最关键的发现在 RL 阶段：在 4B dense 模型上，beta 等于负 0.25 配置在所有指标上都显著优于 beta 等于 0.50 配置，最终 Avg@128 达到约 22%，比基线提升约 10%。在 10B-A0.5B MoE 模型上，lambda_hat 等于负 0.1 配置表现最优，Avg@128 达到约 18%，超越基线约 5%。在 20B-A1B MoE 模型上，beta 等于负 0.25 配置的 Pass@64 达到约 67%，显著高于 beta 等于 0.50 的约 63%。熵演化分析显示，beta 等于 0.50 的高熵配置在 RL 早期就发生熵崩溃（从 1.8 降至 0.6），同时响应长度急剧下降（从 12000 降至 2000），表明推理能力被抑制；而局部高熵配置（lambda_hat 等于负 0.1）则维持了稳定的熵值和响应长度，推理能力得以逐步激活。Pass@k 分析显示，精确导向的配置在数学和编码任务上获得更高的 Pass@k 曲线，且没有导致输出多样性的丧失。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（RL 阶段） | Avg@128 | 22% (4B dense, beta 等于负 0.25) | 20% (4B dense, beta 等于 0) | +10% |
| 数学推理（RL 阶段） | Cons@128 | 52% (4B dense, beta 等于负 0.25) | 48% (4B dense, beta 等于 0) | +8% |
| 数学推理（RL 阶段） | Pass@64 | 67% (20B-A1B MoE, beta 等于负 0.25) | 63% (20B-A1B MoE, beta 等于 0.50) | +6% |
| 知识和推理（中间训练） | 平均分数 | 42.5 (4B dense, beta 等于负 0.25) | 41.5 (4B dense, beta 等于 0) | +2.4% |
局限与改进
本文存在几个局限性。第一，实验主要集中在数学推理任务上（GSM8K、MATH-500、AMC23、AIME、OlympiadBench），对于其他类型的推理任务（如逻辑推理、常识推理）的研究不够充分，结论的普适性有待进一步验证。例如，虽然精确导向的配置在数学任务上表现出色，但在创意写作或开放式对话任务中可能需要不同的熵配置。第二，论文只研究了有限的超参数配置（beta 在负 0.25、0、0.50 之间，lambda_hat 在负 0.1、0、0.1 之间），没有进行更细粒度的搜索，可能存在更优的配置未被探索。第三，论文的理论分析还不够深入，虽然推导了交叉熵的内在奖励函数，但没有从理论角度严格证明为什么低熵配置更有利于 RL 的探索，主要依赖实验观察。第四，论文没有讨论计算效率的影响，不同奖励配置是否会影响训练速度或推理速度也是实际应用中的重要考虑。最后，论文只研究了单步策略梯度的框架，对于多步奖励设计（如基于完整推理链的奖励）的探索是一个自然的延伸方向。
独立分析的弱点
本文存在的第一个弱点是理论解释的不足。虽然实验发现低熵预训练更有利于 RL，但作者没有提供清晰的理论解释来解释这个反直觉的发现。一个可能的解释是低熵配置让模型对正确词更加确信，这种确信度在 RL 阶段转化为对高质量推理路径的偏好，从而加速收敛。但这个假设需要更严格的理论分析。改进方向是可以从信息论或优化理论的角度，建立预训练熵值与 RL 收敛速度之间的定量关系。第二个弱点是任务范围的局限。本文只关注数学推理任务，但不同类型的推理任务可能对多样性和精确性的要求不同。例如，创意写作任务可能更需要高熵，而事实问答任务可能更需要低熵。改进方向是在更多类型的任务上验证结论，或研究任务自适应的熵控制策略。第三个弱点是超参数设置的粗糙性。论文只测试了少数几个离散的超参数值，没有考虑连续调优或自适应调整。改进方向可以引入熵目标函数，让模型自动学习最优的熵配置，而不是依赖人工设定。第四个弱点是缺乏对生成质量的分析。论文主要关注准确率等指标，但没有分析不同配置下生成文本的流畅性、连贯性等质量指标。改进方向可以引入人工评估或更细致的自动评估指标来全面评估生成质量。
未来方向
基于本文的成果，未来可以从多个方向延伸研究。第一，探索任务自适应的熵控制策略。不同类型的任务可能对多样性和精确性有不同的要求，可以设计根据任务类型自动调整熵配置的机制，例如通过元学习或强化学习来学习最优的熵配置。第二，研究多步奖励设计。本文只考虑了单步的词级奖励，未来可以考虑基于完整推理链或中间状态的奖励设计，例如对推理过程中的关键步骤给予额外奖励。第三，与自适应计算结合。论文提到 reward design 可以与 adaptive computation policies 结合，在不确定的上下文中分配更多的内部计算步骤。这是一个很有前景的方向，可以让模型在需要深度推理的地方投入更多计算资源。第四，探索其他架构的适用性。本文主要研究了标准的 Transformer 架构，未来可以探索这个框架在 latent-reasoning 模型、loop transformers 或其他推理导向的架构上的应用。第五，理论层面的深化。可以从优化理论、信息论或控制理论的角度，建立更严格的理论框架来解释预训练熵值与 RL 性能之间的关系，为实验发现提供理论支撑。第六，实际应用层面的扩展。可以将本文的方法应用到实际的 LLM 训练流程中，例如在指令微调阶段引入熵控制，或结合对齐训练（RLHF）来同时优化多样性和安全性。
复现评估
论文的复现难度中等。作者提供了详细的训练设置：预训练使用 500B tokens（通用知识），中间训练使用 100B tokens（包含 5% 合成数据和更多推理内容），RL 阶段优先使用数学推理任务。模型包括 1B、4B dense 模型和 5B-A0.3B、10B-A0.5B、20B-A1B MoE 模型。超参数设置为 beta 在负 0.25、0、0.50 之间，lambda_hat 在负 0.1、0、0.1 之间，lambda_tilde 在 0、0.1 之间，k 等于 100。评估使用了 19 个基准测试，包括 MMLU、GSM8K、HumanEval+ 等。论文没有明确说明是否开源代码或模型，这增加了复现的难度。从计算资源角度看，训练 20B-A1B MoE 模型需要大量的 GPU 资源，这对一般研究机构来说是相当大的挑战。不过，小规模的实验（如 1B 或 4B 模型）在单个 GPU 上应该是可行的。论文提供了详细的训练曲线和性能指标，这有助于验证复现结果的正确性。总体而言，如果作者提供代码实现和预训练 checkpoint，复现应该是可行的；否则，从头训练的门槛较高。
论文图表
