可扩展的功率采样：通过分布锐化实现高效、免训练的LLM推理 Scalable Power Sampling: Unlocking Efficient, Training-Free Reasoning for LLMs via Distribution Sharpening
用自回归功率采样替代MCMC，在推理时实现分布锐化，10倍加速匹配RL后训练性能
前置知识
功率分布 (Power Distribution)
给定语言模型分布 $p(x)$ 和指数参数 $\alpha > 1$，功率分布定义为 $p^{\alpha}(x) \propto p(x)^{\alpha}$。这是一种对原始分布进行全局锐化的机制，它会对概率质量进行重新分配，使得高质量的轨迹获得更高的权重。与简单的低温采样不同，功率分布考虑的是整个轨迹的概率，而非单个token的局部概率。直觉上，如果一条推理路径的整体似然度很高，那么功率分布会放大这条路径被采样的概率。
功率分布是本文的核心理论基础。理解它才能明白为什么推理能力可以不通过训练而通过采样策略来'解锁'，以及本文方法与低温采样的本质区别。
低温采样 (Low-Temperature Sampling)
通过降低采样温度参数 $\tau$ 来锐化模型的输出分布，通常设置 $\tau = 1/\alpha < 1$。低温采样是局部操作，在每个token位置独立地对概率分布进行指数缩放：$p^{\text{low.temp}}_{\alpha}(x_t|q, x_{0:t-1}) = \frac{p(x_t|q, x_{0:t-1})^{\alpha}}{\sum_{x'_t} p(x'_t|q, x_{0:t-1})^{\alpha}}$。虽然简单高效，但它无法感知未来轨迹的质量，可能导致选择局部最优但全局次优的token。
低温采样是本文要超越的基线方法。理解它的局限性（只看局部、不考虑全局质量）才能理解本文的创新动机。
MCMC采样 (Markov Chain Monte Carlo Sampling)
一种通过构建马尔可夫链来近似采样复杂分布的统计方法。在功率分布采样的语境下，MCMC通过迭代地重新采样子序列来逼近全局功率分布。具体实现采用Metropolis-Hastings算法，在每个阶段进行多次迭代重采样。虽然理论上能收敛到目标分布，但在高维离散空间中混合时间可能指数级增长，导致计算成本极高（约8.8倍于标准采样）。
MCMC是现有功率分布采样的主要方法，但其计算开销限制了实际应用。本文正是为了克服MCMC的效率瓶颈而提出的替代方案。
Jackknife估计器
一种经典的统计偏差消除技术，通过系统地组合多个留一（leave-one-out）估计量来构建偏差修正后的估计器。其核心思想是：从原始样本中依次移除一个样本点，得到多个子估计量，然后用这些子估计量的组合来消除原估计量中的主要偏差项。在本文中，Jackknife将蒙特卡洛估计的偏差从 $O(1/M_t)$ 降低到 $O(1/M_t^2)$，使得用更少的样本就能达到同等精度。
Jackknife是本文方法能用少量rollout样本达到高精度估计的关键技术。没有它，需要的计算量会大幅增加，削弱方法的效率优势。
分布锐化 (Distribution Sharpening)
对概率分布进行变换，使得概率质量更集中在高质量区域的过程。在LLM推理的语境下，有越来越多的证据表明，RL后训练（如GRPO）的主要效果并非赋予模型新的推理能力，而是将基础模型中已有的潜在能力通过分布锐化'显现'出来。如果这个假设成立，那么直接在推理时对基础模型进行分布锐化，理论上就能达到类似RL训练的效果。
这是本文的核心假设和理论前提。正是基于'RL后训练本质是分布锐化'这一观察，作者才能绕过训练阶段，直接在推理时通过采样策略来实现同等效果。
研究动机
当前大语言模型推理能力的提升主要依赖强化学习（RL）后训练，通过优化模型对抗自动验证器（如代码的单元测试、数学的Lean证明）来实现。然而，越来越多的证据表明，RL后训练的收益主要来自于分布锐化而非学习新能力。以Karan & Du (2025)为代表的工作证明，从基础模型的功率分布中采样，可以在MATH500和GPQA等基准上匹配甚至超越RL训练模型的性能。但问题在于，现有方法依赖MCMC采样来逼近功率分布，这种方法在高维离散空间中混合时间可能指数级增长。具体来说，MCMC方法在MATH500上的推理延迟是标准采样的8.8倍，每次提示平均需要2.5分钟（Qwen2.5-Math-7B），这使得该方法在实际部署中几乎不可用。
本文的目标是本文的目标是设计一个既保留功率分布采样的推理收益，又大幅降低计算开销的方法。具体而言，作者希望：(1) 理论上建立功率分布与低温分布之间的精确联系，找到功率分布的可操作分解形式；(2) 设计一个免训练、免验证器的自回归采样算法，使得推理延迟降低10倍以上；(3) 在数学、代码、QA三类任务上，跨4个LLM验证方法的有效性，证明其能匹配或超越GRPO的pass@1性能。
与已有工作不同的是，虽然已有工作建立了功率分布与低温分布'不同'的结论，但本文发现了两者之间的深层联系：功率分布可以分解为低温分布乘以一个token级别的缩放因子。这个缩放因子反映的是当前token诱导的未来轨迹的平均质量，是一个全局性的量。而低温采样只看局部概率，MCMC需要迭代推理才能逼近全局性质。本文的洞察在于：这个缩放因子可以用蒙特卡洛采样来估计，从而在自回归框架内逼近功率分布。这填补了'理论上有优越性'和'实践中可部署'之间的鸿沟。
核心方法
本文的方法可以用一个类比来理解：如果把LLM生成文本比作下棋，低温采样就像是每一步都选当前局面下胜率最高的走法（贪心策略），而功率分布采样则像是评估每一步之后所有可能的未来棋局，选出综合胜率最高的走法。MCMC方法通过反复'复盘'（迭代重采样）来逼近这种全局评估，但代价高昂。本文的方法则是：在每一步，快速'模拟'几局（Monte Carlo rollout），用模拟结果来估计每种走法的未来质量，然后选择综合质量最高的走法。技术路线上，首先证明功率分布可以分解为 $p^{\alpha}(x_t|q, x_{0:t-1}) \cdot \zeta_t(x_t)$ 的形式，其中 $\zeta_t$ 是缩放因子；然后用蒙特卡洛采样估计 $\zeta_t$；最后用Jackknife技术减少估计偏差。
本文的核心创新点是对功率分布的全新分解。具体来说，作者证明了定理3.1：功率分布在每个token位置可以表示为低温分布乘以一个token特定的缩放因子 $\zeta_t(x'_t)$。这个缩放因子的形式是：$\zeta_t(x'_t) = \sum_{x_{t+1:T}} p^{\alpha}(x_{t+1:T}|q, x_{0:t-1}, x'_t)$，即当前token之后所有可能轨迹的加权概率和。关键洞察是：$\zeta_t$ 可以写成关于基础模型分布的期望形式，因此可以通过从基础模型采样 $M_t$ 条轨迹来进行蒙特卡洛估计。这与MCMC方法的本质区别在于：MCMC需要迭代地修改已有序列，而本文方法只需要在每个token位置做独立的前向采样，避免了序列级推理的开销。理论上，当 $M_t \to \infty$ 时，两种方法收敛到同一分布，但在有限计算预算下，本文的方法能更有效地将概率质量集中在高质量轨迹上。
方法步骤详情
算法流程分为以下几个步骤：(1) **候选生成**：在每个自回归步骤 $t$，使用Top-K筛选获取 $K_t$ 个候选token，形成候选集 $G_t$；(2) **未来轨迹采样**：对每个候选token $x'_t$，从基础模型采样 $M_t$ 条独立的未来轨迹 $\{x^{[r]}_{t+1:T}\}_{r=1}^{M_t}$；(3) **缩放因子估计**：计算蒙特卡洛估计 $\hat{\zeta}_t(x'_t) = \frac{1}{M_t} \sum_{r=1}^{M_t} p^{\alpha-1}(x^{[r]}_{t+1:T}|q, x_{0:t-1}, x'_t)$；(4) **Jackknife修正**：利用留一估计量 $\hat{\zeta}^{(\text{LOO})}_{t,-s}$ 构建偏差修正后的估计器 $\hat{p}^{\text{pow},\text{JK}}_{\alpha}$，将偏差从 $O(1/M_t)$ 降至 $O(1/M_t^2)$；(5) **采样决策**：按修正后的概率分布采样下一个token $x_t$；(6) **批量扩展**：将单token采样扩展到B大小的token块，进一步提升效率。整个过程无需任何外部奖励或验证器，仅依赖基础模型本身。
技术新颖性
本文的技术新颖性体现在三个层面：**理论层面**，首次建立了全局功率分布与局部自回归采样之间的精确分解关系（定理3.1），解决了Karan & Du (2025)指出的'两种分布完全不同'的理论困境。**估计层面**，将蒙特卡洛估计引入功率分布采样，并用Jackknife技术系统性地消除比率估计的偏差（引理3.3），这是统计学经典方法在LLM采样中的创新应用。**算法层面**，完全避免了MCMC的序列级迭代推理，将采样过程分解为token级别的独立操作，实现了真正的自回归功率采样。与Tree of Thoughts和MCTS等搜索方法相比，本文方法保持了纯采样的简洁性，无需维护状态树或回溯；与推测解码等并行方法相比，本文方法明确地改变分布目标（从 $p(x)$ 到 $p^{\alpha}(x)$），而非仅加速原始分布的采样。
实验结果
本文在4个LLM（Qwen2.5-7B、Qwen2.5-Math-7B、DeepSeek-Math-7B、DeepSeek-Math-7B-RL）和3个基准（MATH500、HumanEval、GPQA）上进行了全面评估，核心发现如下：**性能方面**，自回归功率采样在所有设置下都显著优于标准解码和低温采样。以Qwen2.5-Math-7B为例，在MATH500上达到75.8%的pass@1（基线49.6%，低温69.0%），超越GRPO的78.5%。在HumanEval上达到60.4%（基线32.9%，GRPO 53.7%）。在GPQA上达到40.9%（基线27.8%，GRPO 39.9%）。**效率方面**，与MCMC相比，推理延迟降低了10倍以上。在最慢的场景（Qwen2.5-Math-7B处理MATH500）中，MCMC平均需要2.5分钟/提示，而本文方法仅需0.22分钟。**多样性方面**，GRPO虽然提升了pass@1，但在pass@K（K≥4）时出现多样性崩溃，而功率采样方法在K=8时仍保持与基础模型相当的多样性。**RL模型增强**，对已经过GRPO训练的DeepSeek-Math-7B-RL，功率采样仍能带来小幅提升（MATH500: 49.2%→50.2%），说明即使经过RL训练，仍有进一步锐化的空间。**玩具例子验证**，在一个简单的'规划vs猜测'例子中，低温采样以83.5%的概率选择次优的GUESS策略，而功率分布将55%的质量分配给最优的PLAN策略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH500 (数学推理) | Pass@1 | 75.8% | Qwen2.5-Math-7B Base: 49.6%, GRPO: 78.5% | 相对基础模型提升26.2个百分点，接近GRPO水平 |
| HumanEval (代码生成) | Pass@1 | 60.4% | Qwen2.5-Math-7B Base: 32.9%, GRPO: 53.7% | 相对基础模型提升27.5个百分点，超越GRPO 6.7个百分点 |
| GPQA (知识问答) | Pass@1 | 40.9% | Qwen2.5-Math-7B Base: 27.8%, GRPO: 39.9% | 相对基础模型提升13.1个百分点，超越GRPO 1.0个百分点 |
| MATH500 (Qwen2.5-7B) | Pass@1 | 70.8% | Base: 49.8%, GRPO: 74.0% | 相对基础模型提升21.0个百分点 |
| HumanEval (Qwen2.5-7B) | Pass@1 | 75.6% | Base: 32.9%, GRPO: 56.1% | 相对基础模型提升42.7个百分点，超越GRPO 19.5个百分点 |
| MATH500 (DeepSeek-Math-7B-RL) | Pass@1 | 50.2% | Base: 49.2%, GRPO: 无额外训练 | 在已RL训练模型上仍提升1.0个百分点 |
局限与改进
尽管本文方法取得了显著成果，但仍存在多个局限性：**计算开销仍然存在**，虽然比MCMC快10倍，但相比标准解码仍有2.5-3.5倍的额外开销，因为每个token位置都需要进行多次rollout采样。这在需要实时响应的场景中可能仍不可接受。**超参数敏感性**，功率指数 $\alpha$ 的选择对性能影响显著，最优值通常在4-5之间，过高（如8）或过低（如1）都会导致性能下降。虽然作者在多个模型上验证了 $\alpha=4$ 的鲁棒性，但在新领域或新模型上可能需要重新调优。**缩放因子估计的方差**，尽管Jackknife修正显著降低了偏差，但蒙特卡洛估计本身存在方差，当 $M_t$ 较小时可能导致不稳定。**对基础模型质量的依赖**，如果基础模型本身缺乏某种推理能力，功率采样也无法'创造'这种能力，只能'放大'已有的能力。**安全性考量**，分布锐化是双向的，如果基础模型包含潜在的有害知识或偏见，功率采样可能会同样放大这些不良行为。作者强烈建议仅在经过安全过滤或指令微调的基础模型上使用此方法。
独立分析的弱点
本文存在以下可改进的弱点：**轨迹级缩放因子的近似**，定理3.1中的缩放因子 $\zeta_t$ 是对所有未来轨迹的求和，作者用有限的 $M_t$ 条轨迹进行蒙特卡洛估计。在推理早期步骤（剩余序列较长时），这种估计可能不够准确。改进方向是设计自适应的采样策略，根据当前位置到序列末尾的距离动态调整 $M_t$。**候选集大小固定**，Top-K筛选的 $K_t$ 是固定的，但在不同token位置，候选的多样性可能差异很大。自适应候选集大小（在高不确定性位置采样更多候选）可能带来收益。**缺乏与RL训练的结合**，虽然本文强调'免训练'，但将其与轻量级RL微调结合可能产生协同效应。例如，先用功率采样生成高质量数据，再用这些数据进行RL训练。**Jackknife的计算开销**，虽然Jackknife减少了所需样本量，但它本身需要 $M_t$ 次留一估计，增加了计算量。探索其他偏差校正技术（如自助法bootstrap）可能更高效。**仅在7B规模模型上验证**，实验仅在7B参数规模的模型上进行，更大模型（如70B）上的效果未知，且更大模型的基础能力更强，功率采样的边际收益可能不同。
未来方向
作者提出了几个未来研究方向：**方差缩减**，引入控制变量（control variates）技术来进一步降低蒙特卡洛估计的方差；**自适应计算**，根据问题难度和模型置信度动态调整计算预算（$K_t$, $M_t$），实现'推理即预算'的精细控制；**与推测解码结合**，利用推测解码（speculative decoding）的并行生成机制来分摊rollout的计算成本；**扩展到智能体场景**，将功率采样应用于多轮对话、工具使用等更复杂的智能体任务。基于本文成果，还可以延伸到：**多模型集成功率采样**，在多个基础模型的功率分布上进行采样，利用模型多样性；**条件功率分布**，针对特定任务（如代码、数学）设计定制的功率分布形式；**在线学习功率采样**，在推理过程中根据反馈动态调整 $\alpha$ 参数。
复现评估
本文的复现性评估如下：**开源情况**，作者承诺论文接收后将开源代码，但截至阅读时代码尚未公开。MCMC基线方法有开源实现（Karan & Du, 2025），便于对比复现。**数据集**，使用的三个基准（MATH500、HumanEval、GPQA-Diamond）都是公开的标准基准，数据获取无门槛。**算力需求**，所有实验在单GPU上使用vLLM v0.6.3运行，表明方法对硬件要求不高。但由于每个token需要多次前向传播（$K_t \times M_t = 64$ 次/位置），相比标准解码需要更多的GPU时间和显存。**复现难度**，算法核心是蒙特卡洛估计加Jackknife修正，概念清晰，实现难度中等。主要挑战在于：(1) 高效的批量rollout实现；(2) log-space数值稳定性；(3) prompt模板的选择（论文提供了详细的prompt模板）。**预计复现成本**，在单张A100 GPU上，完整评估所有模型和基准可能需要数天时间。
论文图表
汇总了所有方法的关键超参数：低温采样的温度（0.25）、Best-of-N的候选数（32）、MCMC的块大小（192）和迭代数（10）、本文方法的Kt和Mt（均为8）。
这张表是复现实验的重要参考，确保所有方法在公平的设置下进行比较。
展示了GRPO和本文方法在同一MATH500问题上的生成结果。GRPO选择了错误的答案（3/4），而本文方法得出了正确答案（3/2）。这体现了功率采样通过探索替代路径来纠正推理错误的能力。
定性案例帮助读者直观理解方法差异。GRPO的错误源于其对'贪心'路径的偏好（选择x1=0而非x1=2来最大化斜率），而功率采样通过考虑未来结果避免了这个陷阱。
展示了GRPO和本文方法在GPQA物理问题上的生成结果。GRPO选择了错误选项C，而本文方法选择了正确选项B。GRPO在推理中列出了正确条件，但最终选择时出错。
这个案例揭示了GRPO在域外任务上的一个常见失败模式：推理过程基本正确但最终答案选择错误，这可能是GRPO在MATH数据上训练的副作用。