PETS：面向高效测试时自一致性的最优轨迹分配原则性框架 PETS: A Principled Framework Towards Optimal Trajectory Allocation for Efficient Test-Time Self-Consistency
通过理论驱动的预算分配，在有限采样预算下最大化LLM自一致性准确率
前置知识
Self-Consistency（自一致性）
Self-Consistency 是一种测试时推理增强方法，由 Wang et al. (2022) 提出。其核心思想是对同一个问题采样多条独立的推理链（reasoning traces），每条链产生一个答案，然后通过多数投票（majority voting）选出最终答案。直觉上，即使单次推理可能出错，但多次独立推理的共识答案更可能正确。该方法已被集成到 Gemini 的 Deep Think 模式中。然而，朴素的自一致性方法对每个问题分配相同数量的采样轨迹，这在计算资源有限时效率低下——简单问题可能只需少量轨迹即可达成共识，而困难问题则需要更多。
本文的核心目标是优化自一致性方法的效率，因此理解自一致性的基本机制是阅读本文的前提。
Majority Voting（多数投票）
多数投票是最基本的聚合策略：给定 B 条推理轨迹产生的答案，最终答案为得票最多的选项。形式化地，对于答案 y 的得票数 $V_i(y; B) = \sum_{j=1}^{B} \mathbf{1}\{Y_i^{(j)} = y\}$，最终答案为 $Y_i^{\text{Maj}}(B) = \arg\max_{y \in \mathcal{Y}} V_i(y; B)$。加权多数投票则引入每条轨迹的权重，改为计算加权票数。权重通常来自轨迹的置信度分数（如 tail trace confidence），置信度高的轨迹获得更大权重。
本文的关键度量——自一致性率（self-consistency rate）——正是基于多数投票的收敛性质定义的。理解投票机制是理解整个框架的基础。
Test-Time Scaling（测试时扩展）
测试时扩展是指在推理阶段（而非训练阶段）通过增加计算资源来提升模型性能的技术家族。常见策略包括：延长思维链轨迹长度、并行采样多条轨迹后聚合（如 self-consistency）、使用 Best-of-N 选择最佳轨迹、以及基于置信度或难度的自适应采样。关键挑战在于如何在有限的计算预算下最大化性能增益——即样本效率问题。
本文提出的方法属于测试时扩展领域，具体解决的是在有限预算下的采样分配问题。
Bayesian MDP（贝叶斯马尔可夫决策过程）
贝叶斯 MDP 是一种序贯决策框架，其中状态编码了对未知参数的后验信念。在本文中，状态是关于每个问题答案分布参数和置信度均值的后验超参数。动作是选择下一个要分配采样预算的问题，观测是新采样轨迹的答案和置信度，后验通过共轭更新。终端奖励是所有问题的后验自一致性率之和。由于精确动态规划因信念空间指数增长而不可行，本文采用 Optimistic Knowledge Gradient (OKG) 启发式算法。
离线 PETS 的核心算法建立在贝叶斯 MDP 框架之上，理解这一框架是理解离线分配策略的关键。
Crowdsourcing（众包）与预算分配
众包是将标注任务分配给大量工人完成的方法。经典的 Dawid-Skene 模型处理带噪声的工人标注和项目难度问题。最优预算分配理论研究如何在有限标注预算下，自适应地将工人分配给不同项目以最大化标注准确率。Chen et al. (2013) 提出的贝叶斯自适应分配算法是本文离线方法的重要基础。本文首次将测试时自一致性轨迹分配与众包理论建立联系：每条推理轨迹类比于一个工人，问题类比于一个标注项目，轨迹的答案类比于工人的标注。
理解众包理论有助于理解为什么本文的离线方法能获得理论保证，以及方法设计的直觉来源。
研究动机
当前测试时扩展方法在采样效率方面存在严重不足。标准的自一致性方法（Self-Consistency）对每个问题分配相同的采样预算，但不同难度的问题实际上需要不同数量的推理轨迹才能达成可靠的共识。例如，在 GPQA 基准测试上，使用 Qwen3-4B 模型时，朴素的均匀分配需要约 11,013 条轨迹才能达到 96% 的自一致性率，而 PETS-Offline 仅需 2,780 条轨迹就能达到 100% 的自一致性率——节省了约 75% 的计算预算。现有的启发式方法，如 DeepConf 的置信度引导分配（Fu et al., 2025a）或基于 LLM 预测难度的方法（Wang et al., 2025a），虽然尝试解决这一问题，但缺乏理论保证，可能导致预算使用效率低下。此外，依赖外部奖励模型或验证器的方法在实践中面临奖励模型误设的问题，特别是在复杂或分布外查询上，这会引入不可靠的指导信号，同时增加额外的训练和部署成本。
本文的目标是本文的目标是建立一个有理论基础的测试时扩展框架，能够在有限采样预算下最大化自一致性率。具体而言，作者希望：(1) 引入一个新的性能度量——自一致性率，定义为有限预算多数投票与无限预算多数投票一致的概率，从而为有限预算推理提供一个有原则的优化目标；(2) 在离线设置中，通过与众包理论建立联系，利用丰富的现有理论工具获得理论保证和高效的分配算法；(3) 在在线流式设置中，设计一种一次性分配策略，能够根据估计的问题难度在问题到达时立即分配预算；(4) 在多个基准测试和模型上验证该框架能够显著减少达到完全自一致性所需的轨迹数量，同时保持或提高准确率。
与已有工作不同的是，本文的独特切入角度在于将测试时自一致性轨迹分配问题形式化为一个优化问题，核心优化目标是新定义的自一致性率，而非传统的准确率或置信度。这一视角使得问题能够与众包领域的最优预算分配理论建立精确对应：每条推理轨迹被视为一个带噪声的工人，每个问题被视为一个需要标注的项目。这种对应关系使得本文能够直接借鉴 Chen et al. (2013) 等工作的贝叶斯自适应分配框架，并将其扩展到加权投票场景。与依赖启发式信号或外部奖励模型的方法不同，本文的方法基于自一致性本身的内在结构，无需额外的监督信号或验证器，从而避免了奖励误设和额外部署成本的问题。
核心方法
PETS 的整体思路是将采样预算按问题难度进行差异化分配，而非均匀分配。直觉上，简单问题（答案分布中某个选项概率明显最高）只需少量轨迹即可达成可靠共识，而困难问题（答案分布较均匀）则需要更多轨迹。框架的核心是一个新的度量——自一致性率，定义为有限预算 B 下多数投票结果与无限预算多数投票一致的概率。技术路线分为离线和在线两个分支：离线分支将轨迹分配建模为贝叶斯 MDP，利用众包理论的 Optimistic Knowledge Gradient 启发式进行序贯分配；在线分支则通过少量预热样本估计问题难度，将其映射到离散难度网格，然后求解一个约束优化问题获得预算分配方案。
本文的核心创新在于两个方面。首先，自一致性率这一新度量的引入是根本性的贡献——它将优化目标从难以直接优化的准确率转变为可以精确计算和分析的收敛概率。对于二元选择问题，自一致性率有闭式表达：$\text{SC}(\theta; B) = \max\{P[Y_i^{\text{Maj}}(B) = 1 | \theta], P[Y_i^{\text{Maj}}(B) = 0 | \theta]\}$，其中各项可通过二项分布累积概率计算。其次，与众包理论的对应关系是方法论上的关键洞察。在众包框架中，工人标注对应轨迹答案，工人可靠性对应轨迹置信度，项目标签对应问题答案。这一对应使得离线分配可以直接采用贝叶斯自适应框架，其中后验分布维护每个问题的答案分布参数和条件置信度均值，每一步选择能最大化终端自一致性率期望增益的问题进行下一次采样。与已有方法的本质区别在于：PETS 不依赖外部信号（如置信度启发式或奖励模型），而是直接优化自一致性本身的内在结构。
方法步骤详情
PETS 的方法分为离线和在线两种执行流程。离线 PETS 的步骤如下：(1) 初始化：对每个问题，维护答案分布和条件置信度均值的共轭先验后验；(2) 序贯分配：在每个阶段，使用 OKG 启发式选择边际增益最大的问题，为其分配一条额外轨迹；(3) 后验更新：观测新轨迹的答案和置信度，更新后验超参数；(4) 终端决策：在预算耗尽时，对每个问题选择后验概率最大的类别。在线 PETS 的步骤如下：(1) 离线训练阶段：从训练集估计问题难度的先验分布，使用高斯-概率曲线近似自一致性曲线，将难度空间离散化为 K 个网格；(2) 预热映射：对每个新到达的问题，采样 4 条预热响应，统计排序后的选项计数向量，通过确定性映射将其分配到对应难度网格；(3) 预算优化：求解整数规划问题，目标是最大化加权自一致性率之和，约束为总预算不超过平均预算；(4) 一次性分配：问题被分配到网格 j 后获得预算 $B_j$ 条轨迹。
技术新颖性
PETS 的技术新颖性体现在多个层面。首先，自一致性率的定义本身是原创的——它将有限预算推理的可靠性量化为与无限预算行为的一致概率，这一度量既可精确计算（对二元选择有闭式表达），又可严格分析其随预算增长的收敛行为。其次，将轨迹分配与众包理论建立对应是跨领域的方法论创新，使得众包领域丰富的理论工具可以直接应用于测试时扩展问题。第三，在线设置中的难度离散化和一次性分配策略是实用的工程创新：使用 4 条预热响应的排序模式进行难度估计，避免了对答案选项数量的依赖，计算开销极小（GPQA 上仅需约 5 秒）。第四，定理 4.1 证明了贪心算法在期望意义下对离散化在线分配问题是最优的，这为实际算法提供了理论保证。
实验结果
PETS 在多个基准测试和模型上展现出显著优势。在离线设置中，PETS-Offline 在所有测试配置中均能以最少的轨迹数达到完全自一致性（=1.00）。以 GPQA 基准为例，使用 Qwen3-4B 模型时，PETS-Offline 仅需 2,780 条轨迹即达到 100% 自一致性和 69.7% 准确率，而均匀分配需要 11,013 条轨迹才能达到 96% 自一致性——节省了约 75% 的计算预算。使用 GPT-120B 模型时，PETS-Offline 需要 2,580 条轨迹达到 82.5% 准确率，而均匀分配需要 10,393 条轨迹达到 81.5% 准确率。在在线设置中，PETS-Online 同样表现优异：在 GPQA 上使用 Qwen3-4B 时，PETS-Online 需要 4,662 条轨迹达到 100% 自一致性，而均匀分配需要 9,520 条轨迹达到 97% 自一致性——节省了约 55% 的预算。值得注意的是，PETS-Online 的性能非常接近 PETS-Oracle（可访问真实难度参数的上界），表明在线难度估计方法的有效性。置信度加权版本在多数情况下进一步提升了准确率，例如在 AIME25 上使用 Qwen3-4B 时，PETS-Offline (conf) 达到 84.0% 准确率，优于非加权版本的 83.3%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GPQA-Diamond（研究生水平科学问答） | 达到完全自一致性所需轨迹数 / 准确率 | PETS-Offline: 2,780 条轨迹, 69.7% 准确率 (Qwen3-4B); PETS-Online: 4,662 条轨迹, 68.8% 准确率 | 均匀分配: 11,013 条轨迹, 68.9% 准确率 (Qwen3-4B) | 轨迹数减少约 75%（离线）和 55%（在线），自一致性从 96% 提升到 100% |
| AIME 2025（数学竞赛） | 达到完全自一致性所需轨迹数 / 准确率 | PETS-Offline: 212 条轨迹, 83.3% 准确率 (Qwen3-4B); PETS-Online: 194 条轨迹, 75.0% 准确率 | 均匀分配: 470 条轨迹, 82.1% 准确率 (Qwen3-4B) | 轨迹数减少约 55%（离线）和 58%（在线） |
| AIME 2024（数学竞赛） | 达到完全自一致性所需轨迹数 / 准确率 | PETS-Offline: 259 条轨迹, 63.1% 准确率 (Qwen3-4B); PETS-Online: 170 条轨迹, 56.2% 准确率 | 均匀分配: 861 条轨迹, 63.0% 准确率 (Qwen3-4B) | 轨迹数减少约 70%（离线）和 80%（在线） |
| HMMT Feb 2025（数学竞赛） | 达到完全自一致性所需轨迹数 / 准确率 | PETS-Offline: 464 条轨迹, 51.6% 准确率 (Qwen3-4B); PETS-Online: 531 条轨迹, 48.5% 准确率 | 均匀分配: 1,133 条轨迹, 50.0% 准确率 (Qwen3-4B) | 轨迹数减少约 59%（离线）和 53%（在线） |
| Brumo 2025（推理基准） | 达到完全自一致性所需轨迹数 / 准确率 | PETS-Offline: 280 条轨迹, 75.4% 准确率 (Qwen3-4B); PETS-Online: 601 条轨迹, 63.2% 准确率 | 均匀分配: 826 条轨迹, 73.2% 准确率 (Qwen3-4B) | 轨迹数减少约 66%（离线）和 27%（在线） |
局限与改进
本文存在若干局限性。首先，当多数投票的群体多数答案本身是错误的（即系统性偏差），额外采样无法改善准确率，这是纯分配优化方法的根本限制——PETS 优化的是与无限预算多数投票的一致性，而非与真实答案的一致性。其次，在线设置需要一个与测试数据同分布的训练集来估计难度先验分布，这在实际部署中可能不总是可用的。第三，在线方法使用 4 条预热响应进行难度估计，这一固定数量可能对某些问题不够充分。第四，离线 OKG 分配器的计算开销较大（GPQA 上约 200 秒），不适合实时应用场景。第五，作者承认当多数投票系统性错误时，PETS 无法改善准确率，揭示了纯分配方法的局限。第六，加权版本在在线设置中难以估计权重，因此在线优化仅使用非加权版本，仅在推理时应用加权投票。
独立分析的弱点
PETS 存在几个值得深入分析的弱点。第一，难度离散化引入了近似误差：在线方法将连续的难度空间离散化为 K 个网格，每个网格内的问题获得相同预算，这忽略了同一网格内问题的异质性。改进方向是探索更细粒度的难度估计或连续预算分配。第二，预热阶段的固定 4 条响应可能对某些困难问题不足，可以考虑自适应预热策略，根据初始响应的分歧程度动态调整预热数量。第三，离线方法的 OKG 启发式虽然实用，但只是近似最优，精确动态规划因信念空间指数增长而不可行，可以探索更好的近似算法或深度强化学习方法。第四，当前方法仅考虑了采样数量的分配，未涉及采样策略的调整（如不同温度、不同提示），可以将预算分配扩展到更广义的计算资源分配。第五，加权版本的权重（tail trace confidence）估计在在线设置中不可用，限制了在线方法的性能上限。
未来方向
作者和本文成果可延伸出多个未来研究方向。作者提出的直接方向是训练模型直接从问题预测难度参数，而无需预热采样，这将使在线方法更加高效。基于本文框架可延伸的方向包括：(1) 将 PETS 与奖励模型或验证器结合，当群体多数答案可能错误时切换到验证器引导的策略；(2) 将自一致性率的概念扩展到 Best-of-N 选择、树搜索等其他测试时扩展策略；(3) 探索多轮交互场景下的动态预算分配，允许在中间结果反馈后调整后续分配；(4) 将众包理论中更高级的分配算法（如考虑工人可靠性估计的自适应方法）引入轨迹分配；(5) 研究不同采样策略（温度、top-p、提示变体）的联合优化，将分配问题从纯数量扩展到质量维度。
复现评估
本文的复现条件较为友好。代码已开源（论文提供了 GitHub 链接），这大大降低了复现难度。实验使用了公开可用的模型（Qwen3-4B, Qwen3-30B, GPT-20B, GPT-120B）和基准测试（GPQA-Diamond, AIME, HMMT, Brumo），数据均可获取。每个问题采样 128 条响应作为基础数据，然后均匀子采样 64 条作为有限预算的代理，重复 30 次报告均值，这一实验设计清晰可复现。算力方面，离线方法需要运行 Monte Carlo 采样和序贯分配，计算开销较大（GPQA 上约 200 秒），但在线方法仅需几秒预处理，门槛较低。总体而言，有代码开源、公开数据和模型，复现难度为中等。
论文图表
该图展示了 PETS 的核心问题：左侧显示两个不同难度的多选题，右侧显示如何为每个问题分配不同数量的推理轨迹。图中说明了问题难度的差异以及自适应分配的必要性。
这张图直观地展示了论文研究的核心问题——不同难度的问题需要不同数量的采样轨迹，帮助读者快速理解论文的动机。
该表展示了 Oracle 方法中使用 KMeans 聚类对真实 (a,b) 参数进行分组时，不同聚类数 k（2, 3, 5, 8）对准确率的影响。结果表明准确率对 k 不敏感。
该表验证了难度离散化的鲁棒性，说明粗粒度的难度分组已足够有效，无需精细的难度估计。