OPE：通过大纲引导的路径探索克服并行思维中的信息饱和

用多样化推理大纲引导并行路径探索，突破大推理模型并行思维中的信息饱和瓶颈

前置知识

并行思维（Parallel Thinking）

并行思维是大推理模型（LRM）的一种推理范式，模型同时生成多条独立的推理路径（而非传统的单条链式思维），然后通过聚合策略（如多数投票、选择最佳、LRM 总结）从这些路径中综合出最终答案。其核心动机是：单条推理路径容易陷入错误方向，并行采样可以扩大对解空间的覆盖，提高找到正确解的概率。类比来说，这就像让多个学生独立解同一道数学题，然后综合他们的答案得出最终结论。

本文的核心贡献就是改进并行思维的探索阶段，因此理解并行思维的基本框架（探索→聚合两阶段）是理解全文的基础。

互信息饱和（Mutual Information Saturation）

互信息 $I(P;Y|Q)$ 衡量的是推理路径集合 $P$ 对于正确答案 $Y$ 的信息增益。论文通过链式法则将其分解为各条路径的边际贡献之和：$I(P;Y|Q) = \sum_{i=1}^{N} I(P_i;Y|P_{1:i-1},Q)$。在朴素并行思维中，由于路径独立同分布采样且模型存在模式坍塌（mode collapse），后面的路径对前面路径的边际信息增益趋近于零——即信息饱和。直觉上，这意味着模型反复生成几乎相同的推理路径，增加采样数量无法带来更多关于正确答案的信息。

这是论文理论分析的核心发现，也是 OPE 方法要解决的根本瓶颈。不理解信息饱和就无法理解为什么需要大纲引导。

GRPO（Group Relative Policy Optimization）

GRPO 是 DeepSeekMath 提出的一种强化学习算法，属于 RLVR（Reinforcement Learning with Verifiable Rewards）范式。它不需要单独训练一个价值网络（critic），而是利用组内相对优势来更新策略。具体做法是：对每个查询 $q$ 采样 $G$ 个输出 $\{o_1, ..., o_G\}$，计算每个输出的优势 $A_i = (r_i - \text{mean}(r)) / \text{std}(r)$，其中 $r$ 是奖励向量。这种方法训练更稳定，在数学推理任务上表现优异，是本文采用的核心 RL 算法。

OPE 的训练完全基于 GRPO，理解其机制才能理解 Outline Planning RL 和 Path Reasoning RL 的具体实现。

Pass@k 与 Maj@k

Pass@k 衡量的是在 $k$ 次独立采样中至少有一次正确的概率，反映模型的能力上限。Maj@k 则是对 $k$ 次采样结果进行多数投票后的准确率，反映聚合策略的有效性。理论上 Maj@k 应随 $k$ 增大而持续提升，但如果路径高度冗余（信息饱和），Maj@k 会提前饱和——因为大量路径收敛到同一个错误答案。

论文用这两个指标的差距（Pass@k 持续上升但 Maj@k 饱和）来实证信息饱和现象，这是理解 Figure 2 和整个动机的关键。

模式坍塌（Mode Collapse）

模式坍塌是生成模型中常见的问题，指模型倾向于生成高度相似的样本，丧失了多样性。在 LRMs 中，由于经过大量后训练（post-training），模型容易陷入固定的推理模式，即使在高温度采样下也倾向于生成语义高度冗余的推理路径。论文在 Table 3 中通过统计唯一答案数量（OPE: 27.6 vs Naive: 23.5）来量化这一现象。

模式坍塌是导致信息饱和的直接原因，OPE 通过大纲引导来打破模式坍塌，从而解决信息饱和问题。

研究动机

大推理模型（LRMs）在面对复杂数学问题时，单次推理的能力仍然有限。并行思维作为一种新范式被提出，允许模型同时探索多条推理路径并聚合结果。然而，现有方法在探索阶段存在根本性瓶颈。论文以 DeepSeek-R1-Distill-Qwen-7B 在 HMMT-25 基准上进行 256 次独立采样实验，发现了一个关键现象：Pass@k（至少一次正确）随着采样数增加持续上升，但 Maj@k（多数投票准确率）在约 20 个样本后就趋于饱和。这意味着模型虽然有能力解决问题（Pass@k 上升表明正确路径存在），但绝大多数采样路径都收敛到相同的错误答案，正确信号被冗余错误淹没。从信息论角度看，这是由于 LRMs 经过大量后训练后出现模式坍塌，导致独立同分布采样的路径之间存在严重的语义冗余，边际信息增益 $I(P_i;Y|P_{1:i-1},Q)$ 随着路径数 $i$ 增加迅速趋近于零。

本文的目标是本文的具体目标是从理论和实践两个层面解决并行思维中的信息饱和问题。理论上，论文希望在 RLVR（Reinforcement Learning with Verifiable Rewards）框架下建立并行思维优化的数学形式化，明确信息饱和的成因和解决方案。实践上，论文提出 Outline-Guided Path Exploration（OPE）框架，通过在路径探索之前引入多样化的推理大纲来显式划分解空间，减少路径间的信息冗余，使模型能够在有限的采样预算（如 $N=4$ 条路径）下更高效地覆盖解空间中的正确区域，从而提升各种聚合策略下的推理准确率，特别是在最具挑战性的数学基准上取得显著改进。

与已有工作不同的是，现有工作在并行思维的聚合阶段投入了大量精力——包括选择排序方法（如验证器打分、成对排序）和总结方法（如 Self-Consistency 多数投票、LRM 综合总结），但对探索阶段的研究严重不足。少量关注探索阶段的工作（如 Skeleton of Thought、Leap）通常局限于复杂的架构设计，且缺乏理论指导。本文的独特切入角度在于：(1) 首次从信息论视角对并行思维的 RLVR 优化进行理论分析，将总互信息分解为 Planning Gain 和 Reasoning Gain 两个正交分量；(2) 基于理论分析，提出用大纲（outlines）作为解空间划分的结构化手段，这是一种全新的探索范式——不是在聚合阶段做文章，而是从根源上改善探索的多样性；(3) 设计了迭代 RL 策略来协同优化大纲规划和路径推理两种能力，使其相互增强。

核心方法

OPE 的核心直觉可以用一个类比来理解：假设你要在一个巨大的迷宫中找到出口，朴素并行思维相当于让多个人独立进入迷宫——由于他们的导航习惯相似（模式坍塌），很可能都走同一条错误路线。OPE 的做法是：先让一个「规划者」在迷宫入口处识别出几条明显不同的方向（生成大纲），然后让不同的人沿着这些不同方向分别探索。这样即使每个人的内部导航习惯相似，他们探索的区域也会大不相同。技术路线上，OPE 首先将朴素并行思维的探索过程 $\pi_\theta(P|Q)$ 重构为层次化过程：先生成大纲集合 $O=\{O_1,...,O_N\}$，再在每个大纲的指导下生成推理路径 $P_i$。对应的优化目标也被分解为两个正交分量：Planning Gain $I(O;Y|Q)$（大纲覆盖正确解空间的能力）和 Reasoning Gain $I(P;Y|O,Q)$（在给定大纲下正确推理的能力）。整个训练流程包括冷启动阶段（SFT 注入大纲能力）和迭代 RL 阶段（交替优化大纲规划和路径推理）。

OPE 最本质的创新在于：通过引入大纲（outlines）作为中间结构化表示，将原本不可分解的探索问题转化为两个独立可优化的子问题。在朴素并行思维中，所有路径独立同分布采样，互信息 $I(P;Y|Q)$ 的优化缺乏结构性约束，导致路径间信息冗余。OPE 的关键洞察是：大纲比完整推理路径短得多，因此可以作为一条连贯序列生成，模型能够显式管理大纲间的多样性。形式上，总互信息被分解为 $I(P,O;Y|Q) = \underbrace{I(O;Y|Q)}_{\text{Planning Gain}} + \underbrace{I(P;Y|O,Q)}_{\text{Reasoning Gain}}$。这与已有方法的本质区别在于：已有工作要么在聚合阶段做优化（选择/排序/总结），要么用复杂的架构设计来增强探索（如 Skeleton of Thought），而 OPE 直接在信息论层面识别了瓶颈（互信息饱和），并通过大纲这一简单而有效的手段来打破饱和——大纲作为「解空间的分区方案」，确保不同路径探索不同的问题解决方向。

方法步骤详情

OPE 的完整训练流程分为三个阶段。第一阶段是冷启动（Cold Start）：从 GURU 数据集中筛选 5.4k 个查询（Qwen2.5-7B-Math 通过率 > 0.5），使用 gpt-oss-20b 合成 OPE 格式的训练数据——每个查询先生成问题分析，再生成 $N=4$ 个多样化推理大纲（用 `` 标签包裹），每个大纲下生成一条推理路径（用 `` 标签包裹）。对 Qwen3-8B-Base 进行 2 个 epoch 的 SFT（学习率 $1\times10^{-5}$）。第二阶段是迭代 RL 训练，共进行 2 轮迭代，每轮包含两个子阶段：(a) Outline Planning RL（70 步）：对每个查询生成大纲集合，对每个大纲采样 $K=4$ 条推理路径，以这些路径的平均准确率作为大纲的奖励 $R_{\text{plan}}(O) = \frac{1}{NK}\sum_{i=1}^{N}\sum_{k=1}^{K} \mathbb{I}(P_{i,k} \to Y)$，通过 GRPO 更新策略；(b) Path Reasoning RL（65 步）：用当前策略生成大纲构建训练集，对每个（查询，大纲）对采样推理路径，以是否到达正确答案作为奖励 $R_{\text{reason}}(P_i) = \mathbb{I}(P_i \to Y)$，通过 GRPO 更新策略。第二轮迭代中，使用第一轮最终模型重新生成大纲和训练数据，重复上述过程。

技术新颖性

OPE 的技术新颖性体现在三个层面。首先，在理论层面，论文首次在 RLVR 框架下对并行思维进行了信息论形式化分析，证明了优化目标等价于最大化互信息 $I(P;Y|Q)$，并通过链式法则揭示了信息饱和的数学机制。这为理解并行思维的瓶颈提供了全新的理论视角。其次，在方法层面，OPE 引入大纲作为解空间的结构化分区手段，将探索过程从「盲目采样」转变为「有引导的定向探索」。这与 Skeleton of Thought（子任务分解）和 Leap（固定信息交换）有本质区别——OPE 的大纲不是对问题的分解，而是对解空间的多方向划分。最后，在训练策略层面，OPE 提出的迭代 RL 策略巧妙地利用了大纲规划和路径推理之间的相互依赖关系：大纲的质量决定了推理路径的上限，而推理能力反过来影响大纲的验证。通过交替优化两个阶段（而非联合训练或单阶段训练），实现了能力的协同进化。

实验结果

论文在六个数学推理基准上进行了全面实验，涵盖从相对简单的 MATH-500 到极具挑战性的 HMMT-25 和 BeyondAIME。核心发现如下：(1) OPE 在所有聚合策略下均一致优于朴素基线。在 RL 训练后，OPE 的平均准确率在 Self-Consistency 下达到 40.51%（vs 朴素 36.61%），Best-of-N 下达到 50.55%（vs 47.17%），LRM 总结下达到 50.77%（vs 48.81%）。(2) OPE 在困难任务上优势尤为突出：在 BeyondAIME 上 BoN 指标从 15.20% 提升到 20.40%（+5.20%），在 HMMT-25 上从 16.15% 提升到 19.17%（+3.02%），而在较简单的 MATH-500 上提升相对温和（91.00% → 93.80%）。(3) OPE 显著改善了 LRM 总结聚合的效果：朴素并行思维从 SFT 到 RL 在 LRM 总结下的提升仅为 0.68%（48.13% → 48.81%），而 OPE 的提升达到 5.89%（44.88% → 50.77%），表明 OPE 为总结模型提供了更多样化、更高质量的推理信息。(4) 统计分析显示 OPE 生成更多唯一答案（27.6 vs 23.5），正确路径平均长度更短（1891 vs 2217 tokens，减少约 10%），说明大纲引导使推理更高效、更聚焦。(5) 测试时缩放分析表明 OPE 具有更优的缩放特性：在 MATH-500 和 AMC 上随采样数增加迅速接近 100% Pass@k，而朴素方法在较低水平饱和。(6) 消融实验证实迭代策略的必要性：第一轮 Outline RL 将 BoN 从 38.96% 提升到 43.61%，Path RL 进一步提升到 49.18%；第二轮迭代继续提升到 50.55%，证明大纲规划和路径推理确实是相互增强的。

**Figure 3**: 继续 Outline Planning RL vs Path Reasoning RL 的对比

查看结构化数据

任务	指标	本文	基线	提升
MATH-500	Accuracy (BoN)	93.80%	91.00% (Naive RL)	+2.80%
AMC23	Accuracy (BoN)	87.75%	85.25% (Naive RL)	+2.50%
AIME 24	Accuracy (BoN)	47.50%	43.12% (Naive RL)	+4.38%
AIME 25	Accuracy (BoN)	34.69%	32.29% (Naive RL)	+2.40%
HMMT-25	Accuracy (BoN)	19.17%	16.15% (Naive RL)	+3.02%
BeyondAIME	Accuracy (BoN)	20.40%	15.20% (Naive RL)	+5.20%
Average (6 benchmarks)	Accuracy (BoN)	50.55%	47.17% (Naive RL)	+3.38%
Average (6 benchmarks)	Accuracy (LRM Summary)	50.77%	48.81% (Naive RL)	+1.96%
Average (6 benchmarks)	Accuracy (Self-Consistency)	40.51%	36.61% (Naive RL)	+3.90%

局限与改进

论文在多个方面存在局限性。首先，实验仅限于 8B 参数的模型（Qwen3-8B-Base），尚未验证 OPE 在更大规模模型（如 32B、72B）上的效果，而更大的模型可能有不同的模式坍塌程度和大纲规划能力。其次，采样预算被固定为 $N=4$ 条路径，这是一个相对较小的并行探索规模；虽然测试时缩放实验显示 OPE 具有良好的缩放特性，但在实际部署中更大的 $N$ 值是否能带来更大优势尚待验证。第三，论文仅在数学推理任务上进行评估，未涉及代码生成、科学推理等其他需要并行思维的场景，OPE 的泛化能力有待考察。第四，冷启动数据依赖于 gpt-oss-20b 的合成，这引入了对特定模型的依赖，且合成数据的质量直接影响后续 RL 训练的起点。第五，论文在 RL 阶段使用 36k 训练样本和 32 张 H800 GPU，算力需求不低，可能限制了方法的可及性。最后，论文未提供与其他并行思维优化方法（如 Parallel-R1、Leap）的直接对比，难以准确定位 OPE 在同类工作中的位置。

独立分析的弱点

从独立分析的角度，OPE 存在以下几个值得关注的弱点。(1) 大纲质量的上限问题：OPE 的效果高度依赖于生成的大纲质量，但论文中大纲由模型自身生成，没有外部知识或人类专家的验证机制。在极端困难的问题上，模型可能无法生成真正多样且有效的大纲。改进方向：可以引入知识库检索或人类专家标注来增强大纲的多样性和质量。(2) 大纲与路径的对齐问题：论文假设每条路径严格遵循对应大纲，但实际生成中模型可能会偏离大纲的指导。论文未提供大纲遵循率的定量分析。改进方向：可以设计大纲遵循度的奖励信号，或在路径生成时加入大纲匹配的正则化损失。(3) 训练效率：迭代 RL 需要 2 轮 × (70 步 Outline RL + 65 步 Path RL) 的训练，总计 270 步，与朴素基线相同，但每步的计算开销更大（Outline RL 阶段需要采样 $N \times K$ 条路径）。改进方向：可以探索大纲规划和路径推理的联合训练策略，减少训练轮次。(4) 固定大纲数量：所有查询统一使用 $N=4$ 个大纲，未考虑问题难度和复杂度的差异。简单问题可能只需要 1-2 个方向，而复杂问题可能需要更多。改进方向：可以设计自适应大纲数量的机制，根据问题特征动态调整。

未来方向

论文和基于其成果可以延伸出多个有价值的研究方向。(1) 自适应大纲规划：当前大纲数量固定为 4，未来可以探索根据问题难度和解空间结构动态调整大纲数量和粒度的机制，类似于自适应计算的思想。(2) 大纲的层次化结构：当前大纲是扁平的策略描述，未来可以引入层次化大纲——先粗粒度地划分方向，再在每个方向下细化子策略，形成树状探索结构。(3) 跨任务泛化：将 OPE 推广到代码生成、科学推理、规划任务等其他需要并行探索的场景，验证大纲引导范式的通用性。(4) 与测试时计算的深度结合：论文显示 OPE 具有优越的测试时缩放特性，未来可以探索 OPE 与自适应计算预算分配（如根据大纲质量动态分配采样资源）的结合。(5) 大纲的可解释性：大纲作为一种结构化的推理规划，天然具有可解释性，未来可以利用大纲来理解和调试模型的推理过程。(6) 多模型协作的大纲生成：利用不同模型或不同温度生成大纲，进一步增强多样性。

复现评估

从复现角度来看，OPE 的复现条件相对明确但门槛不低。开源方面，论文未在正文中提及代码开源计划，但使用的所有组件都是公开的：基础模型 Qwen3-8B-Base、训练框架 VeRL、数据集 GURU（来自 OR1 和 DAPO）、评估基准和 math-verify 库。数据方面，冷启动数据的合成需要调用 gpt-oss-20b，这需要相应的 API 访问权限；训练数据来自公开的 GURU 数据集（36k 样本），经过筛选后使用。算力方面，论文使用 32 张 NVIDIA H800 GPU（4 节点 × 8 卡），冷启动 SFT 训练 2 个 epoch，迭代 RL 训练总计约 270 步，算力需求属于中等偏上。复现难度适中：训练流程清晰（冷启动 SFT → 迭代 RL），超参数在 Appendix 中有完整列出，但数据合成的质量控制（rejection sampling、通过率筛选）需要仔细实现。总体而言，具备相应算力资源的研究团队应该能够复现核心结果，但完全复现论文中的所有细节（特别是数据合成部分）可能需要较多调试。

OPE：通过大纲引导的路径探索克服并行思维中的信息饱和 OPE: Overcoming Information Saturation in Parallel Thinking via Outline-Guided Path Exploration