多重思维：基于Token级分支与合并的推理 Multiplex Thinking: Reasoning via Token-wise Branch-and-Merge
通过采样多个token并聚合为连续表示，实现随机且高效的推理过程。
前置知识
Chain-of-Thought (CoT)
Chain-of-Thought是一种提示技术，通过让大语言模型生成中间推理步骤，再给出最终答案，从而提升复杂推理任务的性能。标准的CoT生成离散的token序列，每个token代表一个推理步骤，类似于人类逐步思考的过程。
本文提出的多重思维是对标准CoT的改进，旨在解决其生成长序列的计算成本问题，同时保持或提升推理质量。
Reinforcement Learning (RL)
强化学习是一种机器学习范式，智能体通过与环境交互并根据获得的奖励调整策略，以最大化累积奖励。在本文中，RL用于优化语言模型的推理轨迹，使用可验证的答案作为奖励信号。
本文将多重思维与RL结合，通过优化多重token的轨迹来提升推理性能，这是方法的核心训练机制。
Token Embeddings
Token嵌入是将离散的词汇符号映射到连续向量空间的技术。每个token对应一个高维向量，用于模型内部计算。本文通过聚合多个token的嵌入来创建连续的多重token。
理解token嵌入是理解多重思维如何将离散采样转化为连续表示的关键，这是方法的技术基础。
Pass@k
Pass@k是一种评估指标，衡量在k次采样中至少有一次生成正确答案的概率。它反映了模型在给定探索预算下的探索能力上限，k值越大越能体现模型的探索潜力。
本文通过Pass@1到Pass@1024的评估，展示了多重思维在不同探索预算下的优势，特别是在大k值时的显著提升。
研究动机
现有的大语言模型推理方法存在一个根本矛盾：离散的Chain-of-Thought (CoT) 推理虽然有效，但需要生成长序列的离散token，计算成本高昂。每个推理轨迹都是一条完整的显式推理路径，探索替代方案类似于深度优先搜索（DFS），每次采样都要承诺一条完整轨迹后才能分支到其他路径。这导致推理过程效率低下，尤其是在需要探索多种可能性的复杂问题中。同时，现有的连续token方法（如Soft Thinking）虽然能压缩推理信息，但本质上是确定性的：给定上下文，从logit分布到连续token的映射是固定的，缺乏随机性。这种确定性破坏了token级策略分布，导致解码的rollout相同，限制了探索能力。这与强化学习（RL）的目标根本冲突，因为RL依赖于随机的on-policy rollout来进行有效的试错学习。
本文的目标是本文提出的具体目标是设计一种新的推理范式，既能保留离散token采样的随机性（这对RL至关重要），又能获得连续表示的信息密度优势。具体来说，目标是在每个推理步骤中，通过采样多个候选token并将其聚合成一个连续的“多重token”，从而在单个token内编码多个潜在推理路径的信息。这种方法应该能自适应地调整：当模型确信度高时，多重token退化为标准离散token；当不确定时，它能紧凑地表示多个可能的后续步骤，而不增加序列长度。最终目标是在数学推理等挑战性任务上，从Pass@1到Pass@1024的各个探索预算下，都优于离散CoT和RL基线，同时产生更短的推理序列。
与已有工作不同的是，本文的独特切入角度在于发现了现有连续token方法的一个关键缺陷：它们都是确定性的，这破坏了RL所需的关键特性——随机性。与之前将连续推理视为“确定性映射”的工作不同，本文认为连续推理token应该是随机的、基于采样的，既要保留离散采样的动态特性，又要在紧凑的连续空间中操作。这种视角填补了离散采样和连续表示之间的空白：离散采样能产生多样化的轨迹但成本高，连续表示效率高但缺乏多样性。多重思维通过独立采样K个token并聚合，创建了一个既随机又连续的表示，实现了“两全其美”。这是首次探索使用多个独立采样来形成单一聚合token表示，从而在解码步骤中实现离散采样和连续表示的最佳结合。
核心方法
多重思维的核心思想可以通过一个类比来理解：想象你在解一道数学题时，不是只想到一个可能的下一步，而是同时想到K个可能的下一步，然后把这些想法“融合”成一个综合的思考步骤。这个融合的步骤既保留了所有可能性的信息，又不会像同时写下所有想法那样占用太多空间。具体技术路线如下：在每个推理步骤，模型首先基于当前上下文生成下一个token的概率分布，然后独立采样K个离散token，将这些token的嵌入向量聚合成一个连续的“多重token”。这个多重token作为下一步推理的输入。当模型确信度高时（低熵），K个采样很可能相同，多重token退化为标准离散token；当模型不确定时（高熵），K个采样会多样化，多重token能编码多个可能的推理方向。整个推理过程持续到模型生成结束token [eot]，然后切换到离散解码生成最终答案。
多重思维的核心创新在于提出了一种基于采样的连续推理范式，它与已有方法最本质的区别在于同时实现了三个特性：随机性、连续性和可优化性。已有方法要么是离散的（随机但成本高），要么是连续的（高效但确定性）。多重思维通过独立采样K个离散token并聚合其嵌入，创建了一个既随机又连续的表示。关键突破在于：由于采样是独立的，多重token的概率可以分解为各个采样token概率的乘积，这使得我们可以显式建模整个多重思维轨迹的概率，从而直接使用强化学习进行优化。这种设计保留了词汇嵌入先验和标准离散生成的采样动态，同时引入了连续推理表示。更重要的是，多重思维是自适应的：当模型确信时，采样收敛到同一token，行为类似标准CoT；当不确定时，它紧凑地表示多个可能后续步骤，不增加序列长度。这种“自适应探索”是之前任何方法都不具备的。
方法步骤详情
多重思维的方法步骤如下：1) 给定一个问题q，语言模型πθ以问题嵌入和“开始思考”token [bot]为条件，生成初始的下一个token概率分布。2) 在第i个推理步骤，模型基于问题和之前的多重token序列c_{<i}生成当前步骤的logit分布。3) 独立采样K个离散token：k_{i,1}, k_{i,2}, ..., k_{i,K}，每个都从当前分布πθ(·|e(q), c_{<i})中采样。4) 将K个采样token转换为one-hot向量z_{i,j}，然后平均得到软分配向量s_i = (1/K) Σ_{j=1}^K z_{i,j}。5) 通过嵌入矩阵E映射到连续空间，并应用词汇空间加权w_i：c_i = E^T (s_i ⊙ w_i)。这里⊙表示逐元素乘法。6) 重复步骤2-5，直到某个采样token是结束思考token [eot]。7) 一旦检测到[eot]，模型切换到标准离散解码，基于整个多重思维轨迹生成最终答案y。整个轨迹的概率由所有离散采样token的概率乘积给出，这使得可以直接使用RL目标进行优化。
技术新颖性
多重思维的技术新颖性体现在几个关键方面：首先，它是第一个提出基于多个独立采样的连续token表示方法，与之前将整个词汇分布映射到单一向量的确定性方法（如Soft Thinking）有本质区别。其次，它建立了离散采样和连续表示之间的桥梁：通过采样K个token并聚合，既保留了离散采样的随机性（这对RL至关重要），又获得了连续表示的信息密度优势。第三，多重思维的自适应特性是全新的：根据模型的不确定性自动调整探索程度，这在之前的方法中没有出现。第四，从信息论角度看，多重token的熵随K线性增长，对应于从|V|到|V|^K的有效探索空间指数扩展，这为RL提供了更丰富的训练信号。第五，与现有的随机连续方法（如引入高斯噪声或Gumbel噪声）不同，多重思维使用模型自身的采样分布，更自然地保留了语义信息。
实验结果
论文在六个具有挑战性的数学推理基准测试上进行了全面评估，包括AIME 2024、AIME 2025、AMC 2023、MATH-500、Minerva Math和OlympiadBench。在1.5B和7B两个模型规模上，多重思维在12个评估设置中的11个取得了最佳Pass@1性能。具体来说，在7B模型上，多重思维相比离散RL基线（使用相同的GRPO训练设置）在所有任务上都实现了显著提升：AIME 2024从17.2%提升到20.6%，AIME 2025从17.1%提升到19.7%，AMC 2023从44.7%提升到50.7%，MATH-500从74.1%提升到78.0%，Minerva从35.3%提升到38.6%，OlympiadBench从38.0%提升到41.7%。与随机软思维（一种强大的训练无关基线）相比，多重思维在7B规模上也占据主导地位，在所有六个基准测试上都取得了最高分数。在1.5B模型上，优势已经显现，但在7B模型上更为明显，表明更大的模型容量对于解决叠加推理路径间的干扰至关重要。Pass@k分析（k从1到1024）显示，多重思维在探索上限上持续优于离散基线，特别是在困难任务上（如AIME 2025），当k=1024时，离散RL基线在约40%处饱和，而多重思维继续有效缩放，达到约55%。此外，多重思维实现了更高的采样效率：要达到目标准确率，它需要的样本数显著少于离散基线，直接转化为测试时计算量的减少。另一个重要发现是，多重思维在保持更高准确率的同时，产生了更短的推理序列：平均响应长度更短，因为单个多重token可以编码比标准离散token更丰富的信息。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 | Pass@1 (%) | 20.6 | Discrete RL: 17.2, Stochastic Soft Thinking: 20.3 | 相对离散RL提升3.4个百分点，相对随机软思维提升0.3个百分点 |
| AIME 2025 | Pass@1 (%) | 19.7 | Discrete RL: 17.1, Stochastic Soft Thinking: 19.1 | 相对离散RL提升2.6个百分点，相对随机软思维提升0.6个百分点 |
| AMC 2023 | Pass@1 (%) | 50.7 | Discrete RL: 44.7, Stochastic Soft Thinking: 47.9 | 相对离散RL提升6.0个百分点，相对随机软思维提升2.8个百分点 |
| MATH-500 | Pass@1 (%) | 78.0 | Discrete RL: 74.1, Stochastic Soft Thinking: 76.5 | 相对离散RL提升3.9个百分点，相对随机软思维提升1.5个百分点 |
| Minerva Math | Pass@1 (%) | 38.6 | Discrete RL: 35.3, Stochastic Soft Thinking: 37.2 | 相对离散RL提升3.3个百分点，相对随机软思维提升1.4个百分点 |
| OlympiadBench | Pass@1 (%) | 41.7 | Discrete RL: 38.0, Stochastic Soft Thinking: 40.6 | 相对离散RL提升3.7个百分点，相对随机软思维提升1.1个百分点 |
局限与改进
论文承认的局限性包括：实验主要在数学推理任务上进行验证，需要在其他领域（如代码生成、逻辑推理、常识推理）进一步评估；实验使用的是DeepSeek-R1蒸馏模型，需要在更大规模和更多样化的基础模型上验证；多重宽度K的选择需要实验确定，目前固定为K=3；聚合策略（均匀平均与LM头重加权）的性能差异不大，但可能在其他任务上有不同表现。我的独立观察：首先，多重思维增加了每个推理步骤的计算开销（需要采样K次），虽然总体序列更短，但总计算成本可能并不总是降低；其次，方法依赖于模型自身的采样分布，如果模型本身校准不佳，可能影响多重token的质量；第三，当前的停止条件（当最高概率token是[eot]时停止）可能不是最优的，需要探索更自适应的停止策略；第四，论文没有详细讨论多重思维在训练稳定性方面的挑战，RL训练本身就很敏感，引入连续表示可能带来新的优化难题。
独立分析的弱点
多重思维的第一个弱点是超参数K的选择需要仔细调整。论文中固定K=3，但不同任务和模型规模可能需要不同的K值。改进方向是开发自适应K的策略，例如根据当前步骤的熵动态调整K值，在确信时使用较小的K，在不确定时使用较大的K。第二个弱点是聚合策略虽然简单有效，但可能损失了token间的细粒度交互信息。改进方向是探索更复杂的聚合机制，如注意力加权聚合或基于学习的聚合网络。第三个弱点是方法目前只在数学推理任务上验证，数学问题通常有明确的答案和验证函数，对于开放式或主观性任务（如创意写作），可验证奖励可能难以定义。改进方向是探索如何将多重思维应用于更广泛的任务类型，可能需要结合过程奖励或人类反馈。第四个弱点是训练成本：虽然推理时序列更短，但训练时需要采样多个rollout并计算梯度，计算开销可能比标准RL更高。改进方向是研究更高效的训练算法，如重要性采样或离策略方法。
未来方向
作者提出的未来研究方向包括：将多重思维与其他并行推理策略（如Self-Consistency、Best-of-N）结合，以进一步提升推理性能；探索自适应停止条件，替代当前基于[eot]的简单策略；在更大规模的模型和更多样化的任务上验证方法的有效性。基于本文成果可延伸的研究方向包括：首先，探索动态多重宽度K，根据问题的难度和推理阶段自动调整；其次，将多重思维扩展到多模态推理，例如在视觉-语言模型中同时考虑多个视觉注意力焦点；第三，研究多重思维的理论性质，特别是其信息论特性和最优性条件；第四，开发专门针对多重思维的硬件加速，因为其计算模式与标准Transformer有所不同；第五，探索多重思维在交互式推理中的应用，例如在对话系统中同时维护多个可能的对话状态。
复现评估
论文提供了良好的可复现性支持：代码和检查点已在GitHub上公开（github.com/GMLR-Penn/Multiplex-Thinking），基于verl和SGLang框架实现。训练数据集是DeepScaleR-Preview-Dataset，包含约40,000个问题-答案对，是公开可用的。评估使用了六个标准数学推理基准测试，都是公开数据集。算力需求方面，所有实验在8×NVIDIA DGX B200 GPU上进行，使用bfloat16精度，这对大多数研究团队来说可能有一定门槛。复现难度中等：方法本身概念清晰，实现基于标准组件，但需要熟悉GRPO训练和连续token表示。关键超参数在论文附录中详细列出，包括学习率1×10^{-6}、批大小128、最大响应长度4096等。总体而言，有经验的团队应该能够复现结果，但需要一定的计算资源。
论文图表
