← 返回 2026-05-27

分享更多、搜索更少：面向高效测试时扩展的协作并行思考 Share More, Search Less: Collaborative Parallel Thinking for Efficient Test-Time Scaling

Xinglin Wang, Hao Lin, Shaoxiong Feng, Peiwen Yuan, Yiwei Li, Jiayi Shi, Yueqi Zhang, Chuyi Tan, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li 📅 2026-05-26 👍 32 2026-07-13 08:36
LLM推理 Test-Time Scaling 信息共享 并行推理 数学推理
arXiv HuggingFace PDF

提出CPT方法，通过搜索时信息共享减少并行TTS的冗余探索

前置知识

测试时扩展 (Test-Time Scaling, TTS)

TTS指在推理阶段投入额外算力以提升大语言模型推理能力的方法族，不改变模型参数，而是通过延长单条轨迹（顺序方法）或并行生成多条候选（并行方法）扩大解空间探索。代表工作包括Self-Consistency、Best-of-N、DeepConf等。

CPT是一种新的TTS范式，理解TTS才能明白CPT相对Best-of-N、DeepConf等方法改进的「协作维度」是哪一层。

并行采样 (Parallel Sampling)

并行采样是TTS的重要范式：对同一问题同时启动K条独立推理分支，再通过投票或最佳选择等聚合方式产出最终答案。代表方法包括Self-Consistency、DeepConf、LeaP等。

CPT的核心问题就是并行采样下的「分支信息孤岛」，理解并行采样机制才能明白CPT要在哪些步骤插入协作。

语义嵌入与去重

Sentence-BERT等嵌入模型把文本映射到向量空间，余弦相似度衡量语义接近程度。本文用all-MiniLM-L6-v2为每条抽取信息生成嵌入，按阈值$\tau_{dup}=0.75$过滤近似条目，把共享池压缩到可控大小。

CPT的去重池化是它的关键工程基础，决定了「广播什么」和「带宽占用多少」，直接影响延迟与精度的权衡。

自适应调度 (Adaptive Scheduling)

自适应调度是一种基于运行时信号动态决定行为开关的机制。本文以窗口内新增信息条目数$g_j$与首窗$g_1$之比$r_j$作为边际信息增益的代理，分别用$\tau_{start}=0.4$、$\tau_{stop}=0.1$控制广播的开启与停止。

自适应调度避免了「过早广播抑制多样性」与「过晚广播浪费延迟」两个极端，是CPT能够建立更优Pareto前沿的关键机制之一。

研究动机

现有并行测试时扩展方法（如Base Parallel Sampling、DeepConf）在搜索阶段将每条推理分支视为独立个体，分支间的中间发现始终保持私有。论文以QWEN3-30B-A3B-THINKING-2507配64条并行分支在HMMT24-25上的统计为例（Figure 1）：随着搜索推进，每1024-token步骤产生的新信息单元减少而重复信息单元增加，说明大量算力被消耗在重新发现其他分支已找到的信息上。同时Table 1的离线注入实验显示，把分支池中按比例采样的去重条目（26714→11412 tokens）注入初始上下文后，Pass@1从48.95%提升至56.20%、延迟从395s降至219s，证明未被共享的分支信息其实有用，瓶颈在于缺乏搜索时的共享机制，而不是信息本身缺失。

本文的目标是本文的目标是设计一个无需训练的推理框架，把并行测试时扩展从「事后聚合」转向「搜索时协作」。具体而言，作者希望让并行分支在固定token的同步点上把中间发现抽取为紧凑信息单元、维护一个去重后的问题级共享池，并通过输入上下文把池内容广播给所有后续搜索步骤，使分支能够复用他人发现，从而在相同rollout预算下达到更高精度、或在相同延迟预算下使用更少分支。最终在HMMT24/25、AIME24/25/26等数学推理基准上，相比Base Parallel Sampling、DeepConf、LeaP等基线取得更优的精度-延迟Pareto前沿。

与已有工作不同的是，已有相关工作中，多智能体辩论（Multi-Agent Debate）、Mixture-of-Agents、LeaP等方案都涉及LLM之间的交互，但它们各有局限：辩论方法在agent/response层交换完整观点，开销大且主要面向发散推理；LeaP虽然做了路径级路由但聚焦于自我纠错而非效率。CPT的独特切入角度是把协作粒度下沉到「分支中间信息」层级：在固定token步长边界做轻量同步，不重写各分支私有推理历史，而是抽取并去重后通过输入上下文全局广播，配套自适应起停调度规避早对齐和冗余同步开销，从而把「信息孤岛」转化为可复用的全局决策信号。

核心方法

Collaborative Parallel Thinking（CPT）的整体直觉是让并行分支在搜索过程中「分享发现、各自推理」。其技术路线由三部分组成：(1) 协作并行搜索——所有$K$条分支共享同一个policy model $\pi$，在每个长度为$C=2048$ token的搜索步长内并行生成，各分支保留私有历史$h_i^t$，系统维护一个查询级共享池$P^t$；(2) 共享信息池化——每步结束后用同一$\pi$从每条分支的新增片段$\Delta h_i^t$中抽取紧凑信息单元$Z_i^t=\text{Extract}_\pi(x,h_i^t,\Delta h_i^t)$，再用all-MiniLM-L6-v2嵌入以阈值$\tau_{dup}=0.75$做语义去重进入池$P^t$；(3) 自适应广播调度——基于滑动窗口$W=3$内的相对新增信息速率$r_j$与阈值$\tau_{start}=0.4$、$\tau_{stop}=0.1$决定何时把池里最多$M=512$个条目序列化进所有分支的输入上下文。三者协同实现「先独立探索、再协作收敛、后期自由解码」的三阶段运行模式。

与已有并行TTS方法的本质区别在于三点。其一，协作发生在「中间信息」而非「最终答案」层：传统方法只在解码结束后投票聚合，CPT在搜索步边界就把决策相关信息汇总成共享信号。其二，协作通过「输入上下文广播」而非路径替换实现：分支的私有历史$h_i^t$完全保留，只是新增了一个共享信息块，避免了LeaP那种路径替换对探索轨迹的破坏。其三，协作被自适应门控：新增信息速率$r_j$低于$\tau_{start}=0.4$才开启广播、低于$\tau_{stop}=0.1$即停同步，既防止过早收敛抑制多样性，也防止后期低收益同步浪费延迟，把协作本身变成一个受边际收益驱动的优化对象。

方法步骤详情

完整算法流程分四阶段。阶段一（Probe Phase）：所有$K$条分支各自生成$C=2048$ token的搜索步，把片段送入Extractor得$Z_i^t$，通过$\cos(\phi(u),\phi(v))\geq\tau_{dup}$去重后加入池$P^t$。阶段二（Broadcast Phase）：窗口$W=3$内的平均新增条目数$g_j$与首窗$g_1$之比$r_j=g_j/(g_1+\epsilon)$首次跌破$\tau_{start}=0.4$时启动广播，每步从$P^t$随机采样最多$M=512$条作为「Shared Information Block」拼到所有分支的输入前缀。阶段三（Free-run Phase）：$r_j<\tau_{stop}=0.1$时停止广播与同步，各分支自由解码到EOS或38k token上限。阶段四（Aggregation）：对完成分支按$\boxed{}$答案规范化，多数投票给MV@K、个体均值给Pass@1。整个过程无Verifier、无训练，$\pi$同时担任推理者与抽取者。

技术新颖性

技术新颖性体现在三个层面。其一，首次将「信息隔离瓶颈」量化为可观测的指标——Figure 1用「每步新信息 vs 重复信息单元数」实证分支越往后越在重复造轮子，并通过Table 1离线注入实验验证被浪费的信息确实有用，确立了「不是信息不存在，而是信息没被共享」这一清晰诊断。其二，把分支间的协作粒度下沉到「中间信息单元」并用嵌入去重+输入上下文广播实现，相比agent辩论的response级交互和LeaP的path-level routing都更轻量且更适配并行TTS的扩展性。其三，引入了基于边际信息增益的自适应广播调度，把同步开销与协作收益挂钩：Table 2的阈值扫描显示$\tau_{start}=1.0$（立即广播）反而比适度延后差，说明「探索-协作-收敛」三阶段是协同最优解。这些设计共同支撑了CPT无需任何训练即可在HMMT/AIME上压过DeepConf、LeaP等强基线。

Search-time collaboration reduces redundant parallel exploration. Left: Independent parallel sampling keeps branches isolated. Right: Collaborative Parallel Thinking (CPT) maintains a shared information pool.
Figure 2: Search-time collaboration reduces redundant parallel exploration. Left: Independent parallel sampling keeps branches isolated. Right: Collaborative Parallel Thinking (CPT) maintains a shared information pool.

实验结果

核心结论有四。第一，Figure 3显示CPT在QWEN3-4B和QWEN3-30B-A3B两模型、HMMT24/25和AIME24/25/26全部基准上均位于DeepConf、LeaP、Base Parallel的Pareto前沿上沿，同等rollout精度更高、同等延迟可用更少分支。第二，Figure 1显示CPT让每步重复信息单元显著下降而新增信息保持稳定，收益来自「减少冗余探索」而非「强迫分支提前对齐」。第三，Table 3逐项耗时分解表明并行采样仍是主导（QWEN3-4B在HMMT24采样368.43s、抽取56.75s、去重26.95s），抽取FLOPs仅占采样~1.2%，主要代价来自prompt广播时的re-prefill。第四，Table 2/4/5消融显示$\tau_{start}=0.4,\tau_{stop}=0.1,\tau_{dup}=0.75,M=512$最优：$\tau_{start}=1.0$让HMMT25 Pass@1从66.79%掉到53.05%；$M$从32到512时Pass@1从61.65%升至66.79%，$M=1024$回落至65.32%。

Effect of sharing branch-distributed information via offline injection on HMMT24–25 using QWEN3-4B-THINKING-2507 with 64 parallel samples.
Table 1: Effect of sharing branch-distributed information via offline injection on HMMT24–25 using QWEN3-4B-THINKING-2507 with 64 parallel samples.
Sensitivity analysis of adaptive broadcast scheduling thresholds using QWEN3-4B-THINKING-2507 with 64 parallel samples.
Table 2: Sensitivity analysis of adaptive broadcast scheduling thresholds using QWEN3-4B-THINKING-2507 with 64 parallel samples.
Component-wise latency and FLOPs of CPT with 64 parallel samples.
Table 3: Component-wise latency and FLOPs of CPT with 64 parallel samples.
Effect of broadcast size M on HMMT25 using QWEN3-4B-THINKING-2507 with 64 parallel samples.
Table 4: Effect of broadcast size M on HMMT25 using QWEN3-4B-THINKING-2507 with 64 parallel samples.
Effect of similarity threshold τdup on HMMT25 using QWEN3-4B-THINKING-2507 with 64 parallel samples.
Table 5: Effect of similarity threshold τdup on HMMT25 using QWEN3-4B-THINKING-2507 with 64 parallel samples.
Accuracy–Latency comparison across models and benchmarks under different rollout budgets.
Figure 3: Accuracy–Latency comparison across models and benchmarks under different rollout budgets.
查看结构化数据
任务指标本文基线提升
HMMT24 Pass@1 (K=64, QWEN3-4B-THINKING-2507) 58.78% (τstart=0.50, τstop=0.10) Base Parallel Sampling 约 53-55% +3-5个百分点，且tokens从~1.62×10^6降至1.48×10^6
HMMT25 Pass@1 (K=64, QWEN3-4B-THINKING-2507) 66.79% (τstart=0.40, τstop=0.10) Base Parallel Sampling 约 62-63% +4个百分点，tokens从1.50×10^6降至1.42×10^6
HMMT24-25 / AIME24-26 Pass@1 与 MV@K (K∈{8,16,32,64,128}) Figure 3显示CPT全面位于Pareto前沿上沿 DeepConf、LeaP均位于Pareto下沿 同延迟下精度更高，或同精度下少用~30-50%分支
离线注入实验 (HMMT24-25, QWEN3-4B) Pass@1 (Table 1) 56.20% (100%注入) / 55.89% (60%注入) 48.95% (无注入) +7.25个百分点，生成tokens从26714降至11412、延迟从395s降至219s
组件延迟分解 (K=64) Latency (s) on AIME25 采样307.90s + 抽取35.65s + 去重18.16s (QWEN3-4B) Base Parallel仅含采样307.90s 额外开销约17.5%，换取精度显著提升

局限与改进

作者在Limitations章节明确承认两点。其一，固定token同步协议意味着一个搜索步内产生的发现要等到步结束才能被其他分支看到，期间仍可能发生重复发现，C=2048 token步长内的冗余无法被及时打断。其二，共享池通过输入上下文广播，标准解码实现需要重新prefill更新后的前缀，会引入额外FLOPs与延迟——Table 3中信息抽取FLOPs仅是采样的1.2-2.6%，但prompt级broadcast带来的re-prefill成本仍是FLOPs效率的主要拖累项。从我的观察看还存在几个延伸局限：(1) 仅在数学推理上验证，未覆盖代码、常识等任务；(2) 抽取质量完全依赖policy model自抽取，缺乏Verifier兜底，错误抽取可能污染共享池；(3) 自适应阈值$\tau_{start}/\tau_{stop}$在所有基准上保持固定，缺乏对任务难度/模型规模的自动调节；(4) 对短回答或超长回答问题的鲁棒性未单独验证；(5) 共享池容量$M=512$在长上下文下会挤压原始问题的token预算，可能影响小模型表现。

独立分析的弱点

独立分析其弱点有三。其一，步级同步粒度偏粗：作者已自述一个2048-token步内的「重复探索」无法被及时打断，可考虑把步长缩到512-token或基于token级触发器做更细粒度同步，或维护「最近K步」与「全局池」双层结构以缓解窗口外的信息丢失。其二，抽取器与推理共用同一policy model虽降低部署成本但也限制了抽取质量，可引入轻量Verifier对每条抽取做置信度打分（类似DeepConf的confidence信号），低分条目不入池；Table 5显示$\tau_{dup}=0.75$最优但仍有过滤噪声单元的提升空间。其三，re-prefill是最大FLOPs瓶颈，可改造为KV-cache增量写入或attention-level sharing让已计算的K/V块复用；Table 3中QWEN3-30B-A3B在HMMT24的FLOPs（141.12 PFLOPs）相比4B模型（138.52 PFLOPs）并未与参数规模成比例放大，恰说明prefill开销在长上下文广播下被显著放大。

未来方向

作者明确提出的未来方向是设计cache-aware或attention-level sharing机制以降低re-prefill代价，并支持更低成本的上下文更新或更细粒度的信息共享。基于其成果还可以延伸出几个方向：(1) 把CPT推广到代码生成（HumanEval、LiveCodeBench）和多模态推理基准，验证其是否对非数学任务同样有效，特别是代码任务中分支可能会反复发现相同的API调用模式；(2) 引入轻量Verifier对抽取信息做质量过滤，或对共享池做基于重要性的Top-K筛选而非随机采样，进一步提升广播信号密度；(3) 自适应阈值可改写为按问题难度或模型规模动态估计，例如先用Few-shot预热一个$g_1$再据此设$\tau$；(4) 把CPT与MCTS/ToT结构化搜索结合，让树节点的子路径之间也能共享中间信息，从并行分支协作走向树内协作；(5) 探索不同的池编码格式（如JSON、知识图谱或自然语言摘要），观察其对分支决策质量的影响；(6) 研究在异构policy ensemble下CPT是否仍能保持Pareto优势。

复现评估

复现性较好。代码与数据已开源在https://github.com/WangXinglin/CPT，prompt见附录E。实验在512卡NVIDIA H800集群上完成，单次分配8卡；policy model为QWEN3-4B-THINKING-2507与QWEN3-30B-A3B-THINKING-2507（HuggingFace公开）。实现细节充分披露：搜索步长$C=2048$、广播上限$M=512$、嵌入模型all-MiniLM-L6-v2、去重阈值$\tau_{dup}=0.75$、窗口$W=3$、阈值$\tau_{start}=0.4,\tau_{stop}=0.1$，固定Qwen3采样超参$T=0.6, top\_p=0.95, top\_k=20$，最大长度38k token。所有基准均为公开数据集，每配置跑8次取平均。复现难度在于：(1) 跑$K=128$多分支并行需大量H800算力；(2) 自适应调度依赖精确token级同步，对vLLM/SGLang有定制化要求；(3) 抽取与推理共用$\pi$对prompt模板敏感。

论文图表

Information statistics during parallel search on HMMT24–25 using QWEN3-30B-A3B-THINKING-2507 with 64 parallel samples.
Figure 1: Information statistics during parallel search on HMMT24–25 using QWEN3-30B-A3B-THINKING-2507 with 64 parallel samples.

横轴是搜索步数（每个步对应1024 token），纵轴是新增/重复信息单元数。两组曲线对比：Independent Parallel Sampling（基线）随步数推进，新信息单元下降而重复信息单元上升；Collaborative Parallel Thinking则显著压低重复信息单元，同时保持与基线相当的新增信息量。

这是全文动机核心图，用可观测的统计证据把「信息隔离瓶颈」从直觉变成可量化现象，是Figure 2方法设计和Table 1离线注入实验的基础。