PaCoRe：通过并行协调推理学习扩展测试时计算 PaCoRe: Learning to Scale Test-Time Compute with Parallel Coordinated Reasoning

PaCoRe推理管道对给定问题 $x$ 执行 $R$ 轮协调推理。第 $r$ 轮接收前一轮的压缩消息集 $M_{r-1} = \{m_{r-1}^{(i)}\}_{i=1}^{K_{r-1}}$，生成 $K_r$ 条并行推理轨迹 $\Omega_r = \{\omega_r^{(i)}\}_{i=1}^{K_r}$。每轮包含两个阶段：（1）综合与并行探索：使用提示函数 $P(x, M_{r-1})$ 序列化问题和消息，然后并行调用推理模型 $\pi_r$ 生成 $K_r$ 条独立轨迹，每条包含完整推理链和最终结论；（2）消息压缩：压缩函数 $C(\cdot)$ 解析每条轨迹，仅保留最终结论段 $m_r^{(i)} = C(\omega_r^{(i)})$，丢弃中间步骤，确保输入长度有界。最后一轮使用单条轨迹（$K_R = 1$）产生最终输出。整个过程被记为 $\hat{R} = R-1$ 轮协调推理，推理配置为 $\vec{K} = [K_1, ..., K_{\hat{R}}]$。训练流程则将单轮综合建模为一个episode式RL环境：从训练分布中采样问题 $x$ 和消息集 $M$，策略 $\pi_\theta$ 生成轨迹 $\omega$ 并获得稀疏终端奖励 $R(\omega) \in [0,1]$。训练分两阶段：Stage 1（250次迭代）筛选朴素聚合失败的实例（消息集准确率在特定区间）；Stage 2（额外450次迭代）使用Stage 1中间检查点评估综合准确率，仅保留 $0 < \text{synthesis\_acc} < 1$ 的实例。

PaCoRe的技术新颖性体现在多个层面。首先，它是第一个系统性地将并行推理与消息压缩结合，实现有效TTC突破上下文窗口限制的通用框架。虽然此前有工作探索并行搜索或上下文管理，但PaCoRe首次将两者整合为一个端到端训练的统一框架。其次，PaCoRe将推理模型置于一个隐式的多智能体环境中进行训练——输入消息来自其他模型生成的输出，策略必须在这样的环境中学会综合。这与传统的单智能体RL设置有本质区别，为研究涌现的集体行为提供了独特视角。第三，训练数据的筛选策略极具创新性：只保留'简单策略会失败'的实例，这种对抗性数据设计确保模型必须发展出高级综合能力。第四，论文观察到了多个有趣的涌现行为：训练过程中'交叉验证'语言标记（如'reference'、'参考'等）的出现频率从接近零稳步上升；涌现正确率——在所有输入消息都错误时模型仍能生成正确解的概率——显著增长，证明模型超越了朴素策略。

PaCoRe在以下方面存在可改进的空间。首先，消息压缩函数 $C(\cdot)$ 采用最简单的策略——仅保留每条轨迹的最终结论段落，丢弃所有中间推理步骤。这种'结论提取'式的压缩可能丢失重要的推理过程信息，例如中间步骤的验证逻辑或关键的反例发现。一个改进方向是设计学习型压缩器，能够识别并保留轨迹中最关键的中间信息。其次，所有并行轨迹使用相同的模型权重和相同的输入上下文，这意味着轨迹之间的多样性可能有限。可以通过引入不同的推理策略提示、不同的采样温度、甚至不同的专门化模型来增加轨迹多样性。第三，PaCoRe的训练数据筛选策略虽然创新，但会导致大量训练数据被丢弃，数据利用率较低。可以探索更精细的课程学习策略，逐步增加问题难度，而非简单地按准确率区间过滤。第四，论文未充分探索模型规模的扩展效应——8B模型的结果很好，但PaCoRe的增益在70B或更大模型上是否同样显著尚不清楚，理论上更大的模型可能具有更强的内在综合能力，从而对PaCoRe的依赖降低。

论文作者提出了四个有前景的未来研究方向。第一，'极限扩展'（Scaling to Extremes）：将PaCoRe应用于更大的基础模型、更广泛的任务领域（如多模态理解和智能体任务），以及进一步扩展推理的宽度（并行轨迹数）和深度（协调轮数），以解决极端困难的问题。第二，'提升token智能密度'（Boosting Token Intelligence Density）：不仅通过体积扩展TTC，而是最大化每单位计算的效用，通过更好的组织、合作和分工来实现更高效的并行探索。第三，'涌现的多智能体智能'（Emergent Multi-Agent Intelligence）：联合训练综合策略和消息传递机制，构建最小但丰富的合作式多智能体学习环境，用于研究涌现通信、自组织和集体智能。第四，'自噬循环'（Ouroboros）：利用PaCoRe管道开发高级合成数据生成技术，以改进当前的预训练和后训练流程。基于论文的成果，还可以延伸到：将PaCoRe与思维链蒸馏结合，将多轮协调推理的能力压缩到更小的模型中；探索PaCoRe在科学发现、数学证明辅助等实际应用中的潜力；研究PaCoRe的涌现行为（如交叉验证）是否可以通过显式训练进一步强化。

PaCoRe在可复现性方面做得相当出色，这在当前大模型研究中是难能可贵的。作者开源了三个关键资源：模型检查点（PaCoRe-8B，发布在HuggingFace的stepfun-ai/PaCoRe-8B）、训练数据（stepfun-ai/PaCoRe-Train-8k）以及完整的推理管道（GitHub: stepfun-ai/PaCoRe）。这种全面的开源策略使得其他研究者可以复现论文的结果并在此基础上继续研究。然而，复现仍面临一些挑战：训练过程使用了基于Qwen3-8B-Base的内部推理导向后训练版本（RLVR-8B）作为初始检查点，这个检查点并未公开，可能影响精确复现；训练使用了大规模计算资源（700次迭代，每次16个实例×64条响应，最大序列长度131,072 token），算力需求较高；数据筛选策略需要先使用基线模型生成消息缓存池并评估准确率，增加了一定的复现复杂度。不过，论文提供了详细的训练数据准备流程（Appendix C）和综合提示模板（Appendix B），有助于降低复现门槛。