TMAS：通过多智能体协同扩展测试时计算 TMAS: Scaling Test-Time Compute via Multi-Agent Synergy
五智能体分层记忆框架，协同扩展LLM测试时推理。
前置知识
Test-Time Scaling (TTS)
测试时计算扩展，在推理阶段通过增加计算量（更长CoT、多轨迹采样、迭代精炼）来提升大语言模型推理能力，而非训练阶段堆参数。代表方法包括Self-Consistency、Self-Refine、ToT等。
本文核心讨论对象就是TTS范式的局限性，理解TTS的'扩展维度'（串行/并行/混合）才能看懂TMAS在做什么改进。
Group Relative Policy Optimization (GRPO)
DeepSeek提出的一种RLVR算法变体，对每个prompt采样N个rollout，将组内奖励归一化得到优势 $A_i = (\tilde r_i - \mu)/\sigma$，结合PPO式裁剪目标优化策略，无需训练单独的价值网络。
TMAS的混合奖励系统直接嵌入GRPO框架，若不理解组内归一化就无法理解为何Novel Strategy Reward能引导探索新路径。
Multi-Agent Reasoning
将复杂推理任务分解给不同角色智能体（如求解器/验证器/修正器）协同完成，相比单智能体可获得更强的问题解决能力。代表工作如PaCoRe、RSE、MarsRL等。
TMAS本质是五智能体协同系统，需理解智能体如何通过记忆银行通信、为何分层记忆（经验库+策略库）能缓解'噪声历史信号'问题。
Pass@1 Accuracy
生成单个答案即正确的概率，是评估推理模型的常用指标，与贪心解码或低温度采样配合使用，能反映模型在'首答'场景下的实际可用性。
论文全部实验报告Pass@1，所有数字（如64.9%→77.2%）都基于此指标，理解其语义才能正确比较不同方法。
RLVR (RL with Verifiable Rewards)
使用可自动验证的奖励（如数学答案对错）进行强化学习训练，相比RLHF不需要人类偏好标注。在DeepSeek-R1、Qwen3等推理模型训练中广泛使用。
TMAS指出标准RLVR只优化最终正确性，无法激励'使用经验库'和'探索新策略'两个关键行为，混合奖励正是对此缺陷的针对性补强。
研究动机
现有结构化测试时扩展方法存在两大痛点。第一类是基于轨迹聚合的方法（如PaCoRe、RSE）虽然改善了跨轨迹交互，但通常不加选择地累积历史信息，没有明确决定应保留什么、丢弃什么，易被噪声或次优信号污染。例如RSE虽然将历史轨迹蒸馏为正负经验，但4B基模型在IMO-AnswerBench-50上iter 19仅达16.19%，暴露其复用机制不够精细。第二类是基于验证-精炼范式的方法（如DeepSeek-Math-V2、Nemotron-Cascade 2）虽引入显式反馈，但不同轨迹之间耦合度低，可复用的经验和关键发现在多次尝试中无法充分共享。Qwen3-30B基模型+Verify-Refine在iter 1仅10.56%，虽经20轮精炼也只到31.06%，扩展效率低下。两条路径都没能同时处理好'探索新解法'与'利用已有结论'的平衡，导致要么陷入次优模式重复试错，要么在噪声历史中浪费算力。
本文的目标是本文提出TMAS（Test-time Multi-Agent Synergy），目标是将测试时推理组织为多个专门化智能体的协作过程，通过结构化的信息流在智能体、轨迹、迭代三个层级间传递。核心目标包括三点：（1）显式定义智能体角色（求解/验证/摘要/经验/策略）及其输出如何被组织、传递、转化为可复用信号；（2）通过分层记忆——经验库（low-level可靠中间结论与局部反馈）与策略库（high-level已探索策略）——实现跨轨迹协作；（3）平衡探索-利用权衡。配套设计混合奖励RL训练方案，激励模型保留基础推理能力、增强经验利用、鼓励探索新策略，最终让4B小模型在IMO-AnswerBench全量400题上从53.5%提升到73.5%，逼近30B甚至更大闭源旗舰模型。
与已有工作不同的是，TMAS的独特切入角度在于将'多智能体协同'与'分层记忆'深度耦合，并以'探索-利用显式解耦'区别于现有工作。与RSE只用单一经验银行不同，TMAS把记忆显式分为低层经验库（具体技能、验证锚点、错误模式）和高层策略库（已尝试的高层解法方向），后者通过探索系数 $\epsilon$ 控制按概率触发，引导后续轨迹避免重复既有模式。此外，TMAS首次将三组件混合奖励（标准正确性+经验利用+新颖策略）统一到GRPO训练目标中，明确用 $(1 - p_{base})$ 调制经验库奖励、$n_i \in \{0,1\}$ 区分新/旧策略，让RL训练目标与推理时使用的记忆结构对齐。这种'结构化记忆+对齐训练'的组合是已有TTS方法（PaCoRe/RSE/Verify-Refine）都未覆盖的角度。
核心方法
TMAS的整体思路是'并行探索+串行精炼+分层记忆+专用智能体'。直觉上，单次推理容易卡死，多条独立路径可以暴露多种视角；但多条路径信息容易爆炸，因此需要专门的'记忆管理员'来分门别类地保留有用信号。技术路线分两层：推理时是五智能体迭代流水线，每个问题运行 $T$ 轮，每轮并行生成 $N=8$ 条解题轨迹、每条用 $M=8$ 个验证器独立评分、汇总为rollout级摘要，再由经验智能体和策略智能体分别更新两个记忆银行，下一轮的条件上下文由此构成。训练时在GRPO基础上叠加三组件混合奖励：标准正确性保持基础能力，经验利用奖励以 $(1-p_{base})$ 调制推动模型在难例上学会读记忆库，新颖策略奖励以二元信号 $n_i$ 显式鼓励偏离历史解法。两者协同——推理时的分层记忆是'使用什么'，训练时的混合奖励是'怎么让模型学会用'。
TMAS与已有TTS方法的本质区别在于'显式分层记忆+对齐训练'。RSE只用一个经验银行把所有历史信号塞进去，PaCoRe把历史轨迹直接聚合传给下一轮，Verify-Refine只有验证反馈没有跨轨迹共享机制——三者都没区分'低层可靠结论'与'高层解法方向'，也没让训练目标与推理时的记忆使用方式对齐。TMAS的求解智能体按概率 $1-\epsilon$ 走'精炼分支'（条件为 $Q, R_{t-1}, E_{t-1}$，用历史rollout+经验库），按概率 $\epsilon$ 走'探索分支'（条件为 $Q, G_{t-1}$，只参考策略库去避免重复既有高层策略），这一结构化的双分支采样是首次将探索-利用显式解耦到采样阶段。配套的混合奖励 $r_i \in \{-1,-0.5,+0.2,+1.0\}$ 按 (正确性, 新颖性) 二维分箱，让'对的+新颖'拿满分、'对的+重复'只拿微量、'错的+新颖'温和惩罚、'错的+重复'重罚，与双分支采样形成闭环。
方法步骤详情
TMAS对问题 $Q$ 运行 $T$ 轮迭代，每轮四步。步骤一，平行求解：$A_{sol}$ 以 $\epsilon$ 概率分双分支采样 $N=8$ 条候选解，$1-\epsilon$ 走精炼分支 $A_{sol}(Q, R_{t-1}, E_{t-1})$，$\epsilon$ 走探索分支 $A_{sol}(Q, G_{t-1})$。步骤二，平行验证：$A_{ver}$ 对每条解独立执行 $M=8$ 次验证得到 $V_{t,i}$。步骤三，摘要：$A_{sum}$ 聚合成 $s_{t,i}$。步骤四，记忆更新：$A_{exp}$ 与 $A_{guide}$ 并行生成 $E_t$ 和 $G_t$。训练在GRPO上叠加三组件奖励：标准正确性 $r_i \in \{+1,-1\}$；经验利用奖励对 $B_{bank}$ 正确样本附加 $\beta(1-p_{base})$；新颖策略奖励按 $(r_i, n_i)$ 二维分箱为 $\{+1.0, +0.2, -0.5, -1.0\}$。冷启动数据由DeepSeek-V3.2模拟得到1.6K+0.6K+2.2K样本。
技术新颖性
本文技术新颖性体现在四个层面。第一，五智能体精细化分解+记忆银行通信机制：相比RSE的两智能体+单银行或PaCoRe的无银行聚合，TMAS把'信息流'显式建模为五类智能体×两层记忆的耦合系统，经验库 $E_t$ 和策略库 $G_t$ 在功能和时间尺度上解耦，前者服务精炼、后者服务探索。第二，混合奖励GRPO与推理结构对齐：奖励设计不是通用的'答案对错'，而是直接对应推理时的双分支采样策略，让'用记忆'和'走新路'两个动作在训练目标中都有独立梯度信号，避免了Vanilla-RL在iter 9之后出现性能退化（图3右）的问题。第三，探索系数 $\epsilon$ 的显式采样控制：把探索-利用权衡从超参数层面下沉到token采样的概率分支上，比传统'温度参数'或'top-p截断'更结构化。第四，冷启动数据构建：使用DeepSeek-V3.2作为教师模型模拟TMAS风格的多轮推理，从开源数据中蒸馏匹配测试时输入格式的训练样本，1.6K+0.6K+2.2K的细分数据集设计也较新颖。整体上，'结构化记忆+对齐训练'是把TTS从'工程技巧'推向'可学习系统'的一次系统化尝试。
实验结果
Table 1显示TMAS在IMO-AnswerBench-50和HLE-Math-100上iter 19的Pass@1均领先所有基线：30B TMAS在IMO-50达40.50%（RSE 38.00、PaCoRe 30.31），HLE-100达35.38%（RSE 31.75、PaCoRe 32.78），且增益随迭代持续扩大。Hybrid-RL在4B模型上效果最显著：iter 19从TMAS无RL的17.06%跃升至30.88%（IMO-50），相对提升近一倍。表1和图3显示Hybrid-RL解决了Vanilla-RL在iter 7后开始退化的现象，Hybrid-RL曲线单调上升。图1全量IMO-AnswerBench（400题）验证泛化性：30B TMAS从64.9%→77.2%，4B+Hybrid-RL从53.5%→73.5%，4B与30B差距缩小59.0%（IMO-50）和59.8%（HLE-100）。消融Table 2证实经验库和策略库互补，敏感度图4确认 $\epsilon=0.2, M=8, N=8$ 为最优配置。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IMO-AnswerBench-50 (Qwen3-30B-Thinking-2507) | Pass@1 (iter 19) | 40.50% | RSE 38.00% / PaCoRe 30.31% / V-R 31.06% / Self-Refine 24.19% | +2.50点 vs 最强基线RSE，+16.31点 vs Self-Refine |
| HLE-Math-100 (Qwen3-30B-Thinking-2507) | Pass@1 (iter 19) | 35.38% | RSE 31.75% / PaCoRe 32.78% / V-R 30.41% / Self-Refine 27.12% | +2.60点 vs 最强基线PaCoRe，+8.26点 vs Self-Refine |
| IMO-AnswerBench-50 (Qwen3-4B-Thinking-2507 + Hybrid-RL) | Pass@1 (iter 19) | 30.88% | TMAS无RL 17.06% / RSE 16.19% / PaCoRe 10.94% | +13.82点 vs TMAS无RL，+14.69点 vs RSE |
| HLE-Math-100 (Qwen3-4B-Thinking-2507 + Hybrid-RL) | Pass@1 (iter 19) | 28.16% | TMAS无RL 17.41% / RSE 15.47% / PaCoRe 16.47% | +10.75点 vs TMAS无RL，+12.69点 vs RSE |
| Full IMO-AnswerBench (400题, Qwen3-30B) | Pass@1 | 77.2% | raw backbone 64.9% / Opus-4.6 Max (reported) 略低 | +12.3点绝对提升，逼近DeepSeek-V3.2 (685B) |
| Full IMO-AnswerBench (400题, Qwen3-4B + Hybrid-RL) | Pass@1 | 73.5% | raw backbone 53.5% | +20.0点绝对提升，4B模型接近30B TMAS |
局限与改进
作者承认两点局限：（1）因成本约束未在GPT-5.5等前沿旗舰模型上验证，TMAS协同上限未探明；（2）RL流程依赖DeepSeek-V3.2离线预构建冷启动数据，训练数据无法动态扩展。额外问题：训练需256张H20 GPU + FP8量化，普通研究组难以复现；'准则新颖性' $n_i$ 二元信号依赖外部模型标注，可能引入误差；$\epsilon=0.2, N=8, M=8$ 是固定超参，未做联合搜索；评估仅限数学推理，未验证代码、开放问答等任务的迁移性；缺乏'何时停止'的自适应判据，长尾场景下过度精炼风险未知。
独立分析的弱点
三个主要弱点。**弱点一：冷启动数据偏置。** 1.6K+0.6K+2.2K样本全部来自DeepSeek-V3.2教师模拟，'新颖策略'实际是模仿教师判断，可能烙印教师风格。改进方向：引入多教师集成或自博弈迭代RL。**弱点二：双记忆银行缺乏纠错。** $E_t$ 和 $G_t$ 单调追加，错误信号持续误导。改进方向：为每条记忆加置信度/时间戳权重，引入基于验证反馈的强化/遗忘机制。**弱点三：探索分支触发条件刚性。** $\epsilon$ 按固定概率无条件触发 $A_{sol}(Q, G_{t-1})$，不判断'当前问题是否需要新策略'，导致算力浪费或不足。改进方向：把 $\epsilon$ 改为基于状态的自适应信号，如最近 $k$ 轮精炼无进展时动态提高。
未来方向
作者提出的未来工作已在结论中明示：（1）将上一轮迭代产生的轨迹和记忆信号动态整合进RL数据池，取代离线冷启动，让训练数据与推理时分布持续对齐；（2）把TMAS推广到GPT-5.5等前沿旗舰模型，验证多智能体协同的天花板。基于本文成果可延伸的方向还有：（a）任务泛化——把分层记忆机制迁移到代码生成（HumanEval/MBPP）、开放问答（MMLU/HotpotQA）、多模态推理（MathVista）等任务，检验'经验-策略'分层是否对所有长链推理问题都最优；（b）智能体异构化——当前五个智能体共享一个backbone，可以探索'不同后端专家模型+统一通信协议'的异构多智能体配置，让验证器用强模型、求解器用快模型；（c）记忆压缩——20轮迭代后两个银行会不断膨胀，token开销急剧增加，需要研究层次化摘要、向量检索、记忆淘汰等压缩机制；（d）可解释性——可视化策略库中'新颖'与'重复'解法在数学问题上的分布，为AI数学发现提供新视角；（e）理论分析——为TMAS的迭代扩展曲线建立收敛性/复杂度理论，解释为何Hybrid-RL能缓解iter 9后Vanilla-RL的退化现象。
复现评估
复现性中等偏上但门槛高。**优点：** 代码与数据开源在 https://github.com/IQuestLab/tmas，超参全公开（$N=8, M=8, \epsilon=0.2$，iter 20，max output 128K，LR $1\times 10^{-6}$，batch 128，16 rollouts/prompt，80K token/response），附录A.3和D.1给出完整实现细节与智能体prompt模板。**难点：** 训练需256张H20 GPU + FP8量化，单卡不可能；DeepSeek-V3.2教师API成本与提示工程会引发数据漂移；$n_i$ 判定逻辑未完整披露；单题评估token消耗约 $1.15\times 10^8$，50题完整评估需 $\sim 5.7\times 10^9$ token。**建议：** 先在 $N=4, M=4, T=10$ 的缩放配置验证核心机制，再扩展到完整规模。
论文图表
柱状图对比Qwen3-30B-A3B-Thinking-2507和Qwen3-4B-Thinking-2507在完整IMO-AnswerBench（400题）上的Pass@1，叠加TMAS增强后与DeepSeek-V3.2、Opus-4.6 Max、Kimi-K2.5等前沿模型的报告结果对比。蓝色为TMAS增强系统，浅蓝为原始backbone。
直接展示TMAS的'小模型逼近大模型'核心卖点，是论文最抓眼球的结论图，对理解动机和价值定位最重要。