基于协作式多智能体测试时强化学习的推理增强框架 MATTRL Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning
测试时多智能体协作与经验注入提升推理准确性
前置知识
多智能体系统
多智能体系统由多个角色化 LLM 代理组成，它们各自独立提案、相互批评与补充，并通过会议或汇总机制把分散观点整合为更稳健的最终决策。相比单代理，多智能体强调多样性与交叉检验，能在信息跨领域、证据冲突或任务复杂时提升鲁棒性。其典型流程包含角色招募、多轮协作讨论和最终决策汇总三个阶段，使模型在推理时借助结构化交流减少错误与偏差。
本文以多智能体协作为基础框架，理解代理间如何分工、沟通与收敛是读懂 MATTRL 各阶段设计与经验注入机制的前提。
测试时适应
测试时适应（Test-time adaptation）指在推理阶段通过外部信号对模型行为进行即时调整，而不改变模型权重。常见做法包括测试时学习与测试时强化学习，它们利用未标注测试数据、伪奖励或经验线索来缓解分布漂移，使模型在新领域或难题上保持性能。其核心是把外部反馈（如规则、经验片段或检索结果）注入推理上下文，从而低成本地实现动态适应。
MATTRL 的核心思想是‘不改权重、在推理时注入经验’，因此测试时适应的机制与挑战直接决定该框架的可行性与收益边界。
信用分配
在多代理协作中，信用分配（Credit assignment）旨在把团队最终结果合理分解到每个代理或每条发言，以评估谁对关键决策贡献最大。常见策略包括朴素平均、差分奖励和 Shapley 近似，它们在公平性、计算成本与信号稳定性之间权衡。高质量的信用分配能帮助识别高价值发言，形成可复用的经验片段，避免把噪声观点错误提升为经验。
本文将信用分配用于经验构建与筛选，决定了经验池质量与后续推理增强效果，是理解经验生成与结果差异的关键。
经验池与检索增强
经验池把历史交互中高价值片段凝练为结构化文本，包括任务上下文、采取动作与理由，并在后续任务中通过检索增强推理。检索通常基于嵌入模型和向量索引，按语义相似性注入最相关的经验提示。该机制既保留固定权重的稳定性，又在推理时提供密集、步骤级的引导信号，尤其适合需要规则、提示或先验知识的复杂推理任务。
MATTRL 的关键创新在于‘经验注入’而非权重更新，理解经验池构建与检索方式有助于把握其与少样本提示及传统微调的本质区别。
LLM 强化学习
LLM 强化学习利用外部奖励信号对推理过程进行优化，旨在提升链式推理与问题求解能力，典型案例如 DeepSeek-R1。近年来工作探索将其推广到多智能体场景或聚焦推理能力对齐，但面临资源消耗高、训练不稳定和泛化能力下降等挑战。测试时强化学习尝试在推理阶段借助伪奖励或经验信号进行适应，以平衡效率与效果。
本文的出发点是多智能体 RL 的高成本与不稳定性，MATTRL 通过推理时经验替代持续训练，理解 RL 的局限有助于看清该框架的设计动机。
研究动机
在复杂推理任务中，多智能体系统因多样性与交叉检验而常优于单代理，但当尝试通过多智能体强化学习（MARL）进一步提升时，问题变得突出。首先，团队成员在训练中同时演化会导致非平稳性，状态与回报分布持续漂移，训练过程难以稳定收敛。其次，奖励往往稀疏且方差高，尤其在需要多轮讨论才能得出结论的任务里，最终结果很难准确回溯到具体发言或策略。再者，针对单一领域的强化适应容易损害模型的原始泛化能力，导致通用性下降。在医学罕见病诊断、数学推理与教学等需要跨学科协作或证据整合的场景，这些痛点尤为明显：团队成员可能提出相互矛盾的假设，讨论过程充满噪声，传统的标量奖励无法提供足够的步骤级信号来区分关键决策与无关表达。结果是，尽管多代理协作本身有价值，但以 MARL 进一步提升代价高、效果不稳定，难以形成可迁移的推理增强路径。
本文的目标是本文的目标是提出一种稳定、可扩展且不依赖持续训练的多智能体推理增强框架，使多代理协作在测试时即可适应新任务与新分布，同时保持模型的通用能力。具体而言，框架需要在医学、数学与教育三类典型推理任务中提升最终决策质量，并对团队规模与协作策略具备良好可控性。目标还包括建立可复用的‘经验’机制，使得高价值协作片段能够被系统性提取、存储与检索，从而为后续任务提供密集、结构化的推理先验。作者希望该框架能在推理准确率上相较现有单代理与多代理基线实现可度量提升，同时在资源消耗与训练稳定性上优于传统 MARL 方案。
与已有工作不同的是，本文的独特视角在于把‘经验’从训练阶段抽离出来，放到推理阶段注入。过去的工作多聚焦于在训练或后训练阶段通过 RL 优化权重，或在推理阶段进行简单提示，但较少系统化地把多轮协作中的高质量发言片段提炼为可检索的经验，并通过信用分配保证经验质量。作者注意到，文本经验相比标量奖励能提供更丰富的步骤级信号，且在保持策略固定的条件下实现快速适应。基于此，MATTRL 选择把多代理讨论中高价值发言转化为结构化经验条目，再在后续推理中按语义相关性检索注入，以避免 MARL 的非平稳与稀疏奖励问题，并增强跨域鲁棒性。
核心方法
MATTRL 的整体思路可以类比为一个会诊流程：先组建小团队，再进行有记录的讨论，最后把讨论中的高质量经验沉淀并在未来复用。框架首先根据任务内容从专家目录或自由招募形成多专家团队；随后在有限轮次内进行经验增强的多轮对话，每位专家在每轮都会检索相关经验并更新自己的观点，团队再通过‘会议’共享增量更新以对齐认知；最后由协调者汇总讨论并输出最终决策。整个过程不更新模型权重，而是通过检索注入文本经验来引导推理，使得框架在保持模型通用能力的同时实现测试时适应。技术上，作者强调收敛检查与增量更新：当专家观点不再变化时标记收敛，避免无效讨论；同时引入结构化经验条目与向量检索（如基于 Qwen3-Embedding-4B 与 FAISS 的索引）以保证注入内容的相关性与可控性。这种方法把协作过程从单纯‘讨论’升级为‘讨论+经验复用’，在医学诊断、数学解题和教学辅导等场景均具通用性。
MATTRL 的核心创新在于用‘测试时经验’替代传统多智能体 RL 的权重更新，从而在推理阶段实现分布式适应。与以往需要联合训练多代理并面对非平稳与稀疏奖励不同，本文通过信用分配把团队最终结果分解到各轮与各代理，筛选高价值发言并提炼为结构化文本经验。经验条目包含最小任务上下文、具体动作与分配理由，使得后续任务可在语义层面检索并注入这些先验，形成密集的步骤级信号。关键在于：策略保持固定，适应完全发生在推理时，因此不会损害模型的通用能力；同时文本经验比标量奖励更能刻画协作质量与推理细节。相比单纯的少样本提示，MATTRL 的经验来自对当前与历史协作过程的信用筛选与总结，因而更具针对性与可迁移性。该设计本质上把‘训练时优化’转化为‘推理时注入’，在效果与稳定性之间取得新的平衡。
方法步骤详情
MATTRL 的执行流程可分为三阶段。第一阶段是团队形成：协调者根据任务记录与专家描述选择合适专家团队，可以基于固定目录招募或在数学等任务中自由组建；每位专家维护观点集与收敛标志，形成团队联合观点。第二阶段是经验增强的多轮讨论：在每轮中，非收敛专家根据当前发言与上下文检索经验池中的相关条目，更新自己的观点；随后通过会议机制汇总所有专家的增量更新，生成共享公告并在下一轮提供给所有成员，以避免重复讨论与认知漂移。收敛条件为所有专家不再提出新观点或达到最大轮次 $R_{\max}$。第三阶段是报告合成与最终决策：协调者汇总所有轮次的讨论报告，并可能再次检索经验，输出最终答案或诊断列表。经验构建方面，系统用 LLM 评判每条发言的正确性、信息增益与相关性，得到个体分数 $s_{i,t}$；再结合终端团队得分 $G$ 与衰减权重 $w_t = \gamma^{R-t}$ 计算轮级贡献，进而通过阈值筛选高价值发言并提炼为经验条目 $e_{i,t}$。检索实现上，采用嵌入模型对经验键值进行 L2 归一化并存入 FAISS 索引，推理时对当前指令编码为归一化查询向量，取 Top-K 相似条目注入提示。
技术新颖性
本文的技术新颖性体现在三个方面。其一，MATTRL 首次系统化地将多智能体测试时经验引入协作推理，而非依赖 MARL 的权重更新，避免了非平稳与泛化受损的问题。其二，框架把信用分配与经验构建紧密结合，通过个体发言评分、衰减加权和阈值筛选，把团队结果分解为可复用的文本经验，使协作信号从‘标量奖励’升级为‘结构化经验’。其三，框架在不同领域（医学、数学、教育）均以统一的三阶段流程与经验注入机制落地，展示了跨域的通用性与可控性。相比以往以提示或记忆增强为主的方法，MATTRL 更强调经验来源的质量控制与推理时注入的针对性，从而在不增加训练负担的前提下提升协作推理的精度与稳健性。
实验结果
本文在医学、数学与教育三类任务上对 MATTRL 进行了系统评估，并与单代理与多代理基线对比。医学任务基于 RareBench Task 4 的 2185 例覆盖 421 种罕见病，评估指标为 Hit@k 与 MRR；结果显示 MATTRL 的 Hit@1 达 0.39，Hit@3 为 0.51，Hit@5 为 0.61，Hit@10 为 0.75，MRR 为 0.51，均高于 MDAgent、RareAgents 与 RareAgents-Refined。作者指出，平均 Hit@k（k=1,3,5,10）为 0.565，较 MDAgent 的 0.515 与 RareAgents-Refined 的 0.528 提升明显，且在 Hit@1 与 Hit@10 的优势最显著，说明经验注入既提升了顶部精度，也扩大了候选覆盖。数学任务在 HLE 的 856 道纯文本数学题上测试，单代理准确率 0.27，多代理协作提升至 0.33，MATTRL 进一步达到 0.36，表明经验增强在专家级难题上仍有增益。教育任务在 SuperGPQA 的 300 道题上进行前测-教学-后测评估，单代理教师将准确率从 0.44 提升至 0.60（$\Delta Acc=0.16$），多代理提升至 0.73（$\Delta Acc=0.29$），MATTRL 达到 0.77（$\Delta Acc=0.33$），几乎把学习增益翻倍，说明协作与经验注入对学生纠错与概念建构有叠加效果。进一步分析表明，团队规模并非越大越好：在 Hit@1 上三代理最优，规模继续增大反而下降；而 Hit@10 随规模增长受益最大，三代理在 Hit@10 上比单代理高约 14%。在自适应路由实验中，作者训练分类器根据症状复杂度与跨专科需求决定采用单代理或多代理，结果自适应方案在平均指标上比单代理提升约 10%，比 MATTRL 提升约 5.5%。此外，少样本提示仅带来微小改善甚至在部分指标下降，表明 MATTRL 的收益来自结构化经验而非单纯增加上下文。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 医学罕见病诊断 (RareBench Task 4) | Hit@1 / Hit@3 / Hit@5 / Hit@10 | 0.39 / 0.51 / 0.61 / 0.75 | MDAgent 0.32/0.49/0.57/0.68；RareAgents-Refined 0.35/0.49/0.57/0.70 | MATTRL 平均 Hit@k=0.565，较 MDAgent 0.515 与 RareAgents-Refined 0.528 提升；Hit@1 提升约 4–7 个百分点，Hit@10 提升约 5 个百分点 |
| 医学罕见病诊断 | MRR | 0.51 | MDAgent 0.46；RareAgents-Refined 0.47 | 提升约 4–5 个百分点 |
| 数学推理 (HLE, 856 题) | 准确率 | 0.36 | 单代理 0.27；多代理 0.33 | 较单代理提升 9 个百分点，较普通多代理提升 3 个百分点 |
| 教学辅导 (SuperGPQA, 300 题) | 学习增益 $\Delta Acc$ | 0.33 | 单代理 0.16；多代理 0.29 | 较单代理提升 17 个百分点，较普通多代理提升 4 个百分点 |
局限与改进
作者承认两项主要局限：其一，框架的推理计算与延迟会随多代理展开与探索预算增长，尤其在更大团队或更多轮次时成本上升明显；其二，随着经验池不断扩展，陈旧、重复或错误的经验可能积累，导致‘漂移’风险，需要生命周期管理与质量筛选机制。从实验设计角度看，医学评估主要基于 RareBench Task 4，尚未充分覆盖更广泛的临床场景与多模态数据；数学与教育任务虽具代表性，但规模相对有限，结果能否在更大分布上稳定仍需进一步验证。此外，框架依赖 LLM 评判与嵌入检索，评判标准与检索质量会影响经验构建与注入效果。最后，自适应路由虽提升了实用性，但也引入额外分类器与训练复杂度，需要在实际部署中平衡收益与工程成本。
独立分析的弱点
尽管 MATTRL 在多个任务上取得提升，但仍存在若干弱点。首先，经验质量高度依赖信用分配与 LLM 评判，若评分偏差或阈值设置不当，可能把噪声发言误选为经验，造成后续推理误导；改进方向包括引入更稳健的多维评分与异常检测，结合差分奖励或 Shapley 近似以减少搭便车噪声。其次，经验池缺乏生命周期管理，随着时间推移可能混入过时或重复条目，建议引入时间衰减、去重与异常筛查机制，并在检索时考虑经验新鲜度与可信度。再次，团队规模与轮次对精度与成本的权衡尚需更精细控制，Hit@1 在大规模团队下降说明协作噪声增加；可设计动态预算与提前停止策略，根据收敛速度与置信度自适应调整。最后，当前自适应路由依赖额外分类器，特征设计与训练可能增加工程复杂度；改进方向是将路由信号内化到经验检索与置信度估计中，减少额外模块。
未来方向
作者在结论中提出未来将引入动态预算控制器与基于置信度的提前停止机制，以在不牺牲准确性的前提下控制成本；同时计划为经验池引入生命周期管理，包括时间加权、去重与异常筛选，以保持长期精度。基于现有成果，可进一步探索把经验机制推广到多模态或工具增强场景，例如结合影像、检验数据或外部知识库进行跨模态协作；也可研究自监督或半监督方式自动扩充经验池，减少对人工评判的依赖。另一个方向是把经验与模型微调相结合，在保持推理时注入的同时，利用少量高质量经验进行参数更新，以提升特定领域的长期适应能力。最后，跨任务迁移与经验共享机制值得深入研究，使不同领域的协作经验能相互借鉴，提高框架的通用性与复用效率。
复现评估
在复现方面，作者公开了代码仓库，这对实现框架与验证结果至关重要。医学实验基于 RareBench Task 4，数学基于 HLE 的纯文本子集，教育基于 SuperGPQA 的抽样题组，数据来源与规模均有明确说明，便于复现与对照。框架使用 GPT-5 作为骨干模型，团队规模设为 3、最大讨论轮次为 3、经验构建选取 30 个案例并提取 Top 25% 高分发言，参数设置清晰，降低了实现不确定性。检索实现采用 Qwen3-Embedding-4B 与 FAISS 索引，经验注入模板也给出示例，工程上可操作性强。复现难度主要来自大规模 API 调用与评判成本，以及对信用分配策略的实现细节；但总体而言，结合开源代码、明确数据与公开提示模板，复现门槛处于中等水平，适合有工程能力的团队在合理算力下复现主要结果。
论文图表
文本示例展示从会诊记录提炼出的通用经验（如噪声抑制、关键判别优先、诚实不确定）与疾病特异性经验（如机制澄清、硬指标主导、颅缝早谱高标准）。示例以要点形式呈现，便于后续检索注入。
该图直观解释经验池的内容形态与可复用性，帮助理解为何经验注入优于单纯少样本提示。
展示通用教学经验（如基于部分理解搭建、关键判别优先、明确误解）与学科特异性经验（如数学机制澄清、哲学定义精确、医学证据标准）。示例以结构化提示呈现，便于后续注入。
该图帮助读者理解教育场景中经验的形态与可迁移性，支撑经验注入机制的有效性。