自组织智能体团队学会协同推理 Self-Organizing Agent Teams Learn to Reason Together
固定智能体团队从协作经验中学出可复用组织策略，协同计算超越最强成员与完美路由。
前置知识
多智能体辩论（Multi-Agent Debate）
让多个 LLM 实例各自独立生成答案，然后互相阅读对方的完整回答并迭代修订若干轮，最后以多数投票聚合的协作范式（Du et al., 2024）。后续研究发现其增益大部分可以直接通过对初始独立答案做多数投票恢复；额外轮次甚至会让正确的少数派意见被错误的多数淹没。
辩论是本文最核心的固定基线之一（数学套件平均 52.7%）。作者论证辩论本质上属于『对已有候选答案的选择与聚合』而非『协同计算』，理解这一对照才能理解 SAT 的定位与贡献。
Mixture of Agents（MoA）
前馈式聚合方法：多个提议者模型各自给出一个回答，再由一个综合器模型单向汇总成最终输出（Wang et al., 2025）。它的交互结构固定且单向，不包含成员之间来回质疑、定向修复推理步骤的环节，类似经典集成学习中的堆叠。
MoA 是 SAT 最强的固定多智能体基线（数学套件平均 57.3%）。SAT 用学习到的『相位—角色—修复』结构与它对比，证明灵活的双向推理组合优于固定前馈管道。
Routing oracle 与 truth-wins 条件
routing oracle 是对每个问题假设存在一个完美选择器，从各成员独立作答的答案中挑出正确者，其覆盖率是『纯选择』所能达到的上限。它对应组织心理学的 truth-wins 条件：只要任一成员独立解出即视为团队解出。团队超过这条线，才说明交互创造了任何成员都没有的新答案。
这是全文最关键的评测标尺。SAT 在数学物理套件上平均 66.7% 超过 oracle 的 59.0%，是『协同计算确实发生』的核心证据；理解它才能理解论文声称的强度。
可证性（Demonstrability）
组织心理学家 Laughlin 与 Ellis（1986）提出的构念：在一项智力型团队任务中，正确推理能否被区分于错误推理。可证性强时，正确答案一旦出现就能经受质疑、主导后续推理并被识别为正确；可证性弱时，貌似合理的错误解释会把正确答案挤掉。
论文用它回答『何时协作最有效』：跨 8 个基准，可证性与团队超过最强成员的幅度强相关（Spearman $\rho=0.90$, $p=0.005$），是理解本文适用边界的钥匙。
反思式进化搜索（Reflective evolution, GEPA 式）
用 LLM 自身充当变异算子的无梯度优化：检索先前的执行记录，反思失败原因，提出有针对性的文字修改，再在验证集上筛选保留。GEPA（Agrawal et al., 2026）证明这种『反思性提示进化』在提示优化上可胜过强化学习。
SAT 的『团队反思』正是这类方法，但被应用到一个新对象——团队协作策略（组织结构）而非单个模型的提示词。知道 GEPA 才能看清 SAT 在方法谱系中的位置与差异。
证书（Certificate）与判官选择
SAT 把每个候选解写成『证书』：一份自包含、逐步可查的推理轨迹，而非光秃秃的最终答案。一个判官模型在单个提示里收到全部证书，只审计证书的局部缺陷（步骤是否成立、算术是否正确、情形是否完整），被明确禁止自己解题，最后选出书面支持最强的候选。
这套『生成与选择分离』的设计是理解覆盖率与最终准确率差距的机制基础，也是论文局限性的来源——知识逻辑套件覆盖率高达 87.9% 而最终准确率只有 72.8%。
研究动机
现有多智能体方法把协作预先组织在两类『工作单元』上，而这两类组织在关键场景下都会失效。第一族以成员独立产出的候选答案为单元：辩论反复让智能体互看答案再修订，但 Choi et al.（2025）跨 7 个基准发现，对初始独立答案做多数投票就能恢复辩论的大部分增益，理论分析也表明辩论本身不提高期望正确性；Zhang et al.（2025a）跨 5 种辩论方法、9 个基准发现辩论难以稳定超过单模型链式思维或自洽性（self-consistency），且更多轮次会压制正确的少数派观点。MoA 则用固定前馈管道单向聚合。第二族以天然可分的子任务为单元：GPTSwarm、AFlow、Conductor、AgentNet 等用工作流搜索、路由或拓扑优化来分配子任务并重组输出。但当问题没有任何成员能独立解出、有用的分解方式本身就未知时——例如 HMMT 竞赛中需要一人提供不变量、另一人修复计数错误、第三人审计的接力推理——这两族方法都没有提供让『部分推理互相补救』的组织机制。此外，现有评测只把团队与最强成员对比，无法区分『靠在不同题上挑对答案而变强』与『靠交互创造出新答案』这两种截然不同的成功路径。
本文的目标是本文要回答的核心问题是：一支成员固定的智能体团队能否从自身的协作经历中学出可复用的『团队协作策略』——规定角色分工、会话阶段、参与方式、信息流向与综合规则，但不规定新题目的子任务分解——并在学习完成后冻结，原封不动地迁移到从未见过的题目乃至全新基准上？为此作者设计了逐级加强的三重评测标准：第一，学习到的组织是否超过团队最强成员；第二，是否超过计算量匹配的单模型推理，包括让最强成员串行执行同一套学习结构的『线性化』对照；第三，也是最关键的，是否超过对成员独立答案做完美选择的 routing oracle——超过它才能证明交互创造了成员独立采样中不存在的正确解。最后，作者还想回答一个更一般的问题：协作到底在什么条件下才优于单模型？
与已有工作不同的是，本文的独特切入是把『组织方式』本身变成一个可学习的智能体能力，而不是把组织当作人工设计的脚手架。学习的对象既不是提示词（如 GEPA）、不是路由图或子任务图（如 GPTSwarm、Conductor）、也不是辩论图的边（如 OPTAGENT），而是一门用『会话相位、持久角色、信息流模式』写成的团队行为语言；策略是题目无关的、离线学习后冻结、部署时不做任何题目特定的控制。评测上的独特之处在于引入组织心理学的 truth-wins 条件的计算类比——routing oracle——作为比『最强成员』严格得多的天花板；分析上则借来第二个组织心理学构念 demonstrability（可证性），用它解释协作增益跨基准的巨大差异。这种『用组织学理论设计并解释 AI 团队』的跨学科视角是已有工作所没有的。
核心方法
先讲直觉：人类团队往往在共事之后才发现某个成员特别擅长暴露隐含假设、另一个擅长修复技术错误、第三个擅长保住有价值的少数派意见——这些优势在独立表现中不可见，只在交互中显现。SAT 让智能体团队走同样的路：由队内训练准确率最高的成员『复盘』过往协作的转录与成败，提出组织层面的变异，在训练题上验证后存入策略库，冻结后跨题复用。技术上，团队策略被形式化为 $P=(S,\tau,\alpha)$：一个有序通信步骤列表 $S=[s_1,\dots,s_K]$、一条陈述全队协作规范的共享团队提示 $\tau$、以及在每个阶段都持续的每智能体角色提示 $\alpha=\{\alpha_i\}$。每一步 $s_k=(A_k, r_k, f_k, \pi_k, \rho_k)$ 规定参与者集合 $A_k \subseteq A$、讨论轮数 $r_k$、信息流模式 $f_k \in \{L, S\}$（局部流：只有本相位参与者看到发言；摘要流：结束后随机一名成员总结要点广播给全队）、共享步提示 $\pi_k$ 与可选的每智能体步提示 $\rho_k$。整个学习分三阶段：团队反思驱动的进化搜索、覆盖贪心构建并冻结至多 10 条策略的库、部署时运行全库生成候选证书并由判官选出最终答案。
核心创新是『组织本身可以成为智能体能力』。与辩论和 MoA 把候选答案当作工作单元、与工作流搜索把子任务当作工作单元本质不同，SAT 的策略只规定『谁在何时与谁、以什么信息和角色对话』，完全不指定任何题目特定的子问题；题目的具体分工在会话过程中涌现、被质疑、并随着解的展开而改变。这使得『协同计算』成为可能：成员交换、挑战、修复、综合彼此的部分推理，能够造出任何成员独立作答都没有的正确解。一个典型例子是 HMMT 2026 第 6 题：三人独立答案全错，o3-mini 提供了 $\gcd$-$\operatorname{lcm}$ 指数不变量和分解框架但数错了指数为 1 的素数个数，DeepSeek-V3 把 5 修正为 6，Claude Sonnet 4 复核修正后的推理，团队综合出 $\tau(N)=3840$——这个答案不在任何成员的初始输出里。本质区别一句话：已有方法组合的是『答案』，SAT 组织的是『推理过程』；策略是跨题复用的行为结构，而不是每题现场生成的流程。
方法步骤详情
完整流程分六步。（1）初始化：从 $P_{\text{init}}$ 出发——三个成员各自独立解题，然后进行两轮辩论式交换（每轮读到其他成员最新回答），最后对终轮答案做多数投票；无角色、无团队提示。（2）团队反思：在每个源题上维护档案 $H_s$，记录候选策略与团队的执行结果；由训练集准确率最高的成员（数学队是 o3-mini，知识队是 Gemini-2.5-Flash，反思时模型身份被隐去）检视先前策略、团队转录、各成员答案、团队结局与验证探针结果，选择要改进的候选并提出至多 3 个针对性变异（改角色、相位或综合规则）；每个源题跑 6 轮变异。（3）验证探针：某变异若解出其源题，就被固定下来，在另外 5 道训练题（验证探针）上测试迁移性，探针结果写回档案并影响后续变异方向。（4）防泄漏：另一个反思模型实例对每个候选策略的所有字段做语义『源依赖审计』，排除任何编码了答案值、题目特定事实或源题解题配方的候选。（5）冻结：按训练集表现做覆盖贪心选择，保留至多 10 条互补策略组成库；对比显示从 $P_{\text{init}}$ 的 54.1% 提升到 66.7%（数学套件）、69.6% 到 72.8%（知识套件）。（6）部署：对新题运行库中每条策略，各产出一份证书；判官（即训练最强成员）在一个提示里收到题目与全部证书，按两阶段 AUDIT→DECIDE 只审计书面缺陷而不自行解题，选出支持最强者；无缺陷证书并列时，强制按答案频率决胜。
技术新颖性
与最接近的工作逐一对比可见其新颖性。相对于 GEPA：GEPA 从实例级 Pareto 前沿随机选父代再让 LM 提出反思变异；SAT 的指定成员在检视源题结局、探针得分与团队行为之后，同时决定『改进哪条归档策略』和『如何变异』，搜索代理的自主权更大。相对于 OPTAGENT（最接近的多智能体工作）：OPTAGENT 用口头强化学习只优化辩论图的边（谁和谁交互、什么顺序），保留手工指定的角色、统一的交换-修订操作和多数投票选择；SAT 学习的角色、参与、轮数、信息流与综合规则的完整策略，且冻结后跨基准迁移。相对于 Conductor 和 LATTE：它们在测试时针对当前问题生成或修改任务分解（worker 指令、任务图），SAT 的策略与题目内容无关、部署时不做任何分解。相对于 GPTSwarm、AFlow、Meta-Harness 优化计算图或 harness 代码、Dynamic Cheatsheet 维护单模型记忆，SAT 的学习产物是用自然语言写的多人对话组织结构。论文 Table 3 用三个维度（协同计算、题目无关脚手架、学习式脚手架）给多智能体方法定位，SAT 是唯一三者兼备的工作。
实验结果
数学物理套件（5 基准，3 种子平均）：SAT 平均 66.7%，全面领先——最强成员 48.8%（+17.9pp）、线性化 58.7%、MoA 57.3%、同质团队 56.0%、自洽 K=10 55.4%、辩论 52.7%；routing-oracle 覆盖 59.0%，SAT 覆盖 75.2%。分基准：留出 AIME24 达 84.7%（o3-mini 64.4，+20.3pp）；AIME25 达 60.8%，超 oracle 9.7pp；AIME26 达 71.2%，超最强成员 29.0pp、超 oracle 13.4pp；更难的 HMMT26 达 39.4%，与线性化并列；跨域 TQA-physics 达 77.2%。平均超过完美路由证明部分正确解由交互创造而非挑选，如 HMMT 第 6 题三人初始全错，o3-mini 供不变量但数错单位指数素数，DeepSeek 修正，Sonnet 复核，综合出 $\tau=3840$。知识逻辑套件：SAT 平均 72.8% 最高（线性化 72.1、MoA 71.2、最强成员 65.9），GPQA 最佳（80.0），但 MMLU-Pro（82.4 vs MoA 84.3）与 BBEH（56.0 vs 同质团队 58.7）单项不领先；覆盖率 87.9% 远超最终准确率 72.8% 且低于 oracle 79.6%，暴露『生成≠选择』。分析：8 基准上可证性与提升幅度强秩相关（Spearman $\rho=0.90$, $p=0.005$），可证性最高的 AIME26（0.687）对应最大提升 29.0pp，最低的 TQA-physics（0.423）仅 6.1pp。对比初始化 $P_{\text{init}}$（54.1%→66.7%、69.6%→72.8%），证明增益来自学到的组织本身。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024（留出集，数学竞赛） | 最终答案准确率 | SAT 84.7%（覆盖率 93.3%） | 最强成员 o3-mini 64.4%；routing oracle 73.3% | +20.3pp（vs 最强成员）；+11.4pp（vs oracle） |
| AIME 2025（跨年迁移） | 最终答案准确率 | SAT 60.8%（覆盖率 73.3%） | 最强成员 40.0%；线性化 43.3%；oracle 51.1% | +20.8pp（vs 最强成员）；+9.7pp（vs oracle） |
| AIME 2026（跨年迁移） | 最终答案准确率 | SAT 71.2%（覆盖率 73.3%） | 最强成员 42.2%；线性化 68.5%；oracle 57.8% | +29.0pp（vs 最强成员）；+13.4pp（vs oracle） |
| HMMT February 2026（跨竞赛迁移） | 最终答案准确率 | SAT 39.4%（覆盖率 54.5%） | 最强成员 26.3%；线性化 39.4%（并列）；oracle 36.4% | +13.1pp（vs 最强成员）；+3.0pp（vs oracle） |
| TheoremQA-physics（跨领域迁移） | 最终答案准确率 | SAT 77.2%（覆盖率 81.6%） | 最强成员 71.1%；MoA 74.0%；oracle 76.6% | +6.1pp（vs 最强成员） |
| 数学物理五基准平均 | 最终答案准确率 | SAT 66.7%（覆盖率 75.2%） | 最强成员 48.8%；线性化 58.7%；MoA 57.3%；oracle 59.0% | +17.9pp（vs 最强成员）；+8.0pp（vs 线性化）；+7.7pp（vs oracle） |
| GPQA Diamond（100 题，留出集） | 最终答案准确率 | SAT 80.0%（覆盖率 94.0%） | 最强成员 72.7%；线性化 79.0%；oracle 84.0% | +7.3pp（vs 最强成员）；但低于 oracle 4.0pp |
| MMLU-Pro（100 题，迁移） | 最终答案准确率 | SAT 82.4%（覆盖率 91.0%） | 最强成员 79.7%；MoA 84.3%；oracle 88.0% | +2.7pp（vs 最强成员）；低于 MoA 1.9pp |
| BBEH 五个子任务（75 题，迁移） | 最终答案准确率 | SAT 56.0%（覆盖率 78.7%） | 最强成员 45.3%；同质团队 58.7%；oracle 66.7% | +10.7pp（vs 最强成员）；低于同质团队 2.7pp |
| 知识逻辑三基准平均 | 最终答案准确率 | SAT 72.8%（覆盖率 87.9%） | 最强成员 65.9%；线性化 72.1%；MoA 71.2%；oracle 79.6% | +6.9pp（vs 最强成员）；但低于 oracle 6.8pp |
局限与改进
作者明确承认的局限：第一，更丰富的生成并不保证正确的选择——知识逻辑套件中团队证书池覆盖率达 87.9%，但最终准确率只有 72.8%，甚至低于对成员独立答案做完美路由的 79.6%，说明需要更好的选择器或更易读的证书格式才能把生成优势转化为最终答案；第二，可证性分析只是事后、跨基准的相关性刻画，并未用于指导团队反思，且只有 8 个数据点。我自己的观察：HMMT26 上 SAT 与计算匹配的线性化打平（39.4%），MMLU-Pro 和 BBEH 单项分别输给更简单的 MoA 和同质团队，说明收益并非在所有任务上兑现，与可证性的解释一致但也限制了普适性声明；每道题要运行 10 条策略乘 3 个成员再加判官，推理成本远高于单模型，论文虽设计了线性化和自洽等计算对照，却未报告实际 token 或美元开销；策略库按任务套件分别学习（数学库与知识库互不通用），未测试单一库的跨域复用或更大团队的规模效应；判官固定为训练最强成员这一单点，选择环节成为明显瓶颈；此外模型选择刻意保留 headroom（避免强模型饱和），换成更强模型组合后结论是否成立未知；评测也限于有唯一正确答案的数学、物理与多选知识题，协同计算在开放式任务上的收益未被检验。
独立分析的弱点
第一，选择瓶颈是最实在的弱点：判官被禁止自行解题、只凭书面审计，面对 87.9% 的覆盖率只兑现 72.8% 的准确率，在 MMLU-Pro 这类选项区分细微的知识题上尤其吃亏。改进方向是引入专用验证器（对可执行任务用代码运行、对数学用形式化检查）、多个判官集成，或训练一个以『证书可判别性』为目标的排序模型。第二，成本结构：全库运行导致每题约 30 次模型会话（10 策略 × 3 成员）再加判官，而可证性低的基准（如 TheoremQA-physics，提升仅 6.1pp）上这笔开销性价比存疑；可学习一个『策略路由器』预测哪条策略适合当前题，只跑库的子集。第三，可证性分析存在轻微的循环风险：用团队自己生成的证书衡量『团队能否识别正确推理』，可能高估了它与团队受益的联系；可用独立于团队输出的可解性指标交叉验证。第四，防泄漏依赖另一个模型实例的语义审计而非形式保证，而 AIME24 留出集（84.7%、+20.3pp）与训练题同分布同年份，记忆化的残留风险应通过更细的逐题检查排除。第五，策略库冻结意味着无法在线适应分布漂移，长期部署的团队需要弱更新机制。
未来方向
作者提出的方向：其一，直接以可证性为优化目标改进团队策略——调整角色分配、质疑程序或证书格式，然后检验『让正确推理更容易被区分』能否因果性地提升团队准确率，把相关性变成干预性结论；其二，递归系统设计：把成功的多智能体推理蒸馏进单个成员，重组加强后的团队，再学习新一轮团队策略，检验交互中涌现的能力能否在蒸馏中存活并推动下一轮循环。基于成果可以自然延伸的方向包括：策略库的跨域共享与组合（例如数学库迁移到代码竞赛或形式化证明）；用可证性信号在线选择策略子集以大幅降低推理成本；把证书池接入外部验证器（求解器、单元测试、检索核查）做『可证任务』的选择增强；扩展到开放式科研与写作任务，检验协同计算在无唯一答案场景下的收益；以及系统研究团队规模（3 人之外）与成员异质性对策略可学性和迁移性的影响，绘制『组织能力的规模律』。
复现评估
复现材料相当完整：附录 A 逐字公开了两个已部署的 10 条策略库（含每条的角色提示、相位结构、团队提示，例如 mechanistic_step_audit、final_auditor_claim_recovery 等）；附录 B 给出初始化策略 $P_{\text{init}}$ 及其对比数据（Table 4）；附录 D 给出判官的完整提示模板（含 AUDIT→DECIDE 两阶段和频率决胜规则）；评分工具明确（math-verify、MathArena 检查器、BBEH 官方逻辑、MMLU-Pro 精确匹配）。所有基准公开可得，训练集极小（15 道 AIME24 + 25 道 GPQA Diamond），搜索预算明确（每源题 6 轮变异、每轮至多 3 个候选、5 个验证探针），可证性评测的 10 个判官模型也逐一列出。主要门槛是 API 成本：需要 6 个前沿模型（o3-mini、Claude Sonnet 4、DeepSeek-V3、Gemini-2.5-Flash、Llama-4-Maverick、GPT-4.1）加上 10 个小型判官模型，每题全库部署约 30 次会话，完整重跑搜索加两个套件评测估计需要数百美元级 API 支出；论文未提及开源代码仓库，进化搜索与评测管线需自行实现。总体复现难度中高：理念与配置完全透明，卡点在 API 预算与工程实现，而非信息缺失。
论文图表
HMMT 2026 第 6 题的完整展开转录：o3-mini 的不变量与计数方法、带一个错误计数的分解（$2^4 \cdot 3^3 \cdot 5^2 \cdot 7 \cdot 11 \cdot 13 \cdot 17 \cdot 19 \cdot 23$ 但除数个数写成 5 个单位指数素数）、DeepSeek-V3 修正为 6 个并算出 $\tau = 5 \cdot 4 \cdot 3 \cdot 2^6 = 3840$、Claude 的独立审计（复核 $p=2$ 的累计计数 2035 ≥ 2026 等）、以及 o3-mini 的最终综合。
Figure 5 案例的完整版本，逐行展示部分推理如何被接力组装，为『协同计算创造新解』提供了可核查的第一手证据。
AIME 2026 II-08（金答案 245，初始输出 028/049/未解析）：学到的策略强制要求整数性检查，o3-mini 发现 $A_I = 2 \times p_{49/100} = 1.4$ 不是整数这一缺口；Claude Sonnet 4 把失败的检查转化为整除约束（$b$ 必须被 10 整除），构造出 $s = 49 \times 10/2 = 245$；DeepSeek 验证最小性（$b=5$ 给非整数，$b=20$ 更大）；o3-mini 做完备性门控综合，得到 245。
展示学到的『约束清点/回代验证』类策略如何把一次失败的检查变成缺失的构造步骤，说明策略的价值在于强制执行成员自发行为中缺失的推理纪律。
AIME 2026 II-01（金答案 178，初始答案 032/178/032）：o3-mini 与 DeepSeek 共享同一个局部可查的错误——允许负公差 $d$ 导致负的项索引；Claude Sonnet 4 的步骤审计指出 $k = -19$ 非法，排除所有负 $d$；两个错误成员承认并修正，$d \in \{1,2,5,10\}$ 的第十项 13+22+49+94 = 178。若按多数投票，唯一正确的答案 178 会被丢弃。
与 Figure 5 互补的另一机制案例：质疑不仅创造答案，还能保护正确的少数派不被错误多数淹没——这正是 $P_{\text{init}}$ 的多数投票会失败而 SAT 成功的微观原因。
逐一剔除单个基准后重算的 Spearman 相关：全 8 基准 $\rho = 0.905$（$p = 0.005$）；剔除任一基准后 $\rho$ 保持在 0.857–0.964（精确 $p$ 值 0.003–0.024），例如剔除 HMMT26 后最高（0.964），剔除 AIME24/25/26 后最低（0.857）。
证明可证性—提升的秩相关不是由单个基准驱动的，是对小样本（n=8）相关分析必要的稳健性检验，直接关系第 5 节结论的说服力。