多智能体 LLM 不会相互探索：问题形式化与 MACE 框架 Multi-Agent LLMs Fail to Explore Each Other
揭示 LLM 多智能体系统不会主动探索同伴，提出基于 LinUCB 的轻量引导框架 MACE。
前置知识
探索-利用权衡（Exploration-Exploitation Tradeoff）
在不确定环境下做序列决策时，智能体必须在“尝试未知选项以收集信息”（探索）和“选择当前看起来最好的选项”（利用）之间取得平衡。纯利用会因早期噪声而锁死在次优选择，纯探索则无法兑现已发现的好策略。经典的多臂老虎机（MAB）问题就是这一权衡的最纯粹形式。
本文的核心发现正是 LLM 智能体在多智能体场景中无法自主平衡这两者——它们过早承诺、几乎不探索，因此整个论文的诊断、形式化和方法都围绕这一权衡展开。
上下文老虎机与 LinUCB（Contextual Bandit & LinUCB）
上下文老虎机是 MAB 的推广：每次拉臂前会先观测到一个特征向量（上下文 x），期望奖励建模为 $\mu \approx x^\top \theta$ 的线性函数。LinUCB（Li et al., 2010）用岭回归估计 $\hat\theta = A^{-1}b$，并按 $\hat\theta^\top x_t + \alpha\sqrt{x_t^\top A^{-1} x_t}$ 选臂，第二项是基于特征空间不确定性的“乐观”加成，理论上可获得次线性遗憾。
MACE 的全部技术内核就是把“选哪个同伴交互”建模成上下文老虎机、用 LinUCB 的不确定性加成来强制探索，看懂 LinUCB 才能理解 MACE 为什么有效以及理论保证从何而来。
UCB1（Upper Confidence Bound）
UCB1（Auer et al., 2002）是最经典的多臂老虎机算法之一，选臂规则为 $\hat\mu_i(t) + c\sqrt{\log t / n_i(t)}$：第一项利用历史平均成功率，第二项对尝试次数少的臂给予乐观加成。它体现了“面对不确定性保持乐观”的原则，能保证 $O(\sqrt{T})$ 级别的累计遗憾。
论文在动机实验里把 UCB1 作为“有算法保证的探索”行为参照，用来直观对比 LLM 完全没有这种探索能力；同时也是 MACE 采用 LinUCB 而非标量 UCB 的对比基础。
部分可观测随机博弈（POSG, Partially Observable Stochastic Game）
POSG 是多智能体序贯决策的一般化模型，由 $\mathcal{G}=\langle\mathcal{S},\mathcal{A},\mathcal{O},\mathcal{P},\mathcal{Q},\mathcal{R}\rangle$ 定义：潜在状态 $s_t$ 编码任务信息与各智能体的未知能力，每个智能体只能观测自己交互得到的局部信息，联合动作决定状态转移，并各自获得奖励。其有限步求解是 NEXP-hard 的。
作者把多智能体探索严格形式化为 POSG，这是论文理论建模的根基；正因为 POSG 难解，MACE 才采用“分解为独立的上下文老虎机”这一可处理的近似策略。
累计遗憾（Cumulative Regret）
累计遗憾衡量策略相对“事后最优同伴”的累积损失，定义为 $\mathrm{Regret}_i := \sum_{t=1}^{T}\big(\max_{a\in[N]}\mu^{(t)}_{i,a} - \mu^{(t)}_{i,a_{i,t}}\big)$。次线性遗憾（如 $O(\sqrt{T}\log T)$）意味着平均每轮损失随轮数趋于零，是探索算法好坏的关键指标；线性遗憾则说明策略锁死在次优选择。
遗憾是本文实验和理论统一使用的核心度量，论文的全部对比（MACE vs In-Context vs Random）都以累计遗憾及其相对 Random 的偏移来呈现，理论定理也以遗憾界形式给出。
多智能体 LLM 系统与智能体异质性
指由多个 LLM 智能体组成的去中心化系统，它们通过通信、委派、辩论等方式协作完成任务。本文区分两类异质性：上下文多样性（agents 拥有不同检索文档/记忆/工具）和参数多样性（agents 来自不同模型家族或不同参数规模），两者都会让“选对同伴”变得至关重要且只能通过交互来发现。
论文的全部实验围绕这两种异质性设置展开，理解它们才能理解为什么探索在不同场景下价值不同，以及能力多样性 $\delta$ 如何决定探索收益。
研究动机
LLM 正越来越多地以自治多智能体系统的形式部署——它们自主通信、委派任务、分工协作来完成复杂目标。可靠自治的前提是“探索”：智能体不仅要基于当前信念行动，还要主动探测环境和其他同伴以发现更好的协作者和互补信息。然而论文用一个最简化的两臂老虎机委派实验揭示，现代 LLM 智能体根本做不到这一点：在 $T=50$ 轮、概率设置 $(p_A,p_B)=(0.6,0.5)$ 的实验中，UCB1 展现出集中在高选择次数附近的单峰分布（先探索后稳定利用更优同伴），而 Qwen2.5-7B、GPT-4、GPT-5 三种 LLM 全部呈现极端的双峰分布——选择同伴 A 的次数要么接近 0、要么接近 50，说明它们在前几轮就草率锁死在一个同伴上并坚持到底，而且常常锁错（选到更差的同伴）。更严重的是，这并非小模型的能力不足：即便是前沿的 GPT-5 也展现出同样的失败模式，提示这是 LLM 智能体结构性、根本性的局限，而非单纯的模型容量问题。
本文的目标是论文的目标是双重的。首先，把“LLM 智能体在多智能体环境中能否有效探索同伴”这一被忽视的问题严肃地形式化：作者将其抽象为多智能体探索问题，建模为部分可观测随机博弈（POSG），明确刻画出任务相关状态与各同伴未知能力构成潜在状态 $s_t$、智能体只能通过局部交互历史来推断谁值得信任、且同伴本身又是自适应的（其响应随自身经验演化）这一系列难点。其次，针对该问题提供一个可处理、可落地的解决方案：在求解 POSG（NEXP-hard）不可行的前提下，设计一个轻量级框架 MACE，通过显式的算法引导强制智能体去探索同伴，从而显著改善同伴选择质量、降低累计遗憾、提升下游任务表现，并用理论刻画探索在何种条件下最有价值。
与已有工作不同的是，本文的独特切入角度在于三方面。其一，它把研究焦点从单智能体 LLM 探索（已有若干工作）转移到同伴之间的探索上——即智能体必须主动探测彼此的能力，而这在以往多智能体 LLM 文献中几乎被默认假设成立而未被检验。其二，它给出的诊断很反直觉也很重要：单纯靠 prompt 提示 LLM 去平衡探索与利用（In-Context Exploration）不仅救不了场，反而常常比随机选同伴还差，说明问题无法靠“提示工程”解决，必须有算法结构。其三，它把传统的上下文老虎机/LinUCB 算法迁移到非平稳的多智能体场景，关键创新在于一套编码“关系结构”的上下文特征，使不确定性加成作用于关系空间而非原始选择计数，从而提供比标量 UCB 更细粒度的探索——并辅以一个核心理论洞察：探索的价值正比于智能体池的能力多样性 $\delta$。
核心方法
MACE 的整体思路可以先用直觉概括：既然 LLM 自己不会探索，那就给它套上一层经典的、有理论保证的探索算法；既然多智能体探索这个联合 POSG 问题是 NEXP-hard，那就把它“去耦”成每个智能体各自的上下文老虎机问题，每个 agent 独立地学习“在当前情境下该问哪个同伴”。具体技术路线是：把每次选择同伴建模成“拉一个臂”，用线性模型 $\mu_{i,a,t}\approx x_{i,a,t}^\top\theta_{i,a}$ 预测该次交互的期望奖励，用 LinUCB 的乐观原则选臂，并在每次交互后用岭回归的充分统计量更新参数。关键在于这套设计如何把多智能体的非平稳性和关系结构“塞进”老虎机框架——靠的是精心设计的关系特征向量和把奖励定义为任务表现的改善与绝对得分的混合。
核心创新点与传统多臂老虎机的本质区别有两处。第一，传统老虎机的臂是平稳的，而这里的“同伴臂”本身是自适应智能体，其响应会随自身经验演化；MACE 用线性模型去捕获每个同伴在第 $t$ 步的一个“效用快照”，并用关系特征来编码这种非平稳性。第二，也是最关键的，MACE 的不确定性加成 $\alpha\sqrt{x_{i,a,t}^\top A_{i,a}^{-1}x_{i,a,t}}$ 作用在关系特征空间上，而不是标量 UCB 那种原始选择计数上。这意味着 agent 能区分“某个同伴全局上没被充分测试”与“某个同伴在当前任务的关系上下文里没被充分测试”——后者是标量 UCB 给不出的更细粒度探索。此外，探索系数 $\alpha$ 与能力多样性 $\delta$ 共同决定了探索强度，论文还从理论上证明探索收益随 $\delta$ 增大而无界增长，与 In-Context Exploration 那种靠 prompt 自主平衡（往往不如随机）的做法形成鲜明对比。
方法步骤详情
MACE 的完整流程见 Algorithm 1。初始化阶段，为每对 $(i,j)$ 置设计矩阵 $A_{ij}\leftarrow\lambda I_9$、奖励向量 $b_{ij}\leftarrow 0$、计数与均值为 0（$\lambda=1.0$，特征维度 $d=9$）。对每个任务 $q$：第 0 轮每个 agent 独立生成初始答案 $y_i^{(0)}$。随后对每一交互轮 $r=1,\dots,R$：（1）同伴选择——每个 agent $i$ 为每个候选同伴 $j$ 计算关系特征 $x_{ij}^{(t)}\in\mathbb{R}^9$，更新参数估计 $\theta_{ij}\leftarrow A_{ij}^{-1}b_{ij}$，再按 LinUCB 规则 $a_i^*=\arg\max_j\big[\theta_{ij}^\top x_{ij}^{(t)}+\alpha\sqrt{x_{ij}^{(t)\top}A_{ij}^{-1}x_{ij}^{(t)}}\big]$ 选出该轮要读其回答的同伴；（2）答案生成——agent $i$ 读取同伴 $a_i^*$ 的上一轮回答，结合自己的上下文产出更新后的答案 $y_i^{(t)}$；（3）奖励与更新——用任务得分（QA 用 token 级 F1，多选/数学用二值精确匹配）计算混合奖励 $r_i=\tfrac12[(s_i^{(t)}-s_i^{(t-1)})+s_i^{(t)}]$，再按 $A_{i,a_i^*}\leftarrow A_{i,a_i^*}+x_{i,a_i^*}^{(t)}x_{i,a_i^*}^{(t)\top}$、$b_{i,a_i^*}\leftarrow b_{i,a_i^*}+r_i x_{i,a_i^*}^{(t)}$ 更新充分统计量。9 维关系特征包括：基于 1/2/3-gram Jaccard 相似度的响应多样性 $d^{(n)}_{i,a}=1-s^{(n)}_{i,a}$、同伴在响应图中的中心性 $c^{(n)}_a$（衡量其回答相对全体的独特程度）、历史成功率 $\hat p_a$、归一化交互轮 $\tau_t=r/R$，以及偏置项 1。
技术新颖性
技术新颖性主要体现在三个层面。首先是问题层面：首次把“同伴间探索”作为多智能体 LLM 可靠自治的核心障碍严肃地形式化成 POSG，并明确指出它是现有 LLM 能力的结构性短板、无法靠提示或更强模型弥补。其次是方法层面：虽然 LinUCB 本身是经典算法，但作者为其设计了面向多智能体非平稳交互的 9 维关系特征（响应多样性、同伴独特性、历史表现、交互轮、偏置），把“不确定性加成作用于关系特征空间”这一思想发挥成比标量 UCB 更精细的探索机制；这使得 MACE 既轻量（无需复杂协调协议、无需训练大模型）又可处理（每 agent 独立、参数可冻结迁移）。最后是理论层面：通过能力多样性 $\delta=\tfrac1N\sum_a\|c_a-\bar c\|^2$ 这一新定义，精确刻画了探索价值何时出现——MACE 遗憾为 $O(\sqrt{T}\log T)$ 而贪婪不探索策略为 $\Omega(\delta T)$，二者之差随 $\delta$ 线性增长，形式化了“智能体越专精、探索越不可或缺”这一直觉，并得到实验（含同质化设置 $\delta\approx0$ 时探索收益消失）的直接验证。
实验结果
论文用动机实验和两个异质性设置下的主实验系统性地支撑结论。动机实验（两臂老虎机，$T=50$）显示 UCB1 呈单峰分布而三种 LLM 全部双峰极端化，GPT-5 虽略好但仍远谈不上原则性探索。主实验的第一个发现来自同伴选择分布（Figure 3）：在上下文多样性（HotpotQA，10 个 Qwen2.5-7B 各持不同段落）下，In-Context Exploration 高度集中于单个同伴——而持有相关上下文的 agent 每个样本都是随机分配的，这种集中是明显的探索失败；MACE 则分布均匀得多。在参数多样性（GPQA，GPT-5/Qwen-7B/Llama-8B/Mistral-7B 四个模型）下，甚至 GPT-5(A1) 都在 297 次交互中 294 次选了 Qwen-7B(A2)，几乎不碰其他 agent，而 MACE 给出更平衡的选择。第二个也是最 striking 的发现（Figure 4）：在上下文多样性里，In-Context Exploration 的累计遗憾偏移（相对 Random 基线）居然比随机选择还差，证明仅靠 prompt 探索不仅无效还更不可靠；MACE 则在整个探索阶段大幅领先，且这种优势在参数被冻结的开发阶段依然保持。具体看最终轮数字：HotpotQA 探索阶段 F1，MACE 达 0.3941，远超 In-Context 0.2810、Pre-defined 0.3370、Random 0.3338（EM 为 0.3133 vs 0.2257/0.2700/0.2733）。Math500 探索阶段最终轮平均准确率 MACE 0.6450，高于 In-Context 0.6183、Pre-defined 0.5992、Random 0.5611；开发阶段差距更大，MACE 0.6832 vs 0.6031/0.5420/0.5763。GPQA 探索阶段 MACE 0.5404 vs In-Context 0.4343/Pre-defined 0.4596/Random 0.4747；开发阶段 0.5758 vs 0.4596/0.4520/0.4394。第三，迁移性：把 HotpotQA 上学到的参数冻结后直接用于更难的 2WikiMultiHopQA（300 样本，纯开发模式），MACE 最终轮 EM 0.1820，优于 In-Context 0.1227、Pre-defined 0.1573、Random 0.1623，说明学到的是可泛化的交互策略而非任务特异产物。第四，即便是系统中最强的 GPT-5 也从 MACE 受益。敏感性分析显示 $\alpha$ 过小（0.1）会退化为贪婪、遗憾甚至差于随机，过大则过度探索难以收敛，$\alpha\in[0.5,1.0]$ 最优。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HotpotQA (上下文多样性, 探索阶段, 最终轮 F1) | token-level F1 | 0.3941 | In-Context 0.2810 / Pre-defined 0.3370 / Random 0.3338 | 相对 In-Context +0.1131（约 +40%），相对随机 +0.0603 |
| HotpotQA (上下文多样性, 探索阶段, 最终轮 EM) | Exact Match | 0.3133 | In-Context 0.2257 / Pre-defined 0.2700 / Random 0.2733 | 相对 In-Context +0.0876（约 +39%） |
| Math500 (参数多样性, 探索阶段, 最终轮平均准确率) | Accuracy (二值精确匹配) | 0.6450 | In-Context 0.6183 / Pre-defined 0.5992 / Random 0.5611 | 相对随机 +0.0839，相对 In-Context +0.0267 |
| Math500 (参数多样性, 开发阶段, 最终轮) | Accuracy | 0.6832 | In-Context 0.6031 / Pre-defined 0.5420 / Random 0.5763 | 相对 In-Context +0.0801（约 +13%） |
| GPQA (参数多样性, 探索阶段, 最终轮平均准确率) | Accuracy (Diamond split) | 0.5404 | In-Context 0.4343 / Pre-defined 0.4596 / Random 0.4747 | 相对 In-Context +0.1061（约 +24%） |
| GPQA (参数多样性, 开发阶段, 最终轮) | Accuracy | 0.5758 | In-Context 0.4596 / Pre-defined 0.4520 / Random 0.4394 | 相对 In-Context +0.1162（约 +25%） |
| 2WikiMultiHopQA (参数迁移, 冻结参数, 最终轮 EM) | Exact Match | 0.1820 | In-Context 0.1227 / Pre-defined 0.1573 / Random 0.1623 | 相对 In-Context +0.0593（约 +48%），纯零样本迁移仍最优 |
| GPQA (更强前沿模型 GPT-5/GPT-4/GPT-5.4-mini/nano, 开发阶段最终轮) | Accuracy | 0.7652 | In-Context Exploration 0.7222 | +0.0430，证明低多样性下仍有性能收益 |
| Math500 (5×Qwen2.5-7B 全同质化, 开发阶段最终轮) | Accuracy | 0.5053 | In-Context 0.4962 / Pre-defined 0.4962 | +0.0091，$\delta\approx0$ 时收益变小但仍最优 |
| 理论: 累计遗憾界 | regret bound | MACE $O(\sqrt{T}\log T)$ | 不探索贪婪策略 $\Omega(\delta T)$ | 随能力多样性 $\delta$ 增大，探索收益无界增长 |
局限与改进
作者明确承认的局限是规模：实验只覆盖小到中等规模的多智能体系统（最多 10 个 agent），尚未验证 MACE 在数百上千个 agent 的群体智能（swarm）场景下的行为；而在那种场景下探索可能更关键（好的协作者稀有且动态变化），但同时会带来通信瓶颈、延迟/部分反馈、交互空间爆炸、多 agent 同时更新导致的更强非平稳性等新挑战。我从结果中观察到几个额外局限：其一，参数多样性下最强模型（如 GPT-5 在 Math500 初始准确率 0.8626、GPQA 0.6061）其实“自我提升空间有限”，MACE 的大幅平均增益很大程度上来自把弱模型（Mistral-7B 数学仅 0.0305）带上来，因此收益不能完全归因于探索质量本身；其二，9 维关系特征依赖 n-gram 词面相似度，对需要语义/推理差异度量的任务（如复杂多步推理）可能不够鲁棒；其三，In-Context Exploration 在解析失败时会 fallback 到 Pre-defined 协议，这一工程细节可能轻微放大了基线的劣势；其四，论文未与更现代的探索增强手段（如对 LLM 做探索微调/蒸馏）直接对比，难以判断 MACE 相对它们的边际价值。
独立分析的弱点
第一，奖励信号的稀疏与噪声问题。MACE 的奖励基于二值/部分得分的改善，在奖励稀疏的任务上易引入估计噪声；作者自己的 MACE-TD 扩展在 GPQA 上反而累积更高遗憾，暗示价值估计不稳定。改进方向：引入更平滑的稠密奖励（如基于答案分布熵或语义相似度的连续信号），或采用方差缩减与分布式老虎机的稳健估计。第二，对关系特征的表达力不足。当前用 n-gram Jaccard 衡量响应差异，在长程推理、代码、数学证明等场景下词面相似度与信息价值脱节；改进方向是用轻量语义嵌入（如 sentence embedding）替换或增补 n-gram 特征，并让特征维度可学习。第三，强模型场景下的边际收益衰减。当系统里都是强前沿模型（D.3）或全同质化（D.4）时，能力多样性 $\delta$ 变小，遗憾收益大幅缩水甚至消失，MACE 退化为仅有微弱性能提升；改进方向：在低多样性场景中自适应降低探索强度，或把目标从“找最佳同伴”转向“证据融合多样性”，引入类似集成多样性指标的目标。第四，大规模 agent 场景的可扩展性未验证。LinUCB 为每对 $(i,j)$ 维护 $9\times9$ 矩阵，$N$ 很大时参数与特征计算开销 $O(N^2)$ 增长；改进方向：用聚类/层级化把同伴分组、或用哈希/低秩近似压缩设计矩阵，再做组内 LinUCB。第五，In-Context 基线在解析失败时 fallback 到 Pre-defined 的工程实现可能系统性削弱基线，应在严格可比的协议下重新评估差距。
未来方向
作者提出的未来方向集中在规模与涌现：研究 MACE 在大规模 agent 群体（数字劳动力、分布式工具生态、机器人集群、开放 agent 平台）中的行为，开发可扩展变体，并探索显式探索能否诱导涌现式的角色特化、鲁棒集体行为和自组织协调。作者还在附录展示了 MACE-TD 这一 TD($\gamma=0.9$) 扩展，它虽未在遗憾上稳定胜过 MACE，却展现出更高的“同伴选择覆盖率”和潜在的合作涌现迹象，提示序贯信用分配值得深入。基于本文成果我认为还有几条值得延伸的路：一是把 MACE 与 LLM 微调/探索蒸馏结合，让探索能力内化进模型权重而非仅靠外部算法；二是把奖励从单步改进扩展为多目标（正确性 + 信息增益 + 协作覆盖），并在人机混合团队中研究探索对信任校准的影响（呼应 Buyl et al. 2025 关于言语置信度与行为信任错配的发现）；三是从纯同伴选择扩展到“问同伴什么问题/如何提问”的联合探索，把通信内容也纳入探索决策；四是研究非平稳同伴（能力随时间漂移）下的滑动窗口或贝叶斯 LinUCB 变体。
复现评估
复现性整体较好。作者承诺代码将在 https://github.com/deeplearning-wisc/mace 开源。数据全部用公开基准（HotpotQA distractor、Math500 Level 4-5、GPQA Diamond、2WikiMultiHopQA），并明确给出样本切分（前半试错/后半开发）与交互轮数（上下文 $R=5$、参数 $R=3$）、解码温度（Qwen 1.2/top_p 0.95 等）、$\lambda=1.0$、$\alpha$ 的敏感度区间（0.5–1.0 最优）等关键超参，附录还提供了完整的 prompt 模板（含同伴选择的 In-Context 模板）和 Algorithm 1 伪代码，以及逐 agent、逐轮的全部结果表（Table 1–18），方便逐项核对。算力上，上下文多样性实验用单张 NVIDIA RTX A6000，参数多样性用 3 张 A6000（GPT-5 走 Azure API），门槛对学术实验室友好。潜在障碍主要在于 GPT-5/GPT-5.4 等前沿模型属闭源 API 且可能版本变动，部分强模型实验（D.3）难以精确复现；此外 9 维 n-gram 特征与 fallback 逻辑等工程细节需依赖开源代码才能完全对齐。
论文图表
展示了动机实验中 30 次独立运行（每次 $T=50$ 轮、$(p_A,p_B)=(0.6,0.5)$）里选择同伴 A 的次数直方图。UCB1（行为参照）呈集中在高选择次数的单峰分布，表示有效探索后稳定利用更优同伴；而 Qwen2.5-7B、GPT-4、GPT-5 三种 LLM 全部呈极端双峰——质量集中在接近 0 或 50 的两端，说明它们在前几轮就草率锁死，且常常锁错（0 端代表锁死在更差同伴）。
这是全文的“引子”图，一图定调：直观证明即便最简化的两臂老虎机设定下、即便是最强的前沿 LLM 也缺乏内在的探索能力，奠定了“多智能体 LLM 不会相互探索”这一核心论断。