面向多智能体讨论的上下文学习方法

通过学习动态上下文生成器，解决多LLM讨论中的不一致性问题，提升20%-50%性能

前置知识

多智能体讨论（MAD）

多智能体讨论是一种让多个LLM实例通过结构化对话协作解决问题的范式。每个LLM被赋予不同的上下文指令（如不同角色视角），通过多轮讨论交换推理过程，最终通过多数投票达成共识。这种方法的理论基础是'集体智慧'——多个不同视角的推理比单一LLM更可能覆盖正确的解题路径。典型的MAD框架包括Debate、DyLAN、MacNet等。

MAD是本文的研究对象，理解其工作原理和现有问题是理解M2CL动机的基础

上下文学习（In-context Learning）

上下文学习是指LLM通过修改输入上下文（而非梯度训练）来调整推理行为的能力。传统上，上下文是静态的提示文本（prompt），但近年来研究转向动态上下文——根据任务进展自动选择、生成或演化上下文组件。这些组件可以是指令、外部知识、工具描述或记忆。上下文学习的关键在于如何将这些组件组装成连贯且有效的上下文表示。

M2CL本质上是一种面向多智能体场景的上下文学习方法，需要理解上下文学习的基本框架

注意力激活（Attention Activation）

注意力激活是Transformer模型中注意力机制的核心计算，定义为 $a(C) = W_V X \text{softmax}\left(\frac{(W_K X)^T W_Q X}{\sqrt{d}}\right)$，其中 $W_Q, W_K, W_V$ 是注意力层的权重矩阵。它捕捉了模型内部推理过程中深层的表示相似性，比表面的语言嵌入更能反映语义关系。本文使用激活距离而非嵌入距离来衡量不同LLM之间的差异。

注意力激活是M2CL理论分析和算法设计的核心工具，用于量化LLM之间的一致性和差异

上下文约束（Context Constraint）

上下文约束是M2CL中的一个关键超参数 $\beta$，用于控制生成的上下文与初始上下文之间的最大距离。它定义为 $\|C_t^i - \bar{C}^i\| \leq \beta$。$\beta$ 的大小直接影响讨论的一致性和创造性之间的平衡：较小的 $\beta$ 使上下文更接近初始设定，限制了信息融合；较大的 $\beta$ 允许更多变化，但可能导致过早收敛到'多数噪声'。

理解上下文约束有助于把握M2CL如何平衡探索与收敛，这是算法的核心设计

研究动机

现有多智能体讨论方法存在严重的'讨论不一致性'问题。具体而言，由于LLM之间的上下文错位（context misalignment），多个LLM实例往往无法就一致的解决方案达成共识。作者通过实验量化了这一问题：在MMLU、MATH、GPQA和Code四个基准上，随着讨论轮次增加，Debate、MacNet和DyLAN等方法的输出嵌入距离（Discrepancy）并未有效收敛。以Qwen-7B为例，在MMLU上，Debate方法的初始差异约为6，经过8轮讨论后仅降至约4，而M2CL从约10快速降至约1。根本原因在于两方面：一是预分配的上下文指令缺乏对任务的深入理解，往往是僵化、不完整或有偏的；二是这些上下文无法有效融合LLM之间交换的信息，难以引导讨论向一致的解决方案收敛。例如，在一个数学证明任务中，一个LLM可能正确推导出中间结果，但另一个LLM尽管收到了这个结果，却无法将其整合到自己的推理链中，因为上下文指令没有明确要求利用其他LLM的结论。

本文的目标是本文旨在回答一个核心问题：'如何为多智能体讨论获取能够持续引导多LLM讨论向正确共识收敛的上下文？'具体目标是开发一种上下文学习机制，使上下文指令能够基于中间讨论结果自动演化，而非依赖人工手动调整。作者希望通过这种方法解决现有MAD方法中的上下文错位问题，同时保持LLM推理的多样性和创造性，最终实现更高效、更准确的多智能体协作。

与已有工作不同的是，本文的独特切入角度在于将多智能体讨论重新定义为一个上下文学习问题，而非简单的工作流优化或提示工程问题。与现有方法的本质区别在于：GPTSwarm等方法的优化是一次性的，无法适应讨论过程中的动态变化；MacNet等方法使用边代理生成指令，但缺乏理论指导；Debate等方法使用固定的预分配上下文，无法响应讨论状态。M2CL提出了一个两阶段设计：首先通过轻量级的投影方法选择近正交的初始上下文以确保多样视角覆盖，然后通过训练上下文生成器在每轮讨论中动态生成指令，控制上下文一致性和输出差异。这种设计有严格的理论支撑（Theorem 4.1），将初始化多样性和演化一致性统一在一个框架下。

核心方法

M2CL的核心直觉是：多智能体讨论的性能取决于两个关键因素——初始上下文的多样性和讨论过程中上下文的协调演化。想象一个团队讨论问题：开始时，每个成员需要有不同的专业视角（多样性）；随着讨论进行，成员需要逐渐理解彼此的观点并整合信息（协调性）。M2CL通过两个阶段实现这一目标：第一阶段是上下文初始化，从预定义的上下文池中选择一组在潜在空间中近似正交的初始上下文，确保每个LLM获得互补的问题解决视角；第二阶段是上下文演化，为每个LLM训练一个轻量级的上下文生成器（基于T5-small模型），在每轮讨论中根据任务目标、初始上下文和其他LLM的响应动态生成新的指令。技术路线上，M2CL设计了一个自适应平衡机制，通过拉格朗日对偶方法将上下文约束转化为可学习的权重参数 $\alpha$，在保持初始问题解决能力的同时促进LLM之间的一致性。

M2CL的核心创新在于引入了一个基于注意力激活的上下文评估和演化机制。与现有方法的本质区别在于：第一，它不依赖最终答案的正确性来评估上下文质量，而是设计了一个逐轮评估准则，同时考虑上下文与初始设定的距离和LLM之间激活的一致性。具体而言，评估函数为 $\max\{-\alpha\|C_t^i - \bar{C}^i\| - \|a(C_t^i) - a(C_t^j)\|\}$，其中第一项保持基本问题解决能力，第二项促进跨LLM对齐。第二，为避免同时优化所有LLM上下文导致的偏差，作者设计了去耦的单LLM准则，通过时间一致性约束隐式对齐所有LLM：当每个LLM的上下文以时间连贯的方式演化时，它们之间的差异自然减小。第三，通过自适应调节参数 $\alpha$，在讨论初期允许更大差异以鼓励多视角推理，在讨论后期维持适当约束以促进收敛。

方法步骤详情

M2CL的完整流程包括三个主要步骤。第一步是上下文初始化：从预定义的上下文池（100个由GPT-4o生成的高质量提示）中选择N个上下文。选择过程基于一个轻量级投影函数 $F$，它将上下文映射到问题空间，然后选择使 $\|\sum_{i} \omega_i F(I_b^i, P) - v_P\|$ 最小化的子集，其中 $v_P$ 是问题的句子向量。这确保了选择的上下文在潜在空间中近似正交。第二步是训练上下文生成器：每个LLM $i$ 配备一个T5-small生成器 $G_{\theta_i}$，输入任务目标P、初始上下文 $\bar{I}^i$ 和上一轮其他LLM的响应 $\bar{X}_{t-1}^i$，输出本轮的指令 $I_t^i$。训练目标通过拉格朗日对偶方法实现，交替更新 $\theta_i$ 和 $\alpha_i$。第三步是多轮讨论：每轮中，每个LLM根据生成的指令和上一轮的响应生成新的回答，经过T=8轮讨论后，对最终轮的输出进行多数投票得到最终结果。

技术新颖性

M2CL的技术新颖性体现在多个方面。首先，Theorem 4.1提供了一个理论框架，将MAD性能与两个关键量联系起来：LLM之间激活的差异 $\|a(C_t^i) - a(C_t^j)\|$ 和初始上下文的近正交性 $\min_\omega \|a_c - \sum \omega_i a(\bar{C}^i)\|$。这是首次从理论上刻画多智能体讨论中上下文的作用。其次，作者证明了去耦准则（Eq.14）是原始耦合准则（Eq.13）的上界（Theorem C.1），使得独立优化每个LLM的上下文成为可能，避免了联合优化的高计算成本。第三，自适应平衡机制通过对偶梯度下降自动调节 $\alpha$，无需手动调参。实验表明，这种自适应机制比固定 $\alpha$ 的方法在MATH上提升约15个百分点。最后，整个框架的计算开销很小：上下文生成器仅约60M参数（T5-small），运行时开销不超过10%。

实验结果

M2CL在9个基准测试上进行了全面评估，涵盖LLM推理、具身智能和GUI控制三大领域。核心发现如下：第一，在4个LLM参与的设置下，M2CL在所有数据集和模型规模上均显著超越基线方法。以Qwen-72B为例，M2CL在MMLU上达到95.1%（超越BoN的84.2%，提升10.9个百分点），在MATH上达到72.5%（超越BoN的51.0%，提升21.5个百分点），在GPQA上达到78.9%（超越BoN的45.9%，提升33.0个百分点）。第二，M2CL展现出优越的多智能体扩展定律：随着LLM数量从4增加到64，性能呈对数增长直至饱和，且增长速度快于所有基线。例如，Llama-70B在MATH上，从4个LLM的40.3%提升到64个LLM的58.0%，而DyLAN仅从31.5%提升到37.6%。第三，在复杂的GUI控制任务AndroidWorld上，M2CL的优势尤为明显：Qwen2.5-VL-7B在64个LLM时达到62.0%，比BoN的38.0%提升24个百分点。第四，M2CL的运行时效率很高：性能提升超过20%的同时，运行时增加不超过10%。第五，消融实验证明了每个组件的必要性：移除上下文初始化导致性能下降约5-10%，移除α自适应调节导致下降约15%，移除上下文演化导致回退到无协作水平。

查看结构化数据

任务	指标	本文	基线	提升
MMLU（多领域知识推理）	Accuracy (%)	95.1（Qwen-72B, 4 LLMs）	84.2（BoN）	+10.9
MATH（数学推理）	Accuracy (%)	72.5（Qwen-72B, 4 LLMs）	51.0（BoN）	+21.5
GPQA（研究生级科学问答）	Accuracy (%)	78.9（Qwen-72B, 4 LLMs）	45.9（BoN）	+33.0
HumanEval（代码生成）	Accuracy (%)	90.7（Qwen-72B, 4 LLMs）	72.2（BoN）	+18.5
ALFWorld（具身任务）	Accuracy (%)	79.0（Qwen-72B, 4 LLMs）	57.5（BoN）	+21.5
AndroidWorld（GUI控制）	Accuracy (%)	62.0（Qwen-VL-7B, 64 LLMs）	38.0（BoN）	+24.0

局限与改进

作者在论文中承认了一个主要局限：M2CL依赖于多个具有异构特征的LLM来产生多样性，这在计算上不够高效。未来的工作方向是让LLM真正捕获它们感兴趣或擅长的子任务。从我的观察来看，还有几个局限值得注意：第一，上下文池的构建依赖GPT-4o生成，这引入了对闭源模型的依赖，且生成质量直接影响初始化效果；第二，上下文生成器的训练需要20%的数据作为训练集，这在数据稀缺的任务上可能受限；第三，实验中最大讨论轮次固定为8轮，未充分探索更长讨论是否能带来额外收益；第四，消融实验表明，在某些任务（如SciWorld）上，移除初始化后MacNet的表现反而更好（51.8% vs 44.7%），说明M2CL的初始化可能在某些场景下引入了不适当的信息；第五，论文未讨论上下文生成器在不同任务间的迁移效果，仅测试了跨模型的迁移。

独立分析的弱点

M2CL存在几个值得深入分析的弱点。第一，上下文池的质量和多样性上限决定了初始化的效果，但论文未提供上下文池内容的详细分析，也未探讨不同池大小对性能的影响。改进方向可以是设计自动化的上下文池扩展策略，或引入对比学习来优化池的质量。第二，上下文生成器采用T5-small作为骨干，其表达能力可能不足以捕捉复杂的跨LLM依赖关系。可以探索更强的生成模型或引入图神经网络来建模LLM之间的关系。第三，自适应平衡机制中的 $\alpha$ 是逐LLM独立学习的，这忽略了LLM之间的全局协调。可以设计全局的 $\alpha$ 调度策略。第四，最终结果采用多数投票，这对偶数个LLM可能导致平票，且未考虑不同LLM的置信度差异。改进方向是引入加权投票机制。第五，在复杂任务（如GAIA）上，M2CL的性能提升主要来自增加LLM数量，单靠上下文优化的提升有限，说明方法可能对任务复杂度的适应性有待加强。

未来方向

作者提出的未来方向是让LLM真正捕获它们感兴趣或擅长的子任务，这指向了更智能的LLM-任务匹配机制。基于本文成果，可以延伸出多个研究方向：第一，将M2CL与强化学习结合，通过环境反馈来优化上下文生成器的训练，而非仅依赖中间讨论结果；第二，探索动态调整参与讨论的LLM数量，即在讨论过程中根据问题难度自适应地增加或减少LLM；第三，将M2CL扩展到异构LLM场景，其中不同规模、不同架构的LLM协作解决问题；第四，研究上下文生成器的持续学习能力，使其能够从历史讨论中不断改进；第五，将M2CL的思想应用到更复杂的协作场景，如多轮对话、长期规划和工具使用；第六，探索更高效的初始化方法，减少对GPT-4o的依赖。

复现评估

论文的可复现性较好。作者在GitHub上开源了完整代码（https://github.com/HansenHua/M2CL-ICLR26），并提供了模型检查点（https://huggingface.co/hansenhua/M2CL）。实验使用了公开的LLM（Llama-2、Qwen-2.5系列），数据集也都是广泛使用的基准。算力需求方面，实验在8块NVIDIA H800 GPU上运行，对于学术研究来说是可接受的。超参数设置在Table 2中有详细说明，包括学习率（1e-4）、批大小（32）、最大讨论轮次（8）等，且这些超参数在所有数据集上保持一致。上下文池使用GPT-4o生成，这部分依赖闭源模型，但作者已提供生成的上下文池。总体而言，复现难度中等：算法实现相对复杂（涉及拉格朗日对偶优化），但代码和数据都已公开，硬件需求也在合理范围内。

面向多智能体讨论的上下文学习方法 Context Learning for Multi-Agent Discussion