具有共享上下文的多智能体系统 Decentralized Multi-Agent Systems with Shared Context
DELM通过共享验证上下文去中心化多智能体协调，提升测试时扩展和长上下文推理性能
前置知识
多智能体系统（MAS）
多智能体系统是指由多个自主智能体组成的系统，这些智能体通过协调和协作来完成复杂任务。每个智能体都有自己的目标、知识和能力，通过通信和协作机制相互交互。在LLM时代，MAS通过将复杂问题分解为子任务，让多个智能体并行工作来扩展语言模型的推理能力，类似于将一个复杂项目分配给多个专业团队成员同时处理。
理解MAS是理解本文的基础，因为本文的核心贡献就是改进MAS的协调机制。现有MAS主要采用集中式协调，而DELM提出了去中心化的新范式。
测试时扩展
测试时扩展是指在模型推理阶段通过额外的计算来提升性能的技术。与训练时扩展不同，测试时扩展不需要重新训练模型。在MAS场景中，测试时扩展通常指运行多个智能体来探索不同的假设或推理路径。如果任何一次尝试成功，任务就被认为解决了。这是一种通过增加推理计算来换取更高成功率的方法，类似于用多个解题者同时尝试解决同一难题。
这是本文评估的两个关键场景之一，DELM通过让智能体共享失败和发现，使得测试时扩展更加有效。
长上下文推理
长上下文推理是指处理超过模型上下文窗口长度的输入并进行推理的能力。当输入文本很长时，模型无法一次性处理所有信息，需要采用压缩、检索、分块处理等策略。多文档问答是长上下文推理的典型场景，需要从多个文档中找到证据并回答问题。这就像在多个书中找到答案，需要记忆已经读过的内容，知道去哪里查找相关信息。
这是本文评估的另一个关键场景，DELM通过层次化压缩和选择性展开来处理长上下文，让智能体能够有效地从大量文档中收集证据。
集中式协调与去中心化协调
集中式协调是指有一个中央控制器负责分配任务、收集结果、做出决策。所有信息都经过中央控制器路由，就像一个项目经理协调所有团队成员。去中心化协调则没有中央控制器，智能体通过共享状态直接协调，就像团队成员共享一个白板，每个人都可以看到并更新项目状态，不需要每次都通过项目经理。去中心化系统更灵活，但需要精心设计共享状态的格式和更新机制。
这是本文的核心创新点。现有MAS多采用集中式协调，DELM提出了去中心化协调的新范式，通过共享上下文和任务队列来避免中央控制器的瓶颈。
研究动机
现有多智能体系统面临严重的协调瓶颈问题。在集中式协调框架如Claude Code Subagents、Kimi Agent Swarm和AOrchestra中，一个主智能体负责分解问题、分配子任务、等待输出、然后整合结果。这种设计随着子任务数量增长会出现两个致命问题。第一，扩展性差：每次有用的发现、失败或部分解决方案都必须返回主智能体，由主智能体决定如何合并和广播给其他子智能体。随着智能体数量增加，进度共享成为串行通信瓶颈。第二，信息失真：在路由过程中，主智能体可能会稀释、遗漏或扭曲有用细节，导致重要进度丢失。在SWE-bench Verified这样的软件工程基准测试中，这个问题尤为明显。如果子智能体接收到不足的上下文，它必须将控制权返回主智能体，触发额外的检索或另一轮委托。这种来回通信使协调变慢、更迭代，并 increasingly 受到单个过载主智能体的约束。
本文的目标是本文的目标是提出一个新的多智能体系统框架DELM，通过去中心化协调来解决现有MAS的通信瓶颈和信息失真问题。具体来说，DELM希望将协调从中央控制器转移到共享问题状态，让智能体能够异步地从任务队列中声明子任务、读取积累的进度、执行局部推理、写回紧凑的验证更新，而不需要将每次交互都通过主智能体路由。在测试时扩展场景中，DELM希望让有用的发现、失败和部分解决方案能够通过共享上下文传播，而不是由主智能体反复合并和重新广播。在长上下文推理场景中，DELM希望让智能体能够并发处理不同的证据集群，同时保持语料库的紧凑全局视图和积累的证据。最终目标是提升多智能体系统的性能和效率，降低任务成本。
与已有工作不同的是，本文的独特切入角度是将协调机制从基于提示路由转变为基于状态共享。现有MAS主要采用基于提示的通信：中间进度通过主智能体传递，重写成后续提示，然后选择性地暴露给其他智能体。因此，并行执行本身并不能保证并行进度共享。DELM提出了不同的通信媒介：不是将协调决策重复编码为提示，而是让中间进度持久化。智能体将紧凑的验证更新写入共享上下文，后续智能体可以直接读取。因此协调变得基于状态，有用的发现、失败和约束作为共享问题状态积累，而不是通过中央控制器传递。这一转变从根本上改变了多智能体系统的协调方式，避免了中央控制器的瓶颈，同时保持了信息的准确性和完整性。
核心方法
DELM的整体思路是通过两个全局结构来实现去中心化协调：共享上下文C和任务队列T。给定输入任务D和可选的源上下文U，C存储积累进度的紧凑验证摘要，T存储用于并行执行的待处理子任务。算法流程分为五个阶段：首先从输入初始化任务队列；然后在并行中执行就绪子任务；接着将更新压缩、验证并准入共享上下文；当当前共享上下文不足时生成额外的子任务；最后当不再需要更多子任务时生成最终答案。这个设计的核心思想是将中间进度转化为可重用的问题状态，而不是通过中央控制器路由。智能体可以从共享上下文中读取并构建先前的发现、避免重复失败、保留约束，并只在需要时恢复详细证据。直觉上，这就像团队成员共享一个白板，每个人都可以看到并更新项目状态，而不需要每次都通过项目经理。
DELM的核心创新点在于将协调从中央控制器转移到共享的验证上下文，采用准入前验证机制来确保共享状态的可靠性。与现有MAS的三个本质区别是：第一，去中心化协调而不是集中式控制。没有中央控制器路由所有信息，智能体通过共享上下文和任务队列直接协调。第二，验证准入而不是直接写入。每个更新在进入共享上下文之前都要经过验证，防止错误信息在智能体之间传播。第三，层次化压缩和选择性展开。共享上下文存储紧凑的摘要（gist），智能体默认读取这些摘要，只在需要时选择性展开为详细摘要或原始证据。这三个机制共同作用，使DELM能够在保证信息质量的同时，实现高效的去中心化协调。特别是准入前验证机制，它将共享上下文从原始消息缓冲区转变为精心策划的共享状态，这是DELM与现有基于blackboard系统的关键区别。
方法步骤详情
DELM的方法步骤可以完整描述如下。步骤1是初始化：给定输入任务D和可选的源上下文U，初始化空的共享上下文C，并从输入生成初始子任务放入任务队列T。步骤2是并行执行：可用的智能体异步地从T中声明就绪子任务，读取共享上下文C，执行局部推理。步骤3是压缩和验证：对于每个完成的结果ri，根据内容类型选择压缩路径。如果ri是推理轨迹，直接压缩为摘要Gi。如果ri是长源单元，使用层次化路径：首先构建基于引用的摘要Si，然后将Si压缩为紧凑的摘要Gi。验证同样遵循两条路径。对于推理轨迹，检查摘要Gi是否忠实地捕获了ri中的相关发现、失败、反馈或约束。对于长源单元，在两个级别执行验证：摘要Si必须得到原始源的支持，摘要Gi必须保留Si中支持的主张和重要限定词。只有通过验证的摘要才会被附加到C并成为后续智能体可见的。步骤4是生成更多子任务：当任务队列T为空时，最近完成的智能体使用当前子任务状态和共享上下文来确定是否需要更多子任务。如果是，则根据T和C生成并排队新的子任务。步骤5是生成最终答案：当T为空且不需要更多子任务时，从积累的共享上下文生成最终答案Y。这个过程重复直到T为空且没有更多子任务需要生成。
技术新颖性
DELM的技术新颖性体现在多个方面。第一，去中心化协调架构：完全消除了中央控制器，智能体通过共享上下文和任务队列直接协调，这是对现有集中式MAS架构的根本性改变。第二，准入前验证机制：在更新进入共享上下文之前进行验证，防止错误信息传播，这是与现有blackboard式系统的关键区别。第三，层次化压缩和选择性展开：使用三层结构（原始内容→摘要→gist）和按需展开，类似于操作系统的分页机制，既保持了全局视图，又控制了成本。第四，状态持久化而非提示路由：将中间进度作为共享状态持久化，而不是重复编码为提示，这从根本上改变了多智能体系统的通信机制。第五，失败共享机制：将失败的假设作为可重用状态而不是局部死胡同，让后续智能体可以避免重复相同的失败。这些创新使DELM能够在保证信息质量的同时，实现高效的去中心化协调，这是对现有MAS技术的重要推进。
实验结果
DELM在三个关键场景中进行了评估，每个场景都揭示了不同的多智能体协调机制。首先在SWE-bench Verified上评估软件工程的测试时扩展，DELM在Gemini 3 Flash基础模型上达到65.7%的Avg.@1、72.9%的Pass@2和77.4%的Pass@4，超过了所有基线方法。相比最强的基线AOrchestra-Parallel，Avg.@1提升了9.3个百分点，同时成本降低到每任务$0.12，大约是最强agentic基线成本的一半。在Claude Opus 4.6上，DELM也达到了最高的Avg.@1、Pass@2和Pass@4，分别为78.0%、80.7%和82.5%，成本为每任务$0.63，接近最低成本方法。这些结果表明，DELM通过让智能体通过共享状态交流，使得测试时扩展更加有效。通过在轨迹之间保持紧凑的进度可见，DELM让后续智能体避免冗余探索、构建先前的发现、专注于任务未解决的部分。其次在LongBench-v2 Multi-Doc QA上评估长上下文多文档推理，DELM在四个模型家族中都达到了最高的平均准确率：GPT-5.4为60.1%，Claude Sonnet 4.6为59.8%，Gemini 3 Flash为61.5%，DeepSeek-V4-Pro为67.5%。相比每个模型家族的最强基线，这些分别提升了5.7、5.3、4.4和3.6个百分点。这些收益来自于首先构建文档集的验证层次化视图，实现更有针对性的详细检查。DELM首先将输入分块，使用轻量级摘要器DeepSeek-V4-Flash生成层次化摘要，然后将验证的摘要准入共享上下文，给所有智能体提供语料库的紧凑视图。第三在OOLONG上评估聚合密集的长上下文推理， vanilla DELM表现不如RLM，因为该基准需要精确的行级聚合，其中代码介导的执行特别有用。然而，将RLM与DELM结合获得了最佳准确率和最低成本，显示DELM可以扩展到基于代码的推理工作流。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SWE-bench Verified (Gemini 3 Flash) | Avg.@1 | 65.7% | AOrchestra-Parallel 56.4% | +9.3个百分点 |
| SWE-bench Verified (Gemini 3 Flash) | Pass@4 | 77.4% | mini-SWE-agent 75.1% | +2.3个百分点 |
| SWE-bench Verified (Gemini 3 Flash) | Cost/Task | $0.12 | AOrchestra $0.24 | 降低50% |
| LongBench-v2 Multi-Doc QA (GPT-5.4) | Avg. Accuracy | 60.1% | ReadAgent 53.0% | +7.1个百分点 |
| LongBench-v2 Multi-Doc QA (Claude Sonnet 4.6) | Avg. Accuracy | 59.8% | ReadAgent 54.5% | +5.3个百分点 |
| LongBench-v2 Multi-Doc QA (Gemini 3 Flash) | Avg. Accuracy | 61.5% | Base 57.1% | +4.4个百分点 |
| LongBench-v2 Multi-Doc QA (DeepSeek-V4-Pro) | Avg. Accuracy | 67.5% | Base 63.9% | +3.6个百分点 |
| OOLONG (GPT-5) | Accuracy | DELM+RLM 64.0% | RLM 56.0% | +8.0个百分点 |
| OOLONG (GPT-5) | Cost/Task | DELM+RLM $0.40 | RLM $0.43 | 降低7% |
局限与改进
作者承认了几个局限性。首先，准入前验证用适度的开销换取了更强的可靠性保证，但这个开销在需要大量验证的任务中可能会成为瓶颈。更轻量级的验证器，包括学习模型或针对常见声明类型的基于规则的检查，可以进一步提高效率，同时保持观察到的可靠性收益。其次，DELM继承了智能体的分解质量。过于粗糙的分解会让智能体得到欠指定的子任务，而过于激进的分解会生成不必要的智能体并过度复杂化推理。有前途的方向是训练自适应智能体，根据共享上下文决定何时拆分、合并或终止子任务。第三，正如先前工作所指出的，跨模型没有普遍最优的提示；不同模型家族可能需要定制的提示来引发预期行为。将DELM与提示演化方法如GEPA结合，可以进一步适应其分解、摘要和验证提示到每个模型家族。除了作者承认的局限性外，我还观察到DELM在需要精确数值聚合的任务上可能不如基于代码的方法，这在OOLONG实验中得到验证。此外，DELM的性能在一定程度上依赖于验证器的质量，如果验证器本身存在问题，可能会错误地拒绝正确的更新或接受错误的更新。
独立分析的弱点
DELM在几个具体场景中存在弱点。第一，在需要精确行级聚合的任务上表现不佳，如OOLONG基准。这是因为DELM使用的自然语言共享上下文对于需要精确计数、过滤、比较和处理平局的结构化数据处理不够可靠。改进方向是将DELM与代码介导的执行相结合，像RLM那样使用REPL环境来精确处理结构化数据。第二，在简单任务上可能引入不必要的开销。对于不需要复杂协调或信息共享的任务，DELM的初始化、压缩和验证步骤可能会增加不必要的计算成本。改进方向是根据任务复杂度自适应地选择协调机制，简单任务使用直接调用，复杂任务使用DELM。第三，验证器本身可能成为瓶颈。在需要大量验证的场景中，验证器的计算开销可能会抵消DELM带来的效率提升。改进方向是开发更轻量级的验证器，包括针对常见声明类型的基于规则的检查和预训练的验证模型。第四，依赖摘要器的质量。摘要器的质量直接影响共享上下文的质量，如果摘要器遗漏重要信息或产生幻觉，会影响后续智能体的推理。改进方向是使用更强大的摘要器或多轮摘要生成，并加强对摘要质量的验证。
未来方向
未来的研究方向包括作者提出的和基于成果可延伸的多个方向。作者提出的方向包括：开发轻量级验证器，如学习模型或针对常见声明类型的基于规则的检查，以提高效率同时保持可靠性；训练自适应智能体，根据共享上下文决定何时拆分、合并或终止子任务；将DELM与提示演化方法如GEPA结合，适应不同模型家族的提示需求。基于成果可延伸的方向包括：将DELM应用于更复杂的自动化研究系统，如AlphaEvolve团队和Liu等人描述的系统，其中智能体必须探索替代假设、检查大量论文或实验日志、比较跨源证据并迭代地改进结论；将DELM与其他增强LLM能力的技术相结合，如工具使用、代码执行、检索增强等，构建更强大的多智能体系统；研究DELM在不同领域的应用，如科学发现、法律分析、医疗诊断等，这些领域都需要处理大量信息和复杂推理；开发更智能的分解策略，让智能体能够根据任务特点和共享上下文动态地调整分解粒度；研究DELM的可扩展性，探索如何在不损失性能的情况下处理更大规模的智能体和更复杂的任务；开发更完善的验证机制，包括多轮验证、交叉验证等，进一步提高共享上下文的可靠性。
复现评估
从复现角度来看，论文提供了较为详细的实现描述，包括算法流程、参数设置和实验配置。作者表示代码可在项目网站https://yuzhenmao.github.io/DeLM/上获取，这为复现提供了基础。然而，论文没有提供具体的计算资源需求，如GPU型号、内存大小、运行时间等。使用的基准数据集如SWE-bench Verified和LongBench-v2都是公开可用的，但可能需要特定的访问权限或付费API。使用的模型如Gemini 3 Flash、Claude Opus 4.6、GPT-5.4、DeepSeek-V4-Pro等都是商业API，需要相应的API密钥和费用。论文没有提供完整的超参数列表，如摘要器的温度、top_p、max_tokens等，虽然可以通过合理猜测来设置，但可能影响复现结果的精确性。此外，论文提到的基线方法如AOrchestra、ReadAgent等也需要各自的实现细节。总体而言，复现DELM需要中等到高等的难度，主要是因为涉及多个商业API和复杂的系统实现。建议未来的工作提供更完整的实现细节、开源代码、具体的超参数列表和计算资源需求，以降低复现门槛。
论文图表
Figure 2对比了集中式和去中心化多智能体系统的架构。左侧显示集中式MAS，有一个主智能体负责分配子上下文、生成子智能体、通过同步的scatter-gather循环整合返回结果，这创建了瓶颈，因为进度受到中央合并步骤和最慢工作者的限制。右侧显示DELM的去中心化架构，通过并行智能体、共享上下文和任务队列去中心化协调，允许智能体通过共享状态交换进度、异步声明就绪任务、随着子任务数量增长更自适应地扩展。
这张图对理解论文的核心创新至关重要。它直观地展示了集中式和去中心化架构的区别，帮助读者理解DELM解决的是什么问题以及如何解决。这是论文的核心思想的可视化呈现。
Table 2详细比较了DELM和基线方法在LongBench-v2 Multi-Doc QA上的准确率。对于GPT-5.4，DELM在五个领域（金融15样本、政府23样本、多新闻23样本、法律14样本、学术50样本）的平均准确率为60.1%，高于ReadAgent的53.0%。对于Claude Sonnet 4.6，DELM的平均准确率为59.8%，高于ReadAgent的54.5%。对于Gemini 3 Flash，DELM的平均准确率为61.5%，高于Base的57.1%。对于DeepSeek-V4-Pro，DELM的平均准确率为67.5%，高于Base的63.9%。该表展示了DELM在四个模型家族上都达到最高平均准确率，提升幅度为3.6-7.1个百分点。
这个表格对理解DELM在长上下文推理场景的性能非常重要。它展示了DELM在不同模型家族和不同领域上的性能，证明了DELM的通用性和有效性。提升幅度的具体数字让读者能够量化评估DELM的贡献。