← 返回 2026-05-28

AgensFlow：多智能体系统的协调策略框架 AgensFlow: A Coordination-Policy Substrate for Multi-Agent Systems

Nicole Koenigstein 📅 2026-05-26 👍 8 2026-07-13 08:36
协调策略 可解释AI 在线学习 多智能体系统 强化学习
arXiv HuggingFace PDF

将多智能体协调建模为在线策略学习问题，通过可审计的策略图动态优化技能、模型和拓扑选择

前置知识

多智能体系统

由多个自主智能体组成的系统，每个智能体具有特定角色和技能，通过协作完成复杂任务。智能体间通过消息传递、工具调用和状态共享协调，能并行探索、引入验证并协调任务分解。

本文核心研究对象是协调层，需理解多智能体系统如何通过角色分工、技能调用和交互拓扑来完成复杂任务，才能理解为何需要学习协调策略。

UCB1算法

UCB1算法在探索-利用权衡中选择动作，使用公式$r(s,a) + c_s\sqrt{\log(N_s)/N_{s,a}}$，即平均奖励加上与访问次数成反比的探索奖励。访问少的动作探索奖励大，访问多的动作依赖平均奖励。

AgensFlow核心路由决策使用改进的UCB1算法，理解其基本原理才能把握框架如何在线学习协调策略。

部分可观测马尔可夫决策过程

POMDP是马尔可夫决策过程的扩展，智能体只能获得部分观测而非完整状态，需要维护信念状态来推断真实状态。在多智能体协调中，用户意图、任务难度、证据质量等都不可观测。

本文将多智能体协调形式化为POMDP，理解这个概念才能理解为何需要状态抽象和折叠签名。

相对轨迹评估

将同一任务的多个轨迹放在一起，根据明确评价标准进行相对排名，而非为单个轨迹打绝对分数。这种方法对协调质量、恢复行为和证据使用更敏感，减少奖励操纵压力。

本文的RelativeJudge采用相对评估，理解这个概念才能把握奖励信号的设计动机和审计机制。

研究动机

基于大语言模型的多智能体系统需要做出大量协调决策，这些决策很难预先确定：调用哪个技能协议、哪个智能体角色应该执行子任务、将哪个模型绑定到每个角色、角色应该如何交互、何时使用检索或验证、何时完全跳过某个步骤。这些选择与任务场景和操作约束相互作用，因此静态管道和一次性模型比较只能提供设计空间的有限视图。现有方法如AutoGen和CAMEL使用自由形式自然语言对话进行协调，但这种设计使协调决策与对话内容纠缠在一起，难以折叠为可重用、可检查的表示。固定管道系统无法根据任务类型动态调整协调策略，导致在协调密集型任务上表现不佳。

本文的目标是本文的目标是开发AgensFlow，一个开源框架，将多智能体协调视为部分可观测性下的在线策略学习问题。该框架使协调决策从重复轨迹中可观测和可学习，而不是将技能、角色、模型、拓扑和评估选择视为固定的管道设计。具体目标是：提供可检查的策略图覆盖技能、模型和拓扑动作；将奖励信号可审计性作为系统设计的首要组成部分；验证学习到的协调策略在协调密集型任务上优于固定管道基线；展示策略图可以从一个域迁移到另一个域，减少探索成本。

与已有工作不同的是，本文的独特切入角度是将协调层本身作为学习对象，而不是协调层的输出。现有工作大多关注如何选择工具、接口或执行策略，但AgensFlow学习的不仅是工具选择器或规划器开关，而是一个持久、可审计的路由策略，覆盖用例签名、技能协议、模型-角色绑定、可选拓扑单元和终止。核心创新在于将skip:X动作本身作为一等拓扑决策，使省略成为策略选择的一部分，而不是预先设计。此外，本文将奖励审计作为协调子系统的固有部分，而不是外部评估步骤，这是大多数相关工作所忽视的。

核心方法

AgensFlow的核心思想是将多智能体编排视为部分可观测序列决策过程，学习一个策略来选择协调动作。系统不直接观测用户的完整意图、任务难度、证据质量、模型可靠性或中间推理质量，而是构建一个可观测的折叠签名$s_t = \phi(x_t, h_t, b_t) = (\ell_t, z_t, \beta(\hat{c}_t), \beta(\hat{u}_t), \beta(\hat{r}_t), \beta(\hat{e}_t))$，其中$\ell_t$是体制标签（straightforward/evidence_heavy/ambiguous/contradictory/high_risk/exploratory），$z_t$是7位二进制交接掩码（表示goal/subproblem/evidence/critique/verification/draft_answer/merged_answer是否填充），$\beta(\cdot)$是分桶的信念估计（正确性、不确定性、矛盾风险、证据充分性）。在每一步，策略根据当前签名选择动作，执行后观察更新后的交接状态，并最终将轨迹级奖励回传到访问的$(s, a)$对。策略学习的是可重用的抽象状态而非单个prompt，这使得跨相关运行的价值共享成为可能。

核心创新点是将协调拓扑本身作为可学习的变量，通过skip:X动作使跳过可选单元成为策略选择的一部分。这与固定管道方法形成鲜明对比——在固定管道中，拓扑仅是配置，而在AgensFlow中，拓扑是动作空间的一部分。策略可以学习到某个体制受益于memory+verification，而另一个体制应该绕过检索或完全跳过冗余的solver。另一个关键创新是可审计的策略图，每个签名-动作边存储访问次数、平均奖励、奖励方差、token统计和失败计数。运营者可以在学习后打开策略图，看到每个体制选择了哪些动作，以及访问计数、奖励估计和失败率。这种可审计性本身是刻意的设计属性。第三个创新是奖励审计性：RelativeJudge采用跨法官平均、per-axis分解和置信度加权，使奖励信号可观测而非将LLM评估视为黑盒标量。

方法步骤详情

方法步骤的完整描述如下：第一步，预飞行检查（Layer 5）捕获基础设施问题（坏的API key、耗尽的配额、限流的提供商）后再花费LLM token。第二步，计算任务特征（Layer 1），默认规则体制检测器从类型化任务特征产生体制标签，将体制、交接掩码和分桶信念折叠为签名元组。第三步，在每个路由步骤，策略图中的可靠性感知UCB1规则从合法集合中选择一个动作，调用一个单元（planner/memory/web_search/solver variant/verifier/evaluator）或skip:X（Layer 3）。第四步，选定动作执行，trace收集器记录结构化事件（Layer 2）。第五步，更新交接和信念状态，重新计算签名，路由返回到上一步直到选择terminate或治理层停止运行。第六步，治理层观察trace，如果发生策略违规则停止运行（Layer 5）。第七步，当轨迹完成时，RelativeJudge相对同类peer打分，混合奖励将质量与成本和重试惩罚组合，将$(signature, action)$边回传到策略图（Layer 4 + Layer 3）。第八步，发出结构化RunReport（Layer 5）。

技术新颖性

技术新颖性体现在三个方面：第一，将多智能体协调形式化为在线策略学习而非固定管道设计，这使得协调决策从重复轨迹中可学习，而不是将技能、角色、模型、拓扑和评估选择视为一次性设计决策。第二，skip:X动作使拓扑压缩本身成为策略决策的一部分，这允许系统学习省略策略而非预设哪些单元是必需或可选的。第三，奖励审计性作为系统设计的固有部分：RelativeJudge采用跨法官平均（如Anthropic+OpenAI+Qwen）减少单法官家族偏差，per-axis分解（goal_achievement/grounding/coordination/recovery）使奖励标准外部可检查和可编辑，置信度加权（从disagreement std计算）使噪声奖励观察对价值估计贡献较小。这与将LLM评估视为黑盒标量的方法形成鲜明对比。

AgensFlow at a glance. Left: the per-task lifecycle (steps 1 to 6), from pre-flight gating through task feature computation, regime detection, UCB1-based action selection over the variant pool, execution, and trajectory scoring with policy-graph backup. Right: the framework's persistent components and how they interact with the lifecycle: the policy graph that UCB1 consults, the router that dispatches actions, RelativeJudge with its hybrid reward and audit hooks.
Figure 2: AgensFlow at a glance. Left: the per-task lifecycle (steps 1 to 6), from pre-flight gating through task feature computation, regime detection, UCB1-based action selection over the variant pool, execution, and trajectory scoring with policy-graph backup. Right: the framework's persistent components and how they interact with the lifecycle: the policy graph that UCB1 consults, the router that dispatches actions, RelativeJudge with its hybrid reward and audit hooks.

实验结果

实验在两个60任务评估语料库上进行了跨域验证。第一个语料库包含60个分布式系统事件任务，第二个语料库包含60个合成安全建议任务，跨越八个场景类别。主要发现如下：（1）学习路由在协调密集型类别上达到比固定管道基线更高质量的运行点。在交叉家族三法官审计下，main arm在plateau epochs 6-8的RelativeJudge得分为0.817，相比fixed baseline的0.749提升0.068，同时token使用增加15%。（2）skip:X隔离了拓扑压缩作为有意义的框架组成部分。在8个类别中，main substrate在5个类别上获胜，在C6上打平，在C1和C5上略微失利。收益集中在协调密集型类别：跨文档多供应商推理（C3，+0.181）、跨供应商对分析（C8，+0.156）和缓解正确性（C7，+0.131）。（3）热启动策略图可以减少探索成本同时保持plateau质量。warm-start arm初始化自443节点分布式系统策略图，在plateau时token使用减少10%，全运行token减少21%，同时保持审计质量优势。（4）奖励信号审计改变了解释。单法官信号显示warm-start在所有epoch上优于cold-start，plateau提升0.052；但跨家族审计显示审计plateau提升仅为0.012，审计全运行提升为0.003。这表明奖励选择会影响headline解释。

The six dependency layers of the AgensFlow framework. Upper layers depend on lower ones; at runtime all six are active simultaneously.
Table 1: The six dependency layers of the AgensFlow framework. Upper layers depend on lower ones; at runtime all six are active simultaneously.
Arm-level comparison. Learning arms are reported at plateau epochs 6 to 8; the fixed baseline is a single-pass run on the same 60 tasks. RJ (sj) denotes RelativeJudge scores from the single judge, while RJ (3j) denotes the cross-family three-judge audit score.
Table 2: Arm-level comparison. Learning arms are reported at plateau epochs 6 to 8; the fixed baseline is a single-pass run on the same 60 tasks. RJ (sj) denotes RelativeJudge scores from the single judge, while RJ (3j) denotes the cross-family three-judge audit score.
Per-class plateau comparison under 3-judge audit. Values compare the main substrate at plateau against the fixed baseline.
Table 3: Per-class plateau comparison under 3-judge audit. Values compare the main substrate at plateau against the fixed baseline.
Warm-start transfer under 3-judge audit. Warm-starting from the distributed-systems policy graph reduces exploration cost, while audited quality shows a small plateau gain rather than the larger improvement suggested by the single-judge signal.
Table 4: Warm-start transfer under 3-judge audit. Warm-starting from the distributed-systems policy graph reduces exploration cost, while audited quality shows a small plateau gain rather than the larger improvement suggested by the single-judge signal.
Per-class quality lift under 3-judge audit. Learned routing improves most strongly on coordination-heavy classes, especially C3 cross-document multi-vendor reasoning, C7 mitigation correctness, and C8 cross-vendor pair tasks. Procedural classes are ties or narrow trades.
Figure 1: Per-class quality lift under 3-judge audit. Learned routing improves most strongly on coordination-heavy classes, especially C3 cross-document multi-vendor reasoning, C7 mitigation correctness, and C8 cross-vendor pair tasks. Procedural classes are ties or narrow trades.
Cold-start learning trajectory. The main substrate initially compresses cost as skip:X usage rises, then rebalances after quality drops. The pattern supports that skip decisions are being adjusted by reward feedback rather than fixed by the initial pipeline.
Figure 3: Cold-start learning trajectory. The main substrate initially compresses cost as skip:X usage rises, then rebalances after quality drops. The pattern supports that skip decisions are being adjusted by reward feedback rather than fixed by the initial pipeline.
Warm-start transfer. Warm-starting from the distributed-systems policy graph reduces early exploration cost on the synthetic security-advisory corpus while preserving plateau quality under cross-family audit. The figure also shows why the single-judge result requires audit: quality differences are modest under 3-judge scoring, while token compression is judge-independent.
Figure 4: Warm-start transfer. Warm-starting from the distributed-systems policy graph reduces early exploration cost on the synthetic security-advisory corpus while preserving plateau quality under cross-family audit. The figure also shows why the single-judge result requires audit: quality differences are modest under 3-judge scoring, while token compression is judge-independent.
查看结构化数据
任务指标本文基线提升
安全建议任务（交叉家族三法官审计） RelativeJudge分数 0.817 (main, plateau) 0.749 (fixed baseline) +0.068 (+9.1%)
跨文档多供应商推理（C3类别） RelativeJudge分数 0.857 (main) 0.675 (fixed baseline) +0.181 (+26.8%)
跨供应商对分析（C8类别） RelativeJudge分数 0.829 (main) 0.673 (fixed baseline) +0.156 (+23.2%)
缓解正确性（C7类别） RelativeJudge分数 0.790 (main) 0.658 (fixed baseline) +0.131 (+19.9%)
探索成本（Token使用） Token数量（plateau） 13,371 (warm-start) 14,870 (main cold-start) -10.1%

局限与改进

作者承认的局限性：当前substrate使用线性-with-skip拓扑和单法官实时奖励，评估仅覆盖此拓扑类别。替代协调拓扑（如并行或群体式执行、带验证器中介合并的分支联盟、带子智能体规划器的层次分解）是框架设计表面的一部分，但报告的实验中未练习。跨两个共享共同特征分类法的语料库测试了迁移，未来工作应该在不同特征分类法下测试迁移，评估更广泛拓扑类别上的替代规划体制，并纳入实时跨法官奖励。另外，作者观察到奖励信号效应由跨家族审计揭示，应在不同部署条件下进一步研究。我自己的观察：信念估计目前是启发式的，可能不准确；skip:X动作可能学习到过于激进的省略策略，在某些任务上损害质量；评估语料库规模相对较小（60任务），策略图的泛化能力需要更大规模验证；框架假设任务特征是可计算的，但对于某些复杂任务可能难以提取。

独立分析的弱点

独立分析的弱点包括：首先，信念估计目前是启发式的，从六个智能体角色的观察中更新，但这些更新规则是硬编码的，可能无法准确反映真实的任务状态、证据质量和推理质量。改进方向是学习信念更新参数，或从历史数据中学习更好的估计模型。其次，skip:X动作可能学习到过于激进的省略策略，特别是在成本权重设置较高时。改进方向是引入约束机制，确保某些关键单元（如高风险任务上的verification）不被跳过，或采用动态权重根据任务风险调整。第三，评估语料库规模相对较小（60任务），策略图可能过拟合到特定任务分布。改进方向是在更大规模、更多样化的任务集上评估，包括真实世界任务而非仅合成任务。第四，框架假设任务特征是可计算的，但对于某些复杂或模棱两可的任务，体制检测器可能无法正确分类。改进方向是学习体制检测器，或引入不确定性估计在检测器不确定时采取保守策略。第五，当前框架不支持并行或层次协调拓扑，限制了其在更复杂任务上的适用性。改进方向是扩展动作空间以支持并行执行和层次分解。

未来方向

作者提出的未来工作方向：测试不同特征分类法下的迁移，评估更广泛拓扑类别（并行或群体式执行、带验证器中介合并的分支联盟、带子智能体规划器的层次分解）上的替代规划体制，并纳入实时跨法官奖励。基于成果可延伸的方向包括：学习信念更新模型而非使用硬编码规则；动态调整奖励权重$w_q, w_c, w_\rho$根据任务风险和资源约束；扩展到多智能体之间的竞争和博弈场景，而非仅协作；集成人类反馈到策略学习中，使协调决策与人类偏好对齐；将策略图蒸馏到更小的神经网络中，减少推理时的存储和计算开销；研究策略图在不同时间尺度上的适应，既有短期调整（单任务内的在线学习）也有长期适应（跨大量任务的慢速更新）；探索零样本或少样本策略迁移，当特征分类法不同时如何重用学到的协调知识。

复现评估

论文提供了完整的开源实现，仓库地址为https://github.com/Nicolepcx/AgensFlow。框架发布为开源，实验和评估中学到的策略图可从仓库端到端复现。论文详细描述了实验配置、评估语料库、超参数设置（如UCB1探索系数$c_s$从1.4衰减到0.5，访问半寿命50，可靠性权重$\lambda=0.5$，奖励权重$w_q=1.0, w_c=0.3, w_\rho=0.15$，token cap=8000）和评估协议（交叉家族三法官审计：Claude Haiku 4.5 + GPT-5.4 mini + Qwen3.6-flash）。数据描述充分，包括分布式系统事件任务覆盖Paxos和Raft、逻辑时钟、gossip、CRDT、一致哈希、故障检测和多证据合成；安全建议任务跨越六个vendor对和八个场景类别。算力需求适中，主要来自LLM调用（OpenRouter支持多个提供商），不需要大规模GPU集群。复现难度中等到高，主要是因为需要配置OpenRouter API密钥、处理依赖的外部工具（Exa、Tavily web搜索）、以及LLM调用的成本和延迟。论文提供了代码、数据、配置和详细的实验描述，复现应该是可行的。

论文图表

figure_1.jpg
figure_1.jpg
figure_2.jpg
figure_2.jpg
figure_3.jpg
figure_3.jpg
figure_4.jpg
figure_4.jpg
table_1.jpg
table_1.jpg
table_2.jpg
table_2.jpg
table_3.jpg
table_3.jpg
table_4.jpg
table_4.jpg