DynaFlow：学习自由形式的多智能体编排 DynaFlow: Learning Free-Form Multi-Agent Orchestration

训练分两阶段，只更新主智能体。Stage 1 轨迹蒸馏：教师模型 GLM-5.3 Max 在相同的工作流接口、工具和冻结子智能体下生成轨迹，仅保留最终答案正确且实质求解发生在工作流内部的轨迹；监督目标为主智能体首轮输出 $s = (r, a_1)$（$r$ 为推理文本，$a_1 = (\mathcal{P}, \mathcal{W}(\mathcal{P}))$ 为工作流动作），构成数据集 $D_1$（2,257 条样本）。两阶段共用损失 $\mathcal{L}_{\text{SFT}}(\theta; D) = -\sum_{(I,q,s)\in D} \log \pi_\theta(r, a_1 \mid I, q)$，同时监督推理与动作 token，指令、问题和工具定义被 mask，Stage 1 用 QLoRA 训练。Stage 2 高质量数据选择：LLM 评审按三类缺陷（前提注入、验证缺陷、信息流缺陷）检查每条演示，缺陷判定须附程序或调用参数中的匹配摘录作证据，通过核查的完整首轮样本构成 $D_2 \subseteq D_1$（712 条），从 Stage 1 检查点以更小学习率续训，并设等规模随机子集续训作对照以区分筛选效应与多训效应。推理时三种执行模式：Direct 不用任何工具；Dynamic 首步在直接作答与工作流间二选一；Forced 强制首个实质动作必须调用工作流。进入工作流路径后，主智能体只负责设计、协调、评估结果与合成最终答案，实质求解与验证委托给冻结子智能体，结果不完整则修订或追加工作流。

技术新颖性体现在四个层面。(1) 动作空间设计：把「生成并调用一段可执行程序」作为与工具调用并列的一等动作，程序内直接以代码表达子智能体分工、并行/串行依赖、阶段标签与输出聚合校验逻辑，表达力超过算子模板与图编辑；运行时带资源预算并返回结构化执行轨迹，供后续决策使用。(2) 训练目标聚焦：损失只监督首轮的任务分析与工作流合成 token $(r, a_1)$，指令/问题/工具定义均被 mask，把学习能力精确投向编排行为而非知识记忆。(3) 数据质量标准转变：首次把编排质量（前提真实性、验证独立性、信息流完整性）作为演示筛选标准，并要求证据摘录支持、评审与人工标注做一致性校验（附录 E），使编排可靠性成为显式优化对象；这一点与只按答案正确性筛数据的主流做法形成对照。(4) 评测设计的严谨性：子智能体与运行时在所有工作流设定间共享且冻结，Base/Stage 1/DynaFlow 三个检查点 × Direct/Dynamic/Forced 三种模式的 3×3 网格（Table 2），加上等规模随机子集续训对照，能把收益干净地归因于编排学习与数据筛选，而非执行器增强或额外训练量。

弱点一：纯 SFT、无强化学习，策略只从教师演示模仿，无法从自身执行失败获得梯度，而 AFlow、FlowReasoner 等用 RL 的方法在分布外任务上可能更稳健；改进方向是以 Stage 2 检查点初始化，用执行正确率与编排质量做复合奖励做 RL。弱点二：首轮监督盲区，$s=(r,a_1)$ 只覆盖第一次决策，而失败常发生在「看到坏结果之后怎么办」——修订、重试、冲突仲裁均无监督；应扩展到含错误中间结果与输出分歧的多轮轨迹。弱点三：依赖单一 LLM 评审筛数据且只查三类缺陷，可能系统性遗漏角色冗余、预算超支、指令冲突等问题；可引入多评审投票与人工抽检。弱点四：成本报告缺失，论文给出子智能体数量（2.44 vs 4.16）但未报告 token 消耗、墙钟时间与经费对比，实际价值评估不完整；应补成本-精度帕累托曲线。弱点五：基准规模小且偏数学（290/688），AIME 已 100% 饱和，难以区分强模型间差异；建议加入代码生成、长上下文 QA、工具密集型工程任务检验编排泛化。

作者提出的方向：(1) 训练子智能体使其具备可靠的信息传递与独立验证能力——目前子智能体全部冻结，执行器本身的能力上限未被触及；(2) 把首轮监督扩展到包含分歧与错误结果的多轮轨迹，强化主智能体独立评估冲突输出、识别错误、并为错误恢复、工作流修订、最终答案选择选择合适动作的能力。基于本文成果可延伸的方向：(3) 用 RL 接续两阶段 SFT，以任务成功率与编排质量为复合奖励优化完整多轮策略，弥补纯模仿学习的分布局限；(4) 让主智能体把失败工作流的执行轨迹存入经验记忆，推理时检索相似案例做少样本自修复；(5) 把冻结子智能体替换为不同规模或不同厂商的异构模型，研究编排策略对执行器能力分布的迁移性——这正是「解耦编排与执行」设定的独特价值；(6) 将信息流正确性指标（输出复用率、缺陷率）发展为可在线计算的编排健康度信号，用于推理时自适应降级（不值得开工作流就退回 Direct）；(7) 在代码库修改、数据分析流水线等真实工程任务上验证，而非仅考试型基准。

复现评估：论文标注有代码与项目页链接（§ Code / Project Page），若如期开源则复现门槛中等。数据方面，AIME 2024/2025/2026、GPQA-Diamond、HotpotQA 均为公开数据集，PolyMATH 与 HotpotQA 子集用随机种子 42 采样，规则明确。算力方面，主智能体是 27B 模型的 QLoRA 微调（4-bit 量化+LoRA），Stage 1 仅 2,257 条首轮样本、Stage 2 仅 712 条，单张 80GB GPU（A100/H100）即可完成，训练成本不高。真正的门槛在蒸馏数据：需要 GLM-5.3 Max（或同级强模型）的 API 在完整工作流运行时中生成数千条合规轨迹。评测管道还需实现预算受限的 JavaScript 工作流运行时、执行轨迹记录、agent/parallel 子智能体接口、LLM 评审筛选与四项设计质量评分，工程量不小，好在附录 B/D/E 有描述。总体判断：有官方代码时，熟悉智能体系统的团队一至两周可复现主干结果；若无代码，运行时细节需自行推导，难度显著上升。