AgentConductor: 面向竞赛级代码生成的多智能体拓扑演化 AgentConductor: Topology Evolution for Multi-Agent Competition-Level Code Generation

训练阶段分三步：（1）SFT 数据生成：3 个竞赛数据集（APPS、LiveCodeBench、CodeContests）按 3 档难度每档 50 题共 450 题，调用 GPT-4o 生成 YAML 拓扑，经语法校验、JSON schema 校验、去重、可执行校验、GPT-4o 重校验 5 道关卡；每题再依据不同错误类型生成二轮演化拓扑，合计 2700 个；外加 2 个基础数据集 300 例，合计 4500 条 SFT 样本。（2）SFT 训练：用 LLaMA-Factory 对 Qwen2.5-3B-Instruct 做 LoRA 微调，学习率 $1\times 10^{-4}$，batch size 4。（3）RL 训练（GRPO）：用 Verl + vLLM 框架，最大生成 4096 token，组大小 $G=8$，学习率 $1\times 10^{-6}$，最多 2 轮；奖励 $r_\phi(G^{(k)}, z_{\text{code}}^{(k)}) = r_e + r_g$ 由执行正确性奖励（含 YAML 校验 +5 类代码错误奖惩）与密度奖励（含 $S_{\text{node}}, S_{\text{edge}}, S_{\text{depth}}$ 三子项）按难度上界 $N_{\max}(l)\in\{4,7,10\}$ 加权求和。推理阶段：编排器冻结后直接调用，先 infer 难度再生成 YAML 拓扑，最多 2 轮。

技术新颖性体现在四点。其一，定义在分层 DAG 上的图密度评估函数 $S_{\text{complex}}$ 是首次把多 agent 通信成本严格映射到图论度量的工作，文中给出了从 token 成本 $C_{\text{total}}$ 到密度 $S = |V| + 2|E|/|V| + s$ 的完整推导，并证明 $\tanh(\frac{N_{\max}(l)-|V|}{N_{\max}(l)})$ 在节点超限时给予惩罚。其二，Theorem 1 证明分层 DAG 的深度等于其层数 $b$，把 $d$ 的计算从图遍历降为 $O(1)$，这对实时密度评估至关重要。其三，难度区间划分策略避免了对精确数值的过度剪枝——通过 $N_{\max}(l)$ 而非硬阈值，让模型在密度空间内有平滑的探索梯度。其四，多轮反馈驱动的在线重生成：第二轮可复用/重跑/新增 agent，agent 行为根据上轮输出演化，实现了拓扑而非仅仅角色的迭代。

独立观察到的弱点与改进方向：（1）难度判断无显式监督，编排器对"易/中/难"的判断可能与人类认知错位，尤其在跨数据集迁移时。改进方向：在 SFT 阶段为每题标注 ground-truth 难度（如基于题目的解题错误率或参考解法长度），把难度作为辅助监督信号。（2）$N_{\max}(l)$ 是离散三档，对极难题（接近竞赛决赛级）显得过紧，可考虑把 $N_{\max}$ 改为连续可调函数，如 $N_{\max}(l) = \alpha \cdot \text{diff}(x) + \beta$，其中 $\text{diff}(x)$ 由问题长度、关键词等可计算特征得到。（3）单次测试只奖励 1.5，其他错误奖惩按 0.6-1.0 拉开，奖励曲线不平滑，可能导致 RL 训练中策略对微小变化不敏感；可改用基于测试用例通过率的稠密奖励。（4）多轮机制只到 2 轮，对需要长时间试错的难题不够。改进方向：引入基于中间代码质量（覆盖率、运行时）的自适应停机条件，或扩展到 $K>2$ 轮但对后续轮次折扣 $\gamma<1$。（5）跨域实验只用 50 例 GAIA 零样本，证据有限，结论偏乐观，需在更多领域做大样本验证。（6）YAML 格式是 hand-crafted 的，复杂拓扑下长度膨胀会接近上下文窗口，限制可表达性；可考虑用更紧凑的图序列化方式（如结构化 JSON + 引用 ID）。

作者提出的方向：（1）把方法扩展到更多代码语言（C++、Rust、Java），需要建立对应沙箱；（2）扩展 agent 角色池以支持检索增强、工具调用等更复杂任务。基于结果的延伸方向：（3）把编排器的能力推广到软件工程级任务（多文件项目、调试长代码库），此时拓扑可能需要嵌入文件级图结构；（4）研究拓扑演化的可解释性，让编排器在每轮决策时给出"为什么这样连边"的自然语言解释，提升可信度；（5）将 GRPO 替换为更具样本效率的多轮 RL 算法（如 PPO with shared critic 或 RLOO），降低训练成本；（6）引入人类反馈（RLHF）以更好地对齐难度判断与人类认知；（7）探索自演化机制：让编排器在没有显式难度标签的情况下，自己发现任务聚类结构，并据此自动确定 $N_{\max}$；（8）把"密度感知的奖励设计"思想抽象为通用框架，应用到训练任意自适应计算量的模型（如 conditional computation、early-exit networks）。

复现评估：作者在 4 卡 A800 集群上完成训练，单次完整训练（SFT+RL）总时长未明确披露但应在数十小时量级（GRPO 110 步 + SFT 几千步 LoRA 微调）。数据方面：SFT 4500 样本由 GPT-4o 在 3 档难度各 50 题上生成，依赖外部 API 调用，难以严格复现，但论文给出了完整的生成 prompt（Figure 6）、过滤规则和示例。代码方面：未明确说明开源仓库地址（arXiv 预印本，代码可能随后续版本发布）；基于 LLaMA-Factory 和 Verl/verl 框架，二者均为开源。算力门槛：4×A800（约 320GB 显存）+ GPT-4o-mini API 调用，对大多数实验室可承担。难度：复现 SFT 部分门槛较低（数据生成 + LoRA 微调），但 RL 阶段涉及 vLLM 部署、verl 框架定制、GRPO 多轮实现，需要较强的工程能力。超参数已在论文中详尽给出（学习率、batch size、$G=8$、$\varepsilon$、$\beta$ 等），主要风险点在于：GPT-4o 生成的 SFT 拓扑可能与论文最优版本略有差异，导致 SFT 起点不同；GRPO 训练对随机种子较敏感，论文报告 3 次运行的 std 较小（APPS ±0.3、HumanEval ±0.1），复现时应多次运行取平均。