递归多智能体系统 Recursive Multi-Agent Systems

训练分两阶段。Inner-Loop Training：对每个 agent $A_i$ 冻结参数 $\theta_i$，把 ground-truth 文本 $y$ 通过 agent 自己的 input embedding 层 $\text{Emb}_{\theta_i}$ 得到参考语义向量 $\text{Emb}_{\theta_i}(y)$，再用同 agent 当前的前向 hidden states $H$ 通过 $R_{in}$ 与它计算 cosine 距离，损失 $\mathcal{L}_{in} = 1 - \cos(R_{in}(H), \text{Emb}_{\theta_i}(y))$，从而让 inner link 学到 '把内部隐状态重新对齐到输入嵌入空间' 的能力；这一步对所有 agent 并行执行，为后续系统级递归做 warm-up。Outer-Loop Training：解除连接顺序限制，把所有 agent 通过 outer link 串成环，unroll 整个系统 $n$ 轮做前向传播——第 $r$ 轮的输入 = 第 $r-1$ 轮所有 agent 的 latent output 经过 outer link 投影后的拼接——只在最后一轮把最后一个 agent 的输出经 LM Head 解码成文本，并以交叉熵 $\mathcal{L}_{out} = \text{CE}(S^{(n)}(S^{(n-1)}(\cdots S^{(1)}(x))), y)$ 同时反向传播到所有 outer link。所有 LLM 主干仍冻结，唯一可训练的是 inner/outer link（合计约 13.12M 参数，0.31%）。推理时执行相同的 $n$ 轮递归，仅最后一轮解码文本，输出 token 数相较文本递归基线降低 34.6% 至 75.6%。

技术新颖性体现在三个方面：第一，把 RLM 「shared layer $\to$ shared agent」的类比是首创——之前 LoopLM、TiR 等工作都局限在「单模型内部复用权重」，本文首次让异构 LLM 组成的多智能体系统作为一个统一的递归计算图被优化；第二，RecursiveLink 同时承担 (i) 同 agent 的 'dense→shallow' 自递归 和 (ii) 异 agent 的 'cross-model' 对齐 两个任务，仅用一个 2-layer GELU residual projection 就能覆盖维度差异，并通过 ablation 验证 (Table 4) 残差分支比纯 2-layer 提升 3.6% on GPQA-D；第三，inner-outer 两阶段训练 + shared gradient credit 是首个让 MAS 实现 'whole-system co-optimization' 的方案。理论层面，论文给出 Proposition 3.1 的运行时复杂度证明（递归步把 $m|V|d_h$ 词表解码降为 $m d_h^2$ 隐空间变换）和 Theorem 4.1 的梯度稳定性证明（在 $\epsilon$-confident tokens 条件下，文本递归梯度范数 $\leq O(\epsilon) \ll 1$，而 RecursiveLink 梯度范数 $\geq \Omega(1 - \sqrt{\log(1/\delta)/d_h})$，从而避免 gradient vanishing）——这两条理论联合支撑了「为什么必须是 latent-space recursion 而不是 text recursion」。

W1：RecursiveLink 结构过于简化——目前只用了 2-layer MLP+残差，但面对差距悬殊的异构 agent（如 1.5B 与 10B），单纯线性投影难以充分对齐语义分布，可能更优设计是给 outer link 加一个 cross-attention 模块，让查询侧的 agent 主动去 select relevant latent tokens。W2：递归轮次对下游任务鲁棒性不足——Light Sequential 在 MedQA 上仅从 30.3% ($r=1$) 提升到 31.7% ($r=3$)，说明并非所有领域都能从递归中获得线性增益，建议引入 'adaptive recursion depth' 机制，根据答案置信度（如 entropy）决定是否提前终止。W3：训练目标单一——inner loop 用 cosine similarity 对齐 embedding 分布，但 latent thought 与 ground truth 之间未必是简单 cosine distance 度量；当 agent 内部能力较弱时，可能产生误导性梯度；可以考虑加一个 KL 散度项或 distillation 项。W4：缺乏对失败的递归诊断——表 9 中 $m>80$ 后饱和，但 $r=3$ 与 $r>3$ 仍存在空缺，作者未讨论 '递归饱和点' 与 '信息损失'；建议后续可视化 latent thought 在每一轮的 drift，并监控 potential semantic collapse。W5：可解释性受限——递归好处几乎全部留在 latent 空间，仅最后一轮文本输出，缺乏对 '哪一轮哪个 agent 的修正最重要' 的 attribution 分析；可以引入 attention rollout 或 probing classifier 来回溯每个递归步的边际贡献。

F1：作者提出的方向：(a) 把 RecursiveMAS 推广到更大 agent 群体（>5 个）与更长递归轮次（$r>3$），并系统研究 scalability 是否仍近似线性；(b) 设计 self-evolve 机制，让 agent 网络拓扑本身也可被递归优化。F2：基于成果可延伸：(c) 将 RecursiveLink 与 mixture-of-experts 的 router 联动，使 outer link 同时承担 routing 与 transfer 两类功能；(d) 与 RAG / tool-use 深度融合，因为 Deliberation Style 已经做了 first-step，可以探索 '递归调用工具' 的范式，让每个 recursion 步都决定是否调用 tool；(e) 把 latent recursion 扩展到 multimodal agent 之间（例如 VLM + LLM 协作），outer link 需对齐 vision encoder 与 language model 的表示空间；(f) 与 RLHF / DPO 类对齐目标结合，把递归优化目标从 next-token CE 替换为 preference-aware loss，可能进一步提升 reasoning-heavy 任务表现。

开源情况：项目主页为 https://recursivemas.github.io，目前正文未给出完整代码仓库链接，但表 1 详细列出所有 agent 用到的 checkpoint（Qwen3-1.7B、Llama3.2-1B-Instruct、Qwen2.5-Math-1.5B-Instruct、Gemma3-4B-it、Llama3.2-3B-Instruct、Qwen3.5-4B、Qwen2.5-Coder-3B-Instruct、BioMistral-7B、DeepSeek-R1-Distill-Qwen-1.5B、Qwen3.5-2B、Qwen3.5-9B 等），均为可下载的 HuggingFace 模型。训练数据：基于 s1K、m1K、OpenCodeReasoning、ARPO-SFT 四个公开数据集，附录 B.3 公开了 role-specific 数据构造方法（包括如何用 Qwen3.5-397B-A17B rewrite 出 Planner/Critic/Solver 的角色级监督）。超参与算力：训练使用 AdamW + cosine LR scheduler，lr=5e-4、batch=4、max seq len=4096，全部在 H100/A100 上完成；推理时 top-p=0.95，温度 0.6（reasoning）或 0.2（code），最大生成长度按任务设定 2k/4k/16k。实现细节：附录 E 公开了所有 4 种协作模式的 prompt template，但 Appendix B.3 明确未给出 inner/outer link 的具体权重初始化方式、Kaiming normal 的 $\sigma$ 取值等微观参数。复现难度：中等偏易——只需 1-2 张 A100 即可在 Light Sequential 上复现 9 个 benchmark；Scaled Sequential 需要更多显存来 host 4B-10B agent 群。不确定项：RecursiveLink 的训练 step 数、recursive softmax 中的 temperature、跨 agent 拼接时的 token mask 策略等在正文中没有明示，建议在跑实验前先复现 Section 6 的 RecursiveLink Design ablation (Table 4) 来 sanity check。