多智能体推理中的流式通信 (STREAMMA) Streaming Communication in Multi-Agent Reasoning
把推理步骤流式转发给下游智能体,既降延迟又提准确率
前置知识
多智能体推理系统与DAG拓扑
把一个复杂推理任务拆分给多个LLM智能体协作完成:每个智能体是DAG(有向无环图)中的一个节点,有向边决定信息如何从上游传播到下游。常见拓扑有Chain(线性链)、Tree(分支并行)、Graph(带捷径的图)。Agent数量A是经典的缩放维度——已有研究(Qian et al. 2025)表明增大A可单调提升效果。
本文所有实验都在多智能体DAG上展开,三种拓扑(Chain/Tree/Graph)构成内置的连通度扫描。不理解DAG中边的信息流向,就无法理解Stream协议如何在节点间传递推理步骤。
generate-then-transfer 协议 (Serial)
当前所有主流多智能体框架(AutoGen、MetaGPT、AgentVerse等)共享的通信假设:上游智能体必须生成完整的整段响应后,才把结果传给下游。这迫使下游智能体一直空闲,端到端延迟随流水线深度(智能体数量A)线性增长。本文把它形式化为Algorithm 1:对每个agent a,执行阻塞调用LLM(ctx_a)拿到完整msg,再进入下一个agent。
Serial是本文Stream协议的对照基线,论文的核心贡献就是把传输单元从'完整响应'细化到'单个推理步骤',从而打破这个阻塞假设。
步骤级推理质量的位置依赖 (Position-dependent step quality)
在多步CoT推理中,单步的正确率p_j不是均匀的:Wu et al.(2025)证明CoT准确率存在最优长度,超过后反而下降;过程监督研究(Lightman et al. 2024, Uesato et al. 2022)逐步打分也显示典型模式是'早期步骤可靠、后期步骤退化'(error accumulation)。本文用$\bar{p}$(均匀均值)、$p_{\text{head}}$(前部加权)、$p_{\text{tail}}$(后部加权)三个加权均值刻画整条推理链的质量形状。
这是Stream能同时提速又提效的根本原因。由于早期步骤更可靠,下游只用早期步骤反而避免了后期错误步骤的误导。Theorem 1的六种情形全部由$\bar{p},p_{\text{head}},p_{\text{tail}}$与阈值$p^*=\varepsilon/(\delta+\varepsilon)$的大小关系决定。
流水线并行与KV缓存复用
流水线并行(Pipeline Parallelism)源自分布式训练(Narayanan et al. 2021):把数据切成小块依次送入流水级,让相邻级重叠执行。在LLM推理中,Stream让下游Agent a+1在Agent a还在生成第s+1步时就开始处理第s步,形成流水线。KV缓存复用则指:Stream中每个下游agent被调用S次,前面已发送的步骤自然构成共享前缀,命中KV缓存可用$cc$($0.50/MTok)而非$cp$($5/MTok)计费。
Theorem 2的加速比上界在$v_c\gg v_p\gg v_d$时简化为$AS/(S+A-1)$,Theorem 3的成本比依赖缓存命中。这两个定理和图4、图5的实验结论都建立在理解prefill/decode/cache-read三档速度与价格差异之上。
LLM推理计费与速度三档
现代LLM API把token消费分三档:(1)prefill(输入前缀),速度快$v_p\approx6000$ tok/s、价格$cp=\$5/MTok$;(2)decode(生成),速度慢$v_d\approx39$ tok/s、价格$cd=\$25/MTok$;(3)cache-read(缓存读取),价格$cc=\$0.50/MTok$。由于decode最贵最慢,总成本主要由decode主导。关键比值有$r_{\text{rcpd}}=cp/cd$(prefill/decode价格比)、$r_{\text{vdp}}=v_d/v_p$(decode/prefill速度比)等。
成本分析Theorem 3的核心结论是:当价格decode主导($r_{\text{cpd}}\to0$)时成本比退化为$\rho$(Stream/Serial的输出token数之比),而每个下游agent形成共享前缀+现代serving栈(vLLM/SGLang)提升缓存命中率,使Stream成本优势随基础设施成熟而增强。
研究动机
当前所有主流多智能体推理框架(AutoGen、MetaGPT、AgentVerse、Mixture-of-Agents等)都隐含同一个通信假设:上游智能体必须生成完整响应后才能把信息传给下游。这种'generate-then-transfer'的Serial协议(图1a)把下游智能体逼成纯等待状态,端到端延迟随流水线深度(智能体数量A)线性增长——Agent越多越慢。更隐蔽的问题是:在多步推理中,上游响应里后期步骤往往已经偏离正轨(error accumulation,Wu et al. 2025),Serial却强迫下游智能体同时读到这些错误步骤,反而被误导。具体到实验场景,作者在HMMT 2026数学竞赛基准上观察到,即使把Agent数量从2增到64,GPT-5.4-medium也仅能把Serial的准确率从58.3%提到68.2%,提升代价巨大且延迟难接受。
本文的目标是本文要回答一个反直觉的问题:能否在下游智能体结束之前就把上游的部分输出转发过去?目标有二。第一,把传输单元从'完整响应'细化到'单个推理步骤',在任意DAG拓扑上实现流水线并行,降低端到端延迟。第二,更重要的是,验证并量化这样一个假设——由于多步推理的步骤质量是位置依赖的(早期可靠、后期退化),下游智能体只用可靠的早期步骤反而能得到比读到完整响应更好的推理结果。作者进一步要把这两个优势(效率+效果)用闭式定理刻画清楚,并探明在什么任务条件下该用Stream、Serial还是Single。
与已有工作不同的是，现有工作的空白集中在三点。其一,'流式输出'在单个LLM内部(tong et al. 2026的streaming inference)早已是标配,但智能体之间(inter-agent)的传输单元始终是'完整响应',其效果影响从未被系统研究。其二,'步骤级质量位置依赖'这个现象虽被过程监督和CoT长度研究证实,但一直只用于验证或训练单模型推理链,从没有人把它提升为设计智能体间通信协议的原则。其三,Group Think、speculative actions、staircase streaming等近期inter-agent流式工作,都只把流式当作加速手段,效果提升只是'偶然副产品'。本文是第一个证明流式能在步级粒度上真正提升效果的工作,并给出了预测适用条件的闭式理论(Theorem 1)。
核心方法
直觉上:既然推理链前面步骤靠谱、后面步骤易错,那就让下游'趁热'拿到前面靠谱的部分先动起来,等错误的后半段慢悠悠传到时,下游早已根据靠谱前缀形成自己的推理轨迹,后半段错误就被稀释了——这同时实现了'等得少'(流水线并行)和'算得对'(避开错误尾部)。技术路线上,STREAMMA在Algorithm 2中实现Stream协议:第1步把查询Q放入queue_1;第2步所有A个智能体并发启动;每个智能体循环从自己的FIFO队列取出消息,追加到上下文ctx_a,然后发起流式LLM调用LLM(ctx_a, stream=True)逐步yield出推理步骤;每生成完一步,若是非末尾agent就立即queue_{a+1}.put(step)推给下游(不等待后续步骤),同时把该步追加进自己的ctx_a复用KV缓存。这样Agent_{a+1}处理第s步时,Agent_a还在生成第s+1步,形成流水线。推广到任意DAG时:(i)把Q广播给所有源节点(入度为0),(ii)把每步推给所有直接后继,多前驱节点在消息到达时立即处理,不做跨前驱的同步屏障。
核心创新是把传输单元从'完整响应'细化到'单个推理步骤',这一粒度的选择是本质区别。它比token级或定长token块(Group Think、Multi-Stream LLM)更粗,保留了语义边界;又比预分解骨架(Skeleton-of-Thought)、投机动作(speculative actions)、阶梯式流式(staircase streaming)更细,且不受拓扑约束。结果是Stream成为既不依赖特殊serving、又能在任意DAG上同时提速和提效的协议。与Serial的本质区别在于'消息到达时机大于消息数量':Serial一次性让下游读到干净前缀和错误后缀的混合体;Stream先到可靠前缀,等错误后缀到达时下游推理已成型、错误被稀释。这一机制由Theorem 1严格形式化——用$\bar{p}$(均匀)、$p_{\text{head}}$(前部加权$\frac{2}{S(S+1)}\sum_{j=1}^S(S+1-j)p_j$)、$p_{\text{tail}}$(后部加权$\frac{2}{S(S-1)}\sum_{j=2}^S(j-1)p_j$)三个加权均值与阈值$p^*=\varepsilon/(\delta+\varepsilon)$的大小关系,判定六种情形下Stream/Serial/Single的优劣排序。
方法步骤详情
完整算法分四步。(1)初始化:对链式拓扑,queue_1.put(Q);对一般DAG,把Q广播到所有入度为0的源节点,为每个agent维护ctx_a和FIFO队列queue_a。(2)并发启动:所有A个智能体并行进入循环。(3)流式生成与推送:每个agent从队列取消息追加到ctx_a,发起流式调用逐步yield推理步骤;每完成一步,若a<A(非末节点)就立刻把该步put到下游队列queue_{a+1}(或DAG中所有直接后继),同时把该步追加到自己的ctx_a(为下一次调用形成共享前缀,命中KV缓存)。(4)终止:各agent队列耗尽即结束。理论建模上,对相邻agent对(Agent_a→Agent_{a+1}),把上游第j步正确率建模为$p_j$,正确步骤提升下游$\delta$、错误步骤降低下游$\varepsilon$,得到期望变化$\mu_j=p_j\delta-(1-p_j)\varepsilon=p_j(\delta+\varepsilon)-\varepsilon$,阈值$p^*=\varepsilon/(\delta+\varepsilon)$。Stream使下游在第s步时只看到前s步,Serial看到全部S步,Single无上游上下文——据此求和得到Theorem 1的三个核心恒等式,导出效率(Theorem 2)和成本(Theorem 3)。
技术新颖性
技术新颖性体现在四方面。(1)首次把'传输单元'作为显式设计维度:此前的多智能体研究沿三条正交轴(拓扑、传输内容、智能体规模)推进,但都默认generate-then-transfer,本文揭示了第四条轴——通信粒度。(2)首次把单模型推理中已知的'步骤质量位置依赖'现象提升为协议设计原则,并用闭式Theorem 1给出六种情形的精确优劣排序,使该定理本身可作为'协议选择器'指导工程实践。(3)首个对Stream/Serial/Single三种模式的联合闭式分析:Theorem 1(效果排序)、Theorem 2(加速比上界,在$v_c\gg v_p\gg v_d$时简化为$AS/(S+A-1)$)、Theorem 3(精确成本比$\rho\cdot[r_{\text{cpd}}(\alpha+r_{\text{ccp}}\beta)+1]/[r_{\text{cpd}}(1+r_{\text{po}}/S)+1]$)。(4)发现步级规模定律这一新维度:在固定A下增大S,效果与加速同时单调提升,该维度与Agent数量缩放正交且可叠加,A=64时S从auto的68.2%提到S=64的73.5%(HMMT 2026,GPT-5.4-medium),并带来26.9×墙钟加速。
实验结果
核心发现可分四块。第一,效果全面提升:在Claude Opus 4.6-high上,STREAMMA相对Serial平均+7.3 pp(峰值HMMT 2026 Chain上63.26→85.61,+22.35 pp),相对Single +16.3 pp;GPT-5.4-medium上相对Serial +1.5 pp、相对Single +4.9 pp,8个基准、3种拓扑、2个前沿模型全部Avg格胜出(表1)。第二,增益与Serial基线强度反相关:Serial越弱,Stream提升越大——HMMT 2026上Tree/Chain/Graph的Serial为75.00/63.26/61.75,对应增益+7.20/+22.35/+20.83 pp;接近天花板时(如GPT-5.4 LCB-T约99%)变动不足0.6 pp。这与Theorem 1一致:Serial留下的步骤级错误越多,Stream削弱它们的空间越大。第三,步级扰动实验严格验证Theorem 1(图3):只扰动Agent1尾部步骤时Stream胜,优势+24.0→+19.0→+5.0 pp随扰动尾部延长单调衰减;只扰动头部步骤时Serial胜,曲线近乎平坦低约35 pp;镜像掩码对(Case I的+24.0 pp ↔ Case II/III的−34.0 pp)清楚展示头尾不对称。第四,步级规模定律(图4):A=64下S从auto(68.2%)增到64达到73.5%,墙钟加速26.9×,达到理论上界32.3×的83%。成本方面(图5):Stream×4($2.75,90.9%)Pareto优于Serial×16($5.46,89.4%,4倍replica);无投票时Stream($0.34,78.8%)严格优于Serial($0.40,70.5%),证明优势源自协议本身而非投票放大;KV缓存命中把成本再压约1.7×。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HMMT 2026 (数学竞赛, Claude Opus 4.6-high, Chain) | 准确率% | 85.61 | Serial 63.26 / Single 48.11 | 相对Serial +22.35 pp(全文峰值),相对Single +37.50 pp |
| 8基准平均 (Claude Opus 4.6-high, 3拓扑) | 平均准确率% | 82.61 (三拓扑Avg均值) | Serial 75.28 / Single 66.77 | 相对Serial平均 +7.3 pp,相对Single +16.3 pp |
| AIME 2025 (Claude Opus 4.6-high, Chain) | 准确率% | 92.50 | Serial 80.42 | +12.08 pp |
| 8基准平均 (GPT-5.4-medium, 3拓扑) | 平均准确率% | 72.09 (三拓扑Avg均值) | Serial 70.60 / Single 67.24 | 相对Serial +1.5 pp,相对Single +4.9 pp |
| 步级规模 (HMMT 2026, GPT-5.4-medium, A=64) | 准确率% / 加速比 | 73.5% / 26.9× | S=auto 68.2% / 理论上界32.3× | +5.3 pp效果增益,达到加速上界83% |
| 成本-准确率 (HMMT 2026, Claude Opus 4.6-high, 投票) | 每题成本$ / 准确率% | Stream×4 $2.75 / 90.9% | Serial×16 $5.46 / 89.4% | 半成本、+1.5 pp准确率;Stream×1($0.34,78.8%)严格优于Serial×1($0.40,70.5%) |
局限与改进
作者承认两点局限。其一,STREAMMA在推理步骤粒度上做流水线,只适用于解可分解为步骤的任务(数学、代码、科学),对开放式创意写作或单token分类这类无法步骤分解的任务不适用——但这反映任务结构,也是任何基于CoT的推理范式共性约束。其二,Stream协议并非在所有步骤正确率分布下最优:Theorem 1刻画了六种情形,只有head-strong/tail-weak(Case I)时Stream严格最优;若任务呈现自纠错(Case II.b:早期错、后期对)或全部低质(Case III),Serial或Single可能反超。不过作者强调Theorem 1可作为'协议选择器'直接判断。我自己另观察到三点:(a)实验仅用两个前沿模型(Claude Opus 4.6-high、GPT-5.4-medium),开源/小模型上的表现未验证,而步骤质量分布可能因模型而异;(b)步级扰动实验(图3)仅用了6个代表性4位掩码、A=2的链,更大A、更长S、更复杂拓扑下的扰动行为未充分扫描;(c)成本分析依赖现代serving栈的KV缓存命中率持续提升这一外部假设,若实际部署中缓存命中率不高(如多租户混部),Theorem 3的成本优势会被削弱。
独立分析的弱点
弱点一:Stream在Case II.b(自纠错)和Case III(全低质)情形下会输给Serial甚至Single,图3的头部扰动实验直接显示可落后达−36.0 pp。改进方向:可设计自适应协议——先轻量估计上游$p_{\text{head}}/\bar{p}/p_{\text{tail}}$分布,再用Theorem 1在线选择Stream/Serial/Single,而非全局固定Stream。弱点二:步级规模定律需要'通过提示词显式解锁大S'(文中指出LLM不会自主增大步数,S=auto远落后于大S),这意味着方法对prompt工程敏感、可复现门槛变高。改进方向:研究如何让模型自动判定任务难度并自适应放大S,降低对人工提示的依赖。弱点三:理论上$\delta,\varepsilon$被假设为位置无关(向量化情形结论相同但未给出数值估计),实际$p_j$分布可能非典型。改进方向:在更多真实任务上拟合$p_j$剖面,验证Theorem 1六情形的实际出现频率,并给出'何时该用Stream'的经验判据。弱点四:实验仅链/树/图三种4-agent DAG,更大规模(如A=128)、更稠密图、含环路反馈的拓扑未覆盖;成本分析也只在A=3、S=3的链上做。改进方向:扩展到动态生成的拓扑(如AFLOW)和更长链。弱点五:仅与Single、Serial两种'基线协议'对比,未与Group Think、speculative actions、staircase streaming等近期流式加速方法做正面效果/速度对比,难以量化相对增量。
未来方向
作者明确提出的方向:把Theorem 1发展成任务级'协议选择器'——给定任务的步骤正确率剖面即可直接判定最优协议。基于成果可延伸的方向有:(1)步级规模定律与Agent数量规模定律正交可叠加,提示一个二维联合缩放律(A,S联合最优),可推导给定算力预算下的最优(A,S)组合;(2)将Stream与所有intra-agent加速(speculative decoding、Group Think、Multi-Stream LLM)正交叠加,探索'步间+步内'双重流式的复合加速上界;(3)把通信粒度从'步骤'进一步细化到'子步骤'或'KV-cache块'(呼应Cache-to-Cache、KVCOMM工作),研究更细粒度下Theorem 1是否仍成立;(4)在强化学习训练范式下,利用Stream产生的部分轨迹做在线PPO/GRPO,可能同时优化$p_j$剖面与协议选择;(5)探索把Stream扩展到非推理任务(如多智能体工具调用、代码协作)时是否需要重新定义'步骤'边界。
复现评估
复现友好度较高。作者声明project page与代码公开可用。关键设置都披露:8个基准(AIME 2025/26、HMMT 2026、GPQA-Diamond、HLE、LiveCodeBench的LCB-G/E/T)经OpenCompass评测,配置文件在App. A.7;两个前沿模型Claude Opus 4.6-high与GPT-5.4-medium按各provider API默认设置;LLM-as-judge用GPT-5.4;系统提示在App. A.9;每个{backbone,topology}格3次重复,AIME/HMMT小样本集增至8次。Stream相对Serial唯一的提示差异是'下游系统提示追加一行END_STEP边界、根agent加一段solver前导',其余提示/解码超参/运行时设置完全一致,排除了prompt工程混淆。算法伪代码(Algorithm 1-2,DAG版Algorithm 3)清晰,DAG推广只需广播Q到源节点+把步推给所有直接后继。复现难点:(1)依赖闭源前沿模型API,成本不低(图5显示HMMT 2026单题成本$0.34-$5.46,大规模缩放实验算力可观);(2)步级规模定律依赖显式prompt解锁大S,文中未给出该提示模板细节,需查代码;(3)KV缓存命中率高度依赖实际serving栈(vLLM/SGLang)与负载,本地复现的加速比与成本可能与论文有偏差。
论文图表
用对比示意图展示两种通信协议:Serial协议下下游agent必须等上游完整响应才能开始;Stream协议下上游每生成完一个推理步骤就立即转发给下游,使相邻agent的执行时间重叠,形成流水线。图右上角标注'😊: Effective + Efficient!',直观传达本文双重收益的卖点。
这是全文的图示核心,一句话讲清Stream与Serial的本质区别——传输单元从'完整响应'变成'单个步骤'。理解了这张图就抓住了论文的全部直觉。
并排给出两种协议的伪代码。Algorithm 1(Serial):对a=1..A顺序执行,ctx_a.append(msg),阻塞调用LLM(ctx_a)拿完整msg。Algorithm 2(Stream):queue_1.put(Q)后所有agent并发;每个agent从队列取msg追加ctx_a,发起流式LLM(ctx_a,stream=True)逐步yield;每完成一步若a<A就queue_{a+1}.put(step)不等待,同时ctx_a.append(step)复用KV缓存。
伪代码是方法可复现的精确依据,展示了Stream如何用一行'push; no wait'(line 11)实现流水线,以及line 14的KV缓存复用如何降低成本。这是把直觉落地为系统的关键证据。
给出Stream协议在任意有向无环图上的完整伪代码:把Q广播给所有源节点(入度0),每个agent并发启动,从各自队列取消息追加ctx_a,流式生成步骤,每步推给所有直接后继节点;多前驱节点在消息到达时立即处理,不做跨前驱同步屏障,从而支持Chain/Tree/Graph及更复杂拓扑。
证明Stream不限于线性链,可无缝推广到任意DAG拓扑——这是论文主张'适用于任意多智能体DAG'与表1中Tree/Graph结果的算法依据,保证方法的通用性。