← 返回 2026-04-09

Combee:面向自改进语言模型智能体的可扩展提示学习 Combee: Scaling Prompt Learning for Self-Improving Language Model Agents

Hanchen Li, Runyuan He, Qizheng Zhang, Changxiu Ji, Qiuyang Mang, Xiaokun Chen, Lakshya A Agrawal, Wei-Liang Liao, Eric Yang, Alvin Cheung, James Zou, Kunle Olukotun, Ion Stoica, Joseph E. Gonzalez 📅 2026-04-05 👍 31 2026-07-13 08:36
ACE GEPA LLM智能体 MapReduce 上下文学习 并行扩展 提示学习
arXiv HuggingFace PDF

用Map-Shuffle-Reduce并行扫描解决prompt learning的上下文过载

前置知识

提示学习 (Prompt Learning) 与 generate-reflect-update 循环

提示学习指推理时不更新模型权重,让智能体从执行轨迹、工具调用日志、文档中提炼任务知识,沉淀到playbook/规则/系统提示中。经典循环是:Agent执行→Reflector提取insight→Curator合并到playbook→下一轮读playbook再执行。

Combee要扩展的对象就是这类方法,理解'不更新权重'与'反复迭代'才能明白Combee改造的是Reduce阶段,不会误以为它是一种模型微调。

ACE 与结构化 Playbook

ACE用结构化playbook(条目化的helpful/harmful标记)代替整段system prompt,curator在每条entry上打分h/r(被helpful/有害引用次数),每轮把reflections累加成bullet形式的strategies,知识颗粒化。

Combee在ACE上的prototype直接消费playbook条目,不懂entry-level marking机制就读不懂Figure 2里'高batch下h≥3的entry消失'这一核心证据,也无法理解Combee保留6887 token vs naive 526 token的差异。

GEPA 与基于反馈的Prompt优化

GEPA用演化搜索优化system prompt,把执行反馈作为fitness signal,通过Pareto-aware mutation生成新prompt candidate,在candidate pool中迭代选优,接近传统prompt engineering的连续优化。

Combee把framework-agnostic作为卖点,声称在GEPA上同样有效,FiNER/Formula上GEPA+Combee vs GEPA+summarization的对比(图4)是验证这一泛化能力的关键实验,不理解GEPA的演化搜索范式就读不出对比意义。

Parallel Scan (Blelloch 1990) 与 MapReduce for LLM

Parallel scan是并行计算里的prefix-sum算法,核心思想是把'reduce all'分层tree化:先把n分p组各组内reduce,再把p个结果两两合并。Zhou et al. 2024把它推广到LLM长文档:切chunk并行summarize再merge。

Combee的Reduce阶段直接借鉴Blelloch parallel scan的subgroup size=√n策略,以及long-doc MapReduce的hierarchical LLM merge;没接触过这两个原语会误以为Combee的'两层聚合'是ad-hoc设计。

Context Overload (上下文过载)

本文提出的新术语,指aggregator LLM一次性消费过大量reflections时进行'有损压缩'——保留泛化pattern而丢弃具体高价值entry,即使在128K context下Formula batch 100的accuracy也从87.0%掉到72.5%。

Context Overload是Combee的problem statement,需区分'context window不够'与'单次context处理能力不够'两种瓶颈,Combee的subgroup + augmented shuffle设计针对后者而非简单truncation问题。

研究动机

ACE/GEPA等prompt learning方法的generate-reflect-update循环为单agent或低并行度设计,每次迭代只消化1条trajectory的reflection。但agentic系统规模爆炸,工业界(Cursor、Anthropic Claude Code)与学术界(ChatDev、MetaGPT)把多agent并行部署作为标准做法。朴素扩展batch size到几十上百会遇到context overload:aggregator LLM一次性面对几十上百条reflection时倾向于只保留泛化pattern而丢弃具体高价值entry。Formula上batch size从1涨到100,accuracy从87.0%掉到72.5%,update数量从264锐减到21;FiNER上batch 125时accuracy从76.0%掉到70.6%,update从246降到11。

本文的目标是本文目标是设计一个让prompt learning在高并发下既快又好的分布式框架Combee,实现三件事。第一,把batch size推到几十甚至上百而accuracy不退化:AppWorld上Combee bs=40取得TGC 70.8/SGC 60.7 vs ACE bs=1的66.1/50.0,Terminal-Bench 2.0上Combee bs=30达到35.6% vs ACE bs=1的37.9%。第二,训练时间拿到数量级加速:Terminal-Bench 2.0上17× speedup(42.4分钟缩到2.4分钟),AppWorld上12× speedup(86分钟缩到7分钟)。第三,总体成本不显著增加,AppWorld上Combee cost $1.67 vs ACE bs=1的$1.62,Terminal-Bench上$0.17 vs $0.24基本可比。

与已有工作不同的是，本文的独特切入角度是首次把Map-Shuffle-Reduce + parallel scan + augmented shuffle原语系统引入prompt learning的aggregation阶段,区别于既有的两条思路。第一条是prompt-level简单缓解——Summarization先把reflections总结成短文、Top-K Retrieval把embedding聚类后只取代表reflections喂给curator,但这两种方法只是'在LLM入口前把信息压扁',并没改变aggregator在单步中要承担'理解百条reflections'这一根本瓶颈,因此实验中它们的generation quality远不如Combee(图4/5中Top-K和Summarization在accuracy上比Combee低10%-30%)。第二条是直接沿用sequential方法做parallel,导致curator只输出泛化update。

核心方法

Combee模仿分布式MapReduce把'reflect→update'拆成Map、Shuffle、Reduce三阶段。Map派出n个worker agent并行生成trajectory与对应reflection;Shuffle阶段对所有reflection做augmented shuffle(每条复制p=2次后再random shuffle),增加每条reflection被不同reducer worker看到的概率;Reduce阶段用hierarchical parallel scan聚合成playbook更新——先按$\lfloor\sqrt{n}\rfloor$把n条reflection切成k组,每组$\sqrt{n}$条reflection过一遍curator得到k个local update,再把k个local update聚合为1个global update,类似Blelloch parallel scan的prefix-sum思想与Zhou et al.的long-doc MapReduce LLM processing。

Combee的核心创新是把'分布式并行扫描+augmented shuffle+动态batch size controller'三个原语组合起来,本质区别于已有方法的关键点有三。1) 朴素parallel scaling把bs=1的prompt直接套到bs=100——aggregator的'有损压缩'是结构性的,无法靠加context window解决,Combee把'context update'从单步改成hierarchical aggregation。2) Augmented shuffle借鉴self-consistency思想——naive scaling里一条reflection'幸存'到curator的概率是1/n,augmented shuffle后每条reflection至少有p次进入curator的机会。3) Dynamic batch size controller用power-law延迟曲线拟合后挑'边际epoch time下降低于peak slope的1.6%'对应的batch size,把batch size选择做成数据驱动的runtime决策。

方法步骤详情

Combee训练流水线包括四个阶段。Map阶段派出n个worker agent并行生成trajectory与对应reflection,reflection为短文本insight;Augmented Shuffle阶段把全部reflection各复制p=2次后shuffle成2n条augmented reflection,再随机分配到floor(sqrt(n))个reducer子组,提高curator看到具体entry的概率;Parallel Scan Aggregation阶段每个reducer子组独立调用curator LLM把sqrt(n)条reflection合并为local context update,第二层aggregator再把这些local update合并为1个global context update写回playbook,wall-clock从O(n)降到O(log n);Dynamic Batch Size Controller阶段在候选batch size上trial测delay,拟合power-law后挑'边际epoch

技术新颖性

技术新颖性集中在三点。第一,把'层次聚合'显式引入prompt learning的reflection阶段,提出subgroup size = $\lfloor\sqrt{n}\rfloor$的两层parallel scan,n=100时每层约10条reflection——比单层全量聚合(21条update)能多保留7-10倍的具体entry,比固定bs=5/10(保留123/121条update)又大幅节约时间,subgroup size = $\sqrt{bs}$的选择在Figure 7中被实验验证为最优区间。第二,augmented shuffle作为与Top-K Retrieval/Summarization正交的orthogonal设计被独立ablate(图7):在Formula上开shuffle vs 不开shuffle的accuracy差距在subgroup size=6-20范围内稳定为+5%到+10%量级,说明reflection redundancy是防止curator在长context里'丢细节'的关键。

Overall design of Combee (top) vs. naive scaling (bottom).
Figure 3: Overall design of Combee (top) vs. naive scaling (bottom).

实验结果

核心结果分四组。1) AppWorld(Table 1, ReAct agent):bs=1 sequential花86分钟取得TGC 66.1/SGC 50.0/Avg 58.1(cost $1.62),朴素ACE在bs=10时accuracy升到65.4但bs=20/40跌到58.1/55.7,playbook从1578 token缩到526 token,Combee在bs=40时TGC 70.8/SGC 60.7/Avg 65.8,仅花7分钟(12× speedup,cost $1.67),playbook 6887 token,比bs=1还高4.4倍。2) Terminal-Bench 2.0(Table 2, Terminus-2):bs=1 sequential需42.4分钟取得37.9% accuracy,朴素ACE bs=5/10/30掉到29.9%/33.3%/31.0%,Combee bs=30时accuracy回升到35.6%,训练2.4分钟(17× speedup),cost $0.

Parallel prompt learning results with ReAct agent for AppWorld.
Table 1: Parallel prompt learning results with ReAct agent for AppWorld.
Parallel prompt learning results with Terminus-2 agent for Terminal-Bench 2.0.
Table 2: Parallel prompt learning results with Terminus-2 agent for Terminal-Bench 2.0.
Summary of improvement snapshot. Combee achieves close-to-optimal quality with significantly reduced training time by increasing the content in the prompt learnt under high parallelism. Experiments with DeepSeek-V3.1 on AppWorld.
Figure 1: Summary of improvement snapshot. Combee achieves close-to-optimal quality with significantly reduced training time by increasing the content in the prompt learnt under high parallelism. Experiments with DeepSeek-V3.1 on AppWorld.
Combee achieves superior quality-delay trade off on GEPA for finance benchmarks.
Figure 4: Combee achieves superior quality-delay trade off on GEPA for finance benchmarks.
Combee achieves superior quality-delay trade off on ACE for finance benchmarks.
Figure 5: Combee achieves superior quality-delay trade off on ACE for finance benchmarks.
Combee's dynamic batch size adaptation saves delay besides maintaining high accuracy.
Figure 6: Combee's dynamic batch size adaptation saves delay besides maintaining high accuracy.
Combee's augmented shuffling improves learning robustness across subgroup sizes used for prompt updates.
Figure 7: Combee's augmented shuffling improves learning robustness across subgroup sizes used for prompt updates.
查看结构化数据
任务指标本文基线提升
AppWorld 闭环智能体任务 (ReAct agent) TGC / SGC / Avg (Task / Scenario Goal Completion, 越高越好) Combee bs=40: TGC 70.8 / SGC 60.7 / Avg 65.8, 训练7分钟, 成本$1.67, playbook 6887 tokens ACE bs=1 sequential: TGC 66.1 / SGC 50.0 / Avg 58.1, 86分钟, $1.62, playbook 1578 tokens; 朴素ACE bs=10 best: Avg 65.4, 19分钟; 朴素ACE bs=40: Avg 55.7, playbook仅526 tokens (上下文过载退化) vs ACE bs=1: 12× 训练时间加速, Avg 准确率绝对提升+7.7且playbook扩大4.4倍; vs 朴素ACE bs=40: 准确率+10.1, 成本基本持平, 证明在相同batch size下Combee解决了朴素scaling的退化问题
Terminal-Bench 2.0 命令行agent任务 (Terminus-2 agent, 29个held-out task平均) Average Accuracy@1 (3次平均, 越高越好) Combee bs=30: 35.6%, 训练2.4分钟, 成本$0.17, playbook 8023 tokens ACE bs=1 sequential: 37.9%, 42.4分钟, $0.24, playbook 9067 tokens; 朴素ACE bs=5: 29.9% (甚至低于无context-learning baseline 32.2%); bs=10/30分别33.3%/31.0% vs ACE bs=1: 17× 训练时间加速, 准确率仅-2.3但成本节省29%; 关键的是在bs=30处Combee比朴素ACE高+4.6 accuracy, 把朴素scaling崩溃的batch size从'不可用'变回'可用'
Formula 数值推理金融任务 (ACE framework) Accuracy (横轴训练时间, 纵轴accuracy, Pareto frontier) Combee: 训练<2000s即达到accuracy 0.95+, 显著Pareto最优 朴素ACE bs=5/10/20/40/50 全部需要4000-6000s才能达到相近accuracy, 且最终accuracy普遍低于Combee; ACE+TopK与ACE+Summarization达到相近accuracy需~4000-6000s, 远不如Combee高效 在固定accuracy target下Combee训练时间约为固定batch baseline的1/2-1/3, 同时在固定training time下accuracy高出10%-20%
FiNER 细粒度XBRL实体类型任务 (ACE framework) Accuracy (Pareto frontier) Combee: 训练<3000s达到accuracy 0.78-0.80区间 朴素ACE bs=5/10/20/50/60 需要5000-8000s; bs=100直接掉到0.65-0.70区间, 甚至低于Base LLM 在达到可比accuracy时Combee训练时间缩短2-3倍, 并把'batch=100会崩溃'的朴素scaling红线推到了batch=40-60区间
Formula 数值推理 (GEPA framework) Accuracy vs 训练时间 Combee+GEPA: Pareto frontier, <2000s达accuracy 0.95+ GEPA+Summarization与GEPA+TopK均需4000-6000s, 且accuracy在0.90-0.95之间 Combee在GEPA framework上同样体现quality-delay优势, 验证framework-agnostic
FiNER 实体类型 (GEPA framework) Accuracy vs 训练时间 Combee+GEPA: 训练<3000s达accuracy 0.75-0.80 GEPA+TopK与GEPA+Summarization在5000s+才能达到相近水平; bs=100 GEPA甚至掉到0.60以下, 低于Base LLM baseline Combee保持Pareto最优, 训练时间节省近50%

局限与改进

作者没有专设Limitations小节,但从实验细节可观察到以下局限。1) 评估任务集中在4个——AppWorld、Terminal-Bench 2.0、FiNER、Formula,没有覆盖SWE-bench、GAIA、HumanEval、ToolBench、WebArena等更广泛agentic benchmark,泛化到长horizon research agent、multi-step web agent、multi-turn对话系统的效果未知。2) 基础模型默认DeepSeek-V3.1(128K context),唯一额外模型验证是GPT-OSS 120B(Figure 8),没有Llama、Qwen、Claude等闭源/开源模型的对比,prompt learning对base LLM家族的sensitivity未充分消融。

独立分析的弱点

独立审视后的弱点有四。1) parallel scan是固定的两层floor(sqrt(n))结构,当batch size扩展到几百甚至上千时两层可能不够——n=1000时floor(sqrt(n))≈31,单层aggregator依然面临过载风险,改进方向是引入multi-level parallel scan with adaptive depth。2) augmented shuffle默认p=2且shuffle是uniform random——但reflection的重要性不均匀(h≥3的entry对final accuracy贡献最大,见Figure 2证据),改进方向是按predicted helpfulness做importance-weighted duplication。3) dynamic batch size controller只对单个task tuning,没有跨task迁移机制,每个新task都要profile一次候选batch sizes,改进方向是meta-learning the controller。

未来方向

作者隐含的方向是'让prompt learning可scale'和'让Combee成为prompt learning infrastructure',可延伸出五条未来研究。1) 把Combee扩展到on-policy online learning:目前Combee假设有N_train条训练query,pipeline在固定training set上迭代;未来可让agent在deployment时持续从新trajectory学习,Combee的parallel scan天然支持streaming-style incremental aggregation,关键是设计reflection deduplication与forgetting机制避免playbook无限膨胀。2) Multi-modal prompt learning:Combee目前处理text-only reflection,未来可扩展到code、image、tool-call trace等多模态entry,aggregator需要做modal-aware grouping。

复现评估

开源情况:作者在文末明确'the source code will be released upon publication'并在§1中给出https://github.com/gepa-ai/gepa 和 https://github.com/ace-agent/ace 链接,完整复现是可能但需等待release;目前code部分已发布,prototype可直接获取。数据可获得性:AppWorld的训练集90 task、Terminal-Bench 2.0的89 task及作者released的60条Deepseek 3.2 trajectories、FiNER、Formula都是公开benchmark。算力需求:Combee的'sequential baseline'在AppWorld上花86分钟(cost $1.62),Terminal-Bench sequential 42.4分钟(cost $0.

论文图表

Context overload from naive scaling. As batch size increases, the aggregator LLM produces monotonically fewer and less useful context updates, directly degrading final accuracy across benchmarks.
Figure 2: Context overload from naive scaling. As batch size increases, the aggregator LLM produces monotonically fewer and less useful context updates, directly degrading final accuracy across benchmarks.

左右两个子图对应Formula和FiNER:左图Formula上batch size 1→5→10→20→50→100时,#Updates从264→199→121→97→47→21单调下降,accuracy从87.0%→72.5%同步下降;右图FiNER上batch size 1→5→20→50→125时,#Updates从246→184→110→39→11单调下降,accuracy从76.0%→70.6%同步下降。两条曲线都呈急剧负斜率,证明context overload是结构性现象。

这是Combee problem statement的定量证据,直接展示朴素scaling为什么行不通,是理解Combee为何提出parallel scan+augmented shuffle的关键motivation图,所有后续设计的必要性都从这张图出发。

Figure 8: Combee achieves similar improvement with GPT-OSS 120B.

左右两图对应ACE和GEPA在Formula上的实验,base LLM换成GPT-OSS 120B:横轴Training time(s,0-25000),纵轴Accuracy(0.50-1.00),Combee(实心)位于左上方,Normal parallel(空心)位于右下方,Combee bs=50/100点对accuracy贡献最大。整体pattern与DeepSeek-V3.1一致,只是training time scale拉长到25k。

这是model-agnostic的关键证据,证明Combee在DeepSeek-V3.1之外的GPT-OSS 120B上同样有效,补足了base LLM sensitivity的最后一环,让'Combee作为prompt learning infrastructure'的claim更稳健。