AgentStream：自演化LLM智能体在流式任务下的统一评估框架

统一流式评估框架揭示自演化智能体收益受场景、模型与方法的共同制约。

前置知识

自演化智能体 (Self-Evolving Agent)

指部署后不再静止、而是从自身累积交互经验中持续改进的 LLM 智能体范式。按被更新的组件可分为四类：演化提示上下文(如 ACE 把经验凝练成策略注入 prompt)、演化结构化记忆(如 A-Mem 用 Zettelkasten 索引记忆条目)、演化可复用技能库(如 AutoSkill 提取并版本化维护技能)、以及演化整套脚手架 harness(联合更新系统提示、技能与记忆)。改进驱动来自强化学习、进化算法、轨迹蒸馏或把文本反馈视作梯度类信号的方法。

全文围绕“自演化是否在真实流式部署中真的有益”展开，不理解四类演化组件的分工，就无法看懂为何要把 ACE、A-Mem、ReasoningBank、AutoSkill、Harness 五种方法并列对比。

独立评估 vs 流式评估 (Independent vs Streaming Evaluation)

独立评估是当前主流基准范式：每个任务 $q_t$ 在 $S=\emptyset$ 的空状态下被独立求解，性能直接聚合，任务间无任何跨任务状态传递。流式评估则把任务组织成可配置的流 $Q=\{q_1,\dots,q_N\}$，智能体在每完成一个任务后把交互轨迹 $\tau_t=(q_t,h_t,y_t,r_t)$ 蒸馏成持久经验并更新演化状态 $S_t=\text{Evolve}(S_{t-1},\tau_t)$，下一个任务基于 $S_{t-1}$ 求解。演化收益定义为 $\Delta=\text{Perf}(M,Q,S)-\text{Perf}(M,Q,\emptyset)$。

这是论文的核心矛盾点：所有自演化方法报告的改进都来自独立评估，一旦搬到带跨任务状态的流式设定，这些改进是否还在？AgentStream 正是为此设计。

演化状态与演化收益 (Evolution State & Gain)

演化状态 $S_t$ 封装前 $t$ 次交互沉淀的经验(精炼上下文、记忆条目、可复用技能或修订后的 harness)，初始 $S_0=\emptyset$。对任务 $q_t$，智能体基于 $S_{t-1}$ 执行多步交互，生成动作-观测执行历史 $h_t=\{(a_{t,i},o_{t,i})\}$ 与最终解 $y_t=M(q_t,h_t\mid S_{t-1})$，再反思得到自生成反馈 $r_t$ 并更新状态。关键约束：测试时无任何真实标签，演化完全依赖执行结果与自评等内蕴反馈。演化收益 $\Delta$ 为正表示净改进、为负表示经验引入干扰。

理解 $S_t$ 的传递方式(独立/顺序/交错)与 $\Delta$ 的定义，是读懂三大场景设定和所有结果表的基石。

上下文集成方法 vs 检索式方法 (Context-Integrated vs Retrieval-Based)

按经验与执行上下文耦合的紧密程度划分。上下文集成方法(如 ACE、Harness)把经验直接折叠进 agent prompt，实现紧耦合的领域特化策略，但易受跨域干扰。检索式方法(如 ReasoningBank、AutoSkill、A-Mem)把经验存于外部库，仅按当前任务检索相关条目注入，靠检索门控屏蔽跨域噪声。

论文最核心的方法×场景结论正是沿这条分界线展开：上下文集成法适合 Isolated，检索式法适合 Interleaved。掌握这一二元分类，第 5.4 节的全部规律即可一目了然。

研究动机

现有 LLM 自演化智能体的研究几乎都采用“独立评估”：每个任务在 $S=\emptyset$ 的空状态下被单独求解，性能直接聚合，任务间不共享任何状态。即便少数工作(如 SWE 流式、单一演化组件的流式评测)开始走向流式设定，也只在单个基准上流式跑、且仅评测单一演化组件，没有系统考察不同演化组件如何跨域迁移经验。这导致一个根本性盲区：文献中报告的自演化改进(例如 ACE、A-Mem 在各自独立评测上的正向增益)在真实部署——任务横跨多领域、缺乏明确任务边界与监督——的情况下是否仍然成立，目前完全不清楚。该问题无法仅凭独立评估回答，因为它需要联合考虑基础模型能力、自演化方法架构和任务流结构三个维度。

本文的目标是构建一个统一的流式评估框架 AgentStream，把多个 agentic 基准的任务组织成可配置的任务流，在测试时实例化 Isolated、Sequential、Interleaved 三种场景，对演化状态的“作用域”和“领域组成”进行系统性控制。在此框架上对 3 个前沿模型(GPT-5.4、Gemini 3.1 Pro、Claude Opus 4.7)×5 种代表性自演化方法(ACE、A-Mem、ReasoningBank、AutoSkill、Harness)×3 种流式场景进行组合式评测，解耦“模型能力、方法架构、流式结构”各自对自演化的贡献，并把观察提炼成可操作的方法选型指导：哪些模型该用自演化、哪些场景选哪类方法。

与已有工作不同的是，本文的独特切入点是“三维度联合组合分析”而非任一单一维度。既有工作要么只看单一基准的流式、要么只对比单一演化组件；AgentStream 首次把领域组成(域内/顺序/交错)与演化状态作用域作为可分离的设计维度，并提出与难度无关的三场景设定——Isolated 去除跨域效应做受控的域内学习测量，Sequential 引入有序域迁移测试前向迁移，Interleaved 在单流内混洗全部基准任务测试检索与抑制干扰能力。这种解耦使作者能精确归因“自演化何时有用、受什么制约”，而非笼统给出平均结论。

核心方法

直觉上，论文把“自演化是否奏效”拆成三个可独立调节的旋钮：基础模型 $M$、自演化方法的演化组件(上下文/记忆/技能/harness)、任务流的领域组成。技术路线是：以一个有状态 agent 串行处理任务流 $Q$，每完成 $q_t$ 后把交互轨迹 $\tau_t=(q_t,h_t,y_t,r_t)$ 经 Evolve 蒸馏为持久经验并更新 $S_t$；对下一个任务用 $y_t=M(q_t,h_t\mid S_{t-1})$ 求解。在此底座上，固定“有状态 agent + 反馈驱动 Evolve”不变，仅改变 $Q$ 的构成和 $S_t$ 的作用域，从而实例化三种场景。评测采用 $N=50$/基准、3 个随机种子洗牌任务序、各基准原生打分管线，判官模型与用户模拟器统一为 GPT-5.4，嵌入用 all-MiniLM-L6-v2，整体基于 Exgentic 框架标准化异构 agent 接口。

核心创新是用“演化状态作用域 × 任务流领域组成”的解耦设计来定义三种场景，而非按预期难度排序。Isolated 给每个基准独立 agent 实例与独立状态 $S^{(k)}$，无跨基准迁移；Sequential 用单个 agent 按 $B_1\to B_2\to\cdots\to B_K$ 固定序处理，流为拼接 $Q=Q^{(1)}\oplus\cdots\oplus Q^{(K)}$，状态跨边界保留；Interleaved 用单 agent 接收 $Q=\text{shuffle}(Q^{(1)}\cup\cdots\cup Q^{(K)})$，单一共享状态被所有领域无差别更新。这与既有“按难度递增排序”的思路本质不同——三场景分别捕获域内学习、有序域迁移与最大多样性下的检索干扰抑制，目的是做受控归因而非模拟某个真实部署顺序。本质区别在于：作者把“流式结构”当作可组合的实验因子，而非黑盒的部署环境。

方法步骤详情

流程为：(1)从 AppWorld(test-challenge)、BFCL(多轮 base)、BrowseComp-Plus、HLE、SWE-bench Verified、Tau2(telecom)各采样 $N=50$ 任务构成 $Q^{(k)}$。(2)选基础模型 $M$∈{GPT-5.4-medium, Gemini 3.1 Pro-medium, Claude Opus 4.7-high}。(3)选自演化方法(ACE/A-Mem/ReasoningBank/AutoSkill/Harness)并在 Exgentic 框架内适配为测试时设定。(4)按场景构造流与状态作用域：Isolated 每基准独立状态；Sequential 按 AppWorld→BFCL→BrowseComp+→HLE→SWE→Tau2 拼接且状态跨边界；Interleaved 全任务 shuffle 单一共享状态。(5)每任务 agent 基于 $S_{t-1}$ 多步交互产生 $h_t$ 与解 $y_t=M(q_t,h_t|S_{t-1})$，再 Evolve 出 $S_t=\text{Evolve}(S_{t-1},\tau_t)$，$\tau_t=(q_t,h_t,y_t,r_t)$。(6)各基准原生打分管线评测，判官与用户模拟统一 GPT-5.4，嵌入 all-MiniLM-L6-v2。(7)3 随机种子洗牌任务序、任务集固定、各场景内任务暴露序一致以便可比。(8)按 $\Delta=\text{Perf}(M,Q,S)-\text{Perf}(M,Q,\emptyset)$ 算收益，统计正收益占比、平均增益与 Top-1 率。

技术新颖性

新颖性有三层。其一，AgentStream 是首个把多个 agentic 基准统一成可配置流式评估、并沿“场景×方法×模型”三维度做系统组合评测的框架；此前流式工作局限于单基准、单演化组件。其二，三场景设计刻意“与难度无关”，分别靶向域内学习、有序域迁移与多样性干扰，使得跨域效应可以被干净归因，而非被难度混淆。其三，把“经验与上下文耦合紧密程度”这一单一设计选择识别为决定方法×场景交互的主轴——上下文集成法(ACE/Harness)适合 Isolated、检索式法(ReasoningBank/AutoSkill/A-Mem)适合 Interleaved——这一可解释规律此前无人系统给出。整篇是“评测+分析”型贡献，不提出新方法，而是重新定义问题的可分析维度。

**Figure 2**: Three representative streaming scenarios instantiated in AgentStream.

实验结果

Table 2 显示自演化并非普遍有益：45 配置中 Isolated 正收益 75.7%(34/45)、平均增益 $+1.37\%$、Top-1 率 38%，最可靠；Sequential 与 Interleaved 正收益率同为 62.3%，但 Interleaved 增益 $+0.90\%$、Top-1 33% 反超 Sequential($+0.75\%$、29%)，15 直接对比中 Interleaved 10 次领先，反驳“交错最难”直觉。Table 3 揭示能力门控：GPT-5.4 三场景全负($-0.35\%\sim-0.78\%$)，仅 4/15 超基线；Gemini 14/15 正收益($+1.98\%\sim+2.71\%$)，Claude 13/15($+0.90\%\sim+1.75\%$)。且收益对模型强度非单调：Gemini 平均 $+2.37\%$ 反超更强 Claude 的 $+1.23\%$，Interleaved 下差距扩到 1.51%。Table 4 表明方法敏感性随能力递减——最佳/最差方法差在 GPT-5.4 为 5.3%、Gemini 2.0%、Claude 仅 0.9%；方法选择决定模型间差距：平均演化把 GPT-5.4 与 Claude 差距从 18.1% 扩到 20.0%，配各自最优方法(A-Mem 提升 GPT 到 48.8%)可收窄到 16.8%，且最优方法不跨模型迁移。Table 5 给方法×场景规律：上下文集成 ACE 在 Isolated 达 $+2.28\%$ 但 Interleaved 跌到 $-1.26\%$；检索式 ReasoningBank/AutoSkill/A-Mem 在 Interleaved 各达峰值(A-Mem $+2.22\%$)，9 配置中 7 个 Interleaved 更高。

**Table 1**: Main results (%) of self-evolving methods across three streaming scenarios, averaged over three random seeds.

**Table 2**: Positive rate and average evolution gain (%) over vanilla baseline for each streaming scenario.

**Table 3**: Positive rate and average evolution gain (%) over vanilla baseline for each model under each streaming scenario.

**Table 4**: Average accuracy (%) of each self-evolving method under each model, averaged across three streaming scenarios.

**Table 5**: Average evolution gain (%) of self-evolving methods across three streaming scenarios, aggregated over all models.

**Table 6**: Average accuracy (%) of each self-evolving method across three streaming scenarios and three models.

**Figure 3**: Average accuracy for each model under the three streaming scenarios.

查看结构化数据

任务	指标	本文	基线	提升
六基准流式自演化评测(平均准确率)	6 基准平均准确率(%) 与对 vanilla 基线的演化收益 Δ	Claude Opus 4.7 + ACE 在 Isolated 达 67.0% 平均(6 基准全最高档);Gemini 3.1 Pro + ACE 在 Sequential 达 62.0%;Interleaved 下 A-Mem 在 GPT-5.4 达 50.4%	vanilla 平均: GPT-5.4 45.8%, Gemini 3.1 Pro 56.6%, Claude Opus 4.7 63.9%	Isolated 全局平均演化收益 +1.37%,最强单点: Claude+ACE Isolated 较 vanilla +3.1%;但 GPT-5.4 全场景负收益,需模型能力达标才有正迁移
跨场景可靠性(正收益占比/Top-1 率)	超 vanilla 配置占比 / Top-1 配置占比 / 平均增益 Δ	Isolated: 34/45 正收益,38% Top-1,+1.37% 增益	Sequential 28/45 正收益,29% Top-1,+0.75%;Interleaved 28/45 正收益,33% Top-1,+0.90%	Isolated 是最可靠场景;Interleaved 在增益与稳定性上反超 Sequential(10/15 直接对比领先),反驳'交错最难'直觉
模型能力门控(演化收益 vs 模型)	三场景下正收益方法数(满分5)与平均增益 Δ	Gemini 3.1 Pro: Isolated 5/5 +2.71%、Sequential 4/5 +1.98%、Interleaved 5/5 +2.41%;Claude Opus 4.7: 5/5 +1.75%、4/5 +1.05%、4/5 +0.90%	GPT-5.4: 2/5 -0.35%、1/5 -0.78%、1/5 -0.62%(全负)	收益受能力门控且非单调:Gemini 增益 +2.37% 反超更强 Claude +1.23%,Interleaved 下差距扩到 1.51%

局限与改进

作者明确承认两点局限：其一，“模型能力强度”是在 Exgentic 框架与具体基准集下、基于各模型不均衡表现的实证观察得出的，并非通用排序；不同 agent 框架、提示策略或基准选择都可能改变相对顺序，故能力门控结论应限定在该实验范围解读。其二，仅实例化 3 种场景与 6 个基准，覆盖代表性但非穷尽的流组成与任务领域。我的额外观察：(1) 每个基准只采 50 个任务，对 HLE 等方差大的基准(标准差动辄 ±10% 以上，如 GPT-5.4 上 A-Mem 在 Tau2 ±36.2%)统计功效有限，Top-1 率等指标在 ±1~2% 量级时极易受噪声影响；(2) 仅 3 个种子，置信区间宽，正/负收益的边界判断稳健性存疑；(3) 所有判官与用户模拟统一为 GPT-5.4，可能对 GPT 系模型存在隐性偏置，方法间差异部分可能来自判官倾向；(4) Sequential 的基准顺序是人为固定的(AppWorld→…→Tau2)，前向迁移结论对顺序敏感，未做顺序消融。

独立分析的弱点

弱点一：样本量与方差。50/基准×3 种子在 HLE、Tau2 这类高方差基准上(单方法标准差达 ±10% 至 ±36%)难以支撑 ±1% 量级的正/负收益与 Top-1 判断；改进方向是成倍扩大采样、采用配对显著性检验与 bootstrap 置信区间，并对每个任务在三场景间做配对比较以消除任务抽样噪声。弱点二：场景设计仍偏人工。Sequential 的固定基准序与 Interleaved 的全局 shuffle 都是特例，无法刻画真实部署中按需到达、带领域漂移与突发任务的流；改进方向是引入基于到达过程(泊松/漂移)的可配置流生成器，并做顺序消融。弱点三：判官同源性。统一用 GPT-5.4 作判官与用户模拟器可能对同族模型有利，污染方法与模型间比较；改进方向是用多判官集成或与基准原生判官交叉验证。弱点四：缺少成本维度。论文只看准确率收益，未报告 token 成本与延迟——自演化每步都要 Evolve 反思，实际部署中 $\Delta=+1\%$ 可能伴随数倍开销；改进方向是把每准确率点的 token/时延/存储成本纳入为联合指标。

未来方向

作者提出：扩展场景、基准、模型与自演化方法的覆盖，沿这些轴 AgentStream 设计为可扩展。基于成果可延伸的方向包括：(1) 把“经验-上下文耦合度”从离散二分类(上下文集成 vs 检索式)提升为连续可调参数，研究是否存在介于 ACE 与 A-Mem 之间的最优混合策略，并随场景自适应切换；(2) 探索“模型能力门控阈值”的预测方法——能否用 vanilla 基线准确率作为判据，提前决定某模型是否值得开启自演化，避免对 GPT-5.4 这类弱模型浪费算力造成负迁移；(3) 研究非单调收益现象的机理——为何中等模型 Gemini 在 Interleaved 增益最大、是否与“仍有改进空间×多样信号充足”的甜区有关；(4) 将成本/延迟/存储纳入联合目标，做收益-成本帕累托分析；(5) 与参数级持续学习方法结合，研究梯度级与经验级演化的互补性，特别是能否用经验级演化缓解灾难性遗忘。

复现评估

复现性中等偏上。作者明确给出代码链接(github.com/microsoft/Sico/labs/AgentStream)、所采样任务数(50/基准)、种子数(3)、各基准的具体切分(AppWorld test-challenge、BFCL 多轮 base、Tau2 telecom)、Sequential 的基准顺序、嵌入模型(all-MiniLM-L6-v2)与统一判官模型(GPT-5.4)，Table 11-13 还提供了逐种子明细结果，这些都是关键复现要素。主要障碍在于算力与 API 成本：3 模型×5 方法×3 场景×6 基准×50 任务×3 种子=约 13.5k 次多步 agent 求解，叠加每次 Evolve 反思的 token 开销，对闭源前沿模型(API 计费)是不小的费用；此外 AppWorld、Tau2 等基准需要可执行的有状态环境与用户模拟器，环境搭建本身有门槛；代码路径下的 Exgentic 适配层细节需仔细对照才能跑通各方法的测试时设定。综合看，给定资源与权限可复现，但并非一键复现。

AgentStream：自演化LLM智能体在流式任务下的统一评估框架 AgentStream: How Well Do Self-Evolving LLM Agents Perform Under Streaming Tasks?