← 返回 2026-04-21

GenericAgent:通过上下文信息密度最大化实现的 Token 高效自进化 LLM 智能体 GenericAgent: A Token-Efficient Self-Evolving LLM Agent via Contextual Information Density Maximization (V1.0)

Jiaqing Liang, Jinyi Han, Weijia Li, Xinyi Wang, Zhoujia Zhang, Zishang Jiang, Ying Liao, Tingyun Li, Ying Huang, Hao Shen, Hanyu Wu, Fang Guo, Keyi Wang, Zhonghua Hong, Zhiyu Lu, Lipeng Ma, Sihang Jiang, Yanghua Xiao 📅 2026-04-18 👍 23 2026-07-13 08:36
Context Engineering LLM Agent Memory Architecture Self-Evolution Token Efficiency

用 9 个原子工具 + 四层记忆 + 自进化 SOP,把长程 LLM 智能体的 token 消耗压缩到基线的 1/3 同时保持最优任务完成率。

前置知识

LLM Agent 循环 (Agent Loop)

Agent 循环指 LLM 与环境之间反复交互的基本模式:每一步将当前任务、记忆和工具描述组装成 prompt 送给 LLM,LLM 产出文本或工具调用,工具执行后返回结构化观察结果再注入下一轮上下文。Claude Code、Codex、AutoGPT 等系统都基于这一循环。理解 Agent 循环是读懂 GenericAgent(GA)的前提,因为 GA 的全部创新都发生在循环的'上下文装配'环节。

GA 把所有机制都设计成对 Agent 循环中'上下文信息密度'的优化,读者必须先理解 prompt 是如何在每一步被构造的,才能理解 GA 的工具最小化、记忆分层、压缩四阶段为什么都指向同一件事。

上下文信息密度 (Context Information Density)

指在有限的上下文窗口中,决策相关信息占总 token 数的比例。这是 GA 的核心设计目标——不是'塞进更多上下文',而是'让每条 token 都对当前决策有用'。论文指出三条互相加强的失败模式:位置偏置(中间信息最难被检索到)、无关内容稀释注意力、有效上下文远小于标称窗口。

这是论文提出的统一设计原则。如果不理解这个原则,就无法理解为什么 GA 要做工具最小化、记忆分层、压缩四阶段、SOP 蒸馏等看似零散的设计——它们都是从不同生命周期阶段提升信息密度的手段。

完全性 vs 简洁性权衡 (Completeness vs Conciseness)

GA 设计哲学中的两个主要需求:完全性指当前决策所需的全部信息必须显式出现在上下文中,避免模型靠假设或幻觉补全;简洁性指无关和冗余信息必须被消除,让注意力聚焦在决策关键信号上。两者构成结构性的张力——即使上下文窗口无限大,张力依然存在。论文引入'自然性'作为次要的表征约束。

这个三元素框架是 GA 把所有机制联系起来的核心抽象。读者必须理解'塞更多'不一定更好,才能体会 GA 为什么刻意保持 30K token 预算而不是堆 1M 上下文。

分层记忆 (Hierarchical Memory)

把记忆组织成多个层级,越上层越轻量、越常驻,越下层越详尽、越按需加载。GA 用 L1(索引/导航)、L2(事实)、L3(标准操作程序 SOP)、L4(原始会话存档)四层。L1 永远在上下文中且只记录'存在性'(接近 Kolmogorov 复杂度的极简索引),L2/L3 按需通过工具调用拉取。

分层记忆是 GA 控制上下文爆炸的核心机制。没有这个分层,self-evolution 积累的 SOP 越多上下文越膨胀,反而让效果变差;有了它,L1 体积可以保持近乎恒定。

自进化 / SOP 蒸馏 (Self-Evolution / SOP Distillation)

把过去成功的执行轨迹自动压缩成可重用的标准操作程序(SOP),再进一步凝固为可执行代码。GA 严格遵循'No Execution, No Memory'规则:只有经过工具执行验证的内容才会被晋升到 L2/L3,猜测和失败的分支被丢弃。自进化从自然语言执行阶段过渡到 SOP 阶段,再到代码执行阶段。

自进化是 GA 区别于'无状态'或'原样存储历史'型 Agent 的关键创新。九轮迭代把 token 从 222k 降到 23k(-89.6%)的效果完全来自这个机制。

研究动机

现有的长程 LLM 智能体在长任务上普遍受困于两个系统级问题。第一是上下文爆炸:随着交互推进,工具定义、检索到的记忆、中间观察和环境反馈不断累积,prompt 持续膨胀;这不仅是 token 成本问题,更直接损害推理质量——LLM 有有限的'有效注意力',无关内容占据上下文会稀释对决策相关证据的关注,位置偏置使中间信息难被检索,有效上下文窗口远小于标称窗口。第二是经验积累和复用失败:长程环境下用户偏好、工具行为、有效动作模式等关键知识只在反复试错中涌现,但当前框架大多把每个任务会话当作无状态处理,RAG 记忆又只存原始日志不蒸馏,且没有反馈驱动的精炼——过期或错误的记忆永远不被更新,造成'沉默降级'而非'自我进化'。结果是 token 消耗随任务数线性增长,有效能力却停滞不前,论文称之为'停滞循环'。具体数据上,OpenClaw 在 Lifelong AgentBench 上需要 1.43M input tokens 才能达到 70% 完成率,CodeX 在 RealFin 上消耗 838k tokens 仅达 60%,这说明现有系统的 token 利用效率极低。

本文的目标是GenericAgent 的具体目标是构建一个通用、自进化的 LLM 智能体系统,在严格控制的上下文预算(< 30K token)下,让长程任务的执行效率随使用次数增加而提升。它追求的不是'在最大上下文上塞最多信息',而是'用最少的决策相关 token 完成最可靠的任务'。具体而言:在 SOP-Bench 上达到 100% 完成率且优于 Claude Code(85%)、OpenClaw(100% 但用 2.64M tokens vs GA 的 2.08M);在 Lifelong AgentBench 上达到 100% 而 OpenClaw 只有 70%;在 RealFin 上达到 65%(最高),Claude Code Opus 4.6 为 60%;同时把每任务的 token 消耗压缩到现有系统的 27%–30%。

与已有工作不同的是,本文的独特切入角度是把'上下文信息密度'提升为系统级首要设计目标,并用四个相互配合的机制从信息生命周期的不同阶段(执行前、执行中、跨任务、执行后压缩)系统性地保障这个目标。这与现有工作形成鲜明对比:MemGPT 把上下文当分页存储但只关注存储和检索、LongLLMLingua 只做 prompt 压缩、Claude Code 和 Manus 用基于产物的跟踪和周期性压缩但都依赖大量工具定义、OpenClaw 通过插件注入提供 18 个工具工厂、Codex 等产品系统追求行为可达性而牺牲上下文效率。GA 的关键差异是把'工具最小化'(9 个原子工具,5 个能力类)和'自进化'(轨迹→SOP→代码三阶段压缩)耦合在同一个原则之下,并通过实验证明 9 个原子工具的 100% 完成能力与 53 个工具相当甚至更优,同时 token 消耗降到 1/3。

核心方法

GenericAgent(GA)的整体设计哲学是'上下文信息密度是一切自进化 LLM 智能体所需要的'。它把这一原则落到四个相互连接的组件上:(1) 最小原子工具集——只暴露 9 个不可再分的基本原语,复杂行为由组合产生;(2) 分层按需记忆——L1 索引常驻、只记存在性,L2/L3/L4 按需检索;(3) 自进化机制——把验证过的执行轨迹压缩成可重用 SOP,再进一步凝固为可执行代码;(4) 上下文截断与压缩——四阶段层级管理:工具输出截断、标签级压缩、消息淘汰、工作记忆锚点。系统的代码极简:核心代码库约 3300 行,Agent Loop 仅 92 行;底层模型无关,可替换为 Claude/GPT/Gemini 等任一后端。在执行流程上,GA 维持一个统一的 Agent 循环,每一步将全局记忆与任务规约组合成执行上下文,LLM 产生输出或工具调用,工具通过统一分派器执行并返回结构化结果;任务完成后执行轨迹被压缩为长期表示并存入共享记忆。在该循环之上支持两种执行模式:Interact 模式(用户发起任务)和 Reflect 模式(环境变化触发,类似 watchdog)。

GA 的核心创新是'原子性 + 分层记忆 + 三阶段自进化'的耦合设计,本质区别在于:(1) 工具设计采用原子性+组合泛化双重约束——每个工具只做不可再分的一件事(如 file_patch 强制 old_content 唯一匹配),复杂任务靠组合完成而非堆砌专用工具;这与传统框架追求'专用工具更多 = 能力更强'的思路相反。(2) 记忆设计上 L1 记录存在性而非内容,使得索引层体积逼近知识集合分类结构的 Kolmogorov 复杂度,本质上利用 LLM 自身作为'解码器'——它看到存在性指针后能用工具调用展开深层内容,这比把 RAG 检索结果全部塞进上下文更省 token。(3) 自进化采用'轨迹→SOP→代码'三阶段凝固,每阶段都是表征形态的跃迁而非简单的文本压缩;Rounds #1→#9 的演化显示 token 从 222k 降到 23k、LLM calls 从 32 降到 5,效率提升主要来自消除重复推理循环而非缩短单次响应。(4) 上下文管理使用基于字符域的启发式($CH = \sum_{m \in \mathcal{H}} \text{len}(m)$, $B = \alpha \cdot W_{\text{tokens}}$, $\alpha \approx 3$ chars/token),配合 30K token 目标预算——这是对当前 LLM 'hallucination-free 上下文长度'的工程化近似。

方法步骤详情

GA 的方法包含以下完整步骤:(1) 工具调用与分派——每个工具用 JSON Schema 定义,运行时注入到 prompt 中产生结构化 tool_use 调用,统一分派器处理执行前后逻辑与返回结构化输出;典型组合如 file_patch 通过强制 old_content 唯一匹配避免静默多位置编辑,web_scan 克隆 DOM 并按可见性分类、剪除被覆盖元素后序列化(比原始 DOM 减少一个数量级 token),code_run 限制每轮一次调用确保观察后再规划。(2) 记忆注入与检索——启动时仅注入 meta-memory + L1 索引层;任务开始时 update_working_checkpoint 更新工作记忆锚点;按需通过工具调用加载 L2/L3 内容(用 file_read 等原子操作),不进入自动注入。(3) 自进化触发——在有意义的里程碑(子任务完成、错误恢复)触发合并,遵循 'No Execution, No Memory':只有经过执行验证的内容才晋升 L2/L3,失败分支与猜测被丢弃;最终把 SOP 固化为可执行 Python 脚本(Stage 3 codified)并归档到 L4。(4) 上下文四阶段管理——Stage 1:每个工具返回时按 L 字符阈值头尾截断(code_run 为 10K、web_scan HTML 为 35K、file_read 约 1280/行 20K 总);Stage 2:约每 5 轮做一次标签级压缩,重复 working-memory 块用占位符替换,thinking/tool_use/tool_result 标签内仅保留约 800 字符首尾窗口,最近 10 条消息豁免;Stage 3:当 $CH > B$ 触发淘汰,先用更严规则重跑 Stage 2(仅豁免 4 条最新),再按 FIFO 删除最旧消息直到历史 < 60% 预算,暴露出的最旧消息做 API 一致性清理;Stage 4:每次工具调用后自动注入锚点到下一条 user 消息,包含最近 20 条单行摘要(每条约 100 字符)、当前 turn 数、key_info 块。(5) 自主探索——双触发(外部任务邮箱 + Reflect 模式回调),每 6 分钟检测一次空闲;用评分函数 $S(t) = w_b B(t) + w_d D(t) + w_u U(t) + w_i I(t)$(权重初始 (0.3, 0.2, 0.3, 0.2))生成任务列表,B(t) 奖励填充欠开发类别、D(t) 奖励强化高频技能、U/I 由 LLM 1–10 打分;任务清单至少跨 4 个类别;按 6 步固定序列执行(上下文加载→技能搜索→沙箱执行→报告写入→技能合并→推进任务列表),并通过 $S(t) > 8.0$ 但 $u(t) < 3$(30 天)则主导维度权重减 10% 的反馈机制自适应调权。

技术新颖性

GA 的技术新颖性主要体现在三个层面。第一是设计原则的形式化:用完整性、简洁性、自然性三元素框架把零散优化(截断、压缩、淘汰、锚点)统一为同一个目标函数,避免了'每个组件各自为政'的常见缺陷;特别是论证了完全性和简洁性的张力是结构性的而非预算性的——即使窗口无限大也存在,这有别于传统观点把上下文管理视为单纯的资源问题。第二是记忆架构的极简索引:L1 记录存在性、用 LLM 自身作为解码器,使得索引体积逼近 Kolmogorov 复杂度,绕过了对向量数据库和嵌入模型的依赖;表 6 显示 GA 在 LoCoMo 上 Multi-Hop F1 达 43.33、BLEU 39.96,超过 Mem0(39.32/28.43)和 A-MEM(29.03/20.48),证明不依赖嵌入检索也能达到更好的事实记忆。第三是表征跃迁式的自进化:把轨迹压缩为 SOP(自然语言)→固化为代码(可执行)的三阶段转换,在 9 轮 LangChain PR 研究任务中实现 token 89.6%、LLM calls 84.4%、runtime 78.2% 的同步下降(R1: 7m30s 32 calls 222k → R9: 1m38s 5 calls 23k),这在现有文献中未有等价设计。第四是架构最小性的实证:3300 行核心代码(vs OpenClaw 530k 行,相差 160 倍)通过 CLI 单原语涌现出 subagent dispatch、Reflect Mode、watchdog、scheduled task 等高级能力;自托管 CLI 成为自然执行面,无需插件框架、事件总线或专用编排层。

Overall framework of GA.
Figure 2: Overall framework of GA.
Tool usage distribution across Claude Code, OpenClaw, and GA.
Figure 3: Tool usage distribution across Claude Code, OpenClaw, and GA.

实验结果

实验围绕五个维度展开。任务完成与 token 效率(表 2):在 Claude Sonnet 4.6 配置下 GA 在 SOP-Bench 和 Lifelong AgentBench 上均达到 100%,超过 Claude Code(85% / 75%)和 OpenClaw(100% / 70%);RealFin 上 GA 65% 居首,超过 Claude Code Opus 4.6(60%)、CodeX(60%)、OpenClaw(35%)。token 消耗方面,GA 在 Lifelong AgentBench 仅用 222k input tokens,远少于 Claude Code(800k)和 OpenClaw(1.43M);效率比(Accuracy / Total Tokens (M))GA 在 Lifelong AgentBench 达 4.15、RealFin 达 5.70,远超基线。工具使用效率(表 4 + 图 3):在 5 个长程任务上 GA 与 Claude Code 均 100% 成功,OpenClaw 80%;GA 188,829 tokens 是 Claude Code(537,413)的 35.1%、OpenClaw(633,101)的 29.8%;请求数 11.0 vs 32.6,工具调用 12.8 vs 22.6。图 3 显示 Claude Code 中 AgentTool 占 50.4%、WebFetchTool 22.1%、FileReadTool 10.6%、FileWriteTool 8.9%,OpenClaw 同样呈现长尾分布,证明大量低频工具占用 prompt 却没有实际贡献。记忆系统(图 4 + 表 5/6/7):GA 随重复使用持续提升效率,操作时间从 102s 降至 66s,token 从 200,439 降至 100,000;表 5 显示 Condensed Memory 在 SOP-Bench dangerous_goods 上 TSR 66.48%、仅 165 tokens,而 No-Memory 13.87%、Full-Memory 52.44%(575 tokens)、Redundant-Memory 66.48%(288 tokens),证明高密度过滤优于全量;表 6 显示 GA 在 LoCoMo 四个子任务上 F1/BLEU 全面领先(Multi-Hop 43.33/39.96、Temporal 52.23/51.11、Open-Domain 20.41/15.31、Single-Hop 45.69/40.66),且不依赖嵌入模型;表 7 显示安装 20 个技能后 GA 完整 prompt 长度仅 2,298 tokens,而 OpenClaw 43,321、CodeX 23,932、Claude Code 22,821,证明 GA 几乎完全阻断了上下文爆炸。自进化(表 8 + 图 5):9 轮 LangChain 演化中 Round #1 7m30s/32 calls/222k tokens → Round #9 1m38s/5 calls/23k tokens(-78.2% / -84.4% / -89.6%);cache-read tokens 从 183,375 降至 19,034;进入 Round #6–#9 稳定 23k ± 1k 区间的'确定性低开销'阶段。8 个跨任务上 GA 平均节省 79.3%(61.0%–92.4%),复杂度越高节省越大(高复杂度任务 83.5% vs 中复杂度 72.5%),OpenClaw 反而出现 1,370k→2,330k→2,130k 的波动。网页浏览(表 9):WebCanvas GA 0.834 vs OpenClaw 0.722(0.18M vs 0.71M tokens)、BrowseComp-ZH GA 0.60 vs OpenClaw 0.20(0.47M vs 1.31M tokens,差距 3 倍)、Custom Tasks GA 0.577 vs OpenClaw 0.500(0.26M vs 0.76M tokens);整体实现 2.9×–3.9× token 缩减。

Per-tool truncation thresholds for content entering the LLM context.
Table 1: Per-tool truncation thresholds for content entering the LLM context.
Task completion rate and token efficiency across the main agent benchmarks and RealFin-benchmark.
Table 2: Task completion rate and token efficiency across the main agent benchmarks and RealFin-benchmark.
Source-level tool inventory overview of Claude Code, OpenClaw, and GA.
Table 3: Source-level tool inventory overview of Claude Code, OpenClaw, and GA.
Results on long-horizon complex tasks.
Table 4: Results on long-horizon complex tasks.
Memory ablation on SOP-Bench dangerous_goods.
Table 5: Memory ablation on SOP-Bench dangerous_goods.
Long-term factual memory evaluation on LoCoMo.
Table 6: Long-term factual memory evaluation on LoCoMo.
Full prompt length after installing 20 skills and intensive usage, measured on a minimal input.
Table 7: Full prompt length after installing 20 skills and intensive usage, measured on a minimal input.
Nine-round evolution trajectory on the LangChain GitHub research task.
Table 8: Nine-round evolution trajectory on the LangChain GitHub research task.
Web browsing evaluation results across three benchmarks.
Table 9: Web browsing evaluation results across three benchmarks.
Capability-level alignment of the basic tooling environment.
Table 10: Capability-level alignment of the basic tooling environment.
Representative task-level substitutions from specialized tools to GA atomic-tool compositions.
Table 11: Representative task-level substitutions from specialized tools to GA atomic-tool compositions.
Cross-system comparison on the long-horizon procurement task.
Table 12: Cross-system comparison on the long-horizon procurement task.
Operation time and token consumption across five repeated runs for different agents.
Figure 4: Operation time and token consumption across five repeated runs for different agents.
Cross-task token convergence across repeated runs for OpenClaw and GA.
Figure 5: Cross-task token convergence across repeated runs for OpenClaw and GA.
Token consumption and normalized score across three web browsing benchmarks.
Figure 6: Token consumption and normalized score across three web browsing benchmarks.
查看结构化数据
任务指标本文基线提升
SOP-Bench(多步 SOP 执行) Accuracy + Efficiency(Accuracy/Total Tokens(M)) Claude Sonnet 4.6: 100% / 0.48; MiniMax M2.7: 90% / 0.97 Claude Code 85% / 0.68; OpenClaw 100% / 0.38 (Claude Sonnet 4.6); OpenClaw 95% / 0.32 (MiniMax M2.7) GA 在 Sonnet 4.6 上同时达到最高完成率(100%)和较高的效率比,token 总量 2.08M 低于 OpenClaw 的 2.64M;MiniMax M2.7 上 GA 90% 略低于 OpenClaw 95% 但效率 0.97 远高于 OpenClaw 0.32
Lifelong AgentBench(跨任务依赖) Accuracy + Efficiency Claude Sonnet 4.6: 100% / 4.15; MiniMax M2.7: 90% / 2.12 Claude Code 75% / 0.92; OpenClaw 70% / 0.48 (Claude Sonnet 4.6); OpenClaw 70% / 0.57 (MiniMax M2.7) GA 完胜:完成率 100%(基线最高 75%),效率比 4.15(基线最高 0.92 的 4.5 倍),input tokens 仅 222k(基线 800k/1.43M)
RealFin-Benchmark(金融工作流) Accuracy + Efficiency Claude Sonnet 4.6: 65% / 5.70 Claude Code Opus 4.6: 60% / 1.95; Claude Code Sonnet 4.6: 55% / 2.31; OpenClaw 35% / 1.39; Codex GPT-5.4: 60% / 0.67 GA 65% 居首,超过最强基线 Claude Opus 4.6(60%),效率比 5.70 是 Opus 4.6(1.95)的 2.9 倍;input tokens 102k 远低于 Codex 的 838k
长程复杂任务(5 任务平均:PDF/PPT 生成、SQL 助手、实验分析、API 采购决策、论文复现分析) Success + Total Tokens + Requests + Tool Calls 100% / 188,829 / 11.0 / 12.8 Claude Code 100% / 537,413 / 32.6 / 22.6; OpenClaw 80% / 633,101 / 15.0 / 16.6 GA token 仅为 Claude Code 的 35.1%、OpenClaw 的 29.8%,请求数降至 33.7%,工具调用降至 56.6%;与 OpenClaw 相比多完成 20% 的任务
LoCoMo 长期事实记忆 F1 / BLEU-1(四类子任务平均) Multi-Hop 43.33/39.96; Temporal 52.23/51.11; Open-Domain 20.41/15.31; Single-Hop 45.69/40.66 Mem0: 39.32/28.43, 50.03/43.33, 18.32/13.80, 40.32/32.33; A-MEM: 29.03/20.48, 46.83/38.84, 13.11/12.94, 44.68/37.01; OpenClaw: 21.43/18.41, 22.56/20.43, 9.56/9.03, 23.44/24.21 GA 在所有四个子任务上 F1 与 BLEU-1 双双领先,超过基于嵌入的 Mem0 和 A-MEM,且不依赖任何嵌入模型或向量数据库
记忆消融(SOP-Bench dangerous_goods) TSR + Memory Size (tokens) Condensed Memory: 66.48% / 165 No-Memory: 13.87% / 0; Full-Memory: 52.44% / 575; Redundant-Memory: 66.48% / 288 Condensed 用最少的 token(165)达到最高 TSR(66.48%),证明高密度过滤优于全量;Redundant 与 Condensed 同分但多用 74% token
上下文爆炸防护(20 技能 + 密集使用) Full Prompt Length (tokens) GA: 2,298 Claude Code: 22,821; Codex: 23,932; OpenClaw: 43,321 GA prompt 长度是基线的 5.3%–18.9%,几乎完全阻断上下文爆炸
自进化轨迹(LangChain PR 研究,9 轮) Time / LLM Calls / Total Tokens Round #9: 1m38s / 5 / 23,010 Round #1: 7m30s / 32 / 222,203 Round #9 相对 Round #1 时间 -78.2%、LLM calls -84.4%、tokens -89.6%;进入 23k ± 1k 稳定收敛带
WebCanvas(基础浏览器交互,12 任务) Score (0-1) + Avg. Tokens (M) 0.834 / 0.18 OpenClaw: 0.722 / 0.71 GA 分数高 15.5%,token 仅 25.4%
BrowseComp-ZH(中文多跳检索,10 任务) Score (0-1) + Avg. Tokens (M) 0.60 / 0.47 OpenClaw: 0.20 / 1.31 GA 分数 3 倍,token 仅 35.9%,证明多阶段压缩在多跳推理上的显著优势
Custom Tasks(22 个真实网页任务) Score (0-1) + Avg. Tokens (M) 0.577 / 0.26 OpenClaw: 0.500 / 0.76 GA 分数高 15.4%,token 仅 34.2%

局限与改进

作者明确承认的局限有四点:(1) 30 轮执行上限意味着高度复杂的研究任务需跨会话完成,目前跨会话连续性仅靠书面报告和任务清单注释维持,没有更紧密的状态同步机制。(2) 基于反思的权重调整是初步设计,还没有积累足够长期数据来证明其在不同用户工作流下的有效性。(3) 自我改进日志(记录错误和偏好)目前依赖用户手动整理,限制了它对智能体核心行为的自主影响。(4) 高级技能树维护(合并冗余类别、弃用过期工具、重构树拓扑)完全手动,没有自动化机制。作者还隐含了其他局限:当前 LLM 上下文容量限制意味着四阶段压缩虽然有效但仍依赖字符启发式($\alpha \approx 3$),对 CJK 内容会低估 token 用量(每字符 1-2 token),存在延迟淘汰和上下文溢出风险;$B = \alpha \cdot W_{\text{tokens}}$ 启发式是为 ASCII 主导内容调的,$\alpha=3$ 在 CJK 场景下会反过来低估,导致淘汰晚于预期。从我自己的观察看,GA 的'自进化'严重依赖 SOP 蒸馏的'重写'成功率——如果第一次执行因环境变化失败,SOP 蒸馏无法纠正根因;案例 B1(移动点餐)和 B3(自主巡检)显示系统在 GUI 异常或新环境下的恢复力还有限;BrowseComp-ZH 上 GA 0.60 仍说明多跳推理的稳健性不及人类(基准通常 0.7+);此外系统对执行权限边界的依赖意味着如果权限被收窄,自进化能力上限会同步下降(论文 Discussion 中称为'权限定义能力天花板')。

独立分析的弱点

独立分析的第一个弱点是自进化的冷启动成本仍然较高:表 8 显示 Round #1 仍需 222k tokens 和 7m30s,对于一次性任务或低重复任务,SOP 蒸馏的投入难以回收;论文没有给出冷启动开销与重复次数的损益平衡点。改进方向是引入任务相似度预判,对预期不重复的任务跳过 SOP 蒸馏,并对高重复度任务提前从其他用户/会话迁移可重用 SOP(隐私保护下)。第二个弱点是 web_scan 的 DOM 剪枝基于可见性分类和区域划分,但论文没有给出该剪枝算法对检索完整性的影响评估,可能在依赖隐藏元素(如下拉菜单、折叠面板)的任务上失效;改进方向是加入对剪枝后检索召回率的回归测试,并允许任务自描述哪些元素'虽然隐藏但关键'以跳过剪枝。第三个弱点是 30K 上下文预算的硬约束在某些场景过于激进:表 2 显示 GA 在 Lifelong AgentBench 上 90%(MiniMax M2.7)和 100%(Sonnet 4.6)都达成,但若未来 benchmark 增加超长跨任务状态(如 100 步依赖链),30K 预算可能反而限制表现;改进方向是引入'自适应预算'——根据任务预估长度动态调整目标预算(10K-60K),并对 L1 索引层做软上限(按访问频率分页)。第四个弱点是自进化对失败的鲁棒性有限——如果 SOP 蒸馏时的执行包含罕见环境差异,固化的代码可能在其他环境失效;改进方向是在 Stage 3 codified 之前加入'跨环境抽样验证',用 N 个不同环境跑同一 SOP 把成功率作为晋升门槛。第五个弱点是 GA 的能力上限受执行权限定义('权限定义能力天花板')影响,但系统目前没有机制帮助用户发现'哪些权限扩展能解锁新能力';改进方向是引入'能力-权限映射'分析,定期报告'若开放 X 权限,预计可解锁的 SOP 类别'。

未来方向

作者在 Discussion 中明确提出的未来方向:验证从'技能巩固 → 自主探索 → 架构自更新'的三阶段进化路径(论文只到前两个阶段),即让智能体在极简核心代码下实现架构层面的自我修改(核心代码 3300 行相对 OpenClaw 530k 行的可读性差异为此提供了可能性)。基于成果可延伸的方向有:(1) 跨用户/跨组织的 SOP 共享与去重(隐私保护下用差分隐私或联邦学习),目前 SOP 是用户私有的,重复研发成本高。(2) 与结构化任务规划(如 HTN)的结合——目前 SOP 是从经验中蒸馏的,若能主动生成候选 SOP 并 A/B 测试会加速进化。(3) 多模态上下文的统一管理——当前 GA 优化的是文本 DOM;图像、音频、视频进入上下文后需要新的密度度量(像素-信息比、视觉 token 化质量)。(4) 反思权重自适应机制的长期验证——目前仅是 30 天窗口启发式,需要跨多用户工作流的大规模 A/B。(5) BrowseComp-ZH 上 GA 0.60 vs 人类基线的差距表明多跳推理的'推理模式压缩'还有空间,可以把多跳推理链本身也固化为可重用模板(meta-SOP)。(6) 端到端的执行权限学习:让 GA 在用户授权下自动建议'最小必要权限集'以平衡安全与能力。

复现评估

复现评估整体良好但有挑战。开源情况:项目地址 https://github.com/lsdefine/GenericAgent,作者隶属 Advantage AI Agent Lab (A3 Lab),由深圳 Aquaintelling Technology 与复旦大学联合实验室产出(论文 § 8 列出完整作者贡献),代码已发布。数据:所有 benchmark 均为公开的——SOP-Bench [23]、Lifelong AgentBench [9]、RealFin-Benchmark [24]、LoCoMo [25]、WebCanvas [26]、BrowseComp-ZH [27];案例 B1-B5 来自用户授权会话但已匿名化。算力要求:核心模型是 Claude Sonnet 4.6 / Claude Opus 4.6 / MiniMax M2.7 / GPT-5.4 等商用 API(API 调用成本可估算),不需要自训练;OpenClaw 530k 行代码对比表明 GA 的部署资源需求极低。难度:中等——核心 3300 行代码(Agent Loop 92 行)相对友好,论文给出了四阶段压缩的具体阈值(表 1:code_run 10K chars、web_scan HTML 35K、file_read 1280/行 20K、压缩窗口 800 chars、消息淘汰到 60% 预算、占位符豁免 10 条等)和公式($CH = \sum \text{len}(m)$, $B = \alpha \cdot W_{\text{tokens}}$, $\alpha \approx 3$;评分 $S(t) = w_b B + w_d D + w_u U + w_i I$);复现主要难点在于(1) web_scan 的 DOM 剪枝算法细节(论文描述较粗略:'clones DOM, computes per-element visibility, classifies regions through overlay and partition analysis'),可能需要查看源码;(2) 自进化的'有意义的里程碑'触发条件未给出精确算法,需要根据案例 A3 的轨迹反推;(3) BrowseComp-ZH 等中文任务需要本地化处理(LLM-judge 提示工程)。整体而言,复现一个简化版(仅四机制核心 + 单一 benchmark)应当可在 1-2 周内完成;复现全部 5 维度评估并匹配论文数字估计需要 1-2 个月。