从模型扩展到系统扩展：代理AI中的harness扩展 From Model Scaling to System Scaling: Scaling the Harness in Agentic AI
提出系统扩展框架，代理AI瓶颈在harness设计而非模型大小
前置知识
Agent Harness
Agent Harness指的是围绕基础模型的结构化系统层，包括工具接口、控制循环、上下文构造器、内存存储、技能路由机制和验证治理层。这些组件共同调节用户意图、模型输出和外部环境之间的交互。例如Claude Code的harness包含代码库导航、文件编辑和命令执行工具，以及专门的子代理调度机制。Harness是模型扩展不包含而系统扩展瞄准的对象。
理解harness概念是读懂本文的基础，因为论文的核心论点就是代理AI的下一步进步取决于如何扩展这个harness系统，而不仅仅是扩展基础模型本身。
Context Governance
上下文治理是指决定在每个推理步骤中应该检索、压缩、排序、刷新、信任和保持激活哪些信息的策略。它不是简单的容量问题，而是策略问题。例如一个有效的上下文组装策略需要权衡语义相关性，根据token预算惩罚冗长内容，偏好最近验证的内容，并记录来源以便在审计时追溯失败原因。上下文治理的威胁是暴露而无访问，随着上下文增长模型看到更多token但不一定关注到正确的那些。
论文将上下文治理列为三大系统瓶颈之一，理解这个概念才能明白为什么更大的上下文窗口不一定意味着更好的性能。
Skill Routing
技能路由是指代理决定在何时调用哪个技能、何时切换技能以及如何在一个轨迹中组合多个技能的策略。技能是可重用的执行模式，可以是工作流模板、工具使用例程、专门的子代理或版本化的指令和脚本包。动态技能路由类似于操作系统中的调度，原始技能容量存在，但有用的工作取决于在正确的时间将其分配给正确的专门路径。路由策略应该基于在线子任务类型估计、感知不确定性的升级、混合风格组合以及针对验证而非流利中间输出优化的策略。
论文将技能路由列为三大系统瓶颈之一，强调路由和验证比仅仅拥有技能更重要，这是理解系统扩展视角的关键。
研究动机
当前代理AI领域过分关注模型扩展，更大的模型、更多的数据、更强的后训练和更高的基准分数，这导致评估仍然以模型为中心，将代理简化为最终任务成功或基准准确率。这种框架越来越不充分，因为代理性能是从基础模型、内存基质、上下文构造器、工具和子代理的技能路由层、编排循环以及验证治理层之间的交互中涌现出来的。具体来说领域层面的分析发现许多代理基准结果没有将能力与成本、提示策略和演示分离，一旦控制这些因素就不再是帕累托最优。上下文长度是另一个例子，更大的上下文窗口不保证有效的信息访问，因为注意力在长输入上稀释，模型往往更喜欢上下文开头或结尾的证据而不是中间的。多智能体系统显示类似模式，它们可以在广度优先任务上胜过单个代理，但引入了单代理指标遗漏的协调失败。现实代理基准如GAIA、τ-bench和Terminal-Bench进一步显示前沿模型在评估从单次提示转向与工具、环境和用户的多步交互时会挣扎。
本文的目标是本文的目标是建立一个以系统为中心的代理AI框架，将进步定位在扩展harness上，而不仅仅是扩展模型。具体来说作者提出将代理harness作为设计和分析的一等对象，开发一个将基础模型推理与内存、上下文构造、技能路由、编排和验证治理等系统因素分离的框架。此外作者概述了一个代理系统评估议程，强调未来基准应该测量轨迹质量、内存卫生、上下文效率、验证成本、安全演化和重复使用下的鲁棒性等过程级和纵向属性。为了使讨论具体化作者开发了CheetahClaws，一个Python原生参考harness，并将其与Claude Code和OpenClaw进行比较，将它们的harness级设计选择作为本文框架识别的系统扩展变量的具体比较点。
与已有工作不同的是，本文的独特切入角度是从模型扩展转向系统扩展。大多数现有工作关注基础模型本身的改进，而本文认为一旦模型达到足够的能力阈值，长期代理性能的许多额外增益越来越依赖于模型周围的系统设计。这与现有的工具使用语言模型、检索增强生成、多智能体框架和代理基准工作形成对比，这些工作虽然涉及系统组件，但大多在单个模型变体层面报告结果，相对较少关注harness本身作为可控、可重现的研究对象。本文通过系统扩展视角重新构架先前发展，并通过Claude Code、OpenClaw和CheetahClaws的比较分析使其工程内容具体化。
核心方法
论文的方法核心是建立一个六组件框架来形式化代理系统的性能，性能公式为P_H等于R、M、C、S、O、G的函数，其中R表示基础推理质量，M表示内存质量，C表示上下文构造质量，S表示技能选择和组合质量，O表示编排质量，G表示治理质量。模型扩展主要改进R，而系统扩展改进M、C、S、O和G。论文进一步将M和C分解为可操作的子轴，M分解为精确性、持久性、可检索性、可验证性，C分解为相关性、紧凑性、可追溯性、刷新策略。每个子轴命名了一个系统级杠杆而不是隐藏的工程细节。论文从直觉出发，现代代理系统如Claude Code和OpenClaw已经说明了扩展harness在实践中是什么样子的，然后发展技术路线，将提示、技能和内存解释为三个主要的系统扩展时间轴。
核心创新点是将代理harness作为设计和评估的一等对象，这与将代理视为模型加提示的传统观点形成鲜明对比。本质区别在于本文认为代理性能不是由模型单独决定的，而是由六个交互组件决定的，包括推理基质、内存存储、上下文构造器、技能路由层、编排循环和验证治理层。这与现有工作不同，现有工作大多将内存、检索、工具使用、编排、验证和治理视为次要的实现细节，而将代理简化为最终任务成功。另一个关键创新是将提示、技能和内存解释为三个不同的时间层，提示是短期控制接口指定当前角色约束和目标，技能是可重用的执行模式工作流模板或工具使用例程，内存是纵向层存储跨轮次或会话应该持久化的内容。
方法步骤详情
方法首先定义harness的概念，即围绕基础模型的结构化系统层，包括工具接口、控制循环、上下文构造器、内存存储、技能路由机制和验证治理层。然后论文提出六组件性能公式，将内存质量进一步分解为四个维度，上下文构造质量分解为四个维度。接下来论文详细阐述三个系统扩展瓶颈，上下文治理的威胁是暴露而无访问，系统对策是将每轮的上下文视为选择策略的输出而不是固定缓冲区。可信内存的威胁是陈旧但自信，系统对策是在检索时使信任成为运行时决策，对最后验证时间施加陈旧性惩罚，并将检索内容视为假设直到重新检查。动态技能路由和验证的威胁是自信但未检查，系统对策是将路由视为学习策略而非固定规则集，并在每一步耦合验证。最后论文提出评估议程，从结果指标转向过程指标，从单次评估转向纵向评估。
技术新颖性
技术新颖性体现在三个方面。首先论文首次明确提出系统扩展作为代理AI的独立研究议程，与模型扩展并列，这是对现有模型中心视角的范式转移。其次论文提出的六组件框架提供了将代理系统分解为可控、可测量和可改进组件的正式语言，使得harness级设计选择变得明确和可比较。第三论文提出的评估议程将基准测试从一次性成功扩展到过程级和纵向属性，这是对现有代理基准测试的重要补充。此外论文开发的CheetahClaws Python原生参考harness，以及将其与Claude Code和OpenClaw的比较，为系统扩展研究提供了具体的工程参考点。论文的创新还体现在将三个经典概念即提示、技能、内存重新解释为三个时间轴，强调它们是互补而非可互换的。
实验结果
论文的主要发现基于对现有代理基准和系统的分析而非新实验。关键发现包括领域层面的分析发现许多代理基准结果没有将能力与成本、提示策略和演示分离，一旦控制这些因素就不再是帕累托最优。SWE-agent的研究表明单独重新设计代理计算机接口就可以在固定骨干模型的情况下大幅提高SWE-bench准确率，显示许多被报告为模型分数的实际上是模型加harness分数。上下文长度是另一个例子，更大的上下文窗口不保证有效的信息访问，因为注意力在长输入上稀释，模型往往更喜欢上下文开头或结尾的证据而不是中间的。GAIA、τ-bench和Terminal-Bench等现实代理基准显示当评估从单次提示转向与工具、环境和用户的多步交互时前沿模型会挣扎。τ-bench特别显示在单次通过率下看起来很强的代理在pass的k次独立部署成功的概率下会崩溃，暴露了端点准确率隐藏的可靠性差距。Anthropic报告一个多智能体系统在内部研究评估中胜过单智能体达百分之九十点二，多智能体架构在探索几个独立方向的广度优先任务上特别有效。在BrowseComp分析中仅token使用就解释了百分之八十的性能差异，添加工具调用数量和模型选择将解释方差提高到百分之九十五。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SWE-bench | 准确率提升 | 通过harness重新设计实现显著提升引用SWE-agent研究结果 | 固定骨干模型 | 大幅提升具体数值需参考原始SWE-agent论文 |
| 内部研究评估 | 性能提升 | 多智能体架构Claude Opus 4主代理加Claude Sonnet 4子代理 | 单智能体Claude Opus 4 | 90.2% |
| BrowseComp分析 | 性能方差解释率 | token使用加工具调用数量加模型选择 | 仅token使用 | 从80%提升到95% |
局限与改进
论文的局限性作者承认的主要有三点。首先论文提出的是一个概念框架而非定量模型，性能公式是概念组织而非定量模型，函数Phi没有闭式解，因子并不严格正交，作者也不声称它们共同确定PH为可测方程。其次论文虽然提供了评估议程和参考harness，但没有提供具体的系统级基准测试或与六组件对应的量化指标。第三论文反对的观点，更强的模型将最终解决系统问题、端到端训练将取代模块化系统、系统级评估太昂贵或环境特定，作者进行了反驳但承认这些是合理的反对意见，需要更多研究来验证。我观察到论文的另一个局限是缺乏跨不同任务类型和部署环境的系统harness设计选择的实证比较，虽然Table 1比较了Claude Code、OpenClaw和CheetahClaws，但这种比较是定性的而非定量的。
独立分析的弱点
论文的一个主要弱点是缺乏定量验证和实证对比。虽然论文提出了六组件框架和三个系统瓶颈，但没有提供将框架应用于具体代理系统并测量每个组件对性能贡献的实验。例如没有实验显示在固定模型情况下改进内存质量或上下文构造质量如何量化地影响长期代理性能。另一个弱点是提出的评估议程停留在概念层面，没有具体实现。虽然论文提到应该测量轨迹质量、内存卫生、上下文效率、验证成本等指标，但没有提供这些指标的具体定义、测量方法或基准数据集。此外论文虽然开发了CheetahClaws参考harness，但没有将其与Claude Code和OpenClaw进行系统级基准测试比较。改进方向包括开发系统级基准测试套件，量化测量每个harness组件的贡献，提供具体的指标定义和测量协议，在不同任务类型上比较不同harness设计，探索harness组件之间的交互效应。
未来方向
作者提出的未来研究方向包括开发harness级基准测试，使系统扩展可操作化，超越一次性任务成功来测量轨迹质量、内存卫生、上下文效率、通信保真度、验证成本和时间上的安全演化。另一个方向是建立安全的代理演化标准，围绕四个问题，什么持久化、什么更新、什么测量、什么可审计。论文还提到需要研究如何使技能路由适应在线估计子任务类型、感知不确定性的升级、混合风格组合以及针对验证而非流利中间输出优化的策略。基于论文成果可延伸的方向包括开发系统级性能profiling工具，自动化harness组件分析，研究跨不同任务类型和部署环境的最佳harness设计模式，探索harness组件之间的耦合和解耦策略，开发纵向代理评估协议测量代理在重复使用下的记忆卫生、轨迹漂移和安全演化。此外可以研究如何将系统级优化集成到代理训练流程中，实现模型扩展和系统扩展的协同优化。
复现评估
论文在复现性方面提供了良好但有限的资源。作者开发了CheetahClaws，一个Python原生参考harness，并在论文中提供了GitHub仓库链接。这是一个重要的开源贡献，使研究者可以检查、运行和修改参考实现。论文还提供了Claude Code和OpenClaw的文档链接，使研究者可以了解这些生产系统的harness设计。然而论文没有提供具体的实验数据集、训练配置或评估脚本，因为它主要是概念框架而非实验论文。论文没有报告具体的算力需求或运行时间，因为没有进行大规模实验。总体而言论文的复现性评估，参考harness是开源的，但论文的核心贡献即框架和评估议程主要是概念性的，复现性依赖于研究者自己设计和实现实验来验证框架的预测。未来改进包括提供系统级基准测试套件和评估脚本，使研究者可以更容易地复现和扩展论文的工作。
论文图表
该表格列出了系统扩展评估的基准测试维度。对于每个维度，包括一次性完成、内存检索精确性、内存卫生、最小上下文效率、通信保真度、长会话轨迹漂移、验证感知恢复、工具访问下的安全性，表格指出它在典型基准测试中的状态即常见、罕见、罕见等，和是否需要系统扩展评估即是否。表格显示除了一次性完成和部分的安全性和验证感知恢复外，大多数系统扩展维度在当前基准测试中是罕见的，表明现有评估协议不足以测量系统扩展的关键属性。
这个表格对理解论文很重要，因为它清楚地说明了为什么现有的代理基准测试不足以评估系统扩展。表格显示了评估表面需要扩展到包括过程级和纵向属性，这是论文评估议程的核心。它还提供了未来代理基准测试应该测量的维度的具体清单，这对研究者设计和实现新的评估协议具有指导意义。