EnterpriseClawBench：从真实工作场所会话构建的企业代理基准测试 EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions
从真实企业会话构建852任务的多维度代理评估基准
前置知识
Agent Harness（Claw）
Agent Harness是将基础大语言模型转化为能够使用工具的代理的脚手架系统。它负责模型与工作环境的交互、工具调用管理、状态维护等核心功能。典型的harness包括OpenClaw、Claude Code、DeepAgents等，它们决定了模型如何在可执行工作空间中操作文件、执行命令、生成输出产物。不同的harness有不同的工具调用策略、安全检查机制和任务分解方式，这直接影响代理的整体性能表现。
本文的核心发现是代理性能不仅取决于基础模型，还强烈依赖于使用的harness。理解harness的作用机制对于解释为什么相同模型在不同框架下表现差异巨大至关重要。
Workspace Session
工作空间会话是指代理在可执行环境中的完整交互过程，包括聊天轮次、文件上传、工具调用轨迹、生成的产物以及持久化的工作空间状态。一个成功的会话不仅需要正确的聊天回复，还需要代理能够正确恢复输入、维护工作空间状态、在实用的时间和成本约束下生成可用文件。会话评估关注的是端到端的任务完成能力，而非孤立的知识问答或单次工具调用。
EnterpriseClawBench正是从真实的企业工作空间会话中构建测试任务，理解会话概念有助于明白为什么这个基准测试比传统QA或工具使用测试更贴近实际部署场景。
Semantic Rubric（语义评分标准）
语义评分标准是用于评估生成产物质量的多维度评价框架。本文使用五个维度进行语义评估：grounded accuracy（基础准确性）、task relevance（任务相关性）、substantive depth（实质深度）、practical utility（实用价值）和communication quality（沟通质量）。评分过程通过LLM作为评估器，对不同模态的输出采用不同路由：文本可提取输出使用文本评估器，而HTML、幻灯片、PDF、电子表格和图像则渲染为截图或页面图像后使用视觉评估器。
本文的多维度评估框架超越了简单的通过/失败二值判断，能够揭示代理在各个质量维度上的强弱项，这对于改进代理系统和理解企业场景下的性能瓶颈至关重要。
Skill Transfer（技能迁移）
技能迁移是指从一个任务类别的执行中蒸馏出的技能能够改进同一类别中未见任务表现的能力。在本文中，技能创建者模型分析代理在领域内任务上的执行轨迹、交付产物和评估器反馈，然后为消费代理生成特定技能。技能被注入消费代理后，评估其在同类别保留任务上的性能变化。正的迁移分数表示技能有效提升了代理在该任务类别上的泛化能力。
企业环境中技能正在成为可重用的资产，本文提出的任务类级别技能评估方法比传统的单任务评估更贴近实际部署需求，能够测试技能的真实迁移效果。
研究动机
现有基准测试在评估企业代理时存在三个关键gap。Gap 1是企业真实性与可扩展任务构建之间的张力。虽然Workspace-Bench、WorkArena、TheAgentCompany、EnterpriseBench和EntWorld等基准测试将代理评估推向了工作空间或类企业环境，但许多任务仍然是人工编写的、模拟的或从公共环境构建的，这导致基准测试任务与自然发生的企业需求之间存在差距。Gap 2是多维度评估的缺失。WildClawBench报告了harness效应，ClawBench强调环境和状态基础的执行，Claw-SWE-Bench将Claw风格评估适配到仓库级代码修复，AgenticVBench引入多模态生产任务，但企业评估需要联合报告harness-model组合、多模态评估、产物交付质量、时间和成本作为耦合结果，而非单一的模型分数。Gap 3是任务类级别的技能评估缺失。可重用技能正在成为企业代理系统中的运营资产，但现有基准测试要么不是为技能评估设计的，要么仅在单个任务项目级别评估技能。企业技能应该作为迁移单元进行测试：从一个任务类别蒸馏出的技能应该改进同一类别的保留任务。
本文的目标是本文的具体目标是构建一个从真实企业代理会话派生的内部企业基准测试，并开发一个自动化的构建协议将噪声化的企业会话转化为可复现的基准任务。同时，建立一个多维度评估框架，联合报告harness-model性能、文件交付、文本/视觉语义质量、成本和运行时间。此外，原生支持评估技能在同一企业任务类别的保留任务上的泛化能力。最终目标是揭示企业代理评估必须报告harness-model组合、产物交付、视觉质量、成本、运行时间和技能迁移行为，而不是将性能坍缩成单一分数。
与已有工作不同的是，本文的独特切入角度在于从企业内部部署的真实代理会话档案构建基准测试，而不是人工编写或模拟任务。这是首个从持续内部企业使用中自然产生的员工请求、记录的fixtures、工具轨迹和交付文件构建的企业导向基准测试。此外，本文强调评估harness-model组合而非仅模型名称，识别了harness与模型之间的兼容性问题。本文还提出了任务类级别的技能评估方法，通过消费者-创建者矩阵而非单一平均技能分数来报告技能效果，这更贴近企业环境中技能作为可重用资产的实际情况。
核心方法
EnterpriseClawBench方法整体思路是将企业内部代理系统历史会话档案中的噪声化会话转化为可复现的基准任务。该工作流从大规模会话档案开始，首先通过会话轮次的分割和合并恢复任务级候选。然后应用机械筛选，包括长度过滤、fixture查找、脱敏恢复和网络依赖检查。通过这些可复现性筛选的候选者会被评估自包含性，重写为单轮基准提示词，分配角色类和技能子类，标注预期交付物，并与硬规则和文本/视觉语义评分标准打包。最后进行沙箱预飞检查，验证输入上传、代理执行、产物下载和评估路由后，任务进入基准测试集。整个方法的核心是将真实但混乱的企业数据转化为结构化、可评估的测试任务。
核心创新点在于将企业内部会话档案系统性地转化为可复现基准任务的自动化协议。与现有基准测试依赖人工编写或模拟任务不同，本文的方法从真实的企业部署中提取自然发生的任务需求。另一个关键创新是多维度评估框架，不仅报告最终分数，还联合报告harness-model组合、多模态产物交付质量、成本和运行时间。第三个核心创新是任务类级别的技能评估方法，通过消费者-创建者矩阵分析技能迁移效果，识别技能创建能力和技能消费能力不一定对齐的现象。最后，本文揭示了harness-model兼容性问题的重要性，发现Claude家族模型在Hermes下性能显著下降，而在Claude Code或DeepAgents下表现良好，这表明评估结果必须报告harness-model组合而非仅模型名称。
方法步骤详情
EnterpriseClawBench构建管道包含四个主要步骤。第一步是企业代理会话到任务恢复的转换，通过机械可用性门控和并行筛选处理原始会话。具体操作包括长度过滤（移除过短或过长的会话）、fixture查找（验证必要的输入文件可用）、脱敏恢复（确保敏感信息已正确处理）和网络依赖检查（确认任务不依赖不可访问的外部资源）。第二步是基准任务构建和打包，将通过机械筛选的候选者进行自包含审查，重写为单轮基准提示词，分配角色类（如产品/项目、工程/IT、HR/行政等）和技能子类，标注预期交付物，并生成硬规则（如必需文件类型、文件数量、非空性、可打开性、traceback、未替换占位符等）和文本/视觉语义评分标准。第三步是Lite 120任务子集的手动审核抽样和完整852任务集的自动化构建。第四步是评估和分析，在独立非状态化沙箱中运行所有任务，上传任务输入，调用harness，下载输出和轨迹，过滤临时文件，并记录完成状态、运行时间、token使用、成本、工具调用和证据警告。评分分为两层：硬规则检查客观交付属性，然后语义评估器沿五个维度输出质量评分。
技术新颖性
技术新颖性体现在多个方面。首先，这是首个从真实企业内部部署会话构建的大规模代理基准测试，852个任务从5,291个原始TaskInstances经过严格筛选得到，保证了任务的真实性和多样性。其次，多维度评估框架同时考虑硬规则和语义评分，文本和视觉路由，以及成本-运行时-性能的耦合分析，这比传统单一分数评估更全面。第三，任务类级别技能评估方法通过消费者-创建者矩阵（4个harness × 3个创建者模型）揭示技能质量强烈依赖于创建者模型，发现GPT-5.5是最强创建者（平均+0.0681迁移），而Haiku 4.5是最弱创建者（平均-0.0941迁移）。第四，评估可靠性研究包含LLM-LLM一致性（GPT-5.4-text与Sonnet 4.6文本评估器相关系数$ ho=0.918$，GPT-5.4-visual与Sonnet 4.6视觉评估器相关系数$ ho=0.866$）和人类对齐（文本路线MAE=0.134，Spearman相关系数=0.790；视觉路线MAE=0.303，Spearman相关系数=-0.259），暴露了多模态产物评估的不成熟性。最后，harness-model交互分析识别了Claude家族模型在Hermes下的系统性性能下降，揭示了评估必须考虑harness-model兼容性。
实验结果
实验结果揭示了企业代理评估的多个重要发现。首先，在手动审核的120任务Lite子集上，32个harness-model组合的最佳得分仅为0.663（Codex/GPT-5.5），表明企业产物任务远未饱和。其次，harness-model交互显著影响性能，Claude家族模型在Hermes下表现急剧下降（Sonnet 4.6从0.62-0.64区间降至0.458），而在Claude Code、DeepAgents和OpenClaw下保持稳定，这表明存在harness-model兼容性问题。第三，成本-得分权衡呈现对数形状：从低成本系统到中成本系统带来大幅提升，超过中范围后额外成本产生较小改进，符合部署直觉但存在边际收益递减。第四，角色类效应明显：GPT-5.5是最稳健的通用模型，在多个角色类别中领先性能，而营销和财务/运营仍然较难，可能因为它们结合了繁重的文档理解和生成以及公司特定场景和约定。第五，产物类型效应改变排名：GPT-5.5在HTML、code/JSON和多个交付密集型类别上最强，而Opus 4.6在电子表格上最强。第六，评分标准维度分析显示当前系统在沟通质量和任务相关性方面普遍优于基础准确性，代理经常无法在上传的大文件中定位用户请求的关键信息，或在长视界执行中丢失这些信息。第七，技能评估显示技能质量强烈依赖于创建者模型，GPT-5.5是最强创建者产生正平均迁移且无负增量，Haiku 4.5是最弱创建者产生负平均增量并对OpenClaw/Kimi K2.6造成大退化。第八，全852任务集的可扩展性检查保留手动审核Lite子集上观察到的广泛模型排序，即使最强模型仍然未饱和且保持清晰分数分离。第九，评估可靠性研究发现文本路线与人类对齐良好（MAE=0.134，Spearman=0.790），视觉路线对齐弱得多（MAE=0.303，Spearman=-0.259），表明当前多模态LLM评估器对于细粒度企业产物评估的校准仍然不足。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| EnterpriseClawBench Lite (120 tasks) | Overall Score | 0.663 | None (first benchmark) | N/A - establishes baseline |
| EnterpriseClawBench Full (852 tasks) | GPT-5.5 Score under DeepAgents | 0.766 | GPT-4.1-mini under DeepAgents: 0.336 | 128% relative improvement |
| Skill Transfer (Frontend Page Generation) | Mean Delta with GPT-5.5 Creator | +0.068 | Haiku 4.5 Creator: -0.094 | 0.162 absolute difference |
| Judge Reliability - Text Route | Spearman Correlation with Human | 0.790 | Visual Route: -0.259 | N/A - exposes evaluation gap |
局限与改进
作者承认的局限性包括：EnterpriseClawBench是从一个企业部署构建的，结果可能不代表所有组织；完整数据集未发布，因为它包含内部会话、附件、工具轨迹和商业产物；LLM评估器仍然不完美，特别是对于视觉产物，因此评估器消融和人类相关性实验是必要的校准步骤。此外，基于论文内容的观察，该基准测试可能存在任务分布偏差，因为来源是一个AI创业公司的内部使用，可能偏向技术密集型任务（产品/项目26%、工程/IT20%），而传统行业的企业任务可能代表性不足。技能评估实验仅在一个任务子类（前端页面生成）上进行，其他技能子类的迁移行为可能不同。评估器的视觉路由与人类评分的对齐性很差（负相关系数），这表明当前多模态评估存在系统性问题，可能会产生误导性结果。最后，虽然harness-model兼容性被识别为重要因素，但论文未深入分析导致兼容性问题的具体机制，也没有提出改进建议。
独立分析的弱点
独立分析的弱点包括：首先，视觉评估器的可靠性问题严重，Sonnet 4.6视觉评估器与人类评分的Spearman相关系数为-0.259，这意味着评估结果可能与人类判断相反。改进方向可以是开发专门针对企业产物的视觉评估基准，或者引入人类在环评估流程。其次，技能评估仅在一个任务子类上进行实验，缺乏对45个技能子类的全面分析，这限制了对技能迁移规律的普遍性理解。改进方向可以是在更多技能子类上进行消费者-创建者矩阵实验，识别哪些技能类别更容易迁移，哪些更难。第三，harness-model兼容性机制未深入分析，只知道Claude家族模型在Hermes下性能下降，但不清楚具体是哪些设计决策导致这种不兼容。改进方向可以是系统分析不同harness的工具调用策略、安全检查机制、任务分解方式如何与不同模型的推理风格交互。第四，数据集分布可能存在偏差，来源是AI创业公司内部使用，可能技术密集型任务过代表，而传统企业任务（如财务报表生成、法律文档审查）可能不足。改进方向可以从多个不同类型的企业收集会话数据，增加任务多样性。第五，成本-运行时分析缺乏细粒度分解，只报告总体成本和时间，无法区分不同操作类型（如工具调用、文件读取、产物生成）的资源消耗。改进方向可以引入更细粒度的profiling工具，识别性能瓶颈。
未来方向
作者提出的未来研究方向包括：扩展数据收集到更多企业类型，增加任务和角色多样性；改进多模态评估器，特别是视觉路由的校准；深入研究harness-model兼容性机制，提出设计原则指导更好的harness开发。基于论文成果可以延伸的研究方向包括：开发技能蒸馏和注入的自动化流程，减少对人工干预的依赖；研究技能组合和层级结构，测试多个技能同时注入的效果；探索动态技能选择机制，根据任务特征自动选择最相关的技能；开发更精确的成本预测模型，帮助企业决策者权衡性能和成本；研究长期技能学习和遗忘，测试技能在不同时间跨度的保持效果；开发跨技能迁移评估框架，测试一个技能子类的学习是否影响其他技能子类的表现；研究多模态产物的自动化质量检查工具，补充或替代LLM评估器；探索人机协作评估流程，结合人类和LLM评估器的优势；开发更全面的基准测试套件，覆盖更多企业场景和任务类型。
复现评估
复现评估方面，论文明确指出完整数据集未发布，因为它包含内部会话、附件、工具轨迹和商业产物，这意味着其他研究者无法完全复现实验。论文的贡献是构建和评估协议，这是可复用的。论文公开了leaderboard、GitHub链接（虽然具体URL在文本中显示为占位符），以及详细的评估框架描述。算力需求方面，在852任务上运行32个harness-model组合需要大量计算资源，特别是考虑到每个任务在独立沙箱中运行，涉及文件上传、代理执行、产物下载和评估路由。论文报告了每个harness-model组合的成本，范围从¥26到¥701，平均每个任务约¥48.6，这表明完整实验的成本相当高。复现难度高，主要是因为数据不公开和计算资源需求大，但构建协议和评估框架是透明的，其他企业可以采用类似方法从自己的内部数据构建基准测试。论文提供了详细的统计数据和消融分析，增加了结果的可信度。技能评估实验的代码和数据细节没有充分描述，复现这部分可能需要额外信息。
论文图表
