Workspace-Bench 1.0：面向大规模文件依赖工作区任务的 AI Agent 基准 Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies
2 万文件 + 388 跨文件任务，最强 Agent 仅 60%，远低于人类 80.7%。
前置知识
AI Agent 与 Agent Harness
Agent 是以大模型为大脑、能调用工具完成多步任务的系统；Harness（执行框架）负责把模型封装成具备记忆、规划、工具调用能力的运行时，如本文评测的 OpenClaw、DeepAgent、Hermes。
本文核心结论之一就是「同一底层模型 + 不同 Harness」会产生显著不同的通过率与 token 消耗，必须理解 Harness 才能读懂论文的比较对象。
Workspace Learning（工作区学习）
论文新提出的概念，指 Agent 在真实办公工作区中识别、推理、利用和更新多个异构文件之间显式与隐式依赖的能力，覆盖语义关系、聚合关系、上下文支撑、版本谱系四类关系。
它是本文区别于「单文件 QA」「GUI 自动化」等已有评测范式的关键标签，也是五阶段进化模型的终极目标（L4）。
文件依赖图（File Dependency Graph）
人工标注的有向图，节点是任务必需的文件，边表示文件之间的依赖（版本派生、跨模态引用、上下文支撑）；平均每任务 4.7 节点、5.1 边，最多跨 9 个文件。
评测不仅看最终答案对不对，还看 Agent 是否访问了正确的 ground-truth 依赖子图，这是 Node/Edge F1 指标的基础。
Rubric-based Evaluation（细粒度打分）
把每个任务的「答得好」拆成 6–30 条二元命题（rubric），覆盖基础合规、过程合规、结果正确三类，例如「Europe sales = $503,568.21」就是一条具体 rubric。
Workspace-Bench 用 7,399 条 rubric 替代 exact-match，能精确诊断 Agent 在哪个环节出错（漏内容、推理错、约束违反等）。
Agent-as-a-Judge
用一个大模型（如 Seed-2.0-Lite）作为裁判，根据 Agent 的执行轨迹、输出文件和 ground-truth rubric 给出 0/1 分数、置信度和错误分类。
论文靠它支撑 7,399 条 rubric 的可扩展评估，决定了基准在大规模实验中的工程可行性。
研究动机
现有 Agent 评测对「真实办公场景」还原度严重不足：Prompt-Driven 基准（CL-Bench、OneMillion-Bench）把信息塞进自然语言，根本不接触文件；Open-Source-Driven 基准（OSWorld、CRMArena-Pro）让 Agent 调 Web/API，跳过了「本地文件」这一办公核心媒介；Task-File-Driven 基准（OfficeQA-Pro、GDPVal）虽是预打包文件 QA，却没有目录探索。最接近现实的 Workspace-Relevant 基准（OfficeBench、TheAgentCompany）只覆盖单一样式目录、不到 10 种文件格式，且把跨文件协同当隐式副产品，根本不显式评估「文件谱系」与「语义关系」。结果是 TheAgentCompany 上最强 Agent 仅 24–30% 完成率，OfficeBench 仅 47%，且 49% 企业把推理成本列为部署头号障碍。
本文的目标是构建能系统测试 Workspace Learning 能力的基准 Workspace-Bench 1.0，要求 Agent 在 5 类真实岗位工作区里完成跨文件依赖任务，覆盖 74 种文件类型、20,476 个文件（最高 20GB）、388 个任务、7,399 条 rubric，并附 100 题 Workspace-Bench-Lite 把评测成本降低约 70%，最终用 4 Harness × 7 LLM 共 15 组组合跑出 SOTA 能力画像。
与已有工作不同的是，本文的核心切入是「文件依赖结构本身成为一等公民」：不是给 Agent 更多文件或更难的单文件问题，而是显式标注每个任务的依赖图和过程/结果/基础三类 rubric，并提出 Workspace Learning 六维能力与五阶段进化模型（L0 数据无关 → L1 用户指定文件 → L2 文件间依赖推理 → L3 任务到文件发现 → L4 工作区原生自进化）解释「为什么 Harness 比单纯换模型更重要」。这是首次把版本谱系、语义依赖图、沙箱并行回滚、Agent-as-a-Judge 四件事集成在一个 Agent 基准里。
核心方法
整体方法分两条主线并行：左半部分是「自顶向下的人机协作工作区构建」，先用 LLM Agent 按岗位生成目录骨架，再用 semantic-driven agentic crawler 抓 arXiv/GitHub/真实报表等公开资源填充，最后让 LLM 基于已抓文件合成衍生品（邮件、会议纪要、报表）并由领域专家审核；右半部分是「真人主导的任务与依赖标注」，先在字节 Lark 平台问卷收集 154 个真实工作流，再由 25 名匹配岗位的标注员在合成工作区里展开成具体任务，标注依赖图、写出参考产出、设计 rubric，最后用辅助 Agent pipeline 把模糊判据转成可校验断言并交叉校验。两条线汇合后产出 388 任务、7,399 rubric 的完整基准，评测时再用并行沙箱池 + BFS 回滚 + Agent-as-a-Judge 完成高效打分。
和已有基准的本质区别有三层：(1) 把跨文件依赖从隐式副产品升级为一等标注对象——每个任务附带显式 file dependency graph，评测时既看 rubric pass rate 又算 Node/Edge F1；(2) 用「Top-down + 噪声注入」构造真实感目录（最深 8 层、平均 3.7、有 archive/草稿/历史版本），而不是把所有任务文件平铺到根目录；(3) 提出 Workspace Learning 六维能力 + 五阶段进化模型，给后续 Agent 架构改进提供「能力分项诊断 + 长期路线图」两套工具，这是 OfficeBench/TheAgentCompany 等都缺失的分析框架。
方法步骤详情
数据构建流水线（Figure 3）分两步。Part 1「文件系统模拟与填充」先由 LLM Agent 按 5 类岗位画像生成树状目录骨架并注入结构噪声（冗余目录、archive 文件夹），再用 agentic crawler 按目录语义抓取 arXiv 论文、GitHub 仓库、技术文档、报表等真实素材，最后用 LLM 合成「围绕这些素材」的衍生品（邮件、会议纪要、衍生报表）构造隐式依赖。Part 2「高质量办公任务标注」分三阶段：(a) 通过字节 Lark 内部问卷收集真实工作流，专家筛选后保留 154 个代表性场景；(b) 25 名匹配岗位的标注员把每个场景展开成具体任务，写指令、列必需输入、产出参考结果、设计 rubric（平均每任务 19.1 条）并标注依赖图；(c) 用辅助 Agent pipeline 把「计算是否正确」这类模糊标准转成「最终值是否等于 [具体值]」的可校验断言，再由专家交叉校验。 评测流水线（Figure 6）分五步：(1) Task Initialization——通过 YAML 静态声明所有 Agent 配置，Inference Manager 加载任务并从 Sandbox Pool 申请对应岗位隔离工作区；(2) Parallel Task Execution——workspace 级（5 岗位并行）和 task 级（同一工作区多镜像副本并行）两层加速；(3) Workspace Recovery——任务结束后用 Algorithm 1「Parallel BFS Rollback」按层比对当前沙箱与基线快照，删多余/补缺失/用基线哈希覆盖被改节点；(4) Multi-strategy Result Gathering——同时用「指令指定路径」「全局副本目录」「元数据模糊匹配」三条策略抓 Agent 产出并去重；(5) Agent-as-a-Judge——把输出文件、原始输入、rubric 与执行轨迹喂给裁判模型 Seed-2.0-Lite，输出二元评分、置信度、错误类型，并从轨迹里提取预测依赖图与 ground-truth 图比对。
技术新颖性
技术新颖性体现在四方面：(1) 显式标注的 File Dependency Graph——平均 5.1 条边、最多跨 9 个文件，能算出 Node F1 与 Edge F1 两个独立指标；(2) 7,399 条细粒度 rubric 覆盖基础/过程/结果三类，配合 Agent-as-a-Judge 可扩展到全基准；(3) Algorithm 1「并行 BFS 工作区回滚」保证 4 Harness × 7 LLM × 多任务的反复沙箱复用；(4) 与已有基准（Table 1）的六维对比表显示 Workspace-Bench 是首个同时具备「多岗位目录结构、>70 文件模态、任务支撑文件、结果提供文件、语义内容关系、文件谱系关系」六个维度全部 ✓ 的基准。
实验结果
15 组组合在 Workspace-Bench-Lite 上的 Rubrics Pass Rate 范围 27%–60%，平均 45.1%（全基准 43.3%），远低于 Human+Tools 的 80.7%。最强组合是 DeepAgent + GLM-5.1（约 60%），其后是 Hermes + GLM-5.1、OpenClaw + GLM-5.1、OpenClaw + Qwen-3.6-Plus。 Finding 1（难度退化）：所有 Agent 的 Pass Rate 随难度阶梯下降——Easy 51.4% → Medium 46.0% → Hard 35.7%；Easy 阶段各 Harness 差距很小，Hard 阶段差距被放大（如 Hermes + Gemini-3.1-Pro 在 Hard 上跌破 30%，而 GLM-5.1 配三个 Harness 都能稳住约 60%）。 Finding 2（依赖图识别率）：Node F1 普遍 0.49–0.69，Edge F1 仅 0.18–0.43，说明「找到相关文件」比「理解文件间关系」容易得多——后者是当前所有 Agent 的系统性短板。 Finding 3（六维能力瓶颈）：Workspace Exploration 和 Result-Providing File Utilization 是大多数 Agent 还能做好的能力，而 Heterogeneous File Understanding 与 Lineage Tracing 在所有 Harness 上都垫底；DeepAgent + GLM-5.1 在 Exploration 上接近 50% 但 Heterogeneous 上只有约 30%。 Finding 4（成本不等于效果）：Hermes + GLM-5.1 处于左上象限，<30 轮交互、token 消耗极小却拿下 55%+ 准确率；DeepAgent + GLM-5.1 同样接近 60% 但要 58.1 轮 + 0.61M tokens；DA+Gemini、HM+Gemini 在 40–60 轮、巨额 token 下仍只有 30–45%，证明弱模型+多轮容易陷入重试死循环。 Finding 5（人机协作完胜）：20 位专家用 Agent 作辅助工具的 Pass Rate 稳定在 78.4%–81.2%，且不随难度退化。错误分析显示 Missing Content 和 Reasoning Error 合计占失败 rubric 绝大部分，Agent 的「基础执行力」已经够好，「信息召回 + 跨文件推理」才是真正的卡点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Workspace-Bench-Lite 综合 Pass Rate | Rubrics Pass Rate (%) | DeepAgent + GLM-5.1 ≈ 60%，平均 45.1% | Human+Tools = 80.7% | 最好配置仍比人类低约 20 个百分点；15 组平均只有人类水平的 56% |
| Easy 难度 Pass Rate | Rubrics Pass Rate (%) | 平均 51.4% | Human+Tools = 78.4% | 差距 27 个百分点，Easy 任务上 Agent 仍远不如人 |
| Medium 难度 Pass Rate | Rubrics Pass Rate (%) | 平均 46.0% | Human+Tools = 81.2% | 差距扩大到 35 个百分点 |
| Hard 难度 Pass Rate | Rubrics Pass Rate (%) | 平均 35.7%（Hermes+Gemini-3.1-Pro 跌破 30%） | Human+Tools = 80.4%（几乎不下降） | 差距 45 个百分点，且 Agent 出现严重难度退化 |
| Dependency Graph Node F1（7 LLM × 4 Harness） | F1 Score | 0.390–0.683（Hermes 平均 0.628，OpenClaw 0.583，DeepAgent 0.529，Codex 0.551） | 理想 F1 = 1.0 | Hermes 比 Codex 提升约 +0.077，比 DeepAgent 提升约 +0.099 |
| Dependency Graph Edge F1（7 LLM × 4 Harness） | F1 Score | 0.177–0.432，最高 Hermes 0.412 | 理想 F1 = 1.0 | 比 Node F1 低 0.2–0.3，说明「理解关系」比「找到节点」难一档 |
| TCR@70 by 六维能力（DeepAgent + GLM-5.1） | Task Completion Rate @70 (%) | Workspace Exploration ≈ 50%，Heterogeneous File Understanding ≈ 30% | 其他维度均值约 40% | 同一最强组合在不同能力维度可差 20 个百分点 |
| 效率（交互轮数 × token 消耗） | Avg Interaction Turns / Tokens per Task | Hermes+GLM-5.1：<30 轮；DeepAgent+MiniMax-M2.7：58.1 轮 + 0.61M tokens | DeepAgent+GLM-5.1：~70 轮 + 巨额 token | Hermes+GLM-5.1 在约 1/2 轮数下达到与 DeepAgent+GLM-5.1 相当的 55%+ 准确率 |
局限与改进
本基准的局限主要有四点：(1) 5 个岗位集中在互联网公司（运营/物流/产品/后端/研究员），未覆盖法务、医疗、金融等同样文件密集的领域，跨行业外推性受限；(2) Agent-as-a-Judge 依赖 Seed-2.0-Lite 闭源裁判，论文未给出裁判一致性的人机对比，评分存在模型偏差风险；(3) 标注仅用 25 名标注员 + 内部问卷，依赖图的人工标注一致性没有给出 inter-annotator agreement；(4) 全基准评测成本约 0.61M tokens × 388 任务 × 28 组合，对资源受限团队不友好，且 HuggingFace 文件可能随时间漂移，难以完全可复现。
独立分析的弱点
从独立分析角度看，本文至少有四处可改进的地方：(1) 岗位代表性不足——只覆盖互联网公司 5 类岗位，对需要合规审计的法务/医疗场景缺位，可考虑引入 HIPAA/SOX 风格的受监管文档工作区，让基准更贴近「49% 企业把推理成本列为头号障碍」的实际痛点；(2) 依赖图标注一致性未量化——5.1 条边/任务的 ground-truth 完全靠人工，建议引入 inter-annotator agreement（如 Cohen's Kappa）和图重建一致性指标；(3) 效率指标缺乏归一化——Figure 11 把 turns、tokens、accuracy 塞在一张图里，但未给出 pass-rate-per-kilo-token 之类的可比单位，导致「DA+GLM-5.1 准但贵」vs「HM+GLM-5.1 便宜且准」难以量化对比；(4) 裁判透明度不足——Agent-as-a-Judge 输出二元评分和置信度，但没披露裁判一致性、错误率与置信度的相关性，rubric 之间的难易度权重也未校准。
未来方向
作者明确给出的方向：在 L2/L3 阶段 Harness 的贡献将超过 LLM，因此需要专门为「文件依赖推理」设计新的 Harness 原语（如谱系感知工具、结构化记忆、显式依赖发现模块）。我们额外建议三条延伸：(1) 构建 L4 评测维度——目前基准只到 L3，五阶段模型里 L4「Workspace-Native Self-Evolution」还没有对应 rubric，未来可加入「Agent 在多次任务后能否复用历史发现」「能否检测到工作区新增软件/文件」等指标；(2) 动态/增量评测——当前是静态快照，可引入「每天往工作区加 5 个文件、每月改一次目录结构」的演化版本，测 Agent 的在线学习与遗忘；(3) 领域迁移与多模态扩展——把同样的依赖图框架套到临床、学术论文评审、跨境合规审计等场景，验证「Workspace Learning」概念是否跨领域普适。
复现评估
复现门槛中等偏低。项目主页、HuggingFace 数据集、GitHub 仓库都已公开；Workspace-Bench-Lite 把评测时间和成本压到约 30%，可在单机多核 + 一块 24G 消费级 GPU 上跑完 100 题。但完整 388 题评测仍需约 5×并行沙箱 + 长上下文 LLM 推理 API，按 0.61M tokens/任务 × 388 × 4 Harness × 7 LLM ≈ 数十亿 token，单跑一次全基准成本在数千到上万美元区间，与论文结论中「推理成本是企业头号障碍」一致。Agent-as-a-Judge 用的 Seed-2.0-Lite 不开源，只能复现管线不能复现裁判。rubric 文本、依赖图 JSON、并行回滚算法伪代码（Algorithm 1）都在论文中给出；prompt 模板在 Appendix A.2；标准做法是用官方 YAML 配置 + Docker 镜像启动沙箱。
论文图表
整张图分左（任务与角色）和右（评测视角）：左半部画 5 个岗位工作区（运营/物流/产品/后端/研究员）和它们的日常/进阶任务，右半部画出 Workspace-Bench 的三大评测维度——Workspace Comprehension、File Structures Understanding、Task Contextual Grounding。
帮助读者快速建立「基准要测什么」的心智模型，明确 Workspace Learning 不是单文件 QA，而是跨文件 + 跨岗位的系统能力。
堆叠条形图，把 5 类错误（Constraint、Missing Content、Reasoning、Process、Format）在 4 Harness × 7 LLM 上的占比画出来，Missing Content 和 Reasoning Error 始终占主导。
支撑错误分析结论——「Agent 的基础执行力已经够好，漏内容 + 跨文件推理才是卡点」。
横向时间轴，把 Agent 能力划分为 L0 Data Insensitive Execution → L1 User-Specified File Execution → L2 File-to-File Dependency Reasoning → L3 Task-to-File Dependency Discovery → L4 Workspace-Native Self-Evolution，并标注每个阶段 Human/LLM/Harness 贡献占比以及 Orchestration Singularity / Capability Singularity / Data Association Gap 三个关键拐点。
本文最具概括性的概念图，把所有实验结论汇成一张「未来研究路线图」，是论文最具思辨价值的部分。