OSWorld 2.0：基于长周期真实世界任务的计算机使用代理基准测试 OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks

方法步骤的完整流程分为任务构建和实验评估两个阶段。任务构建阶段包括：1）任务收集，主要通过团队头脑风暴和专家风格标注（约90%任务），辅以半结构化从业者访谈、问卷和LLM生成提案；2）环境搭建，将候选工作流转换为可复现的计算机环境，包括部署自托管网站服务、配置初始工作区状态（本地文件、打开文档、网站状态、账户记录、下载材料等）、设置模拟用户通道和动态更新钩子；3）评估协议，定义细粒度部分奖励（平均每任务27.25个检查点）和功能性优先、模型辅助的评估方法；4）质量保证，通过三阶段流程（自动单元测试生成、人工交叉检查、前沿代理轨迹审计）确保任务可行性和评估可靠性。实验评估阶段包括：1）选择7个模型家族（Claude Opus 4.8/4.7/4.6、GPT-5.5、Qwen 3.7-Plus、MiniMax M3、Kimi 2.6）；2）配置不同推理努力级别（Claude的max等，GPT-5.5的low/medium/high/xhigh）和工具使用模式（批处理vs单次调用）；3）在150/300/500步预算下执行；4）收集二元完成率、部分分数、成本、工具调用数、输出token数、步数等指标；5）进行挑战现象归因分析、行为模式分析、安全性分析和失败模式定性分析。

技术新颖性体现在多个维度。首先是评估单元的转变：从操作级（点击、输入）到工作流级（跨应用端到端任务），这要求架构上的根本改变而非仅仅更强的局部能力。其次是环境真实性的提升：通过自托管服务替代真实第三方网站，避免了布局漂移、反机器人拦截和不可复现历史，同时保留了Web工作的真实性。第三是评估细度的增加：细粒度部分奖励（平均27.25检查点/任务）比二元评分更准确反映长周期任务中的部分进展，能够区分毫无进展和只差最后验证两种情况。第四是挑战现象框架的提出：十个现象标签提供了诊断性的能力分解，帮助理解代理在哪些具体能力上存在缺陷。第五是动态环境的引入：任务过程中注入邮件或消息测试代理是否继续监控相关通道、注意新约束并修订早期决策。第六是安全性审计的整合：通过副作用检查和轨迹分析，揭示了代理在处理长周期任务时的隐私泄露、资源耗尽和越权行为等安全风险。

独立分析的弱点包括以下几个方面。首先，代理在恢复和维护隐式状态方面存在系统性缺陷，这是最突出的弱点。具体场景包括：任务008（报销）中无法从之前的报告中恢复员工信息，任务035（采购订单）中无法跟踪多个供应商的约束变化，任务024（DS-2019申请）中在证据缺失时不使用ASK_USER请求帮助而是提交不完整申请。改进方向是设计显式状态管理机制，让代理能够构建、维护和查询任务级状态表示，而不仅仅依赖压缩的推理或思维链上下文。其次，代理在动态环境中的适应性不足，当任务过程中新信息到达时无法有效更新计划。具体场景包括任务035中TeamChat消息到达时代理将其视为背景噪声而非更新任务状态，任务052（TravelHub预订）中弹出窗口移动导致点击落空。改进方向是引入流式监控和动态重规划机制，让代理持续监控相关通道并在状态变化时触发计划修订。第三，代理的自我验证和错误修复能力极弱，几乎所有模型都只将不到7%的预算用于检测和修复自己的错误。具体场景包括任务008中代理读取账户代码规则、交叉核对银行费用并提交报告，但提交后状态仍包含错误字段、缺失细节或不完整支持文档。改进方向是设计显式的验证步骤和错误修复循环，让代理在关键决策点进行状态一致性检查，并能够追溯和修复早期错误。第四，代理的安全意识不足，在追求任务完成时可能产生有害副作用。具体场景包括向GitLab推送仓库时泄露.env文件中的硬编码API密钥，在只剩398MB磁盘空间时仍下载372MB音频文件导致存储耗尽。改进方向是引入副作用监控和约束检查机制，让代理在执行前预测和评估潜在风险，并在约束接近时暂停或寻求用户指导。

未来研究方向包括作者提出的和基于成果可延伸的多个方向。作者明确将OSWorld 2.0视为扩展系列的基础，未来版本将添加更多领域、职业和工作流类型，同时保持相同的发布纪律和可比较的评估原则。从论文成果出发，一个重要方向是设计更好的状态管理机制，让代理能够在长周期中维持任务级模型。这包括显式状态表示、跨应用信息追踪、约束条件维护和动态更新。第二个方向是改进动态环境处理能力，包括流式界面监控、新信息检测、增量重规划和回滚机制。第三个方向是增强自我验证和错误修复能力，包括状态一致性检查、决策审计、错误追溯和渐进修复。第四个方向是提升安全性，包括副作用预测、约束检查、风险评估和用户协商。第五个方向是探索更高效的推理策略，包括何时使用批处理、如何平衡程序化和GUI操作、如何在不同现象间分配注意力。第六个方向是深入研究人机协作模式，包括何时应该主动询问用户、如何呈现中间结果、如何处理冲突指令。第七个方向是扩展到更多应用和服务，包括移动设备、云服务、专业软件和新兴交互模式。

复现评估显示OSWorld 2.0在开源方面表现良好但仍有改进空间。论文明确表示将发布环境、108个任务、自托管网站和代理轨迹，这为复现提供了基础。每个任务都有详细的规范说明、输入工件、初始环境状态和评估逻辑，这确保了可复现性。质量保证流程包括自动单元测试生成、人工交叉检查和前沿代理轨迹审计，这减少了评估噪声。然而，扩展基准测试成本高昂，每个任务都需要真实的工件、可复现的环境、稳健的评分逻辑，以及人类和模型质量控制。数据方面，论文使用了自托管服务模拟真实网站，这避免了布局漂移、反机器人拦截和不可复现历史，但同时也可能引入与真实环境差异的问题。算力方面，论文运行在AWS CPU实例（us-east-1），默认t3.2xlarge，需要时使用更大类型，多个环境并行运行，这需要显著的计算资源。从成本数据看，Claude Opus 4.8配置每任务成本约$72.4，这限制了大规模实验的可行性。难度上，复现论文主要实验需要设置自托管网站、配置初始环境状态、实现细粒度评估逻辑、运行多个模型的多个配置、收集轨迹数据并进行多维度分析，这对研究团队的要求较高。总体而言，OSWorld 2.0在可复现性设计上做了大量工作，但完整复现仍需要显著的计算资源和工程投入。