MyPCBench：一个用于个性化智能计算机使用代理的基准测试 MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents

方法步骤完整描述如下：第一步，环境创建。使用17个真实消费者产品的克隆，每个是完整的Next.js构建而不是静态模拟，实现真实的工作流程。例如，Gringotts支持转账、账单支付、Zelle和对账单下载，Dinoco航空公司生成带有QR码的登机牌，eTaxi使用OSRM在播撒位置之间路由，TableFind暴露4,128个预订位置的预先计算库存，具有保留和释放语义。第二步，人物生成。人物规范指定为JSON文档，涵盖身份、财务概况、社交网络、旅行历史、工作背景、日常习惯、偏好以及最近的和即将到来的生活事件。确定性Python流水线从该规范填充桌面的每个部分，为17个Web应用写入SQLite数据库，建立跨一致性引用，创建Firefox配置文件（书签/历史记录/cookies/表单字段），以及填充文件系统（会议记录、费用报告、旅行行程、登机牌PDF、简历草稿）。第三步，任务生成。通过检查OpenClaw Discord社区的2,749个匿名化和改写的用例，删除接近重复的请求、在任何确定性VM中不可行的请求或需要17个托管应用之外的应用的请求，剩余请求被重写以使命名实体（人物、餐厅、日期、账户）匹配Michael Scott的播撒数据。编码代理以Odysseys格式生成每个任务的每任务评分标准。第四步，代理执行。使用每个提供商的原生计算机使用代理在共享的computer+bash表面下运行，代理驱动标准CUA ReAct循环与环境交互，在每个步骤接收观察（1280×800的来宾桌面屏幕截图）并发出操作。第五步，评分评估。每个任务携带其自然语言指令和评分标准，评估者对轨迹的每个评分项目运行一次，接收任务指令、单个评分标准、代理的完整动作历史和轨迹中的每个屏幕截图，返回每个项目的"成功"或"失败"。预算以轮次为单位，每轮一次LLM调用，硬上限为每次运行100轮。第六步，指标计算。报告三个指标：评分分数$s = \frac{1}{T}\sum_{i=1}^{T}s_i$（每个任务的加权评分通过率平均），完美率$\frac{1}{T}\sum_{i=1}^{T}\mathbb{1}[s_i = 1]$（任务中每个评分都通过的严格率），轨迹效率$\frac{1}{T}\sum_{i=1}^{T}\frac{s_i}{n_i}$（衡量代理每步提取多少评分分数，按100缩放以提高可读性）。

技术新颖性体现在多个方面：首先，首次在完整个人计算机环境规模上构建一致的用户身份，而不是在API层面或单个应用层面，为17个Web应用生成226个不同的数据库表和大约42,000行面向用户的状态，所有数据从单一人物规范确定性生成。其次，采用标准人物（Michael Scott）使得能够使用编码代理从《办公室》的正典材料中生成大规模、连贯、逼真的数据，确保数据的真实性和一致性。第三，任务集直接来自OpenClaw社区的2,749个真实请求，确保任务反映用户实际向个人助手发出的请求类型，而不是研究者想象的场景。第四，评分采用Odysseys格式和LLM-as-a-Judge方法，为每个任务提供3到13个自然语言评分标准，共1,191个评分项目，能够处理复杂任务的部分完成情况，给出更细粒度的评估。第五，环境打包为Docker镜像，提供可重现的Linux桌面，包括QEMU包装器镜像和独立的qcow2磁盘，使评估者可以在Docker中运行完整来宾，或在无Docker运行时下直接在QEMU下引导qcow2。第六，分析了每个失败评分的解释，分类为五种模式（过早DONE、跳过必需应用、表面错误放弃、部分产物、幻觉人物数据），为每个模型家族提供具体的改进方向。

独立分析的弱点包括：跨应用推理能力不足。虽然最佳模型在单应用任务中表现良好，但在跨应用任务中性能急剧下降，从单应用到7+应用，完美率从66%下降到36%（Opus）和46%下降到14%（Sonnet），而GPT-5.4 mini、Qwen 35B和Qwen 9B在7+应用都达到0%。这表明模型难以维护和推理跨应用的上下文，无法有效整合来自不同来源的信息。改进方向可以是增强模型的跨应用记忆和推理机制，引入跨应用上下文传递协议，或者设计专门的跨应用推理模块。长轨迹处理能力不足。随着轨迹长度增加，模型性能下降，Opus在100步上限时仍在上升，GPT在步骤60左右平坦，Qwen在步骤25饱和。这表明模型难以规划和执行长序列操作，容易迷失或放弃。改进方向可以是增强模型的长期规划和子目标分解能力，引入轨迹级别的记忆和回溯机制，或者设计更好的进度估计和重新规划策略。编程能力与计算机使用能力的平衡问题。Claude模型倾向于通过bash脚本绕过UI，而GPT和Qwen模型在启用bash后性能下降（Qwen 9B从20.2→7.0评分）。这表明模型难以在编程能力和GUI操作之间找到平衡。改进方向可以是设计更好的工具选择策略，引入更智能的工具切换机制，或者改进bash工具的UI集成。个性化推理能力不足。在需要从历史数据中推断未陈述规则的任务（如模式推断）上，性能差异很大，Opus达到82%完美率，而GPT-5.5达到45%，Qwen模型达到0%。这表明模型难以从大量记录中发现模式和规律，难以理解用户的偏好和行为。改进方向可以是增强模型的数据分析和模式识别能力，引入专门的用户建模模块，或者设计更好的历史数据表示和检索机制。任务理解能力不足。在复杂任务描述下，模型可能误解任务要求或跳过关键步骤，导致失败。过早DONE和跳过必需应用是两个主要的失败模式。改进方向可以是改进任务理解和分解机制，引入更明确的任务表示和验证机制，或者设计更好的任务执行监控和错误检测。错误恢复能力不足。当遇到错误或意外情况时，模型倾向于放弃或产生幻觉数据，而不是尝试恢复或寻求澄清。改进方向可以是增强模型的错误检测和恢复能力，引入更鲁棒的执行策略，或者设计更好的人机交互机制来处理模糊或错误情况。

未来研究方向包括作者提出的和基于成果可延伸的。作者提出可以将MYPCBench扩展到更多人物和应用，以测试更广泛的个性化场景。可以添加更多应用类型和任务类型，以覆盖用户实际使用代理的更多场景。可以改进评估方法，引入更多维度的评估指标，如资源消耗、响应时间、错误恢复能力等。可以开发更精细的失败模式分类和分析工具，为模型改进提供更具体的指导。基于成果可延伸的方向包括：多人物和动态人物。当前环境只支持一个标准人物（Michael Scott），未来可以扩展到多人物环境，测试代理在不同人物之间的切换和区分能力。可以引入动态人物，允许人物的数据和偏好随时间演化，测试代理的适应和学习能力。更复杂的跨应用工作流。当前任务最多涉及19个应用，未来可以设计更复杂的跨应用工作流，测试代理的规划和执行能力。可以引入跨应用的依赖和约束，测试代理的推理和问题解决能力。更丰富的交互模式。当前评估主要通过自然语言指令和GUI操作，未来可以引入更丰富的交互模式，如语音交互、多模态输入等，测试代理的多模态理解和响应能力。更真实的动态环境。当前环境是静态的，不会随着代理的操作而动态演化，未来可以引入动态环境，允许用户或其他代理同时操作环境，测试代理的并发和竞争能力。更智能的评估方法。当前评估主要依赖LLM-as-a-Judge，未来可以引入更智能的评估方法，如自动化测试、用户评估、长期跟踪等，提供更全面和可靠的评估结果。更开放的生态系统。当前环境是自包含的，未来可以与真实的云服务和API集成，测试代理在真实环境中的表现和能力。可以开放环境构建流水线，允许社区贡献新的人物、应用和任务，形成一个不断演进的基准测试生态系统。

复现评估包括开源情况、数据、算力和难度。MYPCBench完全开源，环境、任务集和代理测试工具都在https://mypcbench.com发布。可公开获取的artifacts是QEMU包装器镜像和模型中心上的独立qcow2磁盘，使评估者可以在Docker中运行完整来宾，或在无Docker运行时下直接在QEMU下引导qcow2。每个镜像构建运行完整生成流水线端到端，在首次引导前从人物规范播撒每个应用数据库、Firefox配置文件和用户文件系统，然后在引导后捕获基本快照，因此整个环境仅从规范就可重现。添加人物或网站使用相同的模板。单个虚拟机的默认资源预算是4个vCPU和8 GB RAM，引导到就绪大约需要90秒。环境使用Docker和QEMU/KVM技术，可以在大多数现代计算机上运行，不需要特殊的硬件要求。数据包括17个Web应用、LibreOffice套件和Firefox配置文件，总共约42,000行面向用户的状态。任务集包括184个任务，每个任务有3到13个自然语言评分标准，总共1,191个评分项目。评估需要运行6个模型（Claude Opus 4.6、Claude Sonnet 4.6、GPT-5.5、GPT-5.4 mini、Qwen 3.5 35B-A3B、Qwen 3.5 9B），每个模型在184个任务上运行一次，总共1,104次运行。每次运行最多100轮，每轮一次LLM调用，总共需要大量的API调用和计算资源。复现难度中等，需要熟悉Docker、QEMU和API调用，但作者提供了详细的文档和脚本，使复现相对直接。