Workflow-GYM：面向现实世界专业领域计算机使用智能体任务的长时序评估 Workflow-GYM: Towards Long-Horizon Evaluation of Computer-use Agentic tasks in Real-World Professional Fields
首个评估GUI智能体在专业软件中完成长时序工作流能力的基准
前置知识
GUI智能体（GUI Agents）
GUI智能体是指能够通过图形用户界面（GUI）与环境交互的AI系统。它接收屏幕截图作为视觉输入，理解界面元素和任务指令，然后输出鼠标点击、键盘输入等操作，最终通过观察新的界面状态来判断操作结果。整个过程形成"观察-推理-行动"的闭环，类似于人类使用电脑的方式。
本文核心就是评估GUI智能体的能力，理解其工作原理对于理解实验设置和失败模式分析至关重要。
长时序任务（Long-Horizon Tasks）
长时序任务是指需要通过多个相互依赖的操作步骤才能完成的任务，通常涉及数十到上百个原子操作。这类任务要求智能体进行全局规划、状态跟踪、错误恢复等高级能力，且任何中间步骤的失败都可能导致整体任务失败。与只需几步就能完成的短时序任务形成鲜明对比。
Workflow-GYM的独特价值就在于聚焦长时序任务（最少30步），这是当前GUI智能体的主要瓶颈。
工作流（Workflow）
工作流是一系列结构化、目标导向的GUI操作序列，能够将初始状态转化为预期结果。在专业领域，专家通过多步骤的软件操作来完成特定任务，这种过程抽象为工作流。例如在Blender中创建3D模型、在QGIS中进行地理数据分析等，都遵循特定的工作流程。
本文将工作流作为评估智能体能否替代人类劳动的核心抽象，理解这个概念有助于把握研究的目标和方法。
计算机使用（Computer-use）
计算机使用是指AI系统像人类用户一样操作计算机完成任务的范式，包括通过GUI操作软件、处理文件、运行程序等。这不同于通过API或命令行工具的交互方式，更接近真实的人类操作场景。计算机使用被认为是实现更通用人工智能的关键步骤。
本文标题就提到"Computer-use Agentic tasks"，这是研究范式的核心定位。
零提示评估（Zero-Hint Evaluation）
零提示评估是指智能体在任务开始时只获得自然语言描述的任务目标，在整个执行过程中不接收任何中间指导、提示或额外的输入。智能体必须完全自主地进行规划、推理、探索和交互，最终产生满足要求的输出。这种设置严格模拟了真实场景中人类独立完成工作的情况。
Workflow-GYM采用零提示评估设计，这是确保评估真实性和挑战性的关键。
研究动机
现有GUI智能体基准测试存在显著局限，主要关注短时序、通用软件任务。例如OS-World、AmbiBench等基准通常只需要5-10个操作步骤，涉及的是网页浏览、系统设置等日常任务。即使有像GUI-360针对生产力软件、Science-Board针对科研工作流的基准，它们仍然局限于相对简短的任务序列。与此同时，那些聚焦长时序推理或高价值任务的基准（如代码生成、文档理解、知识密集型问答）主要停留在文本层面，忽略了需要操作图形界面和真实软件系统的场景。这导致一个关键空白：几乎没有基准系统性地评估智能体能否通过GUI交互执行长时序、领域专业化、具有经济意义的工作流。
本文的目标是本文的目标是构建一个能够评估GUI智能体在真实工作环境中执行端到端、领域专门化工作流能力的基准。具体而言，希望回答一个核心问题：AI系统是否能够自主完成传统上需要持续人力努力且能产生具体经济价值的复杂任务？为此，作者提出了Workflow-GYM，一个以专业领域和专业软件环境为中心的长时序GUI任务基准。通过这个基准，可以系统地评估当前GUI智能体在专业场景下的真实能力，揭示其局限性，并为下一代GUI智能体研究指明方向。
与已有工作不同的是，本文的独特切入角度在于"工作流"这一统一抽象。现有研究要么聚焦于短时序的GUI操作，要么聚焦于文本层面的长时序推理，而本文选择了两者的交汇点：通过GUI执行的长时序、专业领域工作流。这种切入方式既保留了GUI交互的可观察性和可解释性优势，又引入了长时序任务的复杂性和专业知识的深度要求。更重要的是，作者不仅提出了基准，还构建了完整的、可复用的数据构建流水线，结合专家驱动的设计、多阶段验证和环境 grounded 执行，使得高质量、可验证的工作流任务能够规模化生成。这种从真实工作实践出发、端到端评估的方式填补了现有研究的空白。
核心方法
Workflow-GYM的整体设计思路是从现实世界专业场景出发，构建能够评估GUI智能体长时序执行能力的基准。首先，从多个专业领域的专家那里收集真实的工作流程候选任务，确保任务的真实性和专业性。然后，构建可复用的软件环境，为每个专业软件创建标准化的虚拟机镜像，预装和配置所需软件。接着，将高层工作流转化为完全指定的可执行基准实例，包括任务指令、预期结果和评估标准、专家提供的分步操作程序。最后，通过多阶段验证机制确保任务质量，包括环境验证、指令级验证和端到端初步实验精化。整个构建流水线确保了任务的现实性、可验证性和可重复性。
核心创新点在于"工作流"作为统一抽象、"双层次环境构建"和"零提示评估"。工作流抽象将现实世界的长时序计算机使用过程结构化为可评估的目标导向操作序列，使得评估既贴近真实场景又具有可操作性。双层次环境构建将可复用的软件环境（基础环境）与任务特定的实例化分离，显著提高了可扩展性和复用性。零提示评估设计确保智能体必须在最少信息下自主完成任务，严格模拟了真实工作场景。此外，多阶段验证机制结合专家审查和LLM-as-a-judge评估，保证了任务的高质量和可靠性。
方法步骤详情
Workflow-GYM的构建和评估包含四个主要阶段。第一阶段是工作流选择，从多个专业领域的专家那里收集候选任务，应用严格的筛选标准（现实性、领域特异性、复杂性、可验证性），最终获得超过1000个候选任务池。第二阶段是环境设置，构建56个独立的虚拟机镜像，每个代表特定专业软件的执行工作空间，任务运行时通过轻量级实例化注入必要的输入数据、模板或配置文件，确保环境的一致性和可重复性。第三阶段是任务构建，为每个任务创建三个核心组件：任务指令（包括背景、详细目标和涉及的专业软件）、预期结果和评估标准（以产物文件或目标GUI状态形式）、专家提供的分步操作程序（原子级GUI操作序列）。第四阶段是任务验证，包括环境验证（专家手动执行确保任务可解）、指令级验证（专家审查和LLM评估检查封闭性、可解性和明确性）和端到端初步实验精化（使用SOTA GUI智能体执行任务，分析输出识别任务规范或环境问题）。只有通过所有验证阶段的任务才会被保留在最终基准中。
技术新颖性
技术新颖性体现在多个方面。首先，这是首个专门针对长时序、专业领域GUI工作流的基准，填补了现有研究的空白。其次，双层次环境构建策略（可复用基础环境+轻量级任务实例化）在保证真实性的同时实现了规模化，相比容器化或基于API的设置，完整系统虚拟机更忠实地捕获了真实世界的GUI交互。第三，多阶段验证机制结合人工专家和LLM-as-a-judge，确保了任务的高质量和可靠性。第四，零提示评估设计提供了严格且现实的测试场景，智能体必须在最少信息下自主完成任务。第五，自动评估系统支持两种形式（产物文件和GUI状态）的验证，采用规则评估或LLM评估方法，实现了可靠且可扩展的评估。最后，系统性的失败模式分析揭示了长时序级别失败（错误传播、工作流阶段遗漏、目标漂移）和执行级别失败（软件知识缺陷、重复动作循环）等关键挑战，为未来研究提供了方向。
实验结果
实验结果显示，长时序专业任务对GUI智能体和模型来说仍然是一个极具挑战性的领域。即使是表现最好的模型Gemini-3.1-pro和Kimi-k2.6，平均通过率也仅为30.67%和29.68%，Pass@3率分别为41.12%和41.42%。大多数模型的Pass@3率低于30%。这与SOTA模型在OS-World等基准上超过70%的成功率形成鲜明对比，表明虽然当前模型和智能体框架在短时序任务和通用软件交互方面展现出强大能力，但在专业、领域特定的设置中仍然存在显著局限。模型性能随着步骤数增加而严重下降：所有模型都表现出明显的难度增加趋势，简单任务（30-44步）通过率在18-40%之间，中等任务（45-60步）下降到6-27%，困难任务（61-110步）进一步下降到2-25%。这种趋势表明，长时序工作流任务对当前GUI智能体提出了更严峻的挑战。与短原子交互不同，完成现实工作流需要智能体按正确顺序执行一系列相互依赖的决策和执行，任何中间步骤的失败都可能传播到后续阶段并最终导致任务失败。不同工作流领域的性能存在显著差异，表明当前GUI智能体表现出明显的能力偏见。Kimi-k2.6在数据分析和多媒体创意任务上表现最强，可能受益于其强大的编码和多模态感知能力；Gemini-3.1-pro在地理与环境、工程与设计、科学计算任务上表现特别好，可能与更强的科学和推理能力相关。总体而言，当前智能体在具有相对结构化和标准化GUI的工作流（如数据分析或金融相关任务）上表现更好，而在更视觉开放式的环境（如多媒体创作）中则表现困难。智能体框架很重要：与编码场景下统一通用框架下许多模型都能实现强大性能不同，基于GUI的任务表现出高度的模型-框架耦合。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Workflow-GYM整体 | 平均通过率 | 30.67% (Gemini-3.1-pro) | 70%+ (OS-World基准) | 显著差距，表明专业长时序任务更具挑战性 |
| Workflow-GYM整体 | Pass@3率 | 41.42% (Kimi-k2.6) | N/A | 三次尝试仍有近60%任务失败 |
| 简单任务(30-44步) | 通过率 | 39.28% (Gemini-3.1-pro) | N/A | 在短时序任务上表现相对较好 |
| 中等任务(45-60步) | 通过率 | 26.62% (Gemini-3.1-pro) | N/A | 性能随步骤数增加下降约13个百分点 |
| 困难任务(61-110步) | 通过率 | 21.33% (Kimi-k2.6) | N/A | 长时序任务性能进一步下降 |
| 数据分析领域 | 平均通过率 | 45.24% (Kimi-k2.6) | 26.09% (所有模型平均) | 结构化GUI任务相对容易 |
| 地理与环境领域 | 平均通过率 | 27.93% (Gemini-3.1-pro) | 16.37% (所有模型平均) | 专业领域任务对模型能力要求高 |
| 提供分步文本教程 | 性能提升 | +12.23% (Seed-2.0-lite) | 无教程基线 | 显式程序指导显著改善性能 |
| 提供视频教程 | 性能提升 | 31/100任务 (Seed-2.0-lite) | 28/100 (文本教程) | 视频教程比文本教程额外提升3个任务 |
局限与改进
作者承认了几个局限性。首先，基准主要关注通过GUI交互的专业工作流，可能不完全涵盖所有类型的计算机使用场景，例如命令行操作或API交互。其次，虽然任务来自真实工作实践，但由于评估的可验证性要求，可能无法完全捕捉某些高度创造性或主观性强的任务。第三，基准中的软件环境是基于特定版本构建的，可能无法完全反映软件的持续更新和演变。第四，自动评估系统虽然可靠，但对于某些复杂任务可能仍需要人工验证作为补充。从作者自己的观察来看，还存在其他局限性。基准的任务数量（338个任务）虽然覆盖了6个顶级领域和23个子领域，但相对于专业领域的多样性可能仍然有限。基准主要关注任务完成的最终状态，可能无法完全捕捉智能体在执行过程中的决策质量和效率。此外，零提示评估设计虽然严格，但可能与某些实际应用场景（如提供培训材料的场景）不完全一致。最后，基准主要评估了前沿模型的性能，可能无法完全反映不同模型规模或架构下的能力差异。
独立分析的弱点
独立分析发现几个关键弱点。首先是长时序推理和状态跟踪的不足：智能体在执行长序列操作时难以保持一致的规划和推理，经常出现错误传播、工作流阶段遗漏和目标漂移。例如，在Blender任务中，智能体早期错误地选择了Plane而不是Cylinder，导致整个下游操作都基于错误的基础对象，最终无法完成任务。其次是专业软件知识的匮乏：智能体缺乏正确解释功能、识别适当操作或导航领域特定工作流所需的专业软件知识。在GRASS GIS任务中，智能体反复搜索错误的菜单路径，浪费了大量探索步骤。第三是复杂GUI操作的困难：虽然现有GUI智能体能够执行基本的点击和输入操作，但在复杂的低级交互（如精确拖拽、多步UI操作、键盘和鼠标协调）方面仍然存在困难。第四是从连续交互到离散观察的根本不匹配：许多长时序专业工作流需要在执行过程中进行连续的视觉监控（如细粒度对象对齐、精确拖拽调整、曲线绘制），但当前GUI智能体操作基于快照范式，只能观察操作前后的状态，无法访问执行过程中产生的中间状态。例如，在设计软件中绘制精确长度的线条时，智能体必须先画一条线然后验证长度，这种试错过程效率极低。最后是模型-框架耦合问题：不同模型通常需要特定的智能体循环配置、工具组设计和像素空间 grounding 机制才能有效工作，缺乏普遍兼容的GUI智能体框架。改进方向包括：增强长时序规划和状态跟踪能力，通过预训练或微调增强专业软件知识，开发支持连续视觉反馈的智能体架构，设计更通用的GUI智能体框架。
未来方向
作者提出的未来研究方向包括：改进长时序规划和推理能力，特别是跨步骤一致性、进度跟踪和完成验证；增强专业软件环境中的执行能力，包括准确的视觉 grounding、足够的软件特定知识和复杂GUI操作的处理；探索从连续交互到离散观察的解决方案，可能需要开发支持实时视觉反馈的智能体架构。基于成果可延伸的方向包括：将Workflow-GYM扩展到更多专业领域和软件环境；开发更智能的失败恢复机制；研究如何从视频演示中更有效地学习；探索多智能体协作在长时序工作流中的应用；研究如何将Workflow-GYM用于模型训练而不仅仅是评估；开发更精细的评估指标，不仅评估最终结果还评估执行效率和质量。
复现评估
Workflow-GYM在可复现性方面表现良好。论文提供了项目页面（https://workflow-gym.github.io/），可以获取更多详细信息。基准采用了双层次环境构建策略，56个虚拟机镜像提供了可复用的、标准化的软件环境。每个任务都有明确的任务指令、预期结果和评估标准、专家提供的分步操作程序，确保了任务的明确性和可验证性。评估系统是自动化的，基于最终结果（产物文件或GUI状态）进行评估，采用规则评估或LLM评估方法。实验中每个任务运行3次独立试验，报告聚合结果，所有非基于规则的评分情况下使用Seed-1.8作为评判模型。然而，完整的虚拟机环境和专业软件可能需要显著的计算资源，这可能限制一些研究者的复现能力。此外，由于任务来自真实工作实践且不可公开搜索或通过公开解决方案解决，某些任务的输入数据或配置可能受到版权或保密限制。总体而言，Workflow-GYM在可复现性方面采取了有效措施，但环境复杂性和资源需求可能对复现提出一定挑战。
论文图表
这个图包含两个子图。图5a展示了不同模型在结果级别失败原因的比例分布，包括工作流未完成（Workflow Incompletion）、最终状态但不正确（Final-State but Incorrect）和其他失败。性能较高的模型（如Gemini-3.1-Pro和Kimi-k2.6）工作流未完成率明显较低（约24-32%），而性能较低的模型（如Gemini-3-Flash和GPT-5.4-mini）工作流未完成率较高（约46-73%）。图5b展示了模型整体成功率与工作流未完成率之间的强负相关（Pearson r = -0.97），表明工作流未完成率随着模型能力提升而持续下降。
这个图对理解论文重要，因为它揭示了失败模式与模型能力之间的关系。这表明对于当前模型和GUI智能体，成功完成长时序工作流仍然是一个主要瓶颈，较弱模型往往在达到任务最后阶段之前就失败了。
这个图展示了Blender建模任务中错误传播的例子。任务指令要求在Blender 4.5.4 LTS中创建一个弯曲穿孔对象，核心错误是正确的工作流应该从Add Mesh -> Cylinder开始，但模型在网格创建步骤选择了Plane而不是Cylinder，导致所有下游操作都基于错误的基础对象。图展示了正确的路径（添加Cylinder -> 设置cap fill为Nothing -> 应用基于Cylinder的网格操作和修改器 -> 在Collection | Cylinder下验证目标统计）和模型的路径（添加Plane -> 在Plane上进入编辑模式 -> 在Plane上运行Loop Cut / Subdivide / 删除重建尝试 -> 最终状态仍然是Plane而不是Cylinder）。
这个图对理解论文重要，因为它具体展示了错误传播这一失败模式。这有助于读者理解为什么长时序任务如此困难——早期的一个错误可能导致整个下游操作都在错误的状态上进行，最终无法完成任务。
这个图展示了由于缺乏专业软件知识而导致的失败例子。智能体试图在GRASS GIS中定位OGR导入工具，但由于缺乏GRASS GIS界面和工作流的知识，反复搜索错误的菜单路径并执行无效交互。图展示了智能体的思考过程和操作：首先认为左工具栏的"Import, Export, Link Data"选项应该是OGR导入工具，但点击了空白区域；然后认为右工具栏的"Vector Map Development"应该通向OGR导入工具；接着尝试顶部菜单栏的"Vector(V)"选项；然后认为顶部菜单栏的"Database(D)"选项可能隐藏外部数据导入功能；最终继续点击空白区域。
这个图对理解论文重要，因为它具体展示了软件知识缺陷这一失败模式。这有助于读者理解为什么专业领域的任务如此困难——智能体缺乏对专业软件界面和工作流的深入理解，导致在基本操作上就遇到困难。
这个图展示了重复动作循环及其在不同任务领域的比例。图中显示了地理与环境（27.20%，相对于任务份额10.95%的2.48倍富集）、科学计算（相对于任务份额的1.38倍）、工程与设计、金融与管理、多媒体与创意、数据分析（相对于任务份额的0.53倍）。结果表明，循环行为特别可能在涉及复杂软件界面和专业化操作过程的领域中出现。
这个图对理解论文重要，因为它量化展示了重复动作循环这一失败模式在不同领域的分布。这有助于读者理解哪些类型的任务更容易导致智能体陷入循环，以及这可能的原因。
这个图展示了一个由于缺乏连续视觉反馈而导致的失败例子。任务要求在设计软件中绘制一条精确长度为152 cm的线。由于智能体只在操作执行前后观察屏幕状态，无法访问绘制过程中的连续视觉反馈，而且操作使用绝对屏幕坐标而不是对象级几何约束，智能体必须先画一条线然后验证其长度是否满足要求。图展示了智能体的多次尝试：第一次画出466 cm的线（太远），第二次画出162 cm的线（仍然太长10 cm），第三次画出150 cm的线（接近152 cm但仍然短了2 cm），第四次试图精确达到152 cm。智能体在这个步骤陷入了不断的"失败和重试"循环。
这个图对理解论文重要，因为它具体展示了从连续交互到离散观察这一根本不匹配问题。这有助于读者理解为什么某些类型的GUI操作（如精确拖拽调整）对现有智能体架构来说如此困难。
这个表格展示了一个案例研究，说明单个关键步骤决定成功或失败。案例A是HomeBank任务，要求将交易日期设置为2023-12-01。日期选择器打开在2026年，暴露了月份箭头和年份箭头。在文本教程下，模型将月份箭头误认为是唯一控制，逐月翻页，重复相同点击20多次，在17次点击后仍然卡在2024年12月，触发循环中断，从未进入交易。在视频教程下，模型引用演示帧（参考帧：步骤26）并切换到年份箭头，仅用3次点击就从2026跳转到2023，然后设置月份和日期，准确落在2023-12-01。案例B是GeoGebra任务，要求验证Ceva定理（a=1），需要构造交点E/F/G。在文本教程下，模型跳过构造交点，尝试逐字符输入整个Distance()比率公式，在步骤400（预算上限）时公式只输入了一半，运行超时。在视频教程下，模型引用演示帧（步骤39-44）并使用Intersect命令构建E/F/G，沿着更稳健的路径，然后正确计算a=1。
这个表格对理解论文重要，因为它具体展示了视频教程如何提供文本程序无法传达的信息：使用哪个控制以及在什么粒度上操作的细粒度交互细节。这有助于读者理解为什么视频教程在某些任务上特别有效。
这个图展示了工作流阶段遗漏的案例。任务指令要求在Godot Engine v4.5.1中创建一个名为game的项目，并构建一个标题页场景，包含三个Button节点：begin（开始游戏）、gameset（游戏设置）和exit（退出游戏）。UI必须满足CustomMinimum = 500 x 200，并将三个按钮呈现为居中的垂直菜单而不是重叠的独立控制。模型遗漏了所需的布局建立阶段，直接创建请求的UI元素，导致最终界面违反了预期的居中菜单布局，尽管存在所有必需的按钮。正确路径是title(Control) -> VBoxContainer -> Button x3，参考工作流使用容器来实现布局和大小约束。模型路径是Control -> Button x3，模型遗漏了布局阶段，并继续在错误状态下操作。
这个图对理解论文重要，因为它具体展示了工作流阶段遗漏这一失败模式。这有助于读者理解为什么遗漏一个关键的工作流阶段可能导致任务失败，即使其他步骤都正确执行。
这个图展示了目标漂移的案例。任务指令要求在CapCut中将11.mp4编辑成四个精确分割的片段，应用片段特定的速度、缩放和视觉参数设置，然后导出CASE25.mp4并满足所需的持续时间和分辨率检查。核心漂移是模型在完成部分时间线后，无法维持对最终交付目标的进度。它的行为变得集中在定位调整控制和修改第二个片段的局部调整层，将焦点从整体任务转移到本地UI子问题。模型在调整选项卡、Smart Color、LUT和相关面板中搜索，而不是推进完整的编辑计划。模型将创建和定位自定义调整层视为中心任务，设置可见的亮度相关控件，而其他必需的片段和导出约束仍未解决。模型在丢失完整规范后导出，生成的文件在持续时间、分割点、片段设置和输出属性方面不符合要求。
这个图对理解论文重要，因为它具体展示了目标漂移这一失败模式。这有助于读者理解为什么智能体可能在长时序任务中迷失原始目标，过度关注中间的局部子目标。