AgentHijack: 评估计算机使用代理对常见环境破坏的鲁棒性 AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions
提出评估GUI代理在环境干扰下鲁棒性的基准和增强框架
前置知识
POMDP（部分可观测马尔可夫决策过程）
POMDP是GUI代理在计算机环境中交互的数学框架，包含状态集合S、观测函数O（如屏幕截图）、动作空间A（如点击、输入）和状态转移动力学T。在每个步骤t，代理根据当前观测ot选择动作at，环境通过转移函数T: S×A→S转移到新状态st+1。这个框架精确描述了代理在GUI环境中的交互过程。
理解POMDP是理解GUI代理如何与环境交互的基础，论文中所有的方法设计和算法推导都建立在这个数学框架上，包括DA-GRPO的目标函数定义和奖励函数设计。
Grounding（视觉接地）
Grounding是指多模态模型将语言指令映射到具体的视觉界面元素并执行相应操作的能力。例如，当用户说点击保存按钮时，代理需要从屏幕截图的所有UI元素中准确定位到保存按钮的位置，并生成准确的点击坐标。这涉及视觉理解、空间定位和动作执行三个环节。
论文的核心发现之一就是当前代理的grounding能力在面对视觉干扰时非常脆弱，AgentHijack-Agent通过DA-GRPO强化学习和旁观者机制来增强这一能力，这是理解整个方法的关键。
组相对策略优化（GRPO）
GRPO是一种强化学习算法，通过同时从同一指令采样多个响应rollouts并计算组内归一化优势函数来优化策略。公式为A_hat_i,j = (r_i - mu) / sigma，其中ri是轨迹i的奖励，mu和sigma是组内奖励的均值和标准差。目标函数通过重要性采样比率裁剪来稳定训练，避免策略更新过大幅度的变化。
论文提出的DA-GRPO是基于GRPO的改进版本，理解GRPO的工作原理是理解DA-GRPO如何在不同环境破坏中增强代理鲁棒性的基础。
数据增强（Data Augmentation）
数据增强是通过对训练数据进行多样化变换来提升模型泛化能力的技术。在强化学习背景下，DA-GRPO通过在不同类型的环境破坏中采样多个rollouts，使策略在训练时就暴露于各种视觉干扰、意外操作和环境错误中。当所有rollouts的奖励都为0时，还会从经验回放缓冲区中获取历史成功轨迹来避免梯度消失。
DA-GRPO的数据增强策略是论文的核心技术贡献之一，它确保代理在训练阶段就学会应对各种环境干扰，这是理解方法新颖性的关键。
研究动机
现有计算机使用代理虽然在理想环境中表现优异，但现实世界的执行环境远非理想。弹窗、分辨率变化、竞争应用等频繁干扰代理的感知和控制。例如，当代理正在操作Excel导出CSV文件时，突然出现的弹窗可能导致代理点击弹窗而非目标按钮；当用户意外误触导致应用最小化时，代理可能误将窗口关闭归因于自己的操作；当网络断开时，代理可能持续执行无意义的探索动作。这些问题导致代理在真实场景中的可靠性严重下降。
本文的目标是本文旨在系统性地评估和提升计算机使用代理在面对常见环境破坏时的鲁棒性。具体目标包括：构建一个全面的基准测试，覆盖现实世界计算机使用中常见的各种环境干扰；通过大规模实验揭示当前代理在面对这些干扰时的具体弱点；提出有效的技术方案来增强代理的鲁棒性，使其能够在非理想环境中保持稳定的任务执行能力。
与已有工作不同的是，与以往研究相比，本文的独特切入点在于专注于常见环境破坏而非对抗性攻击。现有工作如InjecAgent、R-Judge等主要关注恶意指令和提示注入攻击；GUI-Robust、RIOSWorld等虽然考虑了环境异常，但评估缺乏真实可执行环境且不支持灵活配置；OSWorld、WebArena等经典基准仅评估清洁环境下的性能。本文提出的AgentHijack是首个专注于常见环境破坏鲁棒性的全面基准，包含9种可配置的破坏类型，总计3321个任务，并在真实虚拟机环境中进行评估，填补了这一研究领域的空白。
核心方法
AgentHijack-Agent框架采用双代理协同设计：动作生成器负责执行任务相关操作，旁观者负责环境监控和行为总结。整体流程分为三个阶段：首先，旁观者在任务执行前检查环境初始状态，检测网络断开、登录验证等错误并提醒用户；其次，在执行过程中，旁观者持续监控环境变化，将每次操作后的状态变化总结为简洁描述，帮助动作生成器理解外部意外操作的影响；最后，动作生成器结合当前截图、历史操作和旁观者的行为总结，生成下一个动作。框架通过数据增强组相对策略优化（DA-GRPO）训练，从不同类型的环境破坏中采样rollouts，增强grounding能力和对环境干扰的适应性。
核心创新点在于通过外部视角增强代理对环境变化的感知。传统代理仅依赖自身操作序列作为上下文，容易将意外操作导致的屏幕变化误认为是自己操作的结果。旁观者作为独立的环境监控代理，专注于记录和总结所有环境变化（包括代理自身操作和外部干扰），将输入上下文转换为{o1, d1, ..., ok, dk, ..., ot, dt}，其中di是第i步的环境变化总结。这种设计使代理能够准确区分自身操作和外部干扰的影响，在多应用场景下正确识别活动窗口，在误触后及时恢复任务轨迹，在环境错误触发时避免无意义探索。另一个关键创新是DA-GRPO，它从不同破坏环境中采样rollouts进行训练，当所有rollouts失败时从经验回放缓冲区获取成功轨迹，确保策略优化始终有有效的学习信号。
方法步骤详情
完整的方法步骤如下：（1）环境初始化检查：旁观者在任务开始前分析屏幕截图，检查是否存在登录界面、网络错误等初始化问题，如检测到问题则提醒用户重新初始化环境；（2）动作生成：动作生成器接收用户指令、当前截图和历史轨迹（包含旁观者的行为总结），生成thought和下一个动作；（3）动作执行与环境交互：系统执行生成的动作，环境根据当前的破坏配置应用相应的干扰（如显示弹窗、改变分辨率等），转移到新状态并更新截图；（4）行为总结：旁观者对比执行前后的截图，生成简洁的变化描述；（5）上下文更新：将新的截图和行为总结添加到历史轨迹中；（6）循环：重复步骤2-5直到代理输出DONE、FAIL或达到最大步数限制；（7）奖励计算与策略优化：根据任务完成情况计算奖励，使用DA-GRPO更新策略参数，包含任务成功奖励和格式奖励，当所有rollouts失败时使用经验回放缓冲区中的成功轨迹。
技术新颖性
技术新颖性体现在三个层面：首先，首次提出系统性的GUI代理环境破坏鲁棒性基准，9种破坏类型覆盖视觉干扰（弹窗、分辨率变化、标记、字幕、多应用）、意外操作（误触、应用最小化）和环境错误（网络错误、身份验证），每种破坏支持YAML配置参数调整；其次，提出旁观者机制作为独立的环境监控代理，通过行为总结和环境检查增强代理对环境变化的感知能力，这与传统将所有上下文信息单一视角处理的方法有本质区别；最后，提出DA-GRPO算法，通过在不同破坏环境中采样rollouts并使用经验回放缓冲区解决强化学习中的稀疏奖励问题，这是首次将数据增强思想应用于GUI代理的鲁棒性训练。
实验结果
实验结果揭示了当前GUI代理的三大核心弱点。首先，grounding能力对视觉干扰极其脆弱：UI-TARS-7B-DPO在弹窗环境下性能下降19.20%，UI-TARS-1.5-7B下降57.54%；在分辨率变化环境下分别下降38.09%和51.71%。代理在存在视觉干扰时经常执行不必要的点击操作，即使目标按钮完全未被遮挡，实际点击位置也会偏离目标位置。其次，代理决策容易被意外操作干扰：当环境被误触或应用最小化等意外操作干扰时，代理经常将导致的状态变化归因于自己的操作或专注于被触发的内容而非原本的操作空间。最后，代理缺乏检测环境错误的能力：代理存在认知偏差，假设初始化环境处于正常状态，无法识别网络断开、身份验证要求等场景，导致在无网络连接或需要未知密码的环境中持续执行无意义探索。提出的AgentHijack-Agent框架在所有9种破坏类型上都实现了性能提升，平均成功率从UI-TARS-1.5-7B的18.74%提升到22.89%，相对提升4.15%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GUI操作任务（平均成功率） | 平均成功率 | 22.89% | UI-TARS-1.5-7B: 18.74% | +4.15% |
| 弹窗环境下的GUI操作 | 成功率 | 21.51% | UI-TARS-1.5-7B: 10.28% | +11.23% |
| 验证环境下的GUI操作 | 成功率 | 20.15% | UI-TARS-1.5-7B: 10.48% | +9.67% |
| 分辨率变化环境下的GUI操作 | 成功率 | 12.53% | UI-TARS-1.5-7B: 11.69% | +0.84% |
| 清洁环境下的GUI操作 | 成功率 | 27.80% | UI-TARS-1.5-7B: 24.21% | +3.59% |
局限与改进
作者在论文中承认的局限性包括：首先，框架依赖于旁观者的行为总结质量，如果旁观者模型能力较弱，总结可能不准确，影响动作生成器的决策；其次，框架增加了一定的计算开销，因为需要维护两个代理并进行额外的环境监控和总结；第三，当前的破坏类型虽然覆盖了常见场景，但仍无法完全模拟真实世界的复杂性，例如动态变化的破坏、多种破坏同时发生的情况尚未深入探索。除了作者承认的局限性，我观察到：框架对特定破坏类型的提升有限，如分辨率变化环境下仅提升0.84%，表明该方法在处理视觉坐标系统性偏移时仍有改进空间；框架的训练需要从AgentHijack基准中采样128个任务并进行15个epoch的训练，训练成本较高；框架主要基于OSWorld的Ubuntu环境，在Windows、macOS等其他操作系统上的泛化能力有待验证。
独立分析的弱点
独立分析的弱点包括：首先，框架对系统级破坏（如分辨率变化）的鲁棒性提升有限（仅0.84%），这表明当前方法主要依赖于视觉模式的统计学习，而非显式的坐标系统建模。改进方向可以引入坐标感知机制，让代理学习在不同分辨率下正确映射UI元素位置。其次，旁观者的环境检查仅限于初始化阶段，在任务执行过程中如果环境状态突然变化（如网络突然断开），代理仍可能执行无意义操作。改进方向可以是持续的主动环境监控，定期检查网络连接、应用状态等。第三，框架的奖励函数设计相对简单，仅包含任务成功奖励和格式奖励，没有考虑中间过程的鲁棒性指标。改进方向可以引入中间奖励，如对grounding准确性、环境错误检测及时性等给予奖励。第四，框架主要关注单任务场景，在多任务并行或长时间运行的场景下的鲁棒性尚未探索。
未来方向
作者提出的未来研究方向包括：扩展破坏类型以覆盖更多真实世界场景，如系统通知、屏幕保护、驱动程序更新等；探索动态环境建模，让代理能够主动预测和适应环境变化；研究更高效的训练策略，减少对大量rollouts的依赖。基于论文成果可以延伸的方向包括：（1）自适应鲁棒性训练：根据代理在不同破坏类型下的表现差异，动态调整训练重点；（2）跨环境泛化：研究在模拟环境中训练的代理如何迁移到真实物理环境；（3）用户交互式鲁棒性增强：让代理能够主动向用户请求帮助，当检测到无法处理的环境错误时，向用户提示并提供恢复建议；（4）端到端的多模态预训练：在大规模GUI操作数据上预训练多模态模型，专门针对环境破坏进行增强；（5）可解释性分析：深入研究代理在面对不同破坏类型时的决策过程，理解哪些视觉特征和上下文信息对鲁棒性决策最重要。
复现评估
复现评估：论文已经开源代码、环境、基准模型和数据，可通过https://AgentHijack.github.io获取。基准基于OSWorld，需要虚拟机环境支持，操作系统为Ubuntu，默认屏幕分辨率为1920x1080。训练数据包含128个从AgentHijack基准采样的任务，训练15个epoch，使用UI-TARS-1.5-7B（基于Qwen-2.5-VL架构）作为基础模型。训练使用AdamW优化器，学习率为1e-6，梯度累积步数为4，clip上界为0.3，下界为0.2，batch size为1，rollout数为4，温度为1.0。最大允许步数为10步。这些配置在论文的F.1节和F.2节中有详细说明。复现难度中等，需要设置虚拟机环境并具备一定的GPU计算资源。论文提供了详细的prompt模板、算法伪代码和实现细节，包括9种破坏类型的具体实现算法，这为复现提供了充分的技术支持。
论文图表
该图展示了UI-TARS-7B-DPO和UI-TARS-1.5-7B两种最先进的GUI代理在9种环境破坏下的相对性能下降率。图中以条形图形式展示了每种破坏类型导致的性能下降百分比，包括Pop ups（弹窗）、Resolution（分辨率变化）、Marks（标记）、Subtitle（字幕）、Multi Apps（多应用）、Accidental Touch（误触）、App Minimization（应用最小化）、Network Error（网络错误）、Verification（身份验证）。UI-TARS-7B-DPO在验证环境下下降48.70%，UI-TARS-1.5-7B在弹窗环境下下降57.54%，这些数据直观地展示了当前代理在面对常见环境破坏时的脆弱性。
这张图对理解论文至关重要，它用具体的数字和视觉化方式证明了论文提出的核心问题：即使是当前最先进的GUI代理，在面对日常生活中常见的环境干扰时也会出现严重的性能下降。这为构建AgentHijack基准提供了直接的动机和依据。
该图展示了6个代表性案例，说明UI-TARS-1.5-7B在面对不同类型的环境破坏时的失败模式。每个案例包含任务描述、截图和代理的思考轨迹。第一个案例展示了弹窗导致的不必要点击，代理反复点击弹窗按钮；第二个案例展示了分辨率变化导致的点击偏移，代理的点击位置偏离目标；第三个案例展示了多应用导致的错误操作位置，代理在错误的窗口中操作；第四个案例展示了误触导致的在创建前保存，代理专注于被触发的保存菜单；第五个案例展示了应用最小化导致的将变化归因于之前的操作，代理认为窗口关闭是自己操作的结果；第六个案例展示了网络错误和验证导致的无意义尝试，代理持续执行无效操作。
这张图对理解论文的核心发现至关重要。它通过具体的案例和详细的轨迹，直观地揭示了当前代理的三大弱点：grounding能力脆弱、决策容易受干扰、缺乏环境错误检测能力。这些案例为后续提出AgentHijack-Agent框架提供了直接的动机。
该表格展示了不同破坏位置对应的执行步骤。将破坏位置分为三个阶段：Early Stage（早期阶段）对应第3步，Middle Stage（中期阶段）对应第6步，Late Stage（晚期阶段）对应第12步。这些位置用于Figure 6中的消融实验，测试不同时空位置的破坏对代理性能的影响。
这个表格对理解破坏位置的量化至关重要。它将抽象的时空位置转化为具体的执行步骤数，使得研究者可以准确复现实验并理解破坏发生的时机对代理决策的影响。