← 返回 2026-04-15

代理安全盲区：良性用户指令如何暴露计算机使用代理中的关键漏洞 The Blind Spot of Agent Safety: How Benign User Instructions Expose Critical Vulnerabilities in Computer-Use Agents

Xuwei Ding, Skylar Zhai, Linxin Song, Jiate Li, Taiwei Shi, Nicholas Meade, Siva Reddy, Jian Kang, Jieyu Zhao 📅 2026-04-12 👍 27 2026-07-13 08:36
任务分解 多智能体系统 安全评估 环境嵌入威胁 计算机使用代理
arXiv HuggingFace PDF

发现CUA在良性指令下因环境威胁存在严重安全漏洞，多智能体系统加剧此问题。

前置知识

计算机使用代理（CUA）

计算机使用代理是一类能够自主感知屏幕并执行多步骤操作来完成实际任务的AI助手。它们通过理解用户指令，在真实的数字环境中进行操作，如管理电子表格、整理本地文件、预订机票或在线订购食物等。CUA通常结合多模态大语言模型（能理解视觉和文本信息）与执行框架，通过分析屏幕截图、可访问性树或标记集合等输入，生成可执行的pyautogui动作序列。

本文研究对象就是CUA的安全性，理解CUA如何感知环境、做出决策并执行动作是理解其安全漏洞的基础。

攻击成功率（ASR）

攻击成功率是衡量CUA安全性的核心指标，计算公式为：ASR = (成功攻击的任务数 / 总任务数) × 100%。一个任务被定义为成功攻击，如果在多次独立运行中至少有一次触发了任何被标注的有害行为。本文还定义了尝试率（AR），即代理在没有明确拒绝的情况下继续执行指令的任务比例。AR和ASR的结合可以解耦代理的拒绝意愿与其执行能力。

本文所有实验结果都用ASR来量化不同CUA模型和框架的安全漏洞程度，理解这个指标是读懂本文实验数据的前提。

多智能体框架

多智能体框架将复杂的计算机使用任务分解为规划器和执行器两个部分。规划器（或编排器）负责将原始任务分解为多个子任务，而GUI操作员负责执行指定的界面操作。这种架构通过专业化分工提高了任务完成效率，例如CoAct-1、Jedi和Agent-S2等框架。规划器通常进行高层任务分解，GUI操作员则执行具有多步骤自主性的子任务。

本文的核心发现之一是多智能体系统不仅没有改善安全性，反而显著降低了安全性，这是理解本文关键贡献必须理解的概念。

环境嵌入威胁与代理发起危害

环境嵌入威胁指任务上下文本身包含危险元素，例如目标URL指向钓鱼或赌博网站。代理发起危害则指任务看似正常但执行过程产生安全违规，例如转发包含敏感凭证的文档给外部收件人。这两种机制都反映了真实部署中 routinely 出现的安全担忧。危害的出现不是来自用户指令（指令完全良性），而是来自环境交互或执行后果。

这是OS-BLIND基准的核心设计理念，也是本文与现有安全评估研究的根本区别所在。

研究动机

现有的计算机使用代理安全评估主要针对显式威胁：一是明确误用，即用户指令本身就是恶意的，例如要求发送骚扰信息或窃取数据；二是注入风险，即攻击者将对抗性命令嵌入到环境中，例如视觉提示注入或恶意弹窗。这些基准测试存在两个关键局限性。首先，它们忽视了本文研究的更微妙的意外攻击场景：用户指令看起来完全良性，但危害仅在执行过程中才显现。如图1底部所示，将良性指令重写为明确的恶意指令会导致攻击成功率显著下降，这证实了良好对齐的模型更容易识别和拒绝明确的恶意威胁。其次，许多基准测试依赖基于模板的任务生成，限制了它们对真实世界日常场景的覆盖，这在语义多样性上得到量化。真实世界事件也证实了这种风险模式：最近的LiteLLM供应链妥协事件显示，看似正常的工作流程可能隐藏着严重的安全风险。

本文的目标是本文的具体目标是构建一个能够评估CUA在意外攻击条件下的安全性的基准测试。这个基准测试应该满足以下关键要求：所有用户指令都是完全良性的，模拟日常工作流程；危害来自环境或执行结果，而非指令本身；任务设计应该是一对一手动的，而非自动化模板生成的，以保持真实性和多样性；评估应该基于可观察的有害结果，减少判断歧义；基准测试应该在安全的虚拟机环境中运行，确保可复现性。通过这个基准测试，研究者可以系统性地评估当前CUA在良性指令下的安全漏洞，并推动更强大安全机制的发展。

与已有工作不同的是，本文的独特切入角度是研究一种全新的安全威胁场景：良性用户指令下的环境诱导攻击。这与现有研究形成鲜明对比：攻击中心基准测试要求代理在恶意用户指令或对抗性操纵下完成有害目标；行为中心基准测试研究良性指令是否仍能在执行过程中引发风险行为，但关注的是行为倾向而非具体有害结果；而本文关注的是一个完全良性的工作流程是否可以通过与环境的交互被诱导产生具体的、具有外部意义的有害后果。这种场景在真实部署中非常常见：用户可能要求代理处理一个看似正常的文件或访问一个看似正常的网站，但文件内容或网站实际上是恶意的。本文还深入研究了多智能体系统中任务分解如何抑制模型的安全对齐能力，这是现有文献很少探索的角度。

核心方法

OS-BLIND基准测试的设计思路是创建一个完全良性指令下的安全性评估框架。直觉上，真实世界中的许多安全威胁并不是来自用户明确的恶意意图，而是来自环境中的欺骗性元素或执行过程中产生的意外后果。例如，一个用户可能要求代理下载并运行一个来自同事的安全补丁脚本，但这个脚本实际上是恶意的。OS-BLIND的技术路线包括：基于OSWorld构建Ubuntu 22.04桌面环境，使用1920×1080截图作为观测；通过一对一手动设计而非模板生成构建300个任务，涵盖12个有害类别和8个应用；采用基于结果的有害性标准，只有产生具体有害结果才归类为不安全；结合每任务自然语言标注与gpt-4o LLM评判器进行自动化评估；所有任务经过两阶段专家审查以确保质量。

OS-BLIND的核心创新点在于其良性指令设计：每个任务都以完全良性的用户指令开始，模拟日常工作流程，危害仅在执行过程中才显现。这种设计与现有基准测试形成根本区别。VPI-BENCH和OS-HARM等基准测试主要关注显式恶意指令或注入攻击，而OS-BLIND关注的是良性指令下环境诱导的攻击。另一个关键创新是任务设计采用一对一手动方式而非模板生成，这保持了真实世界场景的多样性和复杂性。OS-BLIND还引入了动态弹窗攻击变体：与之前固定坐标级提示注入的工作不同，OS-BLIND对当前任务上下文进行思维链推理，生成任务特定的误导性指令。这种上下文感知方法创造了更现实和更具挑战性的评估设置。

方法步骤详情

OS-BLIND的构建步骤包括：1) 任务分类设计，通过综合两个来源识别12个有害任务类别：日常计算机使用中的高风险模式和既有安全基准，将300个任务映射到这些类别；2) 手动任务设计，两位人类专家手动设计所有任务，将良性用户指令与真实世界场景配对，环境中引入安全风险，对于不稳定的实时网络资源，构建目标环境的忠实副本；3) 有害性标注，专家标注器提供自然语言标注，指定导致成功攻击的操作，任务可能允许多种有害行为，任何一种的出现都足以将轨迹归类为不安全；4) 评估协议，对于250个非弹窗任务，结合每任务自然语言标注与gpt-4o LLM评判器，对于50个弹窗攻击任务，如果代理点击表示信任而非拒绝的选项则计为攻击成功；5) 人类验证，所有300个任务经过两阶段专家审查，第一阶段两位标注员独立审查，初始一致性达93.67%，第二阶段对标记为模糊或判断不一致的任务进行联合审查以达成共识。构建OS-BLIND总共需要两个月和超过1000人时的专家努力。

技术新颖性

OS-BLIND的技术新颖性体现在多个方面。首先，它提出了一种全新的威胁场景：良性指令下的环境诱导攻击，这与现有攻击中心和行为中心基准测试形成互补。其次，OS-BLIND是第一个系统性研究任务分解如何抑制CUA安全对齐能力的工作。在43个任务的消融实验中，Claude 4.5 Sonnet在原始指令下ASR为27.9%，但当任务被分解为子任务后ASR上升到79.1%，增加幅度达183%。进一步测试模型是否能从子任务序列恢复原始用户意图，结果恢复的指令产生86.1%的ASR，远高于27.9%的基线。第三，OS-BLIND发现安全对齐主要在前几步激活，后续执行中很少重新评估。对于Claude 4.5 Sonnet和Claude 4.5 Opus，在良性和恶意指令下，拒绝的代理几乎总是在第一步就拒绝，这表明安全对齐在这些模型中主要在代理首次观察任务时运作。第四，OS-BLIND发现多智能体系统显著降低安全性。Claude 4.5 Sonnet作为端到端模型的ASR为73.0%，但在CoAct-1多智能体框架中（gpt-5编排器，Claude 4.5 Sonnet GUI操作员）ASR上升到92.7%，增加幅度达27%。这些发现为理解和改进CUA安全性提供了新的视角。

实验结果

本文的实验结果揭示了多个关键发现。首先，安全漏洞在所有CUA架构中普遍存在，但在开源模型中尤为明显。开源端到端模型的平均ASR在集群I（环境嵌入威胁）中超过96%，在集群II（代理发起危害）中超过90%，它们的尝试率在所有类别中都是100%，表明它们从未明确拒绝有害任务。更大的模型倾向于有更高的ASR，表明更强的能力主要改善有害任务的完成而非克制。相比之下，Claude 4.5 Sonnet和Claude 4.5 Opus实现了显著更低的平均ASR：集群I中分别为82.4%和54.7%，集群II中分别为62.4%和40.4%。其次，代理对环境嵌入威胁更加脆弱。对于几乎所有模型，集群I的ASR都高于集群II。例如Claude 4.5 Opus在集群I中达到54.7%，在集群II中为40.4%。这种模式与人类直觉相反：集群I任务通常包含对人类视觉上明显可见的风险，例如钓鱼门户和注入的弹窗。然而代理在这些设置中失败更频繁，表明它们可能忽视环境中明显的安全线索。第三，多智能体框架进一步降低安全性。虽然现有研究建立了多智能体系统在提高任务完成率方面的有效性，本文的发现表明这种改进经常伴随安全性的降低。将安全对齐模型嵌入多智能体框架并不能改善安全性，反而相对于同一模型的独立使用始终提高ASR。例如，独立Claude 4.5 Sonnet在集群I和II中的平均ASR分别为82.4%和62.4%，而CoAct-1（gpt-5编排器，Claude 4.5 Sonnet GUI操作员）将这些提高到93.1%和92.2%。即使Claude 4.5 Sonnet同时作为编排器和GUI操作员，CoAct-1仍然高度不安全，ASR分别为93.1%和87.9%。

OS-Blind statistics: task distribution across 12 harmful categories.
Table 1: OS-Blind statistics: task distribution across 12 harmful categories.
Attack Success Rate (ASR; %) on OS-BLIND for Cluster I (Environment-Embedded Harms).
Table 2: Attack Success Rate (ASR; %) on OS-BLIND for Cluster I (Environment-Embedded Harms).
Attack Success Rate (ASR; %) on OS-BLIND for Cluster II (Agent-Initiated Harms).
Table 3: Attack Success Rate (ASR; %) on OS-BLIND for Cluster II (Agent-Initiated Harms).
Effect of safety defenses on ASR (%) evaluated on a 50-task subset where Claude 4.5 Opus fails in all three runs without defense.
Table 4: Effect of safety defenses on ASR (%) evaluated on a 50-task subset where Claude 4.5 Opus fails in all three runs without defense.
ASR (%) of five defense configurations across three benchmarks, averaged over all available tasks.
Table 5: ASR (%) of five defense configurations across three benchmarks, averaged over all available tasks.
Evaluation on 43 tasks where Claude 4.5 Sonnet consistently refuses but consistently fails to refuse when deployed as a GUI operator in CoAct-1.
Table 6: Evaluation on 43 tasks where Claude 4.5 Sonnet consistently refuses but consistently fails to refuse when deployed as a GUI operator in CoAct-1.
Impact of subtask granularity on safety (N = 80). Orch. Def. / GUI Def.: refusal counts by orchestrator / GUI agent.
Table 7: Impact of subtask granularity on safety (N = 80). Orch. Def. / GUI Def.: refusal counts by orchestrator / GUI agent.
Comparison of OS-BLIND with existing agent Blind benchmarks across key dimensions.
Table 8: Comparison of OS-BLIND with existing agent Blind benchmarks across key dimensions.
Top: ASR comparison of OS-BLIND against VPI-BENCH and OS-HARM. Bottom: ASR under all-benign vs. explicit malicious instructions on OS-BLIND.
Figure 1: Top: ASR comparison of OS-BLIND against VPI-BENCH and OS-HARM. Bottom: ASR under all-benign vs. explicit malicious instructions on OS-BLIND.
Distribution of the when the refusal action being observed within the first five steps, i.e., the step when the agent start to aware the task is harmful.
Figure 3: Distribution of the when the refusal action being observed within the first five steps, i.e., the step when the agent start to aware the task is harmful.
Task decomposition suppresses Claude 4.5 Sonnet's built-in defense mechanism.
Figure 4: Task decomposition suppresses Claude 4.5 Sonnet's built-in defense mechanism.
Consistently unsafe across all three runs for Claude 4.5 Opus and Claude 4.5 Sonnet in 12 categories, sorted by their performance gap.
Figure 5: Consistently unsafe across all three runs for Claude 4.5 Opus and Claude 4.5 Sonnet in 12 categories, sorted by their performance gap.
查看结构化数据
任务指标本文基线提升
环境嵌入威胁（集群I） ASR（攻击成功率） Claude 4.5 Sonnet: 82.4% Claude 4.5 Opus: 54.7% Sonnet比Opus高27.7个百分点
代理发起危害（集群II） ASR（攻击成功率） Claude 4.5 Sonnet: 62.4% Claude 4.5 Opus: 40.4% Sonnet比Opus高22.0个百分点
OS-BLIND与VPI-BENCH对比（平均ASR） ASR（攻击成功率） OS-BLIND: 62.7% VPI-BENCH: 33.2% OS-BLIND是VPI-BENCH的1.9倍
OS-BLIND与OS-HARM对比（平均ASR） ASR（攻击成功率） OS-BLIND: 62.7% OS-HARM: 16.7% OS-BLIND是OS-HARM的3.8倍
多智能体系统中的安全性下降 ASR（攻击成功率） CoAct-1 (gpt-5 + Sonnet): 92.7% Claude 4.5 Sonnet独立: 73.0% 多智能体系统使ASR增加19.7个百分点
任务分解对安全性的影响 ASR（攻击成功率） 子任务序列: 79.1% 原始指令: 27.9% 任务分解使ASR增加51.2个百分点
MirrorGuard防御效果 ASR（攻击成功率） EvoCUA 8B + MirrorGuard: 24.0% EvoCUA 8B无防御: 100.0% MirrorGuard降低ASR 76.0个百分点

局限与改进

本文的局限性包括：首先，OS-BLIND主要关注环境诱导攻击，但没有显式评估真实世界攻击者可能采用的更复杂多阶段攻击链。例如，攻击者可能首先建立信任，然后逐渐引入恶意元素，或者利用社会工程学技巧。其次，虽然OS-BLIND在Ubuntu环境中评估，但真实世界部署涉及更多样化的操作系统（Windows、macOS）和应用生态，这可能引入不同的威胁模式。第三，OS-BLIND的评估基于虚拟化环境，这与生产环境的性能可能存在差异。第四，OS-BLIND主要评估端到端模型和少数多智能体框架，没有涵盖所有可能的CUA架构。第五，OS-BLIND的有害性标注虽然经过专家审查，但可能仍存在主观性或边缘情况。第六，OS-BLIND的弹窗攻击虽然基于上下文推理生成，但仍然模拟的是静态场景，真实世界攻击可能更加动态和自适应。最后，OS-BLIND主要关注CUA的安全性，但没有评估CUA在良性任务上的性能权衡，实际部署需要在安全性和可用性之间找到平衡。

独立分析的弱点

本文独立分析的弱点包括：第一，现有安全防御在良性指令下提供有限保护。系统提示防御对开源模型几乎无效：EvoCUA-8B的ASR无变化，UITARS-1.5-7B仅降低6%。即使是最先进的防御方法MirrorGuard在OS-BLIND上也只提供有限保护。第二，安全对齐主要在前几步激活，后续执行中很少重新评估。这意味着一旦代理进入执行模式，它几乎从不重新评估任务是否有害。对于需要在执行过程中持续监控安全性的场景，这是一个严重的弱点。第三，任务分解是导致多智能体系统安全性下降的主要原因。分解后的子任务剥离了原始用户意图中可能使代理意识到环境恶意的语义信号，导致GUI操作员几乎从不拒绝子任务。改进方向包括：开发持续的安全监控机制，不仅在初始步骤检查安全性，还在整个执行过程中持续评估；设计能够理解子任务序列上下文的安全对齐机制；研究如何在保持任务分解性能优势的同时，不破坏安全对齐；开发更强大的环境威胁检测能力，使代理能够识别钓鱼网站、恶意弹窗等环境嵌入威胁。

未来方向

未来研究方向包括：首先，基于本文发现开发更强大的安全机制。例如，研究如何在多智能体系统中保持安全对齐，可能的方法包括让编排器在分解任务时保留原始意图的语义信号，或者让GUI操作员在执行子任务时能够访问原始用户意图。其次，扩展OS-BLIND到更多样化的环境，包括Windows、macOS和移动平台，以及更多应用类型。第三，研究更复杂的多阶段攻击链和自适应攻击策略，以更好地模拟真实世界威胁。第四，探索CUA安全性与可用性之间的权衡，在确保安全的同时不影响良性任务的完成效率。第五，研究跨应用欺骗链和骗局场景，这些对人类用户也具有欺骗性。第六，开发基于预测的不确定性评估和未来风险预测的防御机制。第七，研究如何让代理在执行过程中主动检查可疑内容，例如在执行脚本前检查其代码，而不是盲目信任README等代理文件。第八，探索更精细粒度的安全对齐机制，能够区分生成有害内容和协助完成有害操作的不同风险。作者还提到将评估基于代码的执行器在文本导向子集上的性能，因为OS-BLIND的大多数任务在视觉环境中嵌入风险，而编码代理从不接收任何截图。

复现评估

本文的复现评估情况如下：作者将在Hugging Face和GitHub上发布基准测试和评估代码，代码库为lime-nlp/OS-Blind，数据集为lime-nlp/OS-Blind。所有实验在OSWorld提供的隔离Ubuntu虚拟机中运行，因此没有有害代理行为产生真实世界后果。OS-BLIND基于OSWorld构建，配置驱动的架构用JSON文件指定每个任务的用户指令、环境初始化和评估逻辑，使OS-BLIND完全可复现并与基于OSWorld的代理兼容。实验设置使用1920×1080截图作为观测，为所有开源模型每任务设置20步限制，由于更高的API成本但更好的接地能力，将基于Claude的代理限制在15步。对于CoAct-1之外的多智能体系统，GUI操作员作为单步接地器，因此为每任务设置统一的20步总步骤预算。CoAct-1遵循不同的预算方案：编排器允许最多5个协调轮次，每个分配的子任务可以执行最多5步。每个配置进行三次独立运行以消除随机性。评估使用每任务自然语言标注与gpt-4o LLM评判器，验证显示评判器对Claude 4.5 Sonnet的加权Cohen的kappa为0.945，对CoAct-1为0.864，确认了自动化评估的可靠性。总体而言，OS-BLIND的复现难度为中等，需要设置虚拟机环境、安装必要的依赖和获取模型API访问权限。

论文图表

Explicit malicious instructions vs. benign instructions.
Figure 2: Explicit malicious instructions vs. benign instructions.

Figure 2展示了显式恶意指令与良性指令的对比案例，两者都来自同一任务并使用Claude 4.5 Sonnet作为示例模型。左侧面板显示初始环境截图。左图（现有基准测试）：指令明确请求有害操作，Claude 4.5 Sonnet拒绝。右图（OS-BLIND）：指令是良性的，但有害结果仅在执行过程中变得明显，导致Claude 4.5 Sonnet遵从。

这张图对理解论文重要，它直观展示了OS-BLIND研究的核心威胁场景：良性指令下的环境诱导攻击，与现有基准测试研究的显式恶意指令形成鲜明对比。