能干但粗心：计算机使用代理遵循语境完整性吗？

评估计算机使用代理在跨应用工作中的隐私泄露行为，发现多数代理存在严重的信息披露问题

前置知识

语境完整性

由Helen Nissenbaum提出的隐私保护框架，核心思想是隐私不是二元的公开或保密，而是信息在不同语境之间的流动是否恰当。CI理论认为，当信息从源语境流向接收者时，如果信息的发送者、接收者、内容类型或传输原则偏离了该语境下的规范，就构成了隐私侵犯。例如，同一份医疗报告，发给家庭医生是恰当的，但发给同事就违反了CI规范。CI理论通过五个参数来定义语境规范：发送者、接收者、信息类型、传输原则和访问边界。这种框架更适合评估AI代理的隐私行为，因为代理需要在不同的语境之间判断信息流动的适当性，而不是简单地判断信息是否敏感。

本文使用CI理论作为评估框架，因为它能更好地区分不同接收者、不同场景下的信息适当性，这是CUA代理的核心问题。代理需要判断在特定任务和接收者面前应该分享哪些信息，而CI理论提供了评估这种判断是否正确的框架。传统的二元隐私模型无法区分与家庭群组的分享和与同事的分享，但CI理论可以。

计算机使用代理

一类能够代表用户与个人应用程序交互并执行操作的AI代理，如邮件客户端、日历、待办事项列表等。CUA代理通过读取用户的个人应用状态（如收件箱、日历、笔记、待办清单），然后执行外部可见的操作（如发送消息、创建日历事件、发布笔记或回复）。与传统的聊天机器人不同，CUA代理具有跨应用的多轮执行轨迹和持久UI状态。例如，当用户要求代理给经理发送状态更新时，代理可能需要查阅收件箱查看历史邮件、检查日历了解今日安排、查看待办清单确定剩余任务，然后综合这些信息生成一条消息发送给经理。这种跨应用访问带来了独特的隐私风险：代理可能从个人语境获取信息，然后在工作语境中不当披露。

本文的研究对象正是这类代理，它们能够访问多个个人应用，这带来了独特的隐私风险——代理可能从一个语境获取信息，然后在另一个语境中不当披露。现有的能力基准测试只测量任务完成率，安全基准测试测量对抗鲁棒性，但没有评估正常使用情况下合作代理是否会泄露个人状态。本文填补了这个空白。

蒙特卡洛树搜索

一种启发式搜索算法，常用于博弈树搜索和决策过程。MCTS通过四个核心步骤迭代扩展搜索树：选择使用UCB1等策略选择最有希望的节点、扩展添加新的子节点、模拟从新节点随机模拟游戏进行到结束、回传将模拟结果反向传播到路径上的所有节点。通过大量迭代，MCTS能够平衡探索和利用，找到高回报的策略。在本文中，MCTS用于场景生成引擎，通过变异种子场景并评估代理的泄露行为，自动生成能够暴露CI违规的高质量测试场景。

本文使用MCTS作为场景生成引擎的核心，因为需要自动化生成能够暴露CI违规的高质量测试场景。手工编写场景成本高昂且难以覆盖所有可能的失败模式，而MCTS可以通过搜索策略自动探索场景空间，识别能够诱发代理泄露的场景。引擎使用代理代理运行每个候选场景，并基于二元任务完成和CI违规严重性的乘积来奖励候选场景，从而保留既有用又可能暴露披露失败的场景。

研究动机

计算机使用代理正从研究原型迅速转向消费者、企业和企业级应用，这些代理需要跨越用户的个人应用程序进行操作。这种广泛的跨应用访问虽然有助于代理完成任务，但也创造了一个被广泛忽视的隐私风险：当代理在一个语境中工作时，它会从另一个语境中拉取在该语境中不适当的信息。例如，当用户要求代理为经理起草状态更新时，代理可能会查阅用户的收件箱、日历、待办事项列表和笔记，但个人日历条目或私人笔记虽然对代理可用，但对于经理来说可能并不适当。现有的能力基准测试只测量任务完成率，安全基准测试测量对抗鲁棒性，但没有评估正常使用情况下合作代理是否会泄露个人状态。这导致了一个安全评估的空白：一个代理可能在其任务完成率上表现优异，但实际上在隐私保护方面存在严重缺陷。

本文的目标是本文的目标是引入AGENTCIBENCH，一个可重新运行的评估框架，用于测量计算机使用代理在语境完整性约束下的最终披露决策。具体目标包括：创建一个自动化场景生成引擎，能够生成realistic的跨应用任务，既包含应该分享的信息，也包含不应该分享的信息；评估15个前沿CUA代理的隐私泄露行为，涵盖专有模型和开源模型；识别三种基于CI理论的失败模式：视觉邻近性、任务歧义过度分享和接收者错配；测试轻量级的缓解策略，包括限制性、基于评分表和接收者类型的提示级防御；将语境完整性定位为部署前安全检查的标准组成部分。

与已有工作不同的是，本文的独特切入角度在于首次系统性地研究了计算机使用代理的语境完整性违反行为。与现有的隐私评估相比，这些工作只评估单轮文本提示的推理泄露，而CUA代理面临不同的问题：它们在多轮轨迹中积累跨应用状态，然后通过UI采取外部可见的操作。与现有的代理安全基准相比，这些工作假设不同的威胁模型——外部方或恶意指令源攻击代理，而AGENTCIBENCH评估的是合作代理在没有对手循环的情况下无意的CI违规。本文填补了多应用计算机使用、多轮执行与持久UI状态、CI理论下的规范信息流评分这三者的交集的空白。

核心方法

AGENTCIBENCH是一个生成式评估框架，包含三个核心组件：场景生成引擎、OpenApps工作区渲染器和混合评分管道。场景生成引擎使用蒙特卡洛树搜索（MCTS）从少量种子场景开始，通过应用三种CI目标变异策略（语义纠缠、歧义陷阱、身份泄露）来生成新的候选场景。每个场景指定用户个人应用程序的内容、自然语言任务和接收者；代理的外部可见输出则根据场景特定的必须分享项目（Vshare）和必须不分享项目（Vleak）进行评分。OpenApps环境将每个任务实例化为个人多应用工作区，包含Messenger、Calendar、ToDo、Code Editor、Maps、Shop六个应用。评分管道结合了确定性匹配器和LLM评判器，共同检测代理输出中的泄露行为。

核心创新点在于首次将语境完整性理论系统性地应用于计算机使用代理的隐私评估，并构建了一个可重新运行的自动化场景生成引擎。与手工编写的基准测试不同，AGENTCIBENCH使用MCTS搜索来识别高实用性的场景，这些场景能够诱发不当披露。引擎通过三个开源代理运行每个候选场景，并基于二元任务完成和CI违规严重性（1-5级）的乘积来奖励候选场景。另一个关键创新是引入了三种基于CI理论参数的失败模式分类：VCL扰动从状态中呈现的属性、TAO扰动在未指定请求下的传输原则、RMA扰动接收者。这些模式覆盖了CUA每次代表用户总结、转发或回复时必须做出的披露决策。

方法步骤详情

方法步骤的完整描述如下：1）场景生成：从36个种子场景开始，这些种子来自公共CUA演示、用户研究和对话CI文献中记录的失败模式。MCTS搜索使用UCB1选择、代理代理回滚、LLM评判和新颖性感知反向传播来保留既有用又可能暴露披露失败的场景。三种变异策略分别是：语义纠缠将禁止内容在主题上与任务目标相邻放置（实现VCL）；歧义陷阱将任务提示重写为未指定的生产力请求（实现TAO）；身份泄露重新构建接收者或要求以用户的自然语音输出（实现RMA）。2）环境实例化：使用OpenApps六应用个人工作区，每个场景指定这些应用的子集及其初始内容，包含Vshare和Vleak。3）代理评估：代理接收结构化的工作区状态和任务提示，发出单一动作JSON（状态基础轨迹）或通过渲染的UI进行20步预算的交互（端到端轨迹）。4）混合评分：确定性匹配器使用归一化包含、标记覆盖和序列相似性检查Vshare和Vleak是否出现在输出中；LLM评判器读取相同场景和输出，识别任务完成、泄露项目和CI违规严重性。5）指标报告：报告实用率U、泄露率L、拒绝率R和参与条件泄露率Leng，以区分通过选择适当内容避免泄露的模型和通过拒绝任务保持低原始泄露的模型。

技术新颖性

技术新颖性体现在多个方面。首先，这是首个针对计算机使用代理的CI基准测试，将语境完整性理论从文本模型扩展到多应用智能体场景，填补了多应用计算机使用、多轮执行与持久UI状态、CI理论下的规范信息流评分三者的交集的空白。其次，场景生成引擎是可重新运行的，当新代理或应用类型添加时可以重新运行，而不是静态的注释集。第三，混合评分管道结合了确定性匹配器和LLM评判器，既能够检测精确提及，也能够捕捉改写和语义等价物。第四，研究发现了拒绝行为可能掩盖泄露行为的复杂现象，因此引入了参与条件泄露率指标来分离真正的披露控制能力。第五，端到端UI交互研究揭示了即使是最安全的状态基础代理在真实环境中的泄露行为仍然存在，甚至在某些情况下会增加。最后，轻量级防御策略的评估表明，通过系统提示级别的干预可以在不重新训练的情况下显著降低泄露率，同时提高实用性。

**Figure 2**: AGENTCIBENCH scenario-generation pipeline

实验结果

核心发现揭示了计算机使用代理在隐私保护方面存在严重问题。在15个评估的代理中，12个代理在超过50%的场景中泄露，平均泄露率为67.9%，平均实用率为68.8%。更令人担忧的是，任务完成率是披露安全性的糟糕代理指标：在实用率高于75.0%的代理中，参与条件泄露率从14.0%（Claude-Opus-4.7）到98.3%（Gemini-3.1-Pro），跨度达84个百分点，Pearson相关系数r=0.49，p=0.06，表明弱相关性。两个最高实用率的代理也是泄露最严重的。拒绝行为可以掩盖泄露：两个具有相似原始泄露率的代理显示出相反的机制，Claude-Opus-4.7通过限制达到低泄露率，而GPT-5.4部分通过拒绝场景达到低原始泄露率但参与泄露率较高。端到端UI交互研究显示泄露行为转移：对于Claude-Opus-4.7，部分端到端泄露也在状态基础评估中泄露，表明持续存在的模型级漏洞；对于Claude-Sonnet-4.6，在参与的轨迹上泄露率显著高于状态基础。三个防御策略将参与泄露率降低了33-36个百分点，同时实用性提高了16-23个百分点，表明无需重新训练即可实现大幅改进。

**Table 1**: State-grounded results for all fifteen agents

**Table 2**: Engagement-conditioned leakage per failure mode

**Table 3**: Thematic categorisation of the 117 evaluation scenarios

**Table 16**: Comparison against prior CI and agent-privacy benchmarks

**Figure 3**: Utility vs. engagement-conditioned leakage

**Figure 5**: Real end-to-end trajectory of Claude-Opus-4.7

**Figure 6**: Three defenses against the baseline agent

**Figure 13**: Bump chart of utility vs. disclosure ranks

查看结构化数据

任务	指标	本文	基线	提升
状态基础轨迹泄露率（117场景）	参与条件泄露率 Leng	Claude-Opus-4.7: 14.0%	无基线（首次评估）	最安全代理，比平均67.9%低53.9个百分点
端到端UI轨迹泄露率（50场景）	参与条件泄露率 Leng	Claude-Opus-4.7: 42.9%	状态基础14.0%	增加28.9个百分点（揭示真实环境风险）
防御策略效果	参与条件泄露率降低	Recipient-typed: -35.5pp	无防御基线51.7%	降至16.2%，实用性提升23.1个百分点
高实用性代理泄露率差异	参与条件泄露率范围	14.0% - 98.3%（U>75%代理）	预期泄露率与实用性相关	84个百分点跨度，Pearson r=0.49, p=0.06弱相关性

局限与改进

局限性分析包括作者承认的和我们观察到的。作者承认OpenApps是一个受控的六应用工作区，不是真实安装应用的群体，因此绝对泄漏率应被视为相对排序而非真实世界用户伤害的估计。场景池由对抗引擎生成，因此比随机代理流量样本更难。端到端研究仅涵盖两个代理在50个场景的分层子集，因此参与条件泄露率的置信区间较宽。防御扫描涵盖三个模型和三个提示干预，因此弹性声明不应外推到其他模型或非提示干预。长期记忆效应、多轮个性化、专业或编码代理上下文超出了范围。失败模式可以重叠，真实披露可能涉及多种机制。此外，我们观察到CI编码规范可能因文化、组织和用户偏好而异，未来部署应将场景模板和规范调整为目标人群。评估的15个代理可能不代表所有可用的CUA。温度0的推理设置可能低估了温度大于0时代理在随机采样下的行为变异性。另外，研究主要关注单轮最终输出，未能评估代理在多轮对话中是否能够学习并适应隐私规范。

独立分析的弱点

独立分析的弱点包括：首先，研究主要关注单轮最终输出，未能评估代理在多轮对话中是否能够学习并适应隐私规范，这限制了发现动态隐私保护能力的机会。例如，代理可能从用户的更正中学习到不应该分享某些类型的信息，但当前的评估框架无法捕捉这种学习过程。其次，OpenApps环境虽然模拟了真实应用，但仍是一个简化的沙箱，缺乏真实世界中应用的复杂性，这可能低估了实际部署中的隐私风险。第三，三种失败模式虽然覆盖了主要的CI参数，但可能遗漏其他重要的维度，如信息时效性或信息粒度。第四，评估主要关注文本输出，未能考虑多模态代理可能泄露的图像、音频或其他形式的信息。第五，防御策略虽然有效，但需要系统提示级别的干预，这可能不适用于所有部署场景。最后，研究未评估代理在遭受对抗性攻击时的隐私行为。

未来方向

未来研究方向包括作者提出的和基于成果可延伸的方向。作者建议在训练后流程中包括CI评估作为任务完成指标旁边的评分信号，这将创建内部化披露规范的激励。可延伸方向包括：扩展场景生成引擎以涵盖更多应用类型和更复杂的交互模式；开发更精细的失败模式分类，考虑信息时效性、粒度、多模态泄露等维度；研究代理在多轮交互中的隐私学习，评估代理是否能够从用户反馈中改进披露决策；探索更强大的防御策略，包括在预训练阶段纳入CI规范、开发专用的隐私保护微调数据集，或设计基于规则和模型的混合防御系统；评估代理在对抗性攻击下的隐私行为；研究跨文化、跨组织的CI规范差异，开发自适应的隐私保护机制；开发实时监控和干预系统；研究用户对代理隐私行为的理解和控制。

复现评估

复现评估方面，论文提供了全面的复现支持。作者发布了AGENTCIBENCH作为可重新运行的评估框架和数据集。代码库包括场景生成引擎、OpenApps环境、混合评分管道和所有提示。117个评估场景的JSON格式和28个种子场景、变异策略、搜索到源的映射都已发布。所有15个评估代理的详细配置在表7中提供。实验设置详细描述：状态基础轨迹使用温度0和单次推理，端到端轨迹使用温度0、20步预算的代理循环。功效分析报告了每个研究臂在显著性水平0.05下的最小可检测效应，主研究在117个样本时解析11.7个百分点（80%功效）和14.8个百分点（95%功效）的泄漏率差异。评分管道的确定性匹配器和LLM评判器的阈值、评判提示和一致率分析在附录中提供。混合评分管道显示二元实用结果在84.8%的细胞上达成一致。总体而言，论文提供了充分的细节和开源资源，使得复现成为可能。

能干但粗心：计算机使用代理遵循语境完整性吗？ Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?