你的代理,他们的资产:OpenClaw的真实世界安全分析 Your Agent, Their Asset: A Real-World Safety Analysis of OpenClaw
提出CIK分类法,首次对OpenClaw进行真实世界安全评估
前置知识
个人AI代理
个人AI代理是部署在用户本地机器上的智能助手,拥有完整的系统访问权限,能够与Gmail、Stripe等外部服务进行集成。这类代理的核心设计理念是进化,通过持久化状态实现个性化和适应性,包括长期记忆、身份行为配置和可执行技能库。这些文件在每次会话时加载到LLM的上下文窗口中,并随着时间不断更新。
理解个人AI代理的架构和生命周期设计是理解本文攻击模型的基础,因为攻击者正是利用这些持久化文件的进化特性来植入恶意状态。
持久化状态
持久化状态是AI代理跨会话生存的状态信息,OpenClaw将其组织为Capability(能力)、Identity(身份)和Knowledge(知识)三个维度。这些状态以文件形式存储,在每次会话启动时加载。
持久化状态是OpenClaw进化能力的基础,也是本文研究的攻击表面。理解这三个维度及其文件映射关系,对于理解CIK分类法和攻击机制至关重要。
攻击成功率(ASR)
攻击成功率定义为有害行动成功执行的测试用例比例。本文中的成功执行通过外部证据严格验证,例如确认目标地址收到邮件、Stripe API确认退款或文件系统确认删除。任何停止自主执行的干预都被视为成功防御,包括明确拒绝、请求确认、要求澄清或提示缺失信息等。
这是本文的主要评估指标,用于量化不同CIK维度下各模型的脆弱性。理解ASR的定义和计算方式对于解读实验结果至关重要。
研究动机
现有AI代理安全研究存在严重局限性。首先,它们通常只针对单一维度进行研究,例如Knowledge投毒通过伪造记忆和RAG注入、Identity劫持通过配置后门、Capability利用通过恶意技能载荷,但没有将这三个维度统一起来评估。其次,这些研究大多在沙箱或模拟环境中进行,无法反映真实部署系统中的实际影响。此外,现有工作没有在真实的外部服务集成环境中评估攻击,如Gmail、Stripe和本地文件系统。这导致我们对个人AI代理的真实安全风险缺乏系统性理解,无法为实际部署提供可靠的安全保障。
本文的目标是本文的目标是首次对部署在真实环境中的个人AI代理进行系统性的安全评估。具体来说,研究者引入了CIK分类法作为统一框架,将OpenClaw的持久化状态组织为Capability、Identity和Knowledge三个维度。然后在一个真实集成的OpenClaw实例上,设计12种影响场景覆盖六大危害类别,并在四个最新骨干模型(Claude Sonnet 4.5、Opus 4.6、Gemini 3.1 Pro和GPT-5.4)上评估每个CIK维度的可利用性,同时测试三种CIK对齐的防御策略。
与已有工作不同的是,本文的独特切入角度在于首次在真实世界环境中对部署的个人AI代理进行全维度安全评估。与之前孤立研究单一维度或在沙箱环境中评估的工作不同,本文将Capability、Identity和Knowledge三个维度整合到统一的CIK分类法中,并在真实部署的OpenClaw实例上,集成Gmail、Stripe和本地文件系统等真实外部服务进行测试。这种真实世界评估能够揭示沙箱环境无法捕获的攻击表面,因为有害行动会产生实际后果而非仅停留在模拟层面。
核心方法
本文的方法采用两阶段攻击协议来评估OpenClaw的持久化状态脆弱性。第一阶段是注入,将恶意内容植入代理的持久化状态;第二阶段是触发,在后续会话中使用看似无害的请求激活被投毒的状态。这种时间分离确保攻击能够跨会话持续存在。研究者在真实的OpenClaw实例上设计12种影响场景,涵盖隐私泄露(财务、身份/物理、其他敏感数据)和风险不可逆操作(财务损失、社会后果、数据安全破坏)两大危害类别。每个场景在四种条件下测试:无投毒基线和独立投毒每个CIK维度。
核心创新点是引入CIK分类法作为统一的持久化状态分析框架。这是首次将个人AI代理的持久化进化状态系统性地组织为Capability(能力)、Identity(身份)和Knowledge(知识)三个维度,并为每个维度提供OpenClaw的具体文件级映射。这个分类法不仅为攻击提供了统一词汇,也为结构化防御提供了理论基础。另一个关键创新是首次在真实世界环境中进行评估,与真实外部服务集成,使攻击产生实际后果。
方法步骤详情
评估方法分为四个主要步骤:第一步是案例设计,由具有操作和红队测试OpenClaw实例经验的安全研究人员手动设计所有攻击案例。Knowledge和Identity注入使用导致代理修改其持久化文件的提示词,Capability注入则安装带有隐藏载荷的载体技能。第二步是环境搭建,在Mac Mini上运行单个OpenClaw实例,集成Gmail、Stripe和本地文件系统,使用自动化测试框架管理工作空间备份、通过Telegram传递提示词、捕获响应和验证结果。第三步是攻击执行,在单独的会话中进行Phase 1注入和Phase 2触发(会话上下文注入除外),每次运行前自动备份工作空间。第四步是结果验证,通过外部证据(如邮件收据、Stripe API确认、文件系统确认)严格验证执行情况,所有指标在五次独立运行上取平均值。
技术新颖性
本文的技术新颖性体现在多个方面:首先,CIK分类法是首个将个人AI代理持久化状态统一组织的框架,填补了该领域缺乏统一分析工具的空白。其次,这是首次在真实世界环境中对部署的个人AI代理进行评估,与真实外部服务集成,使攻击产生实际后果。第三,研究者在单个代理系统中系统地评估所有三个CIK维度,而非孤立研究单一维度。第四,评估覆盖了四个最新骨干模型,能够比较不同模型在面对持久化状态攻击时的表现。最后,研究揭示了进化和安全之间的根本权衡,指出只要启用进化的持久化文件也是攻击表面,就无法区分合法更新和恶意注入。
实验结果
实验结果表明所有三个CIK维度都具有高度可利用性。在未受干扰的基线条件下,攻击成功率(ASR)范围为10.0%到36.7%,这表明原生安全对齐只能缓解但不能完全防止有害行动。在状态投毒后,所有维度和模型的ASR都大幅提升。最脆弱的配置(Sonnet 4.5配合Knowledge投毒)达到89.2%,而最稳健的配置(Opus 4.6配合Identity投毒)仍产生33.1%的ASR,代表比其10.0%基线高出三倍以上。跨维度平均来看,Knowledge攻击平均ASR最高,达到74.4%,Capability和Identity攻击分别达到68.3%和64.3%。这种上升趋势在所有评估模型中保持一致,表明对状态投毒的敏感性来自代理架构的结构属性而非模型特定缺陷。阶段级别分析显示,Knowledge投毒在Phase 1表现最低的进入障碍,注入成功率在所有模型中范围为87.5%到100%,表明代理很少拒绝记忆更新。Identity投毒表现出更大变化,Phase 1成功率范围为65.4%到96.2%。相比之下,Capability注入在Phase 1确定性地达到100%成功率,因为技能安装本质上将载荷沉积到工作空间中。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 持久化状态投毒攻击 | 攻击成功率(ASR) | Knowledge: 74.4% (平均), Identity: 64.3% (平均), Capability: 68.3% (平均) | 无投毒基线: 10.0%-36.7% (取决于模型) | 投毒后ASR提升3-9倍,最脆弱配置达89.2% |
| Phase 1注入成功率 | 注入接受率 | Knowledge: 87.5%-100%, Identity: 65.4%-96.2%, Capability: 100% | N/A | Capability注入确定性地成功,Knowledge注入几乎总是被接受 |
| 防御效果评估(Sonnet 4.5) | 攻击成功率降低 | Capability防御: 9.2%-63.8%, Identity防御: 49.2%-75.4%, Knowledge防御: 35.8%-76.9% | 无防御: 85.4%-89.2% (投毒条件下) | 最佳防御仍无法完全阻止Capability攻击,成功率达63.8% |
| 文件保护机制 | Phase 1注入阻止率 | 攻击注入从87.0%降至5.0%,合法更新从100%降至<13.2% | 无保护: 攻击注入87.0%, 合法更新100% | 有效阻止攻击但同样阻止93%的合法更新,暴露进化-安全权衡 |
局限与改进
作者承认的主要局限性包括:评估仅覆盖单一代理平台和四个骨干模型,虽然选择最广泛部署的OpenClaw和最新模型,但结果可能无法直接推广到其他平台。其次,所有攻击案例由研究人员手动设计,虽然基于实际操作经验,但自动化攻击生成可能产生更复杂和多样化的攻击向量。第三,研究者独立评估每个CIK维度,跨维度攻击链(如投毒的Knowledge强化Identity攻击)可能放大效果,本文结果可能代表下限。第四,Stripe在测试模式下运行,没有真实财务交易,所有邮件收件人都是研究人员控制的地址,没有第三方收到任何通信,文件系统操作限制在测试工作空间并自动备份和恢复,这可能低估真实环境中的风险。此外,研究没有评估生产模式下的长期性能影响或用户行为变化。
独立分析的弱点
独立分析的第一个弱点是评估范围的局限性,虽然OpenClaw是最广泛部署的平台,但其他代理可能有不同的持久化状态架构,CIK分类法的普适性需要在更多平台上验证。第二个弱点是攻击案例的手动设计,虽然基于实际操作经验,但可能遗漏某些攻击向量或低估攻击者的创造性。第三个弱点是缺乏跨维度攻击链的评估,现实中的攻击者可能组合多个维度的投毒来放大效果,例如投毒的Knowledge可以强化Identity攻击,产生协同效应。第四个弱点是防御策略的有限性,虽然测试了三种CIK对齐的防御和文件保护,但其他防御策略如代码签名、沙箱执行、运行时监控等架构级安全措施没有在OpenClaw环境中评估。第五个弱点是缺乏长期纵向研究,无法评估持久化投毒在用户日常使用中的累积效应或代理的自适应行为。
未来方向
作者提出的未来工作方向包括:自动化攻击生成,以探索更多样化和复杂的攻击向量;评估额外的代理平台,以验证CIK分类法的普适性;生产模式评估,以了解真实用户环境中的安全风险;纵向用户研究,以评估持久化投毒在长期使用中的累积效应。基于本文成果可以延伸的方向包括:开发CIK感知的安全架构,设计针对每个维度的专门防御机制;研究跨维度攻击链的检测和缓解;探索平衡进化和安全的机制,如差异化更新验证、增量状态检查点等;开发基于监控的运行时保护系统,检测异常的持久化文件修改行为。
复现评估
论文提到项目页面在https://ucsc-vlaa.github.io/CIK-Bench,但没有明确说明是否开源代码或数据。评估环境使用Mac Mini运行单个OpenClaw实例,集成Gmail、Stripe和本地文件系统,这需要相应的API密钥和账户设置。Stripe在测试模式下运行,没有真实财务交易,这降低了复现的财务门槛但需要Stripe测试账户。所有邮件收件人都是研究人员控制的地址,文件系统操作限制在测试工作空间并自动备份和恢复,这降低了复现风险。研究使用四个商业LLM API(Claude Sonnet 4.5、Opus 4.6、Gemini 3.1 Pro和GPT-5.4),这些API是付费服务,虽然每个模型进行88个测试用例,五次独立运行,总计1760次API调用,成本可控但需要相应的API访问权限。总体来说,复现难度中等,主要门槛是获取OpenClaw实例、配置外部服务集成和支付LLM API费用。
论文图表