← 返回 2026-02-11

CausalArmor:基于因果归因的高效间接提示注入防护框架 CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution

Minbeom Kim, Mihir Parmar, Phillip Wallis, Lesly Miculicich, Kyomin Jung, Krishnamurthy Dj Dvijotham, Long T. Le, Tomas Pfister 📅 2026-02-08 👍 6 2026-07-13 08:35
AI安全 因果归因 工具调用智能体 提示注入防御 智能体安全

通过检测不可信内容对特权操作的因果支配偏移,选择性触发防御,解决过度防御困境

前置知识

间接提示注入(Indirect Prompt Injection, IPI)

IPI是一种针对工具调用LLM智能体的攻击方式。攻击者将恶意指令隐藏在智能体从外部获取的内容中(如网页、邮件、工具输出),这些内容表面上看起来是正常数据,但实际上包含能够劫持智能体控制流的隐藏指令。当智能体处理这些被污染的内容时,可能会偏离用户的原始意图,执行未经授权的特权操作(如删除文件、发送消息、泄露数据)。这种攻击的危险之处在于,智能体本身并没有被直接篡改,而是通过环境中的恶意内容间接被操控。

这是本文要解决的核心安全威胁。理解IPI的机制是理解CausalArmor防御方案的前提,因为整个方法论建立在对IPI攻击因果机制的形式化分析之上。

Leave-One-Out (LOO) 归因

LOO归因是一种反事实分析方法,用于量化输入的各个部分对模型输出的贡献。其核心思想是:通过移除输入中的某个特定片段,观察模型输出概率的变化来衡量该片段的影响。具体公式为 $\Delta_X(Y; C_t) = \log P(Y|C_t) - \log P(Y|C_t \setminus X)$,其中 $X$ 是被移除的片段,$Y$ 是目标动作。如果移除某片段后模型对目标动作的概率显著下降,说明该片段对该动作有强支撑作用。这种直接的因果测量方式特别适合检测IPI攻击,因为成功的攻击必然导致注入内容对恶意动作产生异常高的归因值。

LOO归因是CausalArmor的核心检测机制。论文用它来量化用户请求与不可信内容对特权动作的因果贡献,从而检测'支配偏移'这一攻击特征。

特权动作(Privileged Action)

特权动作是指具有高风险或不可逆副作用的工具调用,如执行命令(execute)、写文件(write)、发送消息(send)等。这些操作一旦被恶意触发,可能造成真实世界的损害。与之相对的是非特权工具,如搜索(search)和读取(read),它们通常不会造成直接危害。CausalArmor的防御策略专注于在特权动作的决策点上进行检测和干预,而不是对所有操作都进行昂贵的验证。

论文的核心洞察是IPI攻击的目标必然是触发特权动作。理解这一点有助于理解为什么CausalArmor选择在特权决策点进行选择性防御,而非对所有操作进行全面监控。

支配偏移(Dominance Shift)

支配偏移是IPI攻击成功时可观测的因果特征。在正常行为中,用户请求为特权动作提供主要的归因支撑,即 $\Delta_U(Y^*_t) > \max_{S \in \mathcal{S}_t} \Delta_S(Y^*_t)$。但在成功攻击下,情况发生逆转:某个不可信片段突然成为恶意动作的主要驱动因素,表现为 $\Delta_S(Y_{mal}) \gg \Delta_U(Y_{mal})$,同时用户请求的归因值趋近于零。这种极端的对比使得攻击可以从正常的因果模式中被精确检测出来。

支配偏移是CausalArmor整个防御框架的理论基础。它是可测量的攻击特征,论文通过归因边距 $\tau$ 来检测这一偏移,从而决定是否触发防御。

过度防御困境(Over-Defense Dilemma)

过度防御困境是指现有IPI防御方法在追求低攻击成功率时,往往采用'始终在线'的昂贵验证或过滤机制,对所有输入内容无差别地进行处理。这导致即使在没有攻击的正常场景下(这是实际部署中的主导场景),系统也会产生显著的延迟开销和功能退化。例如,某些系统防御方法要求在每一步都调用LLM API进行验证,即使面对完全合法的用户请求也是如此。这种策略虽然可以降低攻击成功率,但严重影响了用户体验和系统效率。

这是本文要解决的核心矛盾。CausalArmor的贡献在于提出了一种能够在保持高安全性的同时避免过度防御的选择性防御方案。

代理模型(Proxy Model)

代理模型是CausalArmor为解决归因计算延迟问题而采用的优化策略。由于前沿闭源模型的API通常不支持获取log-probability进行LOO归因计算,且重复查询大模型代价高昂,论文利用小型高效模型(如Gemma-3-12B-IT)作为代理来计算归因值。研究表明,LOO归因分数在不同模型之间具有高度的可迁移性,即使模型参数相差10倍以上,皮尔逊相关系数仍可达0.94。代理模型通过vLLM部署,支持批量推理,将多次独立的前向传播合并为单次批量计算。

代理模型使得CausalArmor能够在实际部署中高效运行,避免了对主模型的反复查询,是方法从理论走向实用的关键技术。

研究动机

工具调用LLM智能体在处理外部获取的内容时面临间接提示注入(IPI)攻击的严重威胁。攻击者将恶意指令隐藏在网页、邮件或工具输出中,欺骗智能体执行未经授权的特权操作。现有的防御方法虽然可以降低攻击成功率,但普遍存在过度防御困境。具体而言,提示类防御(如重复用户意图、附加政策提醒)虽然轻量且能保持良性功能,但面对自适应攻击时脆弱且不可靠;分类器类防御(如DeBERTa检测器、PiGuard)虽然成本较低,但经常过度阻断良性工具输出,导致功能显著退化——在DoomArena实验中,PiGuard将良性效用从73.57%大幅降至55.13%;系统级防御(如CaMeL、DRIFT、MELON)通过在每一步都进行昂贵的LLM验证或清洗来实现强安全性,但带来了巨大的延迟开销,并且由于过度清洗导致功能损失。在AgentDojo实验中,DRIFT等方法虽然将攻击成功率降至接近零,但良性延迟显著增加,良性效用也明显下降。由于实际部署中良性场景占主导地位,这种始终在线的防御策略严重影响了用户体验和系统效率。

本文的目标是本文的具体目标是设计一种能够打破安全性与实用性之间权衡的IPI防御框架。具体来说,CausalArmor需要实现三个目标:第一,将攻击成功率降低至接近零,达到与激进防御方法相当甚至更好的安全水平;第二,保持良性场景下的效用接近无防御基线,避免过度阻断合法操作;第三,保持良性场景下的延迟接近无防御基线,避免对系统效率造成显著影响。换言之,论文希望实现一种'按需防御'机制——只在检测到实际威胁时才触发昂贵的清洗操作,而在正常场景下保持轻量运行。

与已有工作不同的是,本文的独特切入角度在于将IPI攻击重新审视为一种因果现象——一个'支配偏移'问题。论文的核心洞察是:成功的IPI攻击在特权决策点上表现为一种可测量的因果逆转,即用户请求失去对特权动作的归因支撑,而某个特定的不可信片段突然成为主导驱动因素。这种因果视角使得防御可以从'无差别地检查所有内容'转变为'只在检测到异常因果模式时才进行干预'。具体来说,论文提出使用Leave-One-Out归因来量化这种支配偏移,通过比较用户请求与不可信片段的归因贡献来检测攻击。这种基于因果证据的选择性防御是与已有方法的本质区别:已有方法要么因为缺乏威胁感知而防御不足(如提示类),要么因为缺乏选择性而过度防御(如始终在线的系统级防御),而CausalArmor通过因果归因实现了精确的威胁定位和按需干预。

核心方法

CausalArmor的整体思路可以这样理解:想象一个安保系统,传统的做法是对每个进入大楼的人都进行全身安检(始终在线防御),这虽然安全但效率极低。CausalArmor的策略更像是一个智能监控系统——它先快速观察每个人的行为模式,只有当检测到异常行为(比如某人的行为路径与预期严重偏离)时才启动深度安检。技术上,CausalArmor被实现为一个中间件层,在智能体提出特权动作时介入。它首先使用轻量级代理模型通过批量LOO归因计算用户请求和各不可信片段对拟议动作的贡献值;然后通过归因边距检测是否存在支配偏移;如果检测到异常,则触发两阶段防御——选择性上下文感知清洗和回溯性思维链遮蔽;最后让智能基于清洗后的上下文重新决策。正常场景下,整个流程几乎不产生额外开销。

CausalArmor的核心创新在于'因果支配偏移检测'这一概念。与已有方法的本质区别在于:已有防御方法要么对所有内容进行无差别处理(如始终在线的分类器或LLM清洗),要么依赖表面特征进行检测(如关键词匹配或语义分类),而CausalArmor通过测量各输入片段对特权动作的实际因果影响来识别攻击。具体来说,它计算用户请求的归因值 $\bar{\Delta}_U(Y_t)$ 和各不可信片段的归因值 $\bar{\Delta}_S(Y_t)$,然后通过边距准则 $B_t(\tau) = \{S \in \mathcal{S}_t : \bar{\Delta}_S(Y_t) > \bar{\Delta}_U(Y_t) - \tau\}$ 来检测支配偏移。当 $\tau = 0$ 时,只要某个不可信片段的归因超过用户请求,就触发防御。这种基于因果证据的检测方式具有两个关键优势:第一,它能精确定位攻击来源,避免对良性内容的过度阻断;第二,它提供了可解释的防御依据——可以清楚地指出哪个片段、通过什么因果机制影响了决策。

方法步骤详情

CausalArmor的完整防御流程包含四个步骤。第一步是批量LOO归因计算(Step 1: Batched Attribution Check)。当智能体提出特权动作 $Y_t \in \mathcal{T}_{priv}$ 且存在不可信片段 $S_t \neq \emptyset$ 时,系统使用代理模型 $M_{proxy}$(如Gemma-3-12B-IT)计算归因值。由于各片段的LOO计算相互独立($C \setminus S_1, C \setminus S_2, \ldots$),系统将完整上下文和所有消融上下文组合成一个批次 $\mathcal{B}$,通过单次前向传播完成计算,大幅降低延迟。计算得到的归因值按动作token长度 $|Y|$ 进行归一化:$\bar{\Delta}_X(Y) = \Delta_X(Y) / |Y|$,以确保边距 $\tau$ 在不同工具调用间的鲁棒性。第二步是支配偏移检测,系统检查是否存在满足 $\bar{\Delta}_S > \bar{\Delta}_U - \tau$ 的不可信片段,标记为待处理集合 $B_t(\tau)$。第三步是选择性上下文感知清洗(Step 2: Selective Context-Aware Sanitization)。当 $B_t(\tau) \neq \emptyset$ 时,系统使用LLM(如Gemini-2.5-flash)对 $B_t(\tau)$ 中的片段进行清洗。关键优势在于,由于防御是由特定拟议动作 $Y_t$ 触发的,清洗器可以同时以用户请求 $U$ 和动作定义作为上下文,从而精确区分注入触发器和合法信息。第四步是回溯性思维链遮蔽(Step 3: Retroactive CoT Masking)。如果智能体已经在之前的推理步骤中'内化'了恶意指令,仅仅清除输入中的注入是不够的。因此系统将检测到攻击后的所有后续助手推理轨迹替换为通用占位符(如'[推理因安全原因被编辑]'),迫使智能体仅从用户请求和清洗后的数据重新推导计划,物理性地阻断被污染推理意图的传播。

技术新颖性

CausalArmor的技术新颖性体现在多个层面。首先,形式化层面——论文首次将IPI攻击明确形式化为特权决策点上的'支配偏移'问题,并将其与可测量的LOO归因特征关联起来。这种形式化不仅提供了直觉性的理解框架,还支撑了第4.3节的理论分析,证明了基于归因边距的清洗能产生指数级衰减的攻击成功概率上界。其次,效率层面——通过批量推理和代理模型两个优化,将原本需要对每个片段进行独立模型查询的LOO归因计算压缩为单次前向传播。研究证实,即使使用比主模型小30倍的代理模型,归因分数仍保持高度一致性。第三,选择性防御机制——与已有方法的'始终在线'策略不同,CausalArmor只在检测到因果支配偏移时才触发昂贵的清洗操作。即使是最简单的设置($\tau = 0$),也能将攻击成功率降至接近零,同时将良性延迟保持在无防御基线附近。第四,回溯性思维链遮蔽——这一机制解决了一个此前被忽视的问题:即使清除输入中的注入,智能体内部的'被毒化'推理轨迹仍可能导致攻击再次发生。通过强制重新生成推理链,CausalArmor有效阻断了这种残余泄漏。

CausalArmor工作流程概览
Figure 1: CausalArmor工作流程概览

实验结果

CausalArmor在两个综合基准上的实验结果充分证明了其有效性。在AgentDojo基准上(包含银行、Slack、旅行和工作空间4种智能体类型、70个工具、629个注入任务),CausalArmor使用Gemini-2.5-flash作为主干模型,将攻击成功率(ASR)降至接近零,同时保持良性效用(BU)和良性延迟(BL)接近无防御基线。与始终在线的系统级防御(如DRIFT、MELON)相比,CausalArmor在安全性相当甚至更优的前提下,显著降低了延迟开销。具体而言,提示类防御虽然轻量但安全性不足;分类器类防御(如PiGuard)过度阻断导致功能退化;系统级防御安全性强但延迟高。CausalArmor通过选择性干预打破了这一权衡。在更严峻的DoomArena基准上(攻击者具有特权且自适应,可窃听对话历史并动态生成注入),CausalArmor同样表现出色。以Gemini-3-Pro为主干时,CausalArmor将ASR从88.87%(无防御)降至3.65%,同时保持良性效用70.96%(无防御为73.57%),远优于PiGuard的55.13%。消融研究显示,回溯性CoT遮蔽模块的移除导致ASR平均上升1.46%,同时良性效用下降0.5%,表明该模块对安全性和功能性都有贡献。代理模型实验表明,参数量大于8B的模型能成功识别大部分IPI攻击,超过12B的模型达到接近完美的防御率。

DoomArena实验结果
Table 1: DoomArena实验结果
CoT遮蔽消融实验
Table 2: CoT遮蔽消融实验
AgentDojo详细实验结果
Table 3: AgentDojo详细实验结果
AgentDojo主要结果
Figure 3: AgentDojo主要结果
从始终在线清洗到CausalArmor的权衡
Figure 4: 从始终在线清洗到CausalArmor的权衡
不同代理模型的攻击成功率与相对延迟
Figure 5: 不同代理模型的攻击成功率与相对延迟
清洗后的因果归因恢复
Figure 7: 清洗后的因果归因恢复
查看结构化数据
任务指标本文基线提升
AgentDojo(4种智能体类型、70个工具、629个注入任务) 攻击成功率 ASR (%) 接近 0% 无防御约 80-90%,分类器约 5-15%,系统级防御约 0-5% 达到或超越始终在线防御的安全水平,同时保持接近无防御的良性效用和延迟
DoomArena TauBench-Retail(115个任务,自适应攻击者) 攻击成功率 ASR (%) 3.65% (±0.73) 无防御 88.87% (±1.67),Repeat Prompt 72.70% (±2.65),PiGuard 5.57% (±0.48) 相比PiGuard降低34%,同时良性效用提升29%(70.96% vs 55.13%)
DoomArena TauBench-Retail 良性效用 BU (%) 70.96% (±0.99) 无防御 73.57% (±1.32),PiGuard 55.13% (±2.35) 接近无防御水平(仅降2.6%),远优于PiGuard(提升29%)
AgentDojo(跨所有模型和攻击场景) 良性效用 BU (%) 75.11% 移除CoT遮蔽后 74.61% CoT遮蔽模块同时提升安全性和功能性

局限与改进

论文在多个维度上讨论了局限性。首先,理论保证的条件性——CausalArmor的安全性依赖于两个关键假设:主干模型具有正的良性优势($\beta > 0$)和清洗能有效移除对抗性支撑($\gamma > 0$)。在极端分布偏移或高度自适应攻击者场景下,这些假设可能不成立。其次,代理模型的局限性——虽然实验表明8B以上的模型能有效检测大多数攻击,但面对创新性的攻击模式(如跨片段分散注入、挑战清洗器的混淆技术),代理模型的归因可能失效。第三,CoT遮蔽的副作用——虽然回溯性遮蔽能防止被毒化推理的残余泄漏,但会降低系统的可调试性,因为推理历史被部分清除。第四,最坏情况延迟——在高度对抗环境中,如果大量步骤被标记为可疑,延迟可能接近始终在线防御。第五,代理模型信息泄露——论文指出,公开代理模型的架构细节可能让攻击者利用这些信息在本地优化攻击以逃避检测。第六,多模态和复杂因果依赖——当前方法主要针对文本场景,未来需要扩展到多模态上下文和更复杂的因果依赖链。最后,实验验证有限——虽然在两个基准上表现优异,但这些基准可能无法完全代表真实世界的部署场景。

独立分析的弱点

从独立分析的角度来看,CausalArmor存在以下几个值得注意的弱点。第一,归因计算的粒度问题——当前LOO归因以工具结果(一个turn的一个工具调用输出)为粒度进行,这在面对精心设计的攻击时可能不够细粒度。例如,攻击者可能在单个长工具输出中混合合法信息和恶意指令,此时整体归因值可能不会显著高于用户请求,导致漏检。改进方向可以是引入段落级或句子级的自适应归因粒度。第二,边距参数 $\tau$ 的敏感性——虽然论文展示了 $\tau$ 对安全性-效用权衡的控制能力,但最优 $\tau$ 值可能因任务类型、攻击模式和主干模型而异。缺乏自动化的 $\tau$ 调优机制是一个实际部署中的挑战。改进方向可以是开发基于验证集的自适应阈值选择方法。第三,二阶段防御的串行性——清洗和CoT遮蔽是串行执行的,这意味着如果清洗失败(例如攻击者的注入设计为抵抗清洗),后续的CoT遮蔽也无法完全弥补。改进方向可以是设计更紧密耦合的防御机制。第四,对良性场景中低归因的处理——论文提到低 $\Delta_U$ 本身不构成攻击信号,因为良性能力失败也会降低用户归因,但在 $\Delta_U$ 异常低但无明显支配偏移的边界场景中,系统可能错过某些隐蔽攻击。改进方向可以是引入多信号融合的检测机制。

未来方向

论文和可延伸的研究方向包括以下几个方面。第一,多模态扩展——论文明确提到未来工作可能扩展到多模态上下文。随着多模态智能体的普及,图像、音频、视频中的隐藏注入也将成为威胁,需要设计跨模态的因果归因方法。第二,复杂因果依赖链——当前方法主要关注单步决策点上的因果偏移,但在多步推理任务中,攻击可能通过多跳因果链逐步积累影响。需要开发能够捕获跨步骤因果传播的归因机制。第三,自适应攻击者防御——虽然论文在DoomArena上测试了自适应攻击者,但攻击者可能采用更复杂的策略,如分散注入(将恶意影响分散到多个片段以弱化单个片段的归因信号)、时间延迟攻击(在多个回合中逐步累积影响)或对抗代理模型(针对特定代理模型架构优化攻击)。第四,代理模型的持续验证——论文建议定期重新验证代理模型的归因行为,但如何自动化这一过程、如何检测代理模型与主模型之间的分布偏移,仍需进一步研究。第五,与其他防御层的集成——论文建议将CausalArmor作为防御纵深策略的一层,与最小权限工具设计、用户确认、审计监控等互补控制结合使用,这些集成方案值得深入探索。第六,隐私保护归因——在涉及敏感数据的场景中,如何在不暴露具体内容的情况下进行归因计算,是一个有趣的隐私保护扩展方向。

复现评估

从复现评估的角度来看,论文提供了较为完整的实验描述。基准数据方面,AgentDojo和DoomArena都是公开可获取的标准基准,数据集配置和任务定义在各自论文中有详细描述。模型方面,论文使用了Gemini-2.5-flash、Gemini-2.5-Pro、Claude-4.0-Sonnet作为主干模型,Gemma-3-12B-IT作为代理模型进行归因计算,Gemini-2.5-flash作为清洗器。这些模型均为商业API模型,需要相应的API访问权限和计算预算。算力方面,LOO归因的批量推理虽然通过代理模型和批处理进行了优化,但仍需要一定的GPU资源来部署代理模型(论文使用vLLM服务Gemma-3-12B-IT)。代码和数据方面,论文未明确提及开源计划,但描述了足够详细的方法细节以供复现。主要的复现挑战在于:需要访问多个商业LLM API、需要部署vLLM服务、需要理解AgentDojo和DoomArena的评估协议、以及需要正确实现归因边距的归一化逻辑。总体而言,对于具备相应资源和经验的研究团队,复现难度中等。