蜘蛛感应：基于内在风险感知与分层自适应筛选的高效智能体防御框架 Spider-Sense: Intrinsic Risk Sensing for Efficient Agent Defense with Hierarchical Adaptive Screening
提出内在风险感知机制，让LLM智能体仅在感知到威胁时才触发分层安全检查，实现高效防御。
前置知识
LLM智能体（LLM Agent）
基于大语言模型构建的自主智能体，具备环境感知、任务规划和工具执行能力。智能体在每个时间步 $t$ 接收交互历史 $h_{t-1} = (I, q, a_1, o_1, \ldots, a_{t-1}, o_{t-1})$，更新内部计划 $P_t$，执行动作 $a_t$，并从环境获得观测 $o_t$。这种“感知-决策-行动”循环构成了完整的智能体生命周期。
本文的核心创新点——内在风险感知（IRS）——正是嵌入在智能体的执行流程中，理解智能体的生命周期和交互模式是理解本文方法的基础。
提示注入攻击（Prompt Injection）
攻击者通过在输入、工具返回值或记忆检索结果中注入恶意指令，诱导LLM执行非预期行为。这类攻击可以分布在智能体生命周期的多个阶段：用户查询阶段的直接注入、规划阶段的记忆投毒、行动阶段的参数篡改，以及观测阶段的工具返回值注入。攻击者可以利用这些入口点实现敏感数据泄露或未授权系统操作。
提示注入是本文要防御的核心威胁之一。论文提出的四阶段风险感知正是针对这些不同入口点的攻击设计的。
向量相似度检索（Vector Similarity Retrieval）
将文本编码为向量表示后，通过余弦相似度 $s = \cos(\mathbf{v}_t, \mathbf{v}_i) = \frac{\mathbf{v}_t \cdot \mathbf{v}_i}{\|\mathbf{v}_t\| \|\mathbf{v}_i\|}$ 度量两个向量的相似程度。本文利用该技术构建攻击模式库，实现已知威胁的快速匹配。当相似度超过阈值 $\tau^{(k)}$ 时直接返回高置信度结果，否则触发更深层推理。
HAS机制的粗粒度检测层正是基于向量相似度检索实现的，这是整个分层筛选流程的第一步，决定了系统是否需要进入深度分析阶段。
防御范式：强制检查 vs 事件驱动
现有防御机制多采用“强制检查”范式，在智能体生命周期的每个预定义阶段都强制触发安全验证，无论是否存在实际风险。这导致随着工作流变长，每增加一个规划步骤、工具调用或记忆访问都会累积额外延迟。而“事件驱动”范式则只在感知到风险时才触发防御，避免了不必要的开销。
本文的核心论点就是从强制检查范式转向事件驱动范式。理解这两种范式的区别是理解论文创新价值的关键。
研究动机
现有LLM智能体防御机制普遍存在严重的效率和实用性问题。大多数方法采用强制检查范式（mandatory checking paradigm），在智能体生命周期的每个预定义阶段——如动作生成、工具调用——都强制触发安全验证，无论是否存在实际风险。随着智能体工作流变得越来越长和复杂，每个额外的规划步骤、工具调用、观测或记忆访问都会累积一轮安全检查的延迟。以GuardAgent为例，在S2Bench上其执行时间分别比基线增加了251%（Qwen-max）和197%（Claude-3.5）；AGrail的延迟增幅更高达381%和298%。此外，许多方法依赖外部验证模型（如AGrail），引入了额外的计算和货币成本，以及系统依赖性。频繁的误报也会破坏正常用户交互，例如Claude-3.5基线在查询阶段的误报率高达64.7%。这些问题使得现有防御在复杂、实时的智能体工作流中难以实际部署。
本文的目标是本文的核心目标是实现一种既高效又有效的智能体安全防御机制。具体而言，作者希望将安全性内化为智能体的原生认知能力，而非外挂的、强制性的检查程序。理想的防御系统应该具备三个特征：一是内在性（intrinsic），风险感知能力嵌入智能体本身的执行流程中，不依赖外部监督或额外架构开销；二是选择性（selective），只在真正感知到风险时才触发防御，避免对正常执行的干扰；三是高效性（efficient），在保持强大防御能力的同时，将延迟开销控制在可接受的范围内。
与已有工作不同的是，本文的独特切入角度来源于一个直觉性的类比：蜘蛛侠的“蜘蛛感应”。作者观察到，现有的安全检查范式本质上是将安全视为一个外挂的、解耦的组件，需要在每个阶段强制运行。而更合理的方式应该像蜘蛛感应一样，让智能体保持一种“潜伏的警觉状态”（latent vigilance），只在真正感知到威胁时才激活防御机制。这种从“always-on强制检查”到“event-driven内在感知”的范式转换是本文最核心的创新视角。技术上，作者提出了内在风险感知（IRS）机制，通过指令级条件化（instruction-level conditioning）将风险感知直接嵌入智能体的执行流，使得智能体能够在四个安全关键阶段（查询、规划、行动、观测）自主评估风险并决定是否触发检查。
核心方法
SPIDER-SENSE框架的核心思想是将安全防御从“外挂检查”转变为“内在感知”。整体技术路线分为两个层次：首先，通过内在风险感知（IRS）机制赋予智能体自主的风险感知能力，使其能够在执行过程中持续监控自身交互的四个安全关键阶段——用户查询 $q$、内部计划 $P_t$、执行动作 $a_t$ 和环境观测 $o_t$；其次，当感知到潜在威胁时，通过分层自适应筛选（HAS）机制进行高效的安全验证，该机制结合了快速的粗粒度检测和深度的细粒度分析，在效率和精度之间实现动态平衡。整个系统的设计哲学是：安全不应损害效用，防御应该像蜘蛛感应一样精准而高效。
与已有方法的本质区别在于两个核心创新：第一，IRS机制将风险感知内化为智能体的原生能力，而非外挂的安全检查器。通过指令级条件化，智能体在每个时间步 $t$ 和每个阶段 $k$ 自主生成风险感知指标 $\phi^{(k)}_t$，其条件生成概率为 $P(\phi^{(k)}_t | h_{t-1}, p^{(k)}_t, I)$。当感知到风险时，智能体确定性地将可疑内容包装在专用模板中（如查询阶段使用 `<|verify_user_intent|>`、观测阶段使用 `<|sanitize_observation|>`），实现可靠的提取和路由。第二，HAS机制采用分层策略：对于已知攻击模式，通过快速的向量相似度匹配直接返回结果；对于未知或复杂的攻击，才升级到LLM深度推理。这种设计避免了对每个检查都调用昂贵的外部模型，从根本上解决了现有方法的效率瓶颈。
方法步骤详情
SPIDER-SENSE的完整执行流程可分为五个步骤。步骤一：智能体在每个时间步 $t$ 接收交互历史 $h_{t-1}$ 和当前阶段 $k \in K = \{\text{query}, \text{plan}, \text{action}, \text{obs}\}$ 的内容 $p^{(k)}_t$。步骤二：IRS机制自主评估风险感知指标 $\phi^{(k)}_t$，根据条件分布 $P(\phi^{(k)}_t | h_{t-1}, p^{(k)}_t, I)$ 决定是否触发防御。如果未感知到风险，智能体继续正常执行。步骤三：当风险指标被触发时，智能体将可疑内容 $p^{(k)}_t$ 包装在阶段特定的模板中，并路由到HAS机制。步骤四：HAS首先执行粗粒度检测，将当前内容嵌入为向量表示 $v^{(k)}_t$，计算其与阶段特定攻击库 $D^{(k)}$ 中所有模式的余弦相似度 $s^{(k)}_{t,i} = \cos(v^{(k)}_t, v^{(k)}_i)$，如果最大相似度 $s^{(k)}_t = \max_i s^{(k)}_{t,i}$ 超过阈值 $\tau^{(k)}$，直接返回高置信度结果。步骤五：如果相似度低于阈值，HAS升级到细粒度分析，检索 Top-K 最相似案例 $N^{(k)}_t = \text{TopK}(D^{(k)}, v^{(k)}_t; K)$，调用LLM进行深度推理 $r^{(k)}_t = R_{\text{LLM}}(p^{(k)}_t, N^{(k)}_t)$，最终生成决策 $d^{(k)}_t \in \{\text{ACCEPT}, \text{REJECT}, \text{SANITIZE}\}$。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在范式层面，首次提出“内在风险感知”（IRS）的概念，将安全从外挂组件转变为智能体的原生认知能力，这与现有的“always-on”强制检查范式形成了根本性的区别。其次，在架构层面，分层自适应筛选（HAS）的设计精巧地平衡了效率和精度：粗粒度层使用向量相似度匹配处理已知威胁，细粒度层使用LLM推理处理未知威胁，两层之间通过阈值 $\tau^{(k)}$ 动态切换。这种分层设计使得系统仅需8.3%的延迟开销即可实现强大防御。第三，在评估层面，S2Bench基准测试首次实现了全生命周期、多场景的智能体安全评估，包含真实的工具执行和返回内容，以及专门设计的“困难良性样本”来评估过度防御问题。攻击模拟注入器（Attack Simulation Injector）可以在不修改智能体内部代码的情况下动态操纵工具输出和记忆检索结果，实现状态依赖的攻击注入。
实验结果
SPIDER-SENSE在多个基准测试上展示了强大且一致的防御性能。在Mind2Web数据集上，基于Claude-3.5的SPIDER-SENSE实现了LPA 95.8%、LPP 88.7%、LPR 100.0%、F1 92.1%和100%的一致性评分（AM），显著超越纯模型基线（LPA 84.8%、F1 90.3%）和最强护栏基线AGrail（LPA 94.0%）。在EICU数据集上，SPIDER-SENSE(Claude-3.5)达到LPA 96.7%、LPP 97.4%、LPR 100.0%、F1 98.1%和100% AM。在自建的S2Bench上，SPIDER-SENSE(Qwen-max)的总体攻击成功率（ASR）仅为13.6%，误报率（FPR）为10.4%，执行时间23.4秒（仅比基线增加8%）。相比之下，AGrail的ASR为33.0%，执行时间103.9秒（增加381%）。消融实验表明，移除任何一个阶段的感知都会导致ASR显著上升，特别是移除行动阶段感知时ASR增加29.9个百分点，证明了全生命周期感知的必要性。HAS的分层设计也得到验证：移除细粒度分析会导致防御分数和精度大幅下降，移除粗粒度检测则会严重降低效率。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Mind2Web安全合规评估 | LPA (标签预测准确率) | 95.8% (Claude-3.5) | AGrail: 94.0%, 纯模型: 84.8% | 相对AGrail提升1.9%，相对纯模型提升11.0% |
| Mind2Web安全合规评估 | F1分数 | 92.1% (Claude-3.5) | AGrail: 94.1%, 纯模型: 90.3% | 与AGrail基本持平，相对纯模型提升1.8% |
| EICU RBAC合规评估 | LPA (标签预测准确率) | 96.7% (Claude-3.5) | AGrail: 98.4%, GuardAgent: 90.0% | 相对GuardAgent提升6.7% |
| S2Bench全生命周期防御 | ASR (攻击成功率) | 13.6% (Qwen-max), 9.5% (Claude-3.5) | AGrail: 33.0%/32.6%, GuardAgent: 33.3%/30.7% | 相对AGrail降低58.8%-70.9% |
| S2Bench全生命周期防御 | FPR (误报率) | 10.4% (Qwen-max), 19.1% (Claude-3.5) | AGrail: 24.9%/38.2%, Claude纯模型: 51.4% | 相对AGrail降低58.2%-50.0% |
| S2Bench执行效率 | Duration (执行时间) | 23.4s (Qwen-max, +8%), 41.7s (Claude-3.5, +37%) | AGrail: 103.9s (+381%), GuardAgent: 75.9s (+251%) | 相对AGrail减少77.5%延迟 |
局限与改进
尽管SPIDER-SENSE展示了出色的性能，但仍存在一些局限性。首先，当前的IRS机制基于指令级条件化（instruction-level conditioning），依赖系统提示来引导智能体产生风险感知，这种方式可能被更精巧的对抗性提示绕过，特别是在攻击者了解IRS工作原理的情况下。其次，HAS的粗粒度检测依赖于预构建的攻击模式库 $D^{(k)}$，对于完全未知的零日攻击（zero-day attacks），系统只能依赖细粒度分析，而这部分的效率优势不明显。第三，S2Bench虽然涵盖了8个领域和79个子任务场景，但与真实世界的复杂性相比仍有差距，特别是缺少多智能体协作场景和更长时间跨度的任务。此外，论文中的实验主要基于Claude-3.5和Qwen-max两个模型，对于其他模型架构的泛化能力尚未充分验证。最后，虽然延迟开销仅为8.3%，但在对延迟极度敏感的实时应用中，这仍可能是需要考虑的因素。
独立分析的弱点
SPIDER-SENSE存在几个值得深入分析的弱点。首先，IRS的风险感知完全依赖于智能体的自身判断，没有外部验证机制来确保感知指标的可靠性。在极端情况下，智能体可能因为系统提示中的细微偏差而产生系统性的感知偏差，建议引入轻量级的外部校验层来周期性验证IRS的判断质量。其次，HAS的阈值 $\tau^{(k)}$ 是静态设定的，无法根据实际部署环境中的攻击分布动态调整。可以考虑引入自适应阈值机制，根据历史检测数据自动优化各阶段的阈值参数。第三，当前的攻击模式库 $D^{(k)}$ 是静态构建的，缺少在线更新能力。在实际部署中，新的攻击模式会不断出现，建议引入增量学习机制，使攻击库能够从实际检测中持续学习和更新。最后，S2Bench的困难良性样本（153个）相对较少，可能不足以全面评估系统在各种边界情况下的误报行为。
未来方向
作者在结论中提出了几个有前景的研究方向。第一，超越指令级条件化，通过自适应或学习机制增强IRS，例如集成智能体强化学习（agentic reinforcement learning）将风险感知内化到智能体的推理、规划和决策过程中。第二，将IRS与长时间跨度规划和信用分配（credit assignment）耦合，使智能体能够在执行具体行动之前预判和规避高风险执行路径。第三，扩展S2Bench以支持更长时间跨度的任务、更丰富的工具生态系统和多智能体设置。基于本文的成果，还可以延伸以下方向：探索IRS在多模态智能体（如视觉-语言智能体）中的应用；研究IRS与模型安全对齐（safety alignment）的协同效应；开发分布式智能体系统的内在安全机制；以及将HAS的分层筛选思想应用于其他需要效率-精度平衡的安全场景。
复现评估
从复现角度来看，SPIDER-SENSE具有较好的可复现性。论文声称代码和数据已开源（GitHub: aifinlab/Spider-Sense），S2Bench数据集的构建过程在附录中有详细描述。实验使用了Claude-3.5-Sonnet和Qwen-max作为基座模型，这些都是可通过API访问的商业模型。S2Bench包含约300个工具函数和100多种返回内容类型，攻击模式库的构建依赖于现有公开数据集，这些都有助于复现。然而，完整的实验流程涉及智能体的多步执行和攻击模拟注入，复现的计算成本较高。此外，论文中提到的一些超参数（如HAS的阈值 $\tau^{(k)}$、Top-K值）的具体设置需要参考代码实现。总体而言，对于具备足够计算资源的研究团队，该工作的复现难度为中等。
论文图表
