保护AI Agent：多层Agent红队测试统一框架 Securing the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming
分层匹配检测范式，覆盖AI Agent四层攻击面
前置知识
Model Context Protocol (MCP)
MCP是一种标准化协议，定义了AI助手如何发现和调用外部工具。MCP服务器暴露一组工具，每个工具包含名称、自然语言描述和输入模式。客户端（AI助手）根据需要选择和调用这些工具。这种解耦设计使MCP强大，但也使其成为新的攻击面，因为工具描述作为可信上下文被模型消费，恶意构造的描述可以操纵模型行为。
论文的核心贡献之一是MCP服务器审计，理解MCP如何工作、其攻击面特征以及与传统软件安全的区别，是读懂协议/工具层安全评估的基础。
Jailbreak攻击
Jailbreak（越狱）攻击是指通过精心构造的提示词绕过大语言模型的安全对齐，诱导模型产生本应拒绝的有害内容。攻击手段包括角色扮演（如DAN）、编码混淆（base64、十六进制等）、零宽度字符、多轮对话逐步诱导（crescendo）、攻击树搜索、最佳n采样等。评估模型对越狱的鲁棒性是一个统计问题，需要在大量有害提示上测试多种攻击变换。
论文的第四层（模型层）专门处理LLM越狱评估，涵盖26+攻击算子、16个数据集，理解越狱攻击的多样性和评估方法是理解该层工作原理的关键。
间接提示注入
间接提示注入是一种攻击技术，攻击者将隐藏指令嵌入到AI Agent处理的内容中（如文档、网页、检索结果），诱导Agent执行非预期操作。例如，Agent被要求总结一份文档，而文档中包含隐藏指令。这种攻击利用了Agent将处理内容视为可信上下文的假设，是OWASP LLM Top 10中的首位风险。
论文在多个层面涉及间接提示注入：MCP审计层将其作为漏洞类别检测，Agent红队测试层通过植入标记测试，且框架本身需要防御扫描器被间接注入攻击。这是AI特有的安全威胁，理解它对整篇论文至关重要。
Tool Poisoning/Tool Shadowing
工具投毒和工具影子化是MCP生态特有的攻击类型。工具投毒是指恶意构造工具的元数据（描述、参数模式），使其声称提供无害功能但实际执行恶意操作。工具影子化是指创建与合法工具同名的恶意工具，利用Agent优先选择最匹配工具的机制，让恶意工具替代合法工具被调用。这两种攻击的载体不是工具输出，而是工具的广告元数据本身。
这是论文强调的AI Agent安全与传统软件安全的根本区别之一，MCP审计器专门设计了针对这些攻击的检测规则，理解这一概念有助于把握论文的创新性。
Prompt-as-Rule范式
Prompt-as-Rule是论文提出的检测知识编码范式，与基础设施层的布尔规则对应。它将漏洞检测知识编码为结构化的自然语言描述，包括漏洞定义、表明它的具体代码模式，以及同等重要的排除条件。这种范式随着从MCP审计到Agent红队测试逐渐成熟，关键是规则必须同时编码漏洞模式和防止LLM过度报告的防御条件。
这是论文的核心设计模式之一，贯穿多个LLM驱动的检测模块，理解这一范式有助于把握论文如何将通用LLM转化为专业安全审计器。
研究动机
随着AI基础设施的快速发展，从模型服务引擎（Ollama、vLLM、llama.cpp）到Agent构建平台（Dify、LangFlow、Flowise），再到工作流引擎（ComfyUI）和机器学习基础设施（MLflow、Kubeflow、Ray），以及最近实现Model Context Protocol的服务器，这些组件经常由缺乏安全专业知识的个人或小团队部署，并直接暴露到不可信网络。这些新软件具有三个特征使其处于传统安全工具覆盖范围之外：组件太新而未被编目，主流指纹数据库和漏洞数据库不包含这些软件的签名；组件采用不规则版本约定，破坏了依赖语义版本比较的软件组成分析工具；威胁模型已转变，AI组件的最高风险很少是传统Web扫描器寻找的注入和脚本缺陷，而是未认证访问昂贵计算、通过错误配置泄露API凭证、劫持Agent目标的提示注入、将Agent转变为困惑代理的工具滥用，以及在对抗性提示下模型自身安全对齐的侵蚀。
本文的目标是本文的目标是构建一个统一的AI Agent安全评估框架，能够覆盖AI Agent的完整攻击面。具体而言，论文提出了AI-Infra-Guard框架，将AI攻击面分为四个层次，并为每个层次匹配最合适的检测范式：确定性规则匹配用于基础设施层，LLM驱动的智能审计用于协议/工具层，多轮黑盒红队测试用于Agent行为层，大规模攻击枚举和模型判断用于模型层。框架还覆盖了Agent技能供应链这一新兴攻击面。目标是提供一个实用的、可扩展的基础设施，作为Agent安全的实践基础和社区构建的共享基础。
与已有工作不同的是，本文的独特切入角度是认识到AI系统的攻击面具有层次异质性，不同层次的安全风险需要不同类型的证据来建立其存在，因此需要不同的评估范式。现有开源工具通常只关注单一攻击面层：网络和代码扫描器处理基础设施和源代码但不理解Agent或模型对齐；MCP审计器仅针对协议层；LLM红队测试框架探测Agent和模型行为但不指纹识别基础设施或审计MCP源码。没有一个框架覆盖所有四层，也没有框架审计Agent技能供应链。AI-Infra-Guard据作者所知是唯一覆盖所有四层、添加技能供应链审计、将专用AI指纹和CVE语料库与LLM驱动的代码审计和大型越狱算子库相结合的开源框架。
核心方法
AI-Infra-Guard的整体思路基于一个核心观察：AI Agent的攻击面是分层的，没有单一检测范式适合所有层次。因此，框架采用分层-范式匹配原则，将攻击面分为四个抽象层，每层匹配最合适的检测范式。从基础设施到模型，发现的性质从存在已知签名变为模型在变换下行为不安全，相应的证据从字符串匹配变为判断后的交互，检测范式从确定性规则匹配变为LLM驱动的智能分析，再到交互式对抗探测，最后到统计攻击评估。框架实现了四个检测模块：基础设施扫描器使用确定性规则匹配；MCP审计器使用LLM驱动的智能审计；Agent红队测试器使用多轮黑盒红队测试；越狱评估器使用大规模攻击枚举和模型判断。还有一个Agent技能扫描模块。框架通过分布式服务器-代理架构编排这些异构任务。
核心创新点是将AI攻击面形式化为四个抽象层，每层需要不同类型的证据，因此需要不同的检测范式。这不是四种不同工具的集合，而是一个选择它们的原则。论文的贡献不是单个工具，而是这个选择原则以及将其付诸实践的开源系统。另一个核心创新是Prompt-as-Rule范式，将检测知识从布尔谓词发展到自然语言准则、结构化任务规范、分阶段攻击手册。第三个核心创新是客观锚定主观判断，尽可能用确定性检查替代LLM判断，如SSRF金丝雀标记和植入的注入标记将判断简化为标记存在测试。第四个核心创新是将扫描器本身视为目标，LLM驱动的安全工具摄取对抗性输入，必须防范间接提示注入，采用非受信任数据提示加指令与观察结构分离的两层防御。
方法步骤详情
方法步骤的完整描述如下：首先，用户通过Web UI、CLI或HTTP API发起扫描请求，指定目标和相关配置。后端Gin Web服务器接受请求，持久化任务状态，管理连接的工作代理池，并将进度流式传输给客户端。工作代理通过WebSocket通道连接，注册，接收任务分配，执行任务，并将结构化结果流式传回。对于基础设施扫描，代理进程内运行Go实现的匹配引擎，加载指纹和漏洞规则，对目标进行探测，执行版本规范化，按置信度分层，输出组件清单、漏洞建议和聚合安全评分。对于MCP审计，Python子进程执行LLM驱动的智能审计，在静态白盒模式下通过三阶段管道分析源码仓库，在动态黑盒模式下通过四阶段管道分析实时端点，使用Prompt-as-Rule范式编码检测准则，应用间接注入防御，输出项目摘要、安全评分和结构化发现。对于Agent技能扫描，分析管道从技能包开始，经过预处理和文件索引、静态风险线索检索、AI审计代理、受控工具环境，最终生成风险分类和结构化报告。对于Agent红队测试，Python子进程执行多轮对话攻击，通过适配器路由对话原语到不同平台，使用能力感知、升级和停止规则控制成本，四个技能工作器并发运行，使用客观验证提高精度，输出发现列表和对话成本指标。对于越狱评估，扩展自开源红队测试框架，组织评估围绕三个角色和三个可组合成分，集成包含多种编码混淆算子的大型攻击算子库，在多个越狱数据集上应用，输出攻击成功率轮廓和聚合安全评分。
技术新颖性
技术新颖性体现在多个方面：首先，提出了分层-范式匹配的形式化框架，将AI安全评估建立在理论基础上，解释了为什么异构AI系统需要异构安全评估策略，定义了安全异质性原理、证据充分性原理和分层自适应评估原理。其次，构建了覆盖完整AI Agent攻击面的开源系统，据作者所知是唯一覆盖基础设施、协议/工具、Agent行为和模型四层的框架，也是唯一添加Agent技能供应链审计的框架。第三，设计了专用的AI组件指纹和漏洞语料库，包含75个AI组件的107个指纹规则和1443个漏洞规则，处理AI软件的不规则版本命名。第四，提出了Prompt-as-Rule范式，将检测知识编码为声明性自然语言准则，展示了将通用LLM转化为专业安全审计器的设计模式。第五，设计了客观锚定机制，用确定性检查替代LLM主观判断。第六，将扫描器本身视为目标，设计了两层间接提示注入防御。第七，提出了SkillTrustBench基准，从大量技能中蒸馏评估案例，是第一个联合测量Agent技能可信度和外部扫描器检测效果的基准。
实验结果
论文报告了多个核心发现和实验结果。在Agent技能扫描基准测试中，SkillTrustBench排行榜显示同一AI-Infra-Guard技能扫描器在不同基础模型下的表现：Claude Opus 4.6达到0.9848的Loose F1，精度0.9725，召回0.9974，假阳性率0.0663；GLM 5.1达到0.9836的Loose F1；Gemini 3.5 Flash精度最高但召回较低；GPT 5.5假阳性率最高。最强模型Loose F1超过0.98，召回接近1.0，模型间差异证实检测过程与基础模型能力分离。基础设施扫描模块覆盖75个AI组件，包括107个指纹规则和1443个漏洞规则，其中1356个基于版本谓词，87个为空谓词。MCP审计器集成十种检测模式，对齐OWASP MCP Top 10。Agent红队测试器覆盖四个风险家族：数据泄露、工具滥用、间接注入、授权绕过。越狱评估模块集成26+攻击算子，包括约70种编码混淆算子和多轮策略，覆盖16个越狱数据集，总计约7248个有害提示，跨越暴力、非法活动、隐私、知识产权等十几种伤害类别。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Agent技能恶意检测 | Loose F1 | 0.9848 (Claude Opus 4.6) | 无公开基准 | 首创SkillTrustBench基准，建立Agent技能安全评估标准 |
| Agent技能恶意检测 | 召回率 | 0.9974 (Claude Opus 4.6, GLM 5.1) | 无公开基准 | 接近完美召回，漏报率极低 |
| 基础设施组件识别 | AI组件覆盖 | 75个AI组件 | 主流数据库几乎不覆盖AI组件 | 填补AI组件指纹空白 |
| 基础设施漏洞规则 | 漏洞规则数量 | 1443条规则（中文语料库） | 通用扫描器无AI专用规则 | 构建专用AI漏洞规则库 |
| 越狱攻击覆盖 | 攻击算子数量 | 26+攻击算子，约70种编码变换 | 单一方法或少数技巧 | 统一多种攻击技术，覆盖面广 |
| 越狱评估数据集 | 数据集数量 | 16个数据集，约7248个提示 | 单个数据集评估 | 整合多个数据集，综合评估模型鲁棒性 |
局限与改进
论文承认和讨论了多个局限性。首先，LLM驱动的审计器存在过度报告的主导失败模式，Prompt-as-Rule范式必须同时编码漏洞形状和防止模型过度报告的防御条件，这是与编写签名质量不同的规则编写学科。其次，扫描器本身是间接提示注入的目标，尽管设计了两层防御，但这种威胁是根本性的。第三，Agent红队测试中授权绕过类别的判断需要上下文，相对主观，与数据泄露和工具滥用中客观确认形成对比。第四，越狱评估模块的强项是整合和规模，而非单个新技术。第五，框架是一个基础而非完整解决方案，需要随着AI生态系统和攻击面的演变持续扩展知识库。第六，技能扫描模块的三级分类中的可疑类别在实践中至关重要，因为许多供应链工件包含危险模式但其意图仍然模糊，使二元良性-恶意分类在实践中不充分。
独立分析的弱点
论文的几个弱点及其改进方向如下：第一，LLM审计器的过度报告问题虽然通过Prompt-as-Rule中的排除条件部分缓解，但仍可能产生误报。改进方向可以是增强审查阶段，引入更严格的证据链要求，或者集成多个模型的投票机制来降低假阳性。第二，授权绕过判断的主观性降低了该类别发现的可信度。改进方向可以是引入更多客观验证机制，如定义可观察的授权状态变化指标。第三，框架目前四个层之间相对独立，一层的发现不直接指导另一层的探测。改进方向是实现层间协同，例如使用基础设施识别结果播种Agent侦察。第四，越狱评估模块虽然整合了大量攻击技术，但缺少对新兴攻击技术的自动适应能力。改进方向可以是引入攻击算子的自动发现和集成机制。第五，技能扫描模块依赖于威胁情报API，这引入了对外部服务的依赖。改进方向可以是增强本地静态分析能力。第六，论文报告的实验主要关注检测效果，但对性能和可扩展性的量化评估较少。改进方向可以是进行大规模性能测试，报告扫描时间、资源消耗、并发能力等指标。
未来方向
作者提出和可以延伸的未来研究方向包括：第一，大规模测量，将基础设施扫描器应用于公共AI部署景观，大规模映射现实世界暴露。第二，使各层协同工作，使一层的发现指导下一层的探测。第三，持续扩展知识库，随着AI生态系统和攻击面的演变。可以延伸的方向包括：引入自动化知识库更新机制；设计跨层知识传递机制；构建社区贡献平台；开发实时监控和告警系统；研究自适应评估策略；探索与其他安全工具的集成；研究零知识证明等隐私保护技术；开发对抗性鲁棒性评估的标准化指标；研究AI特定攻击的理论基础；探索联邦学习等分布式学习技术。
复现评估
论文声明AI-Infra-Guard作为开源发布，但没有提供具体的开源仓库链接。论文描述了详细的实现细节，包括基础设施扫描器的Go匹配引擎和YAML规则语言、MCP审计器的Python智能审计管道和Prompt-as-Rule范式、Agent红队测试器的对话原语和技能工作器、越狱评估器的攻击算子库和数据集加载器，这些细节为复现提供了基础。论文发布了SkillTrustBench基准数据集，包含从大量技能中蒸馏的评估案例，以及公共排行榜，为比较不同模型的技能扫描效果提供了客观参考。论文报告了详细的实验设置和结果，这些结果可供复现验证。复现的挑战主要在于LLM驱动的模块需要访问大语言模型API，可能产生成本。论文提到框架支持可配置的模型路由，这为在不同资源约束下复现提供了灵活性。总体而言，论文在复现性方面表现良好，开源承诺、详细实现描述、公开基准数据集和实验结果为复现提供了充分基础。
论文图表
