← 返回 2026-06-09

先派侦察兵：基于预推理的自适应检测器分配以防御提示注入攻击 Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense

Shuhao Zhang, Jiarui Li, Qi Cao, Ruiyi Zhang, Pengtao Xie 📅 2026-05-29 👍 1 2026-07-13 08:36
大语言模型安全 提示注入防御 检测器分配 级联系统 自适应路由
arXiv HuggingFace PDF

通过行为指纹预测为每个输入动态分配最优检测器，平衡安全性与延迟

前置知识

提示注入攻击（Prompt Injection）

提示注入攻击是指攻击者在输入内容中隐藏恶意指令，试图劫持语言模型的操作，使其忽略原始用户意图而执行攻击者指令。攻击形式包括直接注入（如'忽略以上指令'）和间接注入（如嵌入在检索文档、网页、邮件等外部内容中）。检测这类攻击的难点在于恶意指令可能被巧妙伪装在看似正常的内容中。

本文整个防御框架针对提示注入攻击设计，理解攻击类型（直接注入、间接注入、工具滥用、数据外泄、隐藏注入）是理解检测器多样性和路由策略的基础。

级联检测器（Cascade Detectors）

级联检测器是一种按成本递增顺序排列的多阶段检测系统，先运行快速轻量级检测器，只有在不确定时才升级到更昂贵的检测器。传统级联系统（如Viola-Jones人脸检测）使用固定的升级规则，无论输入如何都按预设顺序执行。本文的创新在于根据输入动态选择检测器而非固定级联。

SCOUT与级联系统有相似之处（轻量到昂贵的升级），但核心区别在于per-input allocation。理解传统级联的局限性（固定顺序、继承早期检测器的错误）有助于理解SCOUT的改进动机。

行为指纹（Behavioral Fingerprint）

行为指纹是对检测器在已知样本上的表现的结构化记录，包括检测器对样本的预测结果、是否正确、置信度和延迟。SCOUT为每个检测器构建一个指纹数据库，记录其在anchor集合上的行为。当新请求到达时，检索相似anchor的指纹，预测该检测器在新样本上的可靠性。

指纹是SCOUT的核心抽象，它使得检测器集成无需重新训练。理解指纹构建和检索是理解SCOUT可扩展性的关键。

GRPO（Group-Relative Policy Optimization）

GRPO是一种强化学习算法，通过在组内标准化优势函数来消除对价值网络的依赖。对于每个prompt，策略生成G个候选输出，每个输出被奖励函数评分，优势值为组内相对该组均值的标准差。这比标准PPO更简单，不需要学习单独的价值头。

SCOUT的预测器使用SFT+GRPO两阶段训练，GRPO用于将预测器的预测与实际检测器行为对齐。理解GRPO的奖励设计有助于理解预测器如何学习可靠的行为估计。

安全-效用权衡（Safety-Utility Trade-off）

安全-效用权衡衡量防御系统在拦截攻击和保持良性行为可用性之间的平衡。安全性用攻击成功率（ASR）衡量，越低越安全；效用包括良性通过率（BU）和总延迟。SCOUT通过单一阈值tau控制这个权衡，tau决定何时升级到昂贵的LLM judge。

论文的所有实验结果都用ASR、BU、延迟和Accuracy四个指标评估。理解这些指标和tau-sweep曲线是理解SCOUT实用性的关键。

研究动机

现有提示注入检测器在准确性和延迟上存在巨大差异：轻量级规则扫描器在亚毫秒级完成但准确率有限；中型ML分类器在10-30毫秒内运行但在特定攻击类别上表现参差不齐；而LLM judge准确率最高但每次调用需要1.5秒，比规则扫描器慢四个数量级。更关键的是，没有单一检测器在所有攻击类别上都表现最佳。现有的防御系统将这些检测器组织成固定级联或单一检测器管道，无论输入如何都按预设顺序执行，因此继承了单个检测器的盲点。

本文的目标是本文的目标是将提示注入防御重新框架化为检测器分配问题：给定一个异构的检测器池，为每个输入请求动态决定运行哪些检测器以及是否升级到LLM judge。核心挑战是在没有重新训练的情况下实现per-input allocation，并且提供一个单一的操作员可控阈值来平衡安全性和延迟。

与已有工作不同的是，本文的独特切入角度是引入预推理概念——在实际运行检测器之前，先预测每个检测器在该输入上的可靠性和延迟。SCOUT通过检索相似历史样本来获取每个检测器在这些相似样本上的行为记录，然后用一个小型预测器基于这些指纹估计每个检测器在当前输入上的预测正确性和预测延迟。这种设计使得SCOUT具有三个关键特性：异构性感知、可扩展性、可控性。

核心方法

SCOUT框架整体思路分为三个阶段：指纹构建、预测和不确定性感知分流。直觉上，每个检测器在不同类型的攻击上表现不同。SCOUT的核心洞察是：如果能够知道每个检测器在当前输入上的历史表现，就可以选择那些在类似输入上表现可靠的检测器。技术路线上，SCOUT首先固定一个anchor集合，对每个检测器运行一次，记录其判决、正确性和延迟，用LLM序列化为结构化的指纹记录。在推理时，检索相似anchor的指纹，预测器输出预测的可靠性和延迟。路由规则基于这些估计进行三步决策：子集选择、信任加权投票、对称升级门。

SCOUT的核心创新点是将检测器集成的重新训练问题转化为检索和预测问题，从而实现无需重新训练的检测器扩展。具体而言：指纹作为训练无关的检测器行为抽象；per-input可靠性预测而非ensemble投票；不确定性感知的对称升级门；延迟感知的阈值控制。

方法步骤详情

SCOUT方法分为四个完整步骤。步骤1：指纹构建。对每个检测器在anchor集合上运行一次，记录原始输出，调用LLM序列化为JSON记录。步骤2：检索增强上下文。通过非对称embedder检索top-K相似anchor，获取指纹片段。步骤3：结果预测。预测器基于检索的指纹输出预测的正确性和延迟，使用Qwen3-4B经过SFT+GRPO训练。步骤4：不确定性感知分流。基于预测进行子集选择、信任加权投票和对称升级。

技术新颖性

SCOUT的技术新颖性体现在四个方面：将提示注入防御从固定级联重构为per-input检测器分配；行为指纹作为训练无关的检测器集成抽象；不确定性感知的对称升级门；延迟感知的阈值控制。

SCOUT framework overview
Figure 2: SCOUT framework overview
Attack-type retrieval and fingerprint compaction
Figure 14: Attack-type retrieval and fingerprint compaction
Detector-invocation portfolio across the tau-sweep
Figure 18: Detector-invocation portfolio across the tau-sweep

实验结果

SCOUT在多个基准测试上显著改善了安全-效用权衡。在主要基准SCOUT-450上，SCOUT在headline操作点实现了总ASR 0.063、总BU 0.928和Accuracy 0.933，同时总wall-clock为395.1秒，比always-on GPT-4o judge的655.5秒低40%。增益来自检测器异构性。跨三个外部基准的泛化实验进一步验证了SCOUT的实用性。在BIPIA上，SCOUT达到Acc 0.971、ASR 0.026、BU 0.968，wall-clock 309秒，相比always-on GPT-4o在更低的延迟下同时提高了安全性和效用。消融实验显示，将SCOUT的预测器替换为KNN或MLP预测器会降低路由质量，移除预测器的级联都留下更多未拦截的攻击，这证明增益来自预测器驱动的检测器过滤。池重配置实验证明了SCOUT的可扩展性：只需在Anchor-400上运行新检测器并生成指纹，就能添加新检测器。

Per-category breakdown on SCOUT-450
Table 1: Per-category breakdown on SCOUT-450
Ablations on SCOUT-450
Table 2: Ablations on SCOUT-450
Pool reconfiguration on SCOUT-450
Table 3: Pool reconfiguration on SCOUT-450
Cross-benchmark generalization
Table 4: Cross-benchmark generalization
Quality-latency frontier on SCOUT-450
Figure 3: Quality-latency frontier on SCOUT-450
Ablation curves on SCOUT-450
Figure 4: Ablation curves on SCOUT-450
Detector correctness atlas on SCOUT-450
Figure 7: Detector correctness atlas on SCOUT-450
Composition of the three released splits
Figure 8: Composition of the three released splits
SCOUT-450 sample space (UMAP)
Figure 9: SCOUT-450 sample space (UMAP)
Predicted wall-clock follows the realized trend
Figure 23: Predicted wall-clock follows the realized trend
查看结构化数据
任务指标本文基线提升
SCOUT-450总攻击拦截 Attack block rate (1-ASR) 0.937 GPT-4o judge: 0.882 +6.2% (相对提升)
SCOUT-450良性通过率 Benign utility (1-FPR) 0.928 GPT-4o judge: 0.979 -5.2% (trade-off for safety)
SCOUT-450总延迟 Total wall-clock (s) 395.1 GPT-4o judge: 655.5 -40% (节省260s)
BIPIA总延迟 Total wall-clock (s) 309 GPT-4o judge: 1654 -81% (节省1345s)
IPI总延迟 Total wall-clock (s) 1147 GPT-5.1 judge: 1651 -31% (节省504s)
IHEval总延迟 Total wall-clock (s) 1242 GPT-5.1 judge: 1540 -19% (节省298s)

局限与改进

作者明确指出了SCOUT的三个主要局限性：性能受限于可用检测器池的质量；anchor覆盖和评估范围有限；依赖A100+vLLM serving栈的绝对延迟数字；没有研究针对路由器本身的自适应攻击。

独立分析的弱点

SCOUT存在几个可改进的弱点：对anchor覆盖的依赖；预测器的分布偏移；延迟预测在out-of-distribution上的偏差；对LLM judge的依赖；非对称检索的主题不可知性。

未来方向

作者提出的未来研究方向包括：生产部署研究；自适应攻击的鲁棒性研究；跨语言和跨领域泛化；检测器池优化；延迟预测的在线校准；蒸馏和压缩；与SCOPE的集成。

复现评估

论文的复现性良好，作者已开源完整pipeline，包括预测器checkpoint、SCOUT-30K训练集、SCOUT-450和Anchor-400数据集，以及detector fingerprint library。所有artifacts和代码可在项目页面获取。计算预算：预测器是单个Qwen3-4B-Instruct，所有训练运行在一个A100 80GB GPU上。

论文图表

SCOUT per-input allocation overview and detector heterogeneity
Figure 1: SCOUT per-input allocation overview and detector heterogeneity

图1分为三个面板展示SCOUT的核心思想和检测器异构性。左侧面板展示四个检测器在共享样本空间上的行为；中间面板对比单检测器防御和SCOUT；右侧面板展示阈值下的detector-invocation share。随着阈值上升，judge占据更大invocation份额。

这张图对理解论文重要，因为它直观展示了检测器异构性和SCOUT的解决思路。

Detector behavioral diversity
Figure 5: Detector behavioral diversity

图展示detector行为多样性。左侧是每个detector的median per-request latency，跨越四个数量级；右侧是Accuracy在SCOUT-30K和SCOUT-450上。Judge是最准确的并且最慢；每个light detector快但accuracy lower。

这张图对理解论文重要，因为它量化证明了detector heterogeneity。

Per-detector correctness on SCOUT-450
Figure 6: Per-detector correctness on SCOUT-450

图展示SCOUT-450上per-detector correctness，每个detector的预测在shared UMAP上的overlay。Error regions differ qualitatively across detectors。

这张图对理解论文重要，因为它可视化展示了detector error patterns的heterogeneity。