SingGuard：一种具有动态推理能力的策略自适应多模态大语言模型护栏系统 SingGuard: A Policy-Adaptive Multimodal LLM Guardrail with Dynamic Reasoning
提出支持运行时策略动态调整和快慢推理模式切换的多模态安全护栏模型家族
前置知识
多模态大语言模型
多模态大语言模型是能够同时处理文本、图像等多种模态输入的大型神经网络模型。它通过统一的编码器-解码器架构或跨模态注意力机制，将不同模态的信息映射到共享的语义空间，从而实现跨模态理解与生成。这类模型通常在大规模多模态语料上预训练，具备视觉-语言联合理解能力，可以回答涉及图像的问题、描述图片内容或进行图文对话。
SingGuard的目标是保护多模态对话系统的安全，需要理解文本查询、图像输入、跨模态组合和助手回答之间的复杂关系，因此必须掌握多模态大语言模型的基本工作原理和跨模态表示学习机制。
强化学习（RLHF/DAPO）
强化学习通过智能体与环境交互学习最优策略，在大语言模型对齐中常用于根据奖励信号优化生成质量。DAPO（Direct Advantage Policy Optimization）是一种策略梯度方法，通过采样多个候选输出、计算相对优势函数、更新策略网络来提高期望奖励。与传统RL不同，DAPO采用组归一化和直接优势估计，减少梯度方差。SingGuard在强化学习阶段对快速决策token进行掩码，实现快慢思维解耦。
SingGuard的核心创新之一是使用快慢解耦的DAPO优化，避免快速判断对后续推理的锚定效应。理解DAPO的机制、优势函数计算和策略更新过程，对把握SingGuard如何平衡低延迟直接判断和高精度策略推理至关重要。
策略条件化建模
策略条件化建模是将规则、约束或任务目标作为模型输入的一部分，在推理时动态指定决策标准而非在训练时固定标签空间。SingGuard将安全策略以自然语言规则形式提供给模型，模型需要对目标内容逐一检查这些规则并输出触发的规则。这与传统分类器不同，后者依赖训练时记忆的标签映射，无法灵活适应新规则或策略变更。
论文的核心贡献是提出运行时策略自适应接口，需要理解如何将开放规则集编码为模型输入、如何构建策略条件化的训练数据（包括规则视角多样化、反事实标签）、以及如何评估模型是否真正遵循当前策略而非记忆固定分类先验。
研究动机
现有的安全护栏系统存在三大问题。首先，大多依赖固定的安全分类体系，当部署时安全规则发生变化（例如新增特定领域限制、调整决策边界、添加例外条款）时无法适应，只能重新训练模型。LlamaGuard、WildGuard、Qwen3Guard等文本护栏虽然取得了较强的预定义分类性能，但其策略空间通常是固定的标签集合，运行时扩展支持有限。其次，现有多模态护栏如LlamaGuard3Vision、LlavaGuard、GuardReasoner-VL虽然扩展到视觉输入，展示了视觉证据的重要性，但大多数仍假设静态策略边界，直接分类风险而非将内容与开放规则集匹配。第三，基于推理的护栏如GuardReasoner和GuardReasoner-VL虽然能在最终决策前生成解释链，但对于大多数高吞吐量的审核场景，策略稳定且输入明确，直接的首轮判断已经足够可靠且快得多，而长链式推理会增加延迟并往往对这些常规样本带来有限的精度提升。此外，单一推理模式无法满足不同场景的异构需求：简单情况需要快速判断，复杂情况需要深度推理。
本文的目标是本文的目标是构建一个策略自适应的多模态护栏模型家族，用于多模态问答和助手回答的安全性评估。该模型应具备三个核心能力：一是支持运行时策略接口，允许部署团队添加或修改健康、金融、法律建议、隐私或产品特定策略而无需重新训练模型；二是提供从快到慢的推理谱系，支持直接判断、混合路由和证据导向的慢速推理三种推理模式，以适应不同延迟和精度需求；三是通过快慢解耦的强化学习优化，保持低延迟快速判断的同时减少其对策略推理的锚定效应。
与已有工作不同的是，本文的独特切入角度在于同时解决策略适应性、多模态覆盖和动态推理三个维度的问题，而不是像现有工作那样只关注其中一个。策略自适应图像护栏（如YuFeng-XGuard和SafeGuard-VL）展示了固定策略训练可能对可见规则过拟合并在未见策略下性能下降，但这类工作仍集中在更窄的交互设置而非通用多模态问答和响应审核。基于推理的护栏展示了推理的价值，但单一的始终开启推理模式并非适用于所有审核工作负载。SingGuard将策略条件化、多模态处理和自适应推理路径统一在一个模型中，通过统一的→→输出语法和快慢解耦强化学习目标，实现了在简单情况下快速判断、复杂情况下策略推理的平衡。
核心方法
SingGuard是一个策略条件化的多模态护栏模型，给定目标内容和活跃策略，它预测安全标签、触发的活跃规则，并在需要时提供策略推理轨迹。该方法通过统一层次安全分类法作为默认规则空间，同时允许在推理时扩展活跃策略。策略可以以简洁类别名称或详细自然语言规则形式提供，指定范围、例外和特定领域约束。给定此策略，SingGuard执行逐规则匹配并预测内容是否违反活跃规则，而不仅仅是依赖记忆的分类先验。该接口允许部署团队为健康、金融、法律建议、隐私或产品特定策略等域添加或修改规则，而无需重新训练模型。训练分为两个阶段：第一阶段是策略条件化的冷启动监督微调，注入判断-推理-审查范式；第二阶段是快慢解耦的DAPO强化学习，使用偏向动态规则和困难样本的数据混合优化策略，对第一个快速token进行掩码以减少其对后续推理的锚定效应。模型支持fast（直接标签和类别）、hybrid（自适应早退）和slow（显式逐规则推理）三种推理模式。此外，通过在策略广义知识蒸馏框架下的策略蒸馏，将8B教师模型的行为迁移到2B学生模型，保持低延迟部署足迹的同时提升动态策略遵循和策略推理能力。
SingGuard的核心创新点在于将活跃策略作为运行时输入，而非训练时固定的分类标签集。这与现有方法的本质区别在于：传统护栏学习内容模式到固定安全标签的映射，而SingGuard学习如何将任意自然语言规则应用于目标内容并做出策略遵循的判断。为了实现这一点，论文引入了三项技术创新。第一是构建策略条件化的训练数据，包括规则视角多样化（全规则、子集规则、单规则、合并或重写规则）、反事实监督（同一内容在不同策略下重新计算标签）和动态规则生成（在原始分类法之外生成新的动态审计规则）。第二是快慢解耦的强化学习，在DAPO优势计算和actor更新前对响应掩码应用前缀掩码，将第一个响应位置设置为零，使初始快速token充当低延迟前缀而非整个响应的优化锚点。第三是三种推理模式的设计：fast模式直接发出安全和字段；hybrid模式首先仅解码初始二元安全决策，仅当标签有效且足够置信时终止；slow模式将初始决策视为临时，在字段中分析内容与活跃策略，然后发出审查后的。
方法步骤详情
方法步骤的完整描述分为数据处理、训练和推理三个阶段。数据处理阶段包括四个互补语料库的整合和标注：开放源安全数据的重新标注（约2.5M文本样本和60万多样本样本），策略基础的综合数据合成（包括文本提示和响应合成、多模态和跨模态攻击合成、多语言扩展和二次验证），动态规则数据构建（规则视角多样化、反事实监督和策略转移增强、规则生成和验证），以及链式思维推理数据构建（超过1M推理示例，采用分层策略基础标注和轻量清洗和两阶段一致性接受）。训练阶段包括两步：第一步是策略条件化的冷启动监督微调，混合大量快速判断样本和较小规模的CoT推理样本，统一→→输出语法，优化包含分类损失、推理损失和类别损失的单一自回归对数似然目标。第二步是快慢解耦的DAPO强化学习，在偏向动态规则和困难样本的数据混合上优化，采样G个候选输出，计算二元安全和精细类别奖励的两级安全奖励，对第一个快速token进行掩码，然后使用DAPO优势函数更新策略。推理阶段根据部署预算选择模式：fast模式直接发出打开的安全/不安全决策和字段；hybrid模式计算归一化置信度，仅当置信度大于阈值τ时终止，否则继续生成策略推理轨迹和审查后的答案；slow模式始终执行完整的策略推理。
技术新颖性
SingGuard的技术新颖性体现在三个维度。策略适应性维度，现有文本和多模态护栏大多假设静态策略边界和固定分类法，而SingGuard将安全策略作为运行时输入开放规则集，构建策略条件化的训练数据包括规则视角多样化、反事实标签和动态规则生成，使模型能够遵循新引入的限制而非依赖训练时分类先验。动态推理维度，现有基于推理的护栏使用单一的始终开启推理模式，而SingGuard设计fast、hybrid和slow三种推理模式，通过快慢解耦的强化学习优化，对第一个快速token进行掩码以减少其对后续推理的锚定效应，实现简单情况下的低延迟直接判断和复杂情况下的策略推理。数据构建维度，SingGuard-Bench引入跨模态隐藏意图攻击（图像安全+文本安全但组合不安全）、动态规则评估（同一内容与匹配或非匹配策略规则配对）和80+精细风险类型，覆盖多模态问答、对抗性攻击和动态规则评估设置，比现有基准更全面地评估护栏的部署能力。
实验结果
SingGuard在六个基准家族（35个数据集）上均达到最先进的平均F1分数。在多模态安全基准（包括VLGuard、JailBreakV、SPA-VL、MMDS-Q、MMDS-R、VLSBench、MM-Safety、BeaverTails-V）上，SingGuard-8B获得最强宏平均F1为0.9092，领先最强的开源基线LLaVAShield（0.8842）和闭源前沿模型GPT-5.1（0.8349）。更小的SingGuard-2B和SingGuard-4B变体分别达到0.8924和0.8945，表明该模型家族在不同容量下均是开源前沿的帕累托移位。在数据集级别，SingGuard-8B在VLGuard（0.9511）和SPA-VL（0.7884）上领先，LLaVAShield在JailBreakV、MMDS-Q、MMDS-R、VLSBench和MM-SafetyBench上保持领先，ShieldGemma-2在BeaverTails-V（0.9154）上获胜。值得注意的是，弱基线如LlamaGuard3-Vision和Qwen3-VL-4B从查询到响应失去15-30分，而SingGuard保持在7分内，表明策略条件化监督真正从意图检测转移到辅助检测，而不仅仅是学习请求分类器。在图像安全基准（包括UnsafeBench、DeepGHS NSFW、Facebook Hateful Memes、武器检测、犯罪场景、暴力图像）上，SingGuard-4B获得最强宏平均F1（0.9141），2B和8B变体紧随其后（0.9029/0.9099），均超过最佳开源基线GuardReasoner-VL（0.8570）和两个闭源前沿模型。SingGuard在DeepGHS NSFW、武器、犯罪场景上领先，并在饱和的暴力基准上达到1.0；GuardReasoner-VL在UnsafeBench（0.8417）和Hateful Memes（0.8675）上保持领先。文本查询安全基准（包括Aegis2、XGuard Test、OpenAI Moderation、SorryBench、WildGuardMix、XSTest、HarmBench、AILuminate1K、ExpGuardTest）上，SingGuard-8B获得最强宏平均F1（0.8740），领先YuFeng-XGuard-Reason-8B（0.8666）和Qwen3Guard-8B-strict（0.8493），而SingGuard-2B和SingGuard-4B分别达到0.8661和0.8706。文本响应安全基准（包括BeaverTails、PKU-SafeRLHF、Aegis2、WildGuard、XGuard Test、HarmBench、XSTest、ExpGuardTest）上，SingGuard-4B获得最强宏平均F1（0.8799），SingGuard-2B和SingGuard-8B分别达到0.8775和0.8770。多语言分类上，SingGuard-8B在查询侧获得最强宏平均F1（0.8872），在更难的RTP-LX上达到0.8941，多个基线在该数据集上失去15-35分。在响应侧，SingGuard-8B以宏平均F1（0.8988）领先，PolyGuardPrompts上达到0.8318，RTP-LX上达到0.9658。动态策略评估是最关键的结果，测试模型是否遵循提供的活跃策略而非固定分类标签。SingGuard-slow获得最佳平均准确率（0.7415），将Qwen3-VL-8B的0.6465提升到0.7415，特别是在safe2unsafe分裂上从0.3800提升到0.5700，表明更好地执行新引入的限制。SingGuard-hybrid在保持较低延迟的同时提供了最强的unsafe2unsafe分数。消融实验显示，相比SFT，RL慢模式变体改进了图像、多模态和动态策略基准，达到最佳动态策略准确率0.7415，而fast模式保留了大多数安全性能且延迟低得多。在策略蒸馏方面，使用8B模型作为教师对2B模型的策略蒸馏提高了2B学生在图像、多模态、文本查询和文本响应基准上的性能，平均分数从0.8631提升到0.8840。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多模态安全评估 | Macro-average F1 | SingGuard-8B: 0.9092 | LLaVAShield: 0.8842 | +2.8个百分点 |
| 图像安全评估 | Macro-average F1 | SingGuard-4B: 0.9141 | GuardReasoner-VL: 0.8570 | +5.7个百分点 |
| 文本查询安全 | Macro-average F1 | SingGuard-8B: 0.8740 | YuFeng-XGuard-Reason-8B: 0.8666 | +0.7个百分点 |
| 文本响应安全 | Macro-average F1 | SingGuard-4B: 0.8799 | Qwen3Guard-8B-strict: 0.8604 | +1.9个百分点 |
| 动态策略遵循 | Accuracy | SingGuard-slow: 0.7415 | Qwen3-VL-8B: 0.6465 | +9.5个百分点 |
| 多语言查询安全 | Macro-average F1 | SingGuard-8B: 0.8872 | Qwen3Guard-8B-strict: 0.8712 | +1.6个百分点 |
局限与改进
SingGuard存在一些局限性，作者承认和观察到的包括：首先，SingGuard的决策依赖于推理时提供的活跃策略的质量和清晰度，模糊、不完整或冲突的规则仍可能在产品、区域或文化背景间导致不一致的判断。其次，虽然SingGuard-Bench涵盖了多样化的多模态问答场景、攻击类型和动态规则设置，但它无法穷尽现实世界安全策略的长尾或快速出现的滥用模式，这使得高赌注部署需要持续的基准更新和人工审查。第三，训练管道部分依赖于合成数据和模型辅助标注；多模型验证和一致性过滤减少了噪声，但无法完全消除教师偏差、标注伪影或与有机用户流量的分布不匹配。第四，混合早退依赖于token级别置信度，这在分布转移下可能校准不完美。此外，虽然SingGuard在跨模态隐藏意图攻击上表现良好，但论文未充分讨论更复杂的攻击如对抗性样本或模型推理本身的对抗性攻击。最后，SingGuard的分层安全分类法虽然全面，但可能无法覆盖所有文化或地区特定的敏感主题，本地化部署可能需要额外的分类法扩展和标注工作。
独立分析的弱点
SingGuard的主要弱点体现在三个方面：策略依赖性、长尾泛化能力和推理透明度。在策略依赖性方面，当活跃策略模糊、冲突或不完整时，模型可能产生不一致的判断，特别是在文化敏感或领域专业场景中。改进方向包括引入策略一致性检查机制、策略冲突解决策略，以及允许模型在策略不明确时请求澄清而非强制做出二元判断。在长尾泛化能力方面，虽然SingGuard-Bench涵盖了80+风险类型和多种攻击变换，但无法覆盖现实世界所有可能的滥用模式，特别是快速演变的攻击技术或特定产品域的新风险。改进方向包括构建更广泛的实时数据反馈机制、从真实部署流量中收集困难样本并定期更新训练数据，以及引入对抗性训练提升对未知攻击的鲁棒性。在推理透明度方面，虽然慢模式提供了逐规则推理轨迹，但推理的质量和一致性可能因模型容量、策略复杂性和输入难度而变化，且论文未提供推理质量的系统评估。改进方向包括引入推理质量度量、一致性检查和人工审查机制，以及开发更精细的推理模板和验证步骤。此外，SingGuard的混合早退机制依赖于token级别置信度，该置信度在分布转移下可能校准不完美，导致过早终止或不必要的推理继续。改进方向包括改进置信度校准方法、引入不确定性估计和更复杂的早退策略。
未来方向
未来研究方向可以从多个角度展开。作者提出的研究方向包括更强的校准、更广泛的人工评估和更透明的不确定性报告。基于SingGuard的成果可以延伸的研究方向包括：策略管理的端到端优化，包括策略冲突检测、策略版本控制、策略影响评估和策略推荐系统；跨模态推理的深化，包括更复杂的跨模态隐藏意图攻击、多步骤推理和知识增强的推理；多语言和跨文化安全，包括本地化分类法扩展、文化特定风险评估和多语言策略翻译；效率和部署优化，包括模型压缩、量化、硬件加速和边缘部署；监督和反馈机制，包括人工审查界面、质量保证流程和持续学习系统；对抗性防御，包括对抗性训练、鲁棒性评估和攻击检测；安全护栏的标准化，包括基准标准化、评估协议标准化和护栏认证框架。此外，SingGuard的快慢解耦推理范式可以应用于其他需要平衡速度和精度的任务，如内容推荐、智能客服和自动化决策。策略条件化建模的思想也可以扩展到其他需要灵活适应不同约束或规则的场景，如合规检查、风险评估和决策支持。
复现评估
SingGuard的复现难度中等偏上。论文声明代码在https://github.com/inclusionAI/Sing-Guard上可用，这是开源的积极信号。数据方面，SingGuard-Bench作为新提出的基准包含56,340个测试样本，但训练数据涉及多个公开安全基准和综合生成的数据，复现完整训练管道需要重新执行数据标注管道，包括多模型验证和一致性检查。算力方面，论文报告的8B模型训练需要大量计算资源，特别是强化学习阶段和策略蒸馏阶段，但更小的2B和4B模型可能在更合理的硬件上训练。模型架构基于视觉语言模型，论文没有详细说明基础模型和架构细节，这可能影响精确复现。评估协议相对标准化，但多个基准家族和动态策略评估的设置需要仔细实现。论文报告的实验结果包括多个基线的对比，但部分闭源模型如GPT-5.1和Gemini3-Pro的结果无法独立验证。总体而言，开源代码和新基准有助于复现，但完整训练数据管道和大量计算需求可能限制研究社区对完整训练流程的复现，而对推理评估的复现相对可行。
论文图表
