学习何时行动或拒绝：守护智能体推理模型的多步工具使用安全 Learning When to Act or Refuse: Guarding Agentic Reasoning Models for Safe Multi-Step Tool Use
MOSAIC 框架通过显式安全检查和偏好学习，让智能体在多步工具调用中学会安全决策
前置知识
Agentic Language Model（智能体语言模型）
与传统聊天模型不同，智能体语言模型能够规划多步任务、调用外部工具（如文件操作、API调用、支付接口）、并根据环境反馈动态调整行为。这类模型在每一步都需要做决策：是继续执行、验证结果还是终止任务。关键特点是行动具有不可逆性——一旦执行了文件删除或凭证输入等操作，无法回滚。这种多步交互模式使得单一回合的安全过滤机制完全失效。
本文研究的核心对象就是这类智能体模型，理解智能体与聊天模型的本质区别是理解本文动机和方法的前提。
GRPO（Group Relative Policy Optimization，群体相对策略优化）
GRPO 是一种强化学习算法，最初由 DeepSeek-R1 提出。与传统 PPO 需要训练一个价值网络（critic）不同，GRPO 对同一提示采样一组轨迹（如 n=4 条），通过组内轨迹之间的相对比较来计算优势估计。这种方式避免了价值网络的训练开销，同时通过组内锚定降低了奖励估计的方差。在本文中，GRPO 被扩展为支持智能体安全训练，包括工具输出 token 的梯度掩码和提前终止机制。
MOSAIC 的训练核心就是 GRPO，理解其工作原理才能理解偏好信号如何转化为策略更新。
Pairwise Preference Learning（成对偏好学习）
与标量奖励模型（scalar reward model）给单条轨迹打一个分数不同，成对偏好学习同时呈现两条轨迹给评判模型，让其判断哪条更好。这种方法源自 RLHF/DPO 范式，核心优势在于：当两条轨迹最终状态相似但安全关键决策不同时（如一条早期拒绝、另一条执行了不安全操作后才中止），标量分数可能给出相似评价，而成对比较能精确捕捉这种时间维度上的安全差异。
这是 MOSAIC 训练信号的核心创新，论文证明了成对偏好比标量奖励在智能体安全场景中效果显著更好。
Prompt Injection（提示注入攻击）
提示注入是一种针对 LLM 智能体的攻击方式，分为直接注入（DPI，恶意指令嵌入用户提示中）和间接注入（IPI，恶意指令通过工具响应或环境状态间接传入）。攻击者试图覆盖智能体的原始任务目标，诱导其调用敏感工具或执行危险操作。例如在电商场景中，攻击者可能通过供应商数据接口注入指令，让智能体泄露机密信息。
这是智能体面临的最重要安全威胁之一，也是本文评估的核心攻击场景。
Token-Efficient Safety（Token 高效安全）
在智能体系统中，每一步推理都会消耗 token（即计算资源），过多的安全检查会显著增加延迟和成本。Token 高效安全是指智能体能够根据任务风险动态决定是否进行安全推理：低风险操作直接跳过，高风险操作才触发详细检查。MOSAIC 通过学习一个离散门控信号来实现这一选择性调用机制。
这是 MOSAIC 的重要设计目标之一，决定了方法能否在实际部署中可行。
研究动机
当前的智能体语言模型面临一个根本性的安全困境：它们需要在多步交互中做决策，但现有的安全对齐方法主要是为静态文本生成设计的。具体来说，现有方法存在三个关键缺陷。第一，对话安全不能迁移到智能体行为——当有害意图分散在多个步骤中并通过工具交互逐步显现时，模型往往会拒绝不安全的聊天提示，但一旦任务被重新包装为工具调用就会顺从执行（Hakim et al., 2026; Li et al., 2025）。第二，长推理链（如 DeepSeek-R1 式的深度思考）虽然提高了数学和编码任务的准确性，但这些推理过程通常不包含对安全性、可逆性和权限变更的显式检查，导致即使经过大量推理仍然做出不安全操作（Ma et al., 2026; Wang et al., 2026）。第三，纯结果导向的标量奖励将多步安全决策压缩为单一终端信号，无法区分「早期拒绝」和「执行了不安全操作后才中止」这两种本质不同的轨迹。这些问题在小语言模型（SLMs）上尤为严重，因为它们的上下文预算更紧、世界模型更压缩，更容易受到对抗性工具反馈和级联失败的影响。
本文的目标是本文的目标是构建一个让智能体在多步工具使用中能够做出显式安全决策的训练框架。具体而言，MOSAIC 旨在实现三个可量化的目标：将有害任务的伤害分数降低至少 50%；将提示注入攻击的成功率降低至可接受水平；同时保持甚至提升良性任务的完成率。此外，框架还要求安全推理的 token 开销控制在总 token 的 20% 以内，以确保实际部署的可行性。
与已有工作不同的是，本文的独特切入角度在于它将安全决策从「隐式副产品」提升为「显式、可学习的一等公民」。已有工作要么在推理时添加外部过滤器（如 ShieldAgent），要么在推理过程中编辑高风险思维（如 Thought-Aligner），但这些方法都将安全视为附加机制而非序列控制问题。MOSAIC 的核心洞察是：安全决策本身应该像工具调用一样是模型动作空间的一部分，通过强化学习来训练模型「何时需要检查」「何时应该拒绝」。另一个关键区别是训练信号的设计——通过成对轨迹比较而非标量奖励来保留时间维度上的安全排序信息，这在多步智能体场景中是前所未有的。
核心方法
MOSAIC 的核心思想可以用一个类比来理解：想象一个新手外科医生在手术室里工作。传统的对齐方法就像给医生一份术前检查清单，但不管手术过程中发生了什么——即使手术刀滑向了错误的方向，医生也只会按照预定流程继续。MOSAIC 则不同，它要求医生在每个关键步骤前都主动停下来思考：「这个操作安全吗？有没有风险？如果不确定，是否应该先确认？」。具体技术路线是：将智能体的推理过程结构化为「计划（Plan）→ 检查（Check）→ 行动或拒绝（Act/Refuse）」的循环。在每一步，智能体先通过 标签生成计划，然后可以选择性地通过 标签进行显式安全评估，最后决定是执行工具调用、调用拒绝工具终止任务、还是请求用户澄清。这个框架的关键设计是让安全检查成为可选的——智能体需要学会何时需要进行安全推理，何时可以直接行动。
MOSAIC 的核心创新有两个，它们共同构成了一个完整的安全决策学习机制。第一个创新是将「安全思考」和「拒绝」提升为模型动作空间中的一等公民。在传统智能体中，拒绝行为要么通过后处理过滤器实现（如输出后检测有害内容），要么通过提示工程隐式引导（如「如果你认为任务不安全就拒绝」）。MOSAIC 将 和 refusal tool 设计为与 并列的显式动作，模型可以通过强化学习自主决定何时触发。这就像将「刹车」从车辆的被动安全装置升级为主动驾驶技能的一部分。第二个创新是使用成对轨迹偏好而非标量奖励。关键洞察是：在智能体安全场景中，两条轨迹可能达到相似的最终状态，但安全关键决策的时间点完全不同——一条轨迹可能在第一步就拒绝了有害任务，另一条则执行了几个不安全操作后才中止。标量奖励会把这两条轨迹打上相似的分数，而成对比较则能精确捕捉「早期拒绝优于晚期中止」这种时间维度上的安全排序。
方法步骤详情
MOSAIC 的完整方法流程包括四个关键阶段。第一阶段是结构化推理生成：在每个时间步 t，智能体接收环境观察 o_t（包含用户请求、交互历史、工具响应），生成计划 plan_t（通过 标签），然后模型自主决定是否输出安全检查 safety_t（通过 标签）。这个决定由离散门控 g_t（取值 0 或 1）隐式控制——如果模型选择输出 开标签，则 g_t=1。安全检查会评估潜在伤害、不可逆性、权限变更和工具反馈揭示的新风险。第二阶段是动作选择：基于计划和可选的安全检查，智能体从动作空间中选择一个动作，包括工具调用 (f, args)、拒绝工具 refusal_tool(justification) 或最终答案 (y)。其中 refusal tool 是一个终端动作，会返回一个理由字段并终止执行。第三阶段是轨迹收集：一条完整轨迹定义为从 t=1 到 T_term 的序列，其中 T_term 是智能体输出 refusal tool 或 的第一步。第四阶段是偏好学习：使用 LLM 评判器对同一任务的 n 条轨迹进行两两比较，生成偏好矩阵。对于组内 n 条轨迹，每条轨迹的奖励计算为其在所有成对比较中获胜次数的总和，其中获胜得 1 分、平局得 0.5 分、失败得 0 分。最终的复合奖励由三部分组成：对齐奖励（来自偏好比较，范围 0-3）、格式奖励（惩罚格式错误，范围 0-2）和长度惩罚（超过 400 token 后线性增加）。
技术新颖性
MOSAIC 的技术新颖性体现在三个层面。首先在推理架构层面，与 ReAct（Yao et al., 2022）等方法的「思考-行动」循环不同，MOSAIC 在两者之间插入了一个可学习的安全检查门控。这个门控是完全隐式的——模型通过是否输出 标签来表达其安全决策，无需外部控制器或固定启发式规则。这与 Thought-Aligner（Jiang et al., 2025）在推理时编辑高风险思维的后处理方式形成鲜明对比。其次在训练信号层面，已有工作几乎全部使用标量奖励或二元分类标签来训练安全行为。MOSAIC 首次在智能体安全训练中引入成对轨迹偏好，通过 LLM 评判器直接编码相对安全排序。论文的消融实验证明，这种偏好信号比标量奖励在有害任务拒绝率上高出 10 个百分点（0.87 vs 0.79）。最后在框架设计层面，MOSAIC 是第一个同时优化安全对齐、任务实用性、结构化输出和 token 效率的端到端智能体训练框架，通过复合奖励函数将这四个目标统一在一个优化过程中。
实验结果
MOSAIC 在三个开源模型家族和多个分布外基准上进行了全面评估，结果展示了模型自适应的安全增益。在 Qwen2.5-7B-Instruct 上，MOSAIC 将有害任务分数从 0.18 降低到 0.09（50% 的降幅），有害任务拒绝率从 0.74 提升到 0.87；在 Agent Security Bench 上，直接提示注入（DPI）攻击成功率从 0.55 降至 0.42，间接提示注入（IPI）从 0.40 降至 0.33。在 Qwen3-4B-Thinking 上，主要改善体现在执行可靠性：良性任务完成率从 44% 飙升至 85%（接近翻倍），这反映了该模型通过避免无尽推理循环而获得的巨大收益。在 Phi-4 上，MOSAIC 主要解决过度保守问题，良性任务拒绝率从 0.43 降至 0.19（56% 的降幅），完成率从 0.78 提升至 0.91。最令人惊讶的发现是：经过 MOSAIC 训练的开源模型在没有安全支架的情况下，一致超越了 GPT-4o 和 GPT-5。例如，未经安全支架的 GPT-4o 有害任务分数为 0.31，而 MOSAIC 训练的 Qwen2.5 仅为 0.09。当给 GPT-4o 和 GPT-5 加上 MOSAIC 安全支架后，有害任务拒绝率从 0% 飙升至超过 90%，伤害分数降低超过 75%。这表明安全的智能体行为不是规模的涌现属性，而是需要通过显式安全推理和拒绝机制来诱导的。在 BFCLv3 良性任务上，MOSAIC 将 Qwen2.5 的基础多轮准确率从 21.0 提升到 28.5（35% 的相对增益）。在跨域隐私转移实验中，PrivacyLens 的信息泄漏率在 Qwen2.5 上从 0.32 降至 0.26（18.8% 的降幅），条件泄漏率从 0.48 降至 0.37（22.9% 的降幅）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AgentHarm 有害任务 | Harm Score ↓ | 0.09 (Qwen2.5-MOSAIC) | 0.18 (Qwen2.5-base) | 50% 降低 |
| AgentHarm 有害任务 | Refusal Rate ↑ | 0.87 (Qwen2.5-MOSAIC) | 0.74 (Qwen2.5-base) | +13 百分点 |
| AgentHarm 有害任务 | Harm Score ↓ | 0.08 (Qwen3-MOSAIC) | 0.09 (Qwen3-base) | 11% 降低 |
| Agent Security Bench DPI | ASR ↓ | 0.42 (Qwen2.5-MOSAIC) | 0.55 (Qwen2.5-base) | 24% 降低 |
| Agent Security Bench IPI | ASR ↓ | 0.33 (Qwen2.5-MOSAIC) | 0.40 (Qwen2.5-base) | 18% 降低 |
| BFCLv3 良性任务 | Base Multi-Turn Accuracy ↑ | 28.5 (Qwen2.5-MOSAIC) | 21.0 (Qwen2.5-base) | 35% 相对提升 |
| PrivacyLens | Leakage Rate ↓ | 0.26 (Qwen2.5-MOSAIC) | 0.32 (Qwen2.5-base) | 18.8% 降低 |
| GPT-4o AgentHarm (加安全支架) | Harm Score ↓ | 0.07 (GPT-4o-MOSAIC) | 0.31 (GPT-4o-base) | 77% 降低 |
| Qwen3-4B 良性完成率 | Completion Rate ↑ | 0.85 (MOSAIC) | 0.44 (base) | 93% 相对提升 |
| Phi-4 良性拒绝率 | Benign Refusal ↓ | 0.19 (MOSAIC) | 0.43 (base) | 56% 降低 |
局限与改进
论文在局限性方面有以下几个值得关注的点。首先，评估基准的局限：AgentHarm、ASB 和 PrivacyLens 都是相对标准化的基准测试，它们能否代表真实世界中复杂多变的智能体安全场景仍存疑。真实部署中的攻击往往更加隐蔽和上下文相关。其次，LLM 评判器的偏差：论文承认评判器存在约 60% 的位置偏好（偏向第一条轨迹），虽然通过随机化轨迹顺序在期望上消除了这个偏差，但这表明偏好信号本身并非完全可靠。第三，模型规模的覆盖有限：实验只涉及 4B-14B 参数的模型，没有测试更大规模的模型（如 70B+），也没有测试真正的端侧小模型（如 1-3B）。第四，Phi-4 的安全-实用权衡问题：MOSAIC 在改善 Phi-4 实用性的同时，确实导致了一些安全退化（有害任务拒绝率从 0.94 降至 0.88，DPI ASR 从 0.19 升至 0.28），这表明框架在处理过度保守模型时存在固有的权衡。第五，训练环境的单一性：所有训练都在 Agent-SafetyBench 上进行，该基准包含 349 个交互环境和约 2000 个任务实例，但与真实世界的多样性相比仍然有限。
独立分析的弱点
从独立分析的角度，MOSAIC 存在几个值得关注的弱点。第一，LLM 评判器的递归依赖问题：使用 LLM 来评判 LLM 的安全行为存在「用不安全的东西来教安全」的风险。如果评判模型本身存在盲区或偏见，这些缺陷会被传递到训练出的策略中。改进方向是引入多评判器投票机制，或结合形式化验证方法来提供更可靠的安全信号。第二，安全检查的可解释性不足：虽然 提供了文本形式的安全推理，但这些推理的质量和准确性没有被独立评估。模型可能学会输出看起来合理但实际上错误的安全分析。改进方向是增加对安全推理质量的专门评估，甚至引入外部安全知识库来验证推理的正确性。第三，选择性安全调用的边界模糊：论文展示了智能体学会了何时调用安全检查，但没有讨论这种学习是否可能导致遗漏关键检查的情况。如果模型在训练分布中学会了对某类风险跳过检查，它可能在新场景中也做出类似决策。改进方向是引入最小安全检查率约束，确保即使模型认为不需要检查也会在一定比例的步骤中强制触发。第四，多智能体协作场景的缺失：现代智能体系统越来越多地涉及多个智能体协作（如 MCP 协议），但 MOSAIC 只考虑了单智能体场景。多智能体系统中的安全问题更为复杂，因为一个智能体的不安全行为可能通过工具链传播到其他智能体。
未来方向
基于本文的研究成果，未来有几个有前景的研究方向。首先是扩展到多智能体安全对齐：随着 MCP（Model Context Protocol）等标准化协议的普及，多智能体协作将成为主流，如何将 MOSAIC 的显式安全检查机制扩展到智能体间的安全协调是一个重要方向。其次是结合形式化验证：将 的文本推理与可执行的安全策略（如 AgentSpec）结合，可以提供更强的安全保证。第三是自适应安全强度：当前 MOSAIC 对所有智能体使用相同的安全检查粒度，未来可以研究根据任务敏感度和模型能力动态调整安全检查的深度和频率。第四是安全检查的可迁移性：探索是否可以将在一个模型上学到的安全检查模式蒸馏到更小的模型中，降低部署成本。第五是长期安全评估：当前评估主要关注单次任务的安全性，但智能体在长期部署中的累积风险（如逐渐放宽安全标准）尚未被研究。
复现评估
从复现评估的角度，MOSAIC 的复现条件相对友好但并非完全透明。训练数据方面，Agent-SafetyBench 是公开可用的数据集，包含 349 个交互环境和约 2000 个任务实例，数据获取无障碍。评估基准方面，AgentHarm、ASB、PrivacyLens 和 BFCLv3 都是已发布的公开基准，可以直接复现实验。算力需求方面，所有实验在 4× NVIDIA A100 GPU 上完成，这对于学术实验室来说是可接受的，但对于个人研究者可能仍然偏高。框架方面，论文使用了 verl（ByteDance 的 RL 框架）并进行了自定义扩展，但这些扩展的具体实现细节在论文中描述有限。LLM 评判器使用了 GPT-4o，这意味着复现需要 OpenAI API 访问权限，这在某些地区可能存在可用性问题。开源代码方面，论文未明确提到代码开源计划，这可能会影响完全复现的可行性。总体而言，复现难度中等偏上——数据和基准都可用，但框架实现和评判器细节需要一定的工程投入。
论文图表
