ToolSafe：通过主动式步骤级防护栏与反馈增强LLM智能体的工具调用安全性 ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback

TS-Guard的工作流程如下：输入包括用户请求 $u_i$、截至步骤 $t$ 的交互历史 $H_{i}^{t} = \{(a_{i}^{0}, o_{i}^{0}), (a_{i}^{1}, o_{i}^{1}), \ldots, (a_{i}^{t-1}, o_{i}^{t-1})\}$、候选工具调用动作 $a_{i}^{t}$ 以及可选的工具规格 $T_i$。模型在一个推理过程中依次执行三个子任务：首先在Think标签内输出对交互历史的简要分析，识别潜在的安全风险信号；然后在Malicious_User_Request标签内输出用户请求有害性判断（yes/no）；接着在Being_Attacked标签内输出攻击向量关联判断（yes/no）；最后在Harmfulness_Rating标签内输出安全性评级（0.0/0.5/1.0）。训练时，模型基于Qwen2.5-7B-Instruct使用GRPO算法优化，多任务奖励函数为 $r_t = 1 - w_1 \cdot \mathbb{1}[\hat{h}_t \neq h_t^*] - w_2 \cdot \mathbb{1}[\hat{v}_t \neq v_t^*] - w_3 \cdot \mathbb{1}[\hat{y}_t \neq y_t^*]$，三个权重均匀设置为 $w_1 = w_2 = w_3 = 1/3$。TS-Flow的工作流程则是在ReAct智能体的每一步工具执行前调用TS-Guard进行安全评估，将TS-Guard的完整输出（包括分析过程和安全评级）作为反馈注入智能体的上下文中，智能体根据反馈自主决定是否修正其工具调用行为，而不是被强制终止。

本文的技术新颖性体现在三个层面。首先，在建模方式上，已有护栏模型（如LlamaGuard、ShieldAgent）将安全检测视为单一的二分类或三分类任务，而TS-Guard将其分解为三个有因果关系的子任务（用户意图→攻击关联→安全评级），这种多任务分解提供了更丰富的梯度信号和更可解释的输出。其次，在训练策略上，已有方法普遍采用SFT（监督微调），而本文发现RL（特别是GRPO）在泛化性上显著优于SFT——RL训练的模型在ASB-Traj上的F1分数为94.76，而SFT仅为约80。消融实验证实SFT+RL的效果甚至不如纯RL，因为SFT阶段导致模型输出熵下降，限制了后续RL的探索空间。最后，在系统架构上，已有框架（如LlamaFirewall）采用「检测-终止」范式，而TS-Flow采用「检测-反馈-修正」范式，将护栏的分析过程作为额外上下文信息反馈给智能体，使智能体能够自主进行安全感知的推理。这种设计不仅避免了误杀合法任务，还通过增加智能体在高风险步骤的输出熵来鼓励安全探索。

从独立分析的角度，本文存在以下几个值得改进的弱点。首先，TS-Flow的反馈注入方式过于粗糙——直接将护栏输出追加到智能体上下文，不仅增加了token开销（最大context长度从1079增加到1463甚至3464），而且缺乏对反馈信息的结构化整合。改进方向可以是设计一种更紧凑的反馈表示（如向量化嵌入而非自然语言文本），或通过注意力机制将安全信号注入智能体的隐藏状态。其次，TS-Guard的三任务顺序推理设计虽然提供了丰富的输出，但单次推理的延迟（约1.36秒/样本）在高频工具调用场景下可能成为瓶颈。一个可能的改进方向是并行化三个子任务的推理，或训练一个轻量级的「快速判断」模型先做初筛，只在边界情况下才调用完整的TS-Guard。第三，论文的实验主要在模拟环境中进行，未在真实部署的Agent系统中验证。真实场景中工具返回的观察结果可能更长更复杂，prompt injection的手段也可能更隐蔽，TS-Guard的泛化能力有待进一步验证。第四，TS-Flow在Qwen2.5-14B上的效果不如在GPT-4o上稳定（如ASB-IPI上ASR为7.00% vs 6.19%，但AgentDojo上ASR为1.79% vs 1.16%），说明框架的效果对底层模型能力有一定依赖。

作者提出的未来方向是探索智能体和护栏模型的联合训练或更紧密的耦合，以更好地整合安全反馈并共同提升安全性和任务完成率。基于本文成果，还有几个值得延伸的方向：一是将TS-Guard的多任务安全检测范式扩展到更多类型的Agent行为（如文件操作、系统命令执行、API调用链），构建更通用的Agent安全评估体系；二是研究自适应安全策略——根据任务的敏感程度和上下文风险动态调整安全干预的强度，而非对所有工具调用一视同仁；三是探索将TS-Flow中的安全反馈机制与其他推理增强方法（如Chain-of-Thought、Tree-of-Thought）结合，在保持安全性的同时进一步提升任务完成质量；四是研究对抗鲁棒性——攻击者可能专门设计针对TS-Guard检测模式的绕过策略，需要研究如何使护栏模型在对抗环境中保持稳健。

论文的代码已开源于GitHub（https://github.com/MurrayTom/ToolSafe），这为复现提供了良好的基础。TS-Bench基于四个公开数据集（AgentAlign、AgentHarm、ASB、AgentDojo）构建，数据来源透明。TS-Guard的训练基于Qwen2.5-7B-Instruct（7B参数），使用GRPO算法，总batch size为256，最大prompt长度4096 tokens，最大response长度1024 tokens，训练10个epoch，在8块NVIDIA 96GB H20 GPU上运行，算力需求相对可控（约相当于8×80GB A100的配置）。推理时使用nucleus sampling（temperature=0.1, top-p=0.9）。复现难度中等：数据构建部分需要调用GPT-4o/Claude-3.5/Qwen3-30B采样ReAct轨迹并进行步骤级标注，需要一定的API调用成本；模型训练部分使用verl框架（一个开源的RLHF框架），配置相对标准化。TS-Flow的评估部分需要搭建完整的ReAct智能体环境，包括工具模拟和多步交互，这是复现中最复杂的部分。