AgentDoG 1.5：AI Agent安全与对齐的轻量级可扩展框架 AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security
提出轻量级Agent安全框架，1k样本训练出性能媲美GPT-5.4的0.8B-8B模型
前置知识
智能体轨迹
智能体轨迹是指AI Agent执行任务时的完整交互记录，包含用户消息、Agent响应、工具调用、环境反馈等多轮对话序列。每个轨迹通常包含多步决策和执行过程，比如Agent可能先调用搜索API获取信息，再调用数据库查询，最后整合结果回复用户。在安全评估中，我们关注整个轨迹而非单次交互，因为风险可能在多个步骤中累积和传播，例如初始无害的查询可能在后续步骤中被恶意利用。轨迹级分析能够捕获跨步骤的风险模式，而单点检查容易漏掉在多轮交互中逐渐显现的威胁。
本文的核心是对轨迹级别进行安全评估，只有理解智能体如何通过多步工具调用来完成任务，才能识别隐藏在复杂交互中的风险模式。这是理解ATBench基准设计和AgentDoG训练数据构建的基础。
三维安全分类法
三维安全分类法将智能体风险分解为风险来源、失败模式和真实世界危害三个维度。风险来源关注威胁从哪里进入系统，比如恶意用户指令、工具描述注入、不可靠观测等；失败模式描述智能体如何失败，比如未经确认的特权操作、工具使用不当、验证失败等；真实世界危害评估实际后果，如隐私泄露、系统完整性损害、经济损失等。这种分解使得安全诊断更加细粒度和可解释，而不是简单的二元安全/不安全判断。每个维度有多个子类别，例如风险来源包括15个子类，失败模式包括21个子类，真实世界危害包括11个子类，形成了一个层次化的风险描述体系。
本文的核心创新之一就是更新和扩展了这个分类法，使其能够适应Codex和OpenClaw等新型智能体执行环境。理解这个分类法是理解ATBench基准家族和AgentDoG训练数据构建的基础。
影响函数
影响函数是一种用于分析训练数据对模型预测影响的机器学习技术。它通过计算训练样本对模型参数变化的贡献度，来评估该样本的重要性。具体来说，对于一个参考模型参数theta-hat，我们可以计算某个训练样本z对目标方向g-guard-hat的对齐分数s-pi(z) = g-z-hat的转置与g-guard-hat的点积，其中g-z-hat是该样本的梯度。在本文中，我们首先定义期望的护栏行为使用一小部分安全目标提示Q-safe，对于每个目标提示q属于Q-safe，构造配对响应：y-q-plus是正确识别风险的目标正响应，y-q-minus是错过、淡化或错误分类风险的目标负响应。然后计算偏好加权的护栏方向，其中pi-q-hat是参考模型对正确响应的偏好度。
本文使用影响函数进行数据净化，能够从大量合成轨迹中筛选出约1k个最有价值的训练样本，这解释了为什么AgentDoG 1.5可以用如此少的数据达到优秀性能。
组奖励解耦策略优化（GDPO）
GDPO是一种强化学习算法，它是对GRPO的扩展，专门用于处理多维奖励信号。在细粒度风险诊断任务中，模型需要在失败模式、真实世界危害、风险来源三个维度上获得奖励，GDPO允许每个维度独立归一化优势值，然后加权组合（权重为0.3、0.4、0.3）。具体的优化目标涉及期望运算、比率计算、clip函数和KL散度正则化。这比将多个奖励标量化更合理，因为在部分满足情况下，比如模型正确识别了失败模式但在其他维度错误，GDPO能保留每个维度的信号而不是被标量和淹没。
本文在AgentDoG 1.5训练的第二阶段使用GDPO进行强化学习，这是提高模型细粒度诊断能力的关键技术之一。
有限状态模拟器
有限状态模拟器是一种轻量级的环境建模方法，它用有限的离散状态和状态转换规则来模拟复杂环境。在本文中，作者指导LLM生成Python实现的有限状态模拟器来构建智能体训练环境，而不是使用真实的Docker环境。这些模拟器专注于任务相关的资源和规则，牺牲严格的真实世界保真度以换取实际部署性和计算效率。例如，对于文件操作任务，模拟器可以维护虚拟文件系统状态，而不需要实际创建和删除文件。实验证明，这种轻量级设计能够支持同时加载多达10,000个环境，维护1,000个活跃实例，执行1,000个并发工具调用，内存峰值保持在2.5GB以下，执行延迟保持稳定。
本文构建的轻量级RL训练环境能够将Docker级环境的内存开销和启动延迟降低到两个数量级，这是实现大规模智能体安全RL训练的关键技术基础，使得标准8核机器能够支持超过10,000个并发智能体环境。
研究动机
当前AI智能体安全面临严峻挑战。现代开放世界智能体如OpenClaw具有强大的跨环境执行能力，可以在多个应用间持续运行和自动化操作，这带来了全新的风险表面。具体来说，OpenClaw支持的会话污染、审批绕过、跨工具攻击链、跨通道错误路由、无人值守自动化等风险类型在传统工具使用场景中不存在。与此同时，先进的前沿AI模型（如Claude Mythos Preview）大幅降低了对智能体系统的对抗攻击技术门槛，攻击者更容易构造复杂的提示注入、供应链攻击等威胁。现有的智能体对齐框架主要关注静态内容安全，无法有效处理动态、多步骤的轨迹级风险，也难以应对Codex代码执行和OpenClaw会话管理场景中的新兴风险类型。实验数据显示，现有的专用护栏模型如LlamaGuard4-12B在ATBench上准确率仅为58.1%，在R-Judge上为63.8%，远不足以应对实际部署的安全需求。
本文的目标是本文的目标是构建一个轻量级且可扩展的智能体安全对齐框架，使其能够在实际部署中广泛可靠地使用。具体来说，框架需要包含三个关键组件：清晰标准化的智能体安全分类法，用于准确评估和风险识别；轻量级可扩展的智能体安全训练流水线，整合专用数据引擎、轻量级安全验证器和高效训练环境；无需训练的在线智能体安全系统，包括系统架构设计和轻量级护栏模型，实现低成本低延迟的在线安全监督。最终目标是让小到0.8B参数的模型也能提供与GPT-5.4等闭源前沿模型相当的安全评估能力，同时支持大规模并发训练和实时在线部署。实验结果显示，AgentDoG 1.5-0.8B在R-Judge上达到75.7%准确率，在ATBench上达到60.3%准确率，已经超越了多个更大的模型。
与已有工作不同的是，本文的独特切入角度是从轻量级和可扩展性出发，重新思考智能体安全对齐的整个技术栈。与现有工作不同，本文不是追求更大更强的模型，而是通过高效的数据工程和模型训练方法，用极少的训练样本（约1k）和小的模型规模实现优秀的安全性能。这在实际部署中具有重大意义，因为轻量级模型意味着更低的推理成本、更小的内存占用和更容易的部署。此外，本文构建了完整的生态系统，从分类法更新、基准扩展、数据引擎、训练流水线到实际应用，形成了一个可扩展的智能体安全对齐框架，而不是单一的技术改进。本文还首次提出了训练型和训练型两种应用方式，既支持使用AgentDoG 1.5进行SFT数据筛选和RL奖励信号构建，也支持将其作为实时在线护栏部署，这比现有工作的单一应用模式更加完整和实用。
核心方法
AgentDoG 1.5框架的整体思路是构建一个端到端的智能体安全解决方案，从分类法设计到训练数据准备，再到模型训练和实际部署。框架的核心组件包括：更新的三维安全分类法，支持Codex和OpenClaw等新场景；分类法指导的数据引擎，系统化生成覆盖风险空间的轨迹数据；基于影响函数的数据净化，筛选约1k个最有价值的训练样本；两阶段训练流程（SFT加RL），使用GDPO算法优化细粒度诊断能力；轻量级训练环境构建，使用有限状态模拟器替代真实Docker环境；以及在线护栏部署，在Pre-Reply阶段实时监控智能体执行轨迹。这个框架不仅提供了强大的安全评估模型，还支持训练型和训练型两种应用方式，实现了从模型开发到实际部署的完整闭环。实验结果显示，AgentDoG 1.5-4B在R-Judge上达到92.2%准确率，在ATBench上达到72.4%准确率，细粒度诊断平均准确率为55.2%，显著超越了现有开源和专用护栏模型。
本文的核心创新点在于通过高效的数据工程实现轻量级模型的强大安全能力，而不是依赖大规模模型和海量数据。具体体现在三个方面：一是分类法指导的数据引擎，能够系统化生成覆盖风险空间的轨迹，确保训练数据的完整性和平衡性。数据引擎包含三个阶段：规划阶段从分类法的三个维度各采样一个类别，生成轨迹草图；轨迹合成阶段将草图实例化为完整的多轮交互轨迹；自动验证阶段通过规则检查器和模型检查器进行双重质量控制。二是基于影响函数的数据净化，能够从大量合成数据中精准筛选出最有价值的训练样本，大幅减少训练数据量。三是轻量级训练环境构建，使用有限状态模拟器替代真实Docker环境，将内存开销和启动延迟降低到两个数量级。这些技术使得AgentDoG 1.5能够在仅用约1k训练样本的情况下，训练出性能媲美GPT-5.4的0.8B到8B模型。
方法步骤详情
AgentDoG 1.5的构建流程分为四个主要步骤。第一步是分类法设计和基准扩展，保持风险来源、失败模式、真实世界危害三个高维维度不变，为Codex和OpenClaw等新场景添加特定的叶子类别。Codex新增的类别包括仓库工件注入、依赖MCP供应链妥协、破坏性工作空间变更、不安全Shell脚本执行等；OpenClaw新增的类别包括会话状态污染、审批绕过、跨工具攻击链、跨通道错误路由、不安全无人值守自动化等。构建ATBench基准家族，包括ATBench（通用工具使用，1,000条轨迹）、ATBench-Claw（OpenClaw执行，500条轨迹）和ATBench-Codex（Codex执行，500条轨迹）。第二步是数据准备，使用规划器从分类法的三个维度各采样一个类别，生成轨迹草图，然后实例化为完整的多轮交互轨迹，每个轨迹包含用户消息、Agent响应、工具调用和环境反馈。接着通过规则检查器和模型检查器进行双重质量控制，过滤掉格式错误或语义不一致的轨迹。原始数据集包含5,973个唯一工具和MCP服务器，覆盖所有分类法维度。第三步是数据净化，计算每个样本与期望护栏方向的对齐分数，保留高分样本形成约1k个样本的净化数据集。第四步是两阶段训练，首先使用净化数据集进行监督微调（SFT），学习基础推理模式；然后使用GDPO进行强化学习，直接优化细粒度评估指标。
技术新颖性
AgentDoG 1.5的技术新颖性体现在多个方面。首先，本文更新了智能体安全分类法，使其能够适应Codex和OpenClaw等新型执行环境，同时保持跨场景的可比性，这是一种扩展性设计而非完全重构。分类法的三个高维维度保持不变，只有叶子类别根据具体场景进行定制，这保证了不同场景下的评估结果仍然可比。其次，本文引入了基于影响函数的数据净化方法，这是首次将这种技术应用于智能体安全数据筛选，能够大幅减少训练数据量而不降低性能。净化过程不仅考虑样本的梯度方向，还引入了偏好加权机制，避免对所有目标提示统一处理。第三，本文构建的轻量级训练环境使用有限状态模拟器，在保持训练有效性的同时将部署开销降低两个数量级，这是对传统Docker环境的重大改进。实验证明这种设计能够支持同时加载多达10,000个环境，内存峰值保持在2.5GB以下。第四，本文提出的Pre-Reply在线护栏机制在最终回复交付前进行轨迹级监控，既避免了提示级过滤的上下文限制，又避免了事后审计的延迟响应，是一个实用而高效的部署方案。最后，本文实现了训练型和训练型两种应用方式的完整生态系统，这在智能体安全对齐领域是较为少见的工作。
实验结果
AgentDoG 1.5在多个基准上取得了优异的性能表现。在轨迹级安全评估方面，AgentDoG 1.5-4B在R-Judge上达到92.2%准确率和92.7% F1分数，在ATBench上达到72.4%准确率和74.3% F1分数，显著超越了所有开源和专用护栏模型。与AgentDoG 1.0相比，在保持R-Judge性能的同时，ATBench准确率提升了8.4个百分点，F1提升了3.2个百分点，显示出对智能体安全场景的泛化能力提升。更令人印象深刻的是，轻量级AgentDoG 1.5-0.8B在R-Judge上达到75.7%准确率和74.6% F1，在ATBench上达到60.3%准确率和63.2% F1，已经超越了多个更大的通用和护栏模型。AgentDoG 1.5-2B在ATBench上的F1分数与Qwen3.5-397B-A17B相当，但参数量仅为后者的约0.5%。在细粒度风险诊断方面，AgentDoG 1.5-4B在风险来源上达到75.2%，在失败模式上达到27.5%，在真实世界危害上达到62.9%，平均55.2%，比AgentDoG 1.0-4B提升了20.6个百分点，显著超越了所有闭源和通用开源基线。在环境适应性方面，AgentDoG 1.5-4B在ATBench-Codex上达到80.0%准确率，在ATBench-Claw上达到84.0%准确率，展现出强大的跨环境泛化能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 轨迹级安全评估 | 准确率 | 92.2% (R-Judge), 72.4% (ATBench) | GPT-5.4: 93.3% (R-Judge), 73.7% (ATBench); Qwen3.5-397B: 85.6% (R-Judge), 66.8% (ATBench); LlamaGuard4-12B: 63.8% (R-Judge), 58.1% (ATBench) | 接近GPT-5.4性能，超越Qwen3.5-397B 6.6到12.4个百分点，超越LlamaGuard4-12B 14.3到28.4个百分点 |
| 细粒度风险诊断 | 平均准确率（三个维度） | 55.2% | GPT-5.4: 25.8%; AgentDoG 1.0-4B: 34.6%; Qwen3.5-397B: 6.0% | 比GPT-5.4提升29.4个百分点，比AgentDoG 1.0-4B提升20.6个百分点 |
| 环境适应性 | 准确率 | 80.0% (ATBench-Codex), 84.0% (ATBench-Claw) | 闭源模型范围: ATBench-Codex约75%到85%, ATBench-Claw约70%到85% | 在ATBench-Codex上处于闭源模型范围内，在ATBench-Claw上略超出闭源高参考线 |
| 在线护栏部署 | 攻击成功率降低 | ClawSafety降低37.5%, AgentHazard降低15.0%, CIK-Bench降低51.43% | Qwen3Guard-Gen-4B和Llama-Guard-3-8B在某些基准上无法降低ASR | 在AgentHazard上显著超越基线，在其他基准上与最佳基线相当 |
局限与改进
本文的局限性主要体现在几个方面。首先，AgentDoG 1.5主要处理基于文本的轨迹，但现实世界中的智能体越来越多地与GUI、文档、音频、视频等多模态环境交互，将轨迹级安全诊断扩展到多模态智能体轨迹是未来的重要方向。其次，本文的护栏框架提供了实用且广泛兼容的干预点，但它无法完全阻止通过早期外部副作用已经造成的危害，更完整的安全架构应该结合轨迹级监控与选择性工具时检查、权限感知执行策略和高风险操作的人工批准。第三，AgentDoG 1.5在细粒度风险诊断上的表现仍有提升空间，特别是在失败模式维度上准确率仅为27.5%，这可能是因为该维度的类别更加细粒度和难以区分，需要更多针对性的训练数据和改进的训练策略。最后，本文的在线护栏机制主要关注Pre-Reply阶段，但对于需要在工具调用级别进行即时干预的场景可能不够灵活，需要更细粒度的监控策略。作者在论文中也承认了这些局限性，并提出了相应的未来研究方向。
独立分析的弱点
AgentDoG 1.5的几个潜在弱点值得关注。第一，在处理多模态智能体轨迹方面的局限性，随着智能体越来越多地与图像、音频、视频等多模态内容交互，纯文本的轨迹分析方法可能无法捕获这些模态中的风险。例如，智能体可能处理包含敏感信息的图像或执行涉及音频的操作，这些风险无法通过文本轨迹完全捕获。改进方向是将轨迹级安全诊断扩展到多模态表示，引入视觉和音频理解能力，构建多模态安全分类法。第二，无法阻止早期外部副作用造成的危害，这意味着如果智能体在最终回复之前已经执行了有害操作（如删除文件、发送邮件），Pre-Reply护栏无法挽回。改进方向是在关键工具调用点增加选择性检查，结合权限管理和人工批准机制，形成多层防护体系。第三，细粒度诊断能力的不均衡，失败模式维度的准确率相对较低，可能需要更多针对性的训练数据和改进的训练策略。改进方向可以包括增加失败模式样本的多样性、引入更细粒度的CoT推理训练，或者开发专门的失败模式检测模块。第四，模型可能受到长轨迹的上下文限制，虽然AgentDoG 1.5处理的是完整轨迹，但超长轨迹可能超出模型上下文窗口，需要更有效的轨迹压缩或分段策略。
未来方向
基于本文成果，未来有多个值得探索的方向。第一个方向是多模态智能体安全扩展，将轨迹级安全诊断扩展到包含GUI交互、文档操作、音频视频处理的多模态环境，这需要开发能够理解多模态上下文的安全评估模型，扩展三维分类法以涵盖多模态风险来源和危害类型。第二个方向是更完整的安全架构设计，结合轨迹级监控、工具时检查、权限管理、人工批准等多层防护机制，形成纵深防御体系，特别是在高风险操作（如文件删除、网络请求、系统命令执行）上引入即时干预机制。第三个方向是自动化攻击检测和防御，利用AgentDoG 1.5的诊断能力开发自动化的攻击模式识别和防御响应机制，提高系统的自适应安全能力，包括实时攻击检测、自动隔离、恢复策略等。第四个方向是跨平台安全对齐标准化，将本文的分类法和评估框架推广到更多智能体平台和执行环境，建立行业统一的安全评估标准，促进不同平台之间的安全性能比较和最佳实践共享。第五个方向是持续学习和在线更新，使AgentDoG 1.5能够从部署中收集的新风险模式中持续学习和更新，保持对新兴威胁的有效防护，包括在线学习、联邦学习等技术的应用。
复现评估
AgentDoG 1.5具有良好的复现性。论文明确指出所有模型和数据集都已开源发布（GitHub和HuggingFace），这使得研究社区可以完全复现本文的实验结果。训练数据由分类法指导的数据引擎生成，数据净化使用影响函数方法，训练流程采用标准的SFT加GDPO两阶段方法，所有这些方法都有清晰的数学定义和实现细节。论文提供了详细的实验设置，包括学习率、批量大小、训练轮数等超参数。对于SFT阶段，学习率为1e-5；对于RL阶段，学习率为1e-6，批量大小为32，每个任务8个样本。然而，复现本文工作可能需要一定的计算资源，虽然模型本身是轻量级的（0.8B到8B参数），但数据引擎的运行和数据净化过程需要调用GPT-5.4等大型模型作为教师模型进行CoT标注，这可能带来一定的成本。对于训练型应用，构建轻量级RL环境也需要一定的工程投入。总体来说，对于有一定计算资源和工程能力的实验室，复现本文工作是可行的，但对于资源有限的研究者可能存在一定的门槛。论文在限制性部分也讨论了这个问题，并强调了框架的开源特性以促进社区复现和改进。
论文图表
