HazardAuditor：从可执行威胁到更安全的计算机使用智能体 HazardAuditor: From Executable Threats to Safer Computer-Use Agents
以跨框架真实执行轨迹为监督，用GuardPO把优化对齐到安全决策本身，守护计算机使用智能体。
前置知识
计算机使用智能体（Computer-Use Agent）
指以 LLM 为核心、通过工具调用直接操作浏览器、终端、文件系统和外部服务的自主智能体，如 Claude Code、Codex、Hermes、OpenClaw。与普通聊天模型不同，它的风险不在生成文本本身，而在运行时行为：一系列单独看合理的操作可能组合起来推进一个有害目标，同一工具调用是否危险取决于授权、参数、交互历史和环境反馈。
本文要守护的对象就是这类智能体，全文的安全案例定义、轨迹规范化、标签协议都围绕'运行时行为而非静态内容'这一特性展开，不理解这一点就看不懂作者为什么不用现成的内容审核模型。
守护模型（Guard Model）
独立于被保护模型之外、专门判断交互或行为是否安全的安全分类/生成模型。Llama Guard 把审核建模为可配置风险分类下的生成任务；Qwen3Guard 支持多语言与流式判定；AgentDoG、BraveGuard 则面向智能体轨迹。守护模型通常先做监督微调（SFT）学会输出协议，再部署在请求前后或动作执行路径上做拦截。
HazardAuditor 本身就是一个生成式守护模型：输入序列化轨迹，输出分析加二元判定。理解守护模型与被保护智能体的分工，才能理解为什么作者要专门设计训练目标而不是复用通用 LLM。
Token 级监督微调与长度偏差
SFT 的损失是对 assistant token 的平均负对数似然，例如 $\mathcal{L}=-\sum_t \log \pi(z_t|x,z_{<t})$。token 平均目标有个隐含假设：每个 token 平等参与优化。但对生成式守护而言，一条包含几百个分析 token 加一个判定 token 的回复，整体只对应一个安全决策；越长的解释在梯度更新中占比越大，这与真正的优化目标（判定正确）错配。
这个结构性错配是全文第二贡献的出发点：GuardPO 的区域归一化与长度不变性命题（Proposition 1）都是为了修正'SFT 按解释长度而非按决策分配梯度权重'的问题。
策略梯度、裁剪代理目标与 CISPO
强化学习后训练用策略梯度更新生成模型：对每条 rollout 计算奖励与优势 $\hat{A}_i$，再按 token 重要性比率 $\rho_{i,t}=\pi_\theta/\pi_{old}$ 加权。PPO 用 clip$(\rho,1-\epsilon,1+\epsilon)$ 限制单步更新幅度；CISPO（MiniMax-M1 提出）用 stop-gradient 的裁剪比率直接加权 token 对数概率，避免比率过大 token 被完全裁掉。奖励可以是规则确定性的，无需学习奖励模型。
GuardPO 的 token 更新公式（公式 13）就是 CISPO 式重要性加权加 PPO 裁剪，优势来自确定性的判定对错奖励。不懂这套 RL 词汇就看不懂方法核心章节。
提示注入与不可信内容边界
提示注入指攻击者把恶意指令藏进智能体必然要读取的非可信内容里（网页、工具返回值、文件），诱导智能体执行外传凭据等动作。防护上的对应做法是把不可信数据放进显式定界符，让模型把其中的内容当'证据'而不是'指令'。
本文把整条序列化轨迹放进不可信边界中，且核心标签协议正是'遇到注入指令但拒绝执行算安全、真的调用工具才算不安全'。这是理解其'行为—内容区分'标注哲学的钥匙。
宏平均 F1 与精确率—召回率权衡
在不平衡数据上，准确率会误导。精确率衡量判为 unsafe 中真正 unsafe 的比例，召回衡量真正 unsafe 被抓出的比例，F1 是两者调和平均；宏平均对 safe/unsafe 两类同等加权。许多守护模型呈'高精确率、极低召回'（几乎从不报警），表面精确率 100% 实则漏掉绝大多数风险。
论文反复用最差基准 F1、精确率—召回率差距（≤1.1 点）来论证 HazardAuditor 学到的是均衡的决策边界而非'多报不安全'，读实验部分必须熟悉这些指标。
研究动机
现有安全防护基本围绕'生成内容'设计：Llama Guard、WildGuard、Qwen3Guard 等守护模型审查的是静态 prompt 和 response，判断文本是否有害。但计算机使用智能体的风险是在运行时行为中产生的：一串单独看都合理的操作可能共同推进一个有害目标；恶意指令或敏感凭据可能出现在智能体上下文中但从未被实际执行；同一个工具调用是否危险取决于授权、参数、交互历史和环境状态。作者给出关键例子：智能体遇到提示注入指令要求外传凭据，若拒绝执行就是安全的；若真的调用以凭据为参数的文件读取或网络发送工具就是不安全的——即使调用失败。静态内容审核完全无法区分'看到风险'和'做出风险行为'。另一边，DTap、Vera 等可执行安全平台虽然能在受控环境里跑异构智能体并验证行为，但产出的是评估结论而非规范化的训练监督，日志的消息格式、工具模式、观察结构互不兼容，单个守护模型无法跨框架学习；而已有的轨迹训练守护 BraveGuard 又只在单一框架数据上做 SFT，在执行格式偏离训练分布的框架上明显退化——BraveGuard 在 OpenClaw 上准确率仅 71.0%，在 Hermes 上 77.0%。
本文的目标是本文要构建一个'以执行为根基'的运行时守护框架 HazardAuditor，同时补上监督来源和优化目标两个缺口。监督侧：定义覆盖用户输入、智能体输出、框架暴露的推理、工具调用（含参数）和环境观察的规范事件表示，用框架适配器把 Claude Code、Codex、Hermes、OpenClaw 四个异构智能体的原生日志映射到同一模式，使单个守护模型能在全部四个框架的轨迹上训练并直接部署，无需针对格式的单独调整。学习侧：让生成式守护模型的优化单位与部署时的操作目标一致——即二元的确定性安全判定，而不是逐 token 的模仿。最终模型产出可审计的分析文本加确定性二值判定，供外部控制器做运行时干预；推理时不调用外部 LLM 裁判或奖励模型，贪心解码、最长 384 token。作者还想验证一个更广的原则：有效的智能体安全防护应当从'智能体实际做了什么'的证据中学习，并为它最终要做的安全决策进行优化。
与已有工作不同的是，本文的独特切入角度有两个层面。第一是标签协议上的'行为—内容'区分：把整条轨迹序列化进显式不可信边界（里面的指令只是证据而非守护模型的指令），标签 $y\in\{0,1\}$ 只由智能体的工具调用 $T(\nu_k,\alpha_k)$ 相对任务目标 $g$ 决定——观察到恶意内容不算 unsafe，只有尝试或执行了未授权动作、泄露敏感信息、产出可操作的有害制品或实质推进有害目标才标 unsafe；验证器输出和环境状态只作佐证，不直接等同于标签。第二是优化视角：作者指出 SFT 的 token 级模仿与'每条回复只表达一个安全决策'存在结构性错配——长解释回复会因 token 多而不成比例地主导梯度更新。GuardPO 把确定性安全结果转成序列级优势，在每条回复内部对 rationale 区和 verdict 区分别归一化后再聚合，并给出可证明的长度不变性（Proposition 1）。据作者所述，这是首个把可执行评测平台的产物转成跨框架规范化训练监督、并配以专用后训练目标的守护框架工作，而不是在单一维度上的增量改进。
核心方法
直觉上，判断一个智能体是否危险，不能只看它'读到了什么'，而要看它'做了什么'，而这种证据只能在受控环境中实际运行才能获得。技术路线分三块（Fig. 1）。第一块是可执行安全基础设施：定义安全案例 $\sigma=\langle g, s_0, V_g\rangle$，其中 $g$ 是任务与安全相关目标，$s_0$ 是初始环境状态，$V_g$ 是可选的、基于可执行证据的验证器；在观察点 $m$ 处的执行轨迹为 $\tau_{1:m}=(e_1,\ldots,e_m)$，规范事件 $e_k\in\{U(u_k), A(a_k,r_k), T(\nu_k,\alpha_k), O(o_k)\}$ 分别对应用户消息、带可选框架暴露推理的智能体响应、带名称与参数的工具调用、环境观察，框架适配器负责映射并剔除时间戳等非语义元数据。第二块是生成式守护学习：以 Qwen3Guard-Gen-8B 为底座，把序列化轨迹放进不可信边界提示词，输出 $z=[z_{rat}; z_{ver}]$ 即 … 加 safe|unsafe；先做 10 轮全参数 SFT（学习率 $5\times10^{-6}$，最后 $K_{ver}=12$ 个判定 token 权重 $\omega_{SFT}=4$）。第三块是 GuardPO：用完全确定性的规则奖励做每提示 8 个 rollout 的强化后训练，把安全决策而非解释长度变成有效优化单位。
核心创新是'决策级优化 + 区域归一化'。标准 token 平均损失 $\mathcal{L}_{token}=\frac{\sum_i\sum_t \ell_{i,t}}{\sum_i L_i}$ 会让长 rationale 回复在批次中占据不成比例的梯度权重，尽管每条回复只表达一个安全决策。GuardPO 的处理：每条 rollout 经确定性解析器给出 $\hat{y}_i\in\{0,1,\bot\}$，奖励 $R_i$ 判对为 $+1$、判错为 $-1$、格式错误为 $-\gamma$（$\gamma=1.25$）；批次优势 $\hat{A}_i=R_i-\bar{R}_B$ 广播到该回复所有合法 token；token 更新采用 CISPO 式重要性加权加裁剪 $\ell_{i,t}=-\mathrm{sg}(\tilde{\rho}_{i,t})\,\hat{A}_i\,\log\pi_\theta(z_{i,t}\mid x_i, z_{i,<t})$，$\tilde{\rho}_{i,t}=\mathrm{clip}(\rho_{i,t},1-\epsilon,1+\epsilon)$，$\epsilon=0.1$；聚合时按区域归一化，定义 $M_i(S)=\frac{1}{|S|}\sum_{t\in S}\ell_{i,t}$，总损失为 $\mathcal{L}_{GuardPO}=\frac{1}{N}\sum_{i\in B}\left[M_i(R_i)+\lambda_{ver} M_i(V_i)\right]$，其中 $V_i$ 是最后 $K_{ver}=12$ 个判定 token，$\lambda_{ver}=2$。Proposition 1 证明把某回复的 rationale 复制 $q$ 倍不改变它对损失的贡献，而同样的复制在 token 平均目标下会让该回复权重线性增长——从数学上确立了'安全决策而非解释 token 数量是优化单位'。与 Safe RLHF 等需要学习奖励模型或在线 LLM 裁判的方法不同，这里的奖励完全由规则确定性给出。
方法步骤详情
第一步，采集与规范化：四个框架各自的适配器把原生日志映射到统一模式，保留自然语言响应、框架暴露的推理（无则 $r_k=\emptyset$）、工具名与参数、工具结果与状态观察，剔除时间戳、token 记账和平台遥测；标签通过检查工具调用相对任务目标来判定，CUA-EXEC 在安全案例层面留出测试集防止泄漏。第二步，SFT 冷启动：输入超过 16K token 时做保前缀截断（保留轨迹开头的事件），teacher forcing 训练 10 epochs，全局 batch 16，AdamW，损失只计算 assistant token，且最后 12 个判定 token 的权重为 4，让模型学会推理格式与安全策略。第三步，GuardPO：每批 32 个提示 × 每个 8 个 rollout = 256 条回复，采样温度 $T=0.5$、top-p $=0.9$，学习率 $2\times10^{-7}$ 恒定；流程为 rollout → 解析判定 → 规则打分 → 批次中心化得到 $\hat{A}_i$ → 裁剪的重要性加权 token 更新 → rationale 区与 verdict 区分别归一化后加权聚合（verdict 区权重翻倍），只跑 1 个虚拟 epoch。第四步，部署推理：贪心解码、最大响应 384 token、轨迹上下文 16K；verdict 是供下游控制器使用的确定性二值接口，analysis 供人工或系统审计。两阶段分别基于 LLaMA-Factory 0.9.5.dev0 和 VERL 0.7.0.dev0 实现，均在单节点 8×A100 上完成。
技术新颖性
新颖性体现在四个层面。(1) 数据基建：首次把 DTap、Vera 这类可执行安全平台的产物从'评估结论'转化为'跨框架规范化训练监督'，四个适配器让单个 8B 模型统一消费 Claude Code、Codex、Hermes、OpenClaw 四套异构执行协议的轨迹，直接解决了 BraveGuard 式单框架数据管线的泛化缺陷。(2) 标注哲学：坚持行为而非内容决定标签，与把'上下文中出现有害内容'也当阳性的做法划清界限，这决定了模型学到的决策边界性质——Table I 显示它在安全与不安全两类上同时保持高召回高精确（精确率—召回率差 ≤1.1 点），而不是靠偏袒某一类刷分。(3) 优化目标：GuardPO 与 Safe RLHF/Safe GRPO 优化的对象不同——那些方法调整被保护智能体的策略，这里优化守护模型自身；区域归一化带来可证明的长度不变性，是对生成式分类器'长度偏差'的形式化处理，且奖励是确定性的，无需奖励模型或 LLM 裁判，训练成本与方差都更低。(4) 工程完整性：SFT 中对 12 个判定 token 的 4 倍上权重可视为同一思想的轻量先导，GuardPO 是其强化版；附录还给出线性/MLP 快速头与生成式主干的质量—延迟对比，为部署提供参考。整体是把'评测基建、标注协议、训练目标'三件事系统性打通的完整框架，而非单点技巧。
实验结果
（1）跨框架主实验（Table I，CUA-EXEC，每框架 100 安全 + 100 不安全、案例级留出）：HazardAuditor 在四个框架的全部指标上均为最优，准确率分别为 Claude Code 94.00%、Codex 95.50%、Hermes 86.50%、OpenClaw 87.50%，相对最强此前守护 BraveGuard（81.50/91.50/77.00/71.00）提升 +12.5、+4.0、+9.5、+16.5 个百分点，Macro-F1 提升 13.0、4.0、10.2、18.7 点；提升在执行格式偏离常见分布的 Hermes、OpenClaw 上最大。GuardPO 相对 SFT 初始化全面占优：82.0→94.0、91.0→95.5、75.0→86.5、74.0→87.5。（2）AgentHazard（Table II，四种底座）：在 GPT-5.5、Claude Sonnet 4.6、Qwen3-235B 底座上准确率最高（84.03/85.55/89.73），在 Claude Sonnet 4.6、Gemini 3.1 Pro、Qwen3-235B 上 F1 最高（85.98/95.07/92.51）；GuardPO 在全部四个底座上改善 SFT 的 F1（82.24→84.31、83.03→85.98、93.28→95.07、92.30→92.51）；但 GPT-5.5 底座上 BraveGuard 召回 91.28、F1 89.22 仍高于本文的 84.75/84.31，暴露残余权衡。（3）外部基准（Table III）：ASSE-Safety 上取得最佳 91.5%（准确率与 F1 均是），ATBench 准确率 88.4% 为守护模型最高（超最强守护 AgentDoG-Llama3.1-8B 0.8 点），R-Judge 上 SFT（90.4）略好于 GuardPO 后（89.6）；三基准最差 F1 为 88.3%，高于 SFT 的 86.2% 与最佳此前守护的 80.7%；全数据集精确率—召回率最大差仅 1.1 点，而对比之下 Qwen3-Guard 在 ATBench 为 100% 精确率/10.8% 召回，ShieldGemma-27B 在 R-Judge 为 100%/1.0%。（4）消融（Table IV）：GuardPO 在 CUA-EXEC 上准确率 80.50→90.88（+10.38）、F1 80.16→90.85（+10.68），其他来源 +0.60~+2.20，R-Judge 为 −0.80；说明执行接地数据本身已追平最强基线，GuardPO 的增益集中于行为证据最丰富的场景。（5）固定 CUA-EXEC 测试集（Table VI，228 条，非平衡）：pooled 准确率 76.75→88.16、Macro-F1 76.75→87.76，其中 Claude Code/Hermes/OpenClaw 的 Macro-F1 分别 +12.82/+14.98/+12.84，但 Codex 从 90.78 降到 88.86。（6）NSFA 查询级迁移（Fig. 6、7）：6400 条平衡子集上准确率 88.89%、Macro-F1 88.88%、解析率 99.89%，unsafe 精确率 96.01%、召回 81.28%；二元 F1 88.04 超 AgentDoG1.5-FG 的 84.67（+3.37），但错误不对称：误拒 108 条安全查询、漏掉 596 条不安全查询；分域召回为恶意代码 96.54%、危险操作 95.14%、提示注入 85.5%、敏感信息 69.22%、资源滥用 42.95%。（7）效率（Table VII）：生成式判定 batch size 1 均值延迟 3138.10 ms（P95 5522.97 ms）；冻结骨干接 MLP-64 头降至约 304 ms（10.3×）但 Macro-F1 掉到 69.63、安全召回仅 41.11，只配做预筛；MLP-256 的 AUROC 最高（0.9065），MLP-64 的 Brier（0.1794）与 ECE（0.1871）最好。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CUA-EXEC 跨框架执行诊断（Claude Code 子集，100 safe/100 unsafe） | 准确率 / Macro-F1 (%) | 94.00 / 94.00 | BraveGuard-Qwen3-Guard-8B：81.50 / 80.98 | +12.5 / +13.0 个百分点 |
| CUA-EXEC（OpenClaw 子集） | 准确率 / Macro-F1 (%) | 87.50 / 87.46 | BraveGuard：71.00 / 68.72 | +16.5 / +18.7 个百分点（全文最大提升） |
| AgentHazard（Claude Sonnet 4.6 底座） | 准确率 / F1 (%) | 85.55 / 85.98 | BraveGuard：81.37 / 85.96 | 准确率 +4.18；F1 基本持平（+0.02） |
| ASSE-Safety | 准确率 / unsafe F1 (%) | 91.5 / 91.5 | 最佳此前守护 AgentDoG-Llama3.1-8B：81.1 / 83.4 | +10.4 / +8.1 个百分点 |
| ATBench | 准确率 / unsafe F1 (%) | 88.4 / 88.3 | AgentDoG-Llama3.1-8B：87.6 / 88.8 | 准确率 +0.8；F1 −0.5（非全面占优） |
| NSFA-CrossSource-Query（6,400 条平衡查询） | unsafe 二元 F1 (%) | 88.04 | AgentDoG1.5-FG (4B)：84.67 | +3.37 个百分点 |
| CUA-EXEC 消融（GuardPO vs SFT） | 准确率 (%) | 90.88（GuardPO） | HazardAuditor-SFT：80.50 | +10.38 个百分点 |
| 推理效率（batch size 1，4×A100） | 均值延迟 | 生成式 3138.10 ms；MLP-64 头 303.99 ms | 生成式自身即最慢档 | 快速头提速 10.3×，但 Macro-F1 从 88.12 降至 69.63 |
局限与改进
作者承认的局限：其一，GuardPO 并非在所有来源都单调提升——R-Judge 上 SFT 高 0.8 点准确率、0.9 点 F1，ATBench 的 F1（88.3）也低于 AgentDoG-Llama3.1-8B（88.8）与 GPT-5.2（90.7）；其二，AgentHazard 的 GPT-5.5 底座上 BraveGuard 保留更高召回（91.28 对 84.75）与 F1（89.22 对 84.31），说明跨底座仍需按后端校准；其三，固定测试集上 Codex 子集在 GuardPO 后下降约 1.9 点，各框架仅 47–69 条，pooled 提升'并不意味着均匀改善'；其四，NSFA 风险域覆盖不均：资源滥用召回仅 42.95%、敏感信息 69.22%，远低于恶意代码的 96.54%；其五，快速分类头严重偏向不安全检测（MLP-64 安全召回仅 41.11%），部署需阈值选择与校准。我自己的观察：生成式判定 batch size 1 均值 3.14 秒、P95 5.52 秒，作为'每次工具调用前实时拦截'的在线守护偏慢，更现实的用法是高危操作前审计或异步抽检；输出只有二元 safe/unsafe，没有风险类型与严重度分级，限制下游差异化响应（阻断、降权、人工复核应不同对待）；16K 上下文的保前缀截断会丢掉轨迹尾部事件，而 ATBench 式延迟触发的风险恰恰常出现在后段；标签判定完全依赖适配器忠实保留工具参数与观察，若框架日志本身缺失语义信息则监督会有噪声；CUA-EXEC 与训练共用同一套基础设施，虽有案例级留出，但执行风格上仍可能与四个外部基准存在分布耦合，跨框架优势有多大程度来自 schema 归一化本身难以完全剥离。
独立分析的弱点
弱点一：延迟与质量不可兼得。3138 ms 的生成式判定无法放进每次工具调用的热路径，而 304 ms 的 MLP-64 头安全召回只有 41.11%，意味着会误拦大量正常操作。改进方向：把 GuardPO 思想蒸馏到 1–2B 小模型，或在 analysis 生成中途当 unsafe 证据已充分时提前停止解码（早退式判定）。弱点二：输出只有二值标签，无法区分'提示注入尝试被拒绝''凭据外传''资源滥用'等需要不同响应的情形。改进：把 verdict 扩展为结构化风险类型加严重度的多标签头，分析区仍负责可审计解释。弱点三：缺少流式/增量判定，必须等轨迹累积后回看，长任务中早期风险信号要延迟很久才被发现，也浪费重复编码。改进：借鉴 Qwen3Guard 的 streaming 变体做事件级增量判定，配合状态缓存。弱点四：保前缀截断系统性保留轨迹开头、丢弃尾部，而延迟触发的风险（ATBench 强调的场景）常在尾部，截断策略本身可能制造盲区。改进：按事件风险信号或工具敏感度做选择性截断/摘要压缩。弱点五：格式错误惩罚 $\gamma=1.25$ 相对较轻，NSFA 上仍有 7 条 unparsed（占 0.1%），生产环境的格式鲁棒性应靠受限解码（强制 后只能生成 safe|unsafe）兜底而非只靠奖励惩罚。弱点六：奖励只反映判定对错，不奖励分析质量，模型可能学到'结论对但解释牵强'的捷径，削弱可审计性这一卖点。
未来方向
作者明确提出的方向：把 GuardPO 与跨框架监督扩展到更多智能体框架和更长的多轮轨迹；针对后端特异性（如 GPT-5.5 底座上的召回缺口）做校准；补强弱覆盖风险域（资源滥用 42.95%、敏感信息 69.22%）的训练数据配比；为快速头做阈值选择与概率校准（MLP-256 AUROC 0.9065 说明排序质量好，缺的是好阈值）。基于本文成果可延伸的研究：其一，奖励设计上引入组内相对优势（GRPO 式）或难例课程，让判错与格式错的 rollout 获得更细粒度的梯度信号，而不是统一的 $-1$/$-1.25$；其二，把执行接地监督扩展到多模态证据（截图、DOM 快照），覆盖视觉计算机使用智能体；其三，做'守护—智能体'对抗演化分析：当智能体学会用守护模型不易归一化的格式包装行为时，跨框架适配器是否仍是稳健防线；其四，风险感知干预策略——把 verdict 概率与操作不可逆性（如不可撤销的外发请求）结合，决定放行、降权、二次确认或人工复核，把守护模型从分类器升级为策略组件；其五，把长度不变性思想推广到其他'解释长度与决策耦合'的生成式分类任务，如内容审核、医疗分诊、合规审查，检验 Proposition 1 背后原理的普适性。
复现评估
复现条件总体较好。代码、模型与评测工件承诺在项目页（yunhao-feng.github.io/HazardAuditor）开源。底座 Qwen3Guard-Gen-8B 公开可下载；SFT 基于 LLaMA-Factory 0.9.5.dev0，GuardPO 基于 VERL 0.7.0.dev0，配套 Python 3.10.13、PyTorch 2.8.0、Transformers 4.57.1、vLLM 0.11.0、Ray 2.50.1，全部是公开主流栈；Table V 完整列出超参（SFT：10 epochs、batch 16、lr $5\times10^{-6}$、$K_{ver}=12$、$\omega_{SFT}=4$；GuardPO：32 提示 × 8 rollouts、lr $2\times10^{-7}$、$\epsilon=0.1$、$\lambda_{ver}=2$、$\gamma=1.25$、温度 0.5、top-p 0.9），推理协议也完全明确（贪心、384 token、16K 上下文、统一解析器）。算力门槛：两阶段均在单节点 8×A100 完成，属中型实验室可负担范围。数据方面：AgentHazard、ATBench、R-Judge、ASSE-Safety、NSFA 等外部基准均有公开版本，迁移结果容易独立验证；主要不确定性在 CUA-EXEC——需要自行部署并运行 Claude Code、Codex、Hermes、OpenClaw 于受控环境并维护四个适配器，其开放程度与可复现性取决于基建代码是否随之发布。综合评级：拥有 8 卡 A100 与智能体运维经验的团队难度中等；只复现外部基准部分则明显容易。
论文图表
左侧为 228 条固定 CUA-Exec 测试集上 SFT 与 GuardPO 在四个框架（N=69/47/58/54）的表现对比：GuardPO 在 Claude Code、Hermes、OpenClaw 大幅提升但 Codex 略降；右侧为质量—延迟前沿散点（对数横轴）：生成式 HazardAuditor 约 3138 ms/宏 F1 88.12，MLP-64 约 304 ms 但宏 F1 69.63，Linear、MLP-128、MLP-256 分布其间。
把附录 F 的不均匀改善与附录 G 的部署权衡放在一张图里，直接回答'这篇方法离线上线还有多远'——生成式质量与延迟的 10 倍差距是部署决策的核心事实。
主结果表：单个 HazardAuditor 模型在四个框架各 200 条平衡轨迹上的准确率、宏 F1、宏召回、宏精确率。HazardAuditor 四框架准确率 94.00/95.50/86.50/87.50，全部指标第一；对照包括通用守护（LlamaGuard3-8B、Qwen3Guard-Gen-8B、NemoGuard、YuFeng-XGuard）、前沿 LLM 裁判（Claude-Sonnet-4.6 最好达 94.00 但整体不稳定）、智能体守护（BraveGuard 81.50/91.50/77.00/71.00），以及自身的 SFT 版（82.00/91.00/75.00/74.00）。
论文最重要的证据表：既证明跨框架泛化（对最强此前守护最高 +16.5 点），也通过 SFT 行证明 GuardPO 后训练的独立贡献，还显示部分通用守护（AgentDoG1.5-4B 低至 10.50%）在此场景完全失效。
在 AgentHazard 基准上按四种底座（GPT-5.5、Claude Sonnet 4.6、Gemini 3.1 Pro、Qwen3-235B-A22B）评测：HazardAuditor 在三个底座上准确率最高（84.03/85.55/89.73），在三个底座上 F1 最高（85.98/95.07/92.51）；即插即用守护（LlamaGuard3-8B 召回低至 0.53%）在此失效，BraveGuard 在 GPT-5.5 底座上保留更高召回 91.28 与 F1 89.22。
证明监督迁移性：HazardAuditor 的优势不局限于自家基建产出的轨迹，在四个不同底座智能体产生的外部轨迹分布上同样领先，同时如实呈现 GPT-5.5 底座上的召回权衡。
三个完全未参与训练的轨迹基准上的完整对比，含准确率、精确率、召回率、F1：闭源模型（GPT-5.2、Gemini-3 系列）、开源模型、12 个守护模型与本文两版。HazardAuditor：R-Judge 89.6/91.5/88.4 准确率，ASSE-Safety 91.5 全面最佳，ATBench 88.4 准确率守护最佳；同时暴露 Qwen3-Guard（ATBench 精确率 100%/召回 10.8%）、ShieldGemma（R-Judge 100%/1.0%）等高精确低召回失效模式。
最全面的外部验证表：既给出正面结果，也保留了 R-Judge 上 SFT 优于 GuardPO（90.4 对 89.6）等反例，是评估跨分布鲁棒性与诚实的核心依据。
GuardPO 相对 SFT 的分来源消融：AgentHazard 准确率 86.64→87.55（+0.91）、ASSE-Safety 90.90→91.50（+0.60）、ATBench 86.20→88.40（+2.20）、R-Judge 90.40→89.60（−0.80）、CUA-EXEC 80.50→90.88（+10.38）；F1 侧 CUA-EXEC +10.68、总体 +2.89。
定量回答'两个贡献各值多少分'：执行接地数据本身已追平最强基线，GuardPO 再加约 10.4 点且集中于行为证据丰富的场景；R-Judge 的负值也一并呈现，是判断方法边界的最直接证据。
完整训练超参表：SFT（初始化 Qwen3Guard-Gen-8B、10 epochs、全局 batch 16、lr 5×10⁻⁶、cosine 调度、verdict 尾 token 12、权重 4.0、teacher forcing）与 GuardPO（1 虚拟 epoch、32 提示 256 回复、8 rollouts/提示、lr 2×10⁻⁷ 恒定、采样 T=0.5 top-p=0.9、verdict 权重 2.0、ε=0.1 隐含于正文）；两者共享 16K 提示长度、384 响应长度、贪心评测解码。
复现此工作的一站式配置清单，所有关键设计选择（判定 token 上权、rollout 数、学习率量级）都在这里，跳过它就无法准确复现 Table I 的数字。
228 条固定（自然不平衡）CUA-Exec 测试子集上的逐框架表现：SFT pooled 准确率 76.75/Macro-F1 76.75，GuardPO 后 88.16/87.76；分框架看 Claude Code 79.71→92.75、Hermes 70.69→86.21、OpenClaw 66.67→83.33 大幅提升，Codex 91.49→89.36 反而下降。
提供了不靠分层抽样的'天然'检验：pooled +11.4 点的总体提升掩盖了 Codex 的退步，这张表是理解'GuardPO 改善地板而非单调取胜'这一细微结论的原始数据。
五个推理变体的质量—延迟对照：Linear（63.56 准确率/47.47 宏 F1/安全召回 10.28/305.79 ms）、MLP-64（75.02/69.63/41.11/303.99 ms）、MLP-128、MLP-256、生成式 HazardAuditor（88.46/88.12/安全召回 88.14/3138.10 ms，P95 5522.97 ms）；快速头 unsafe 召回均超 97% 但严重偏向报警。
把'可审计生成式分析'的实际代价量化：约 3.1 秒 vs 0.3 秒的 10 倍差距，以及快速头只能当预筛器的结论，是部署架构设计（预筛+复核两级）的直接依据。
四个快速头的概率质量指标：AUROC 从 Linear 0.8744 到 MLP-256 0.9065 递增；Brier 与 ECE 则是 MLP-64 最好（0.1794/0.1871），更大的头反而校准更差（MLP-128 ECE 0.2331）。
说明快速头的排序质量（AUROC ~0.9）显著好于固定阈值下的表现，问题在于校准而非表征——这为'选好阈值仍可低成本预筛'的乐观结论提供了依据，是 Table VII 的重要补充。