基于失败轨迹的在线策略自进化：智能体安全对齐方法 On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment

FATE 的完整步骤可总结为五步。**Step 1 失败采集**：把当前策略 $\pi_{\theta_t}$ 在开发集 $B_{dev}$ 上 rollout，得到失败集 $F_t=\{f_i=(x_i, a_i, z(x_i,a_i)) : a_i \sim \pi_{\theta_t}(\cdot|x_i), z(x_i,a_i)\text{ 违反至少一条目标}\}$，其中四维权衡向量 $z(x,a)=(z_{sec}, z_{util}, z_{or}, z_{ctrl})$ 分别来自环境状态/基准成功谓词（可执行任务）或规则/诊断标签（不可执行任务）。**Step 2 修复提示构造与同策略提议**：对每个 $f$ 构造 $p_f=\text{Prompt}(x, a, z(x,a))$，让同一个 $\pi_{\theta_t}$ 在 $p_f$ 上采样 $K$ 条候选 $a'_k \sim \pi_{\theta_t}(\cdot|p_f)$，得到提议分布 $q_t(a'|f):=\pi_{\theta_t}(a'|p_f)$，这步输出是带打分的多候选集合 $C_z(f)=\{(a'_k, z(x,a'_k))\}_{k=1}^K$。**Step 3 Pareto 前沿监督构造**：先按任务模式 $\tau$ 的保护阈值 $\kappa_\tau=(\kappa_{util}, \kappa_{or}, \kappa_{ctrl})$ 做可行性过滤得到 $F_\tau(f)$（公式 9），再在可行集内做 Pareto 投影得到 $PF(f)$，最后用 $r_{PF}(x,a')=\sum_{m=1}^4 w_m z_m - \lambda\max_m(w_m(1-z_m))$（公式 10）做仅在 Pareto 前沿内的 tie-breaking，由此得到验证器筛选的监督分布 $q_t^\star(a'|f) \propto \mathbf{1}[a'\in PF(f)]\exp(\beta r_{PF}(x,a'))$（公式 11）。**Step 4 监督采样与 SFT 暖启动**：从 $q_t^\star$ 采样或取 top 候选构造修复回放缓冲 $R_t=\{(p_f, a^\star, z(x,a^\star))\}$，然后最小化 $\mathcal{L}_{SFT}(\theta) = -\mathbb{E}_{(p_f,a^\star)\sim R_t}\log\pi_\theta(a^\star|p_f)$，注意损失只在修复轨迹 token 上计算、提示 token 被 mask，等价于把策略投影到 $q_t^\star$ 上。**Step 5 PFPO 优化**：在 $p_f$ 上让当前策略采 $G$ 条 completion $a_1,...,a_G \sim \pi_\theta(\cdot|p_f)$，按 $r_{PF}$ 重评分后计算组相对优势 $APF_i = r_{PF}(x,a_i) - \frac{1}{G}\sum_j r_{PF}(x,a_j)$，最后最大化 $\mathcal{L}_{PFPO}(\theta)=-\mathbb{E}[\min(\rho_i APF_i, \text{clip}(\rho_i, 1-\epsilon, 1+\epsilon)APF_i) - \beta KL]$，其中 $\rho_i=\pi_\theta/\pi_{\theta_{old}}$。**Step 6（可选）迭代**：用更新后的 $\pi_{\theta_{t+1}}$ 重新做 Step 1-5，重复 $T$ 轮，让 $q_t^\star$ 跟随 $\pi_{\theta_t}$ 的演化而刷新。

从技术新颖性角度看，FATE 的贡献可以拆成四点逐项评估。第一，把失败轨迹从'诊断对象'转化为'监督来源'——以往 AgentDojo/AgentHarm/ATBench 主要用作评估器，Reflexion 等仅在推理时做 verbal reflection，行为克隆则会模仿不安全动作；FATE 是第一个把这三类基准的 verifier 信号直接接进策略更新循环的工作。第二，'同策略 + 验证器筛选'的解耦设计——同策略保证修复贴近自身失败分布（论文图 2a 显示原始修复有 24% 仍不安全、25% 模糊、18% 拒绝一切、30% 不完整），验证器再评分保证标签独立于生成（图 2b 显示筛选后四项分数从 0.44/0.47/0.58/0.68 显著提升且更平衡），这种'生成与标签解耦'是相对自训练/RLAIF 的关键创新。第三，把 Pareto 多目标选择从 RL 经典文献引入 agentic 对齐场景——传统 RLHF 标量化会诱导拒绝一切，而 FATE 用可行性过滤 + Pareto 投影 + front-only tie-breaking 三层组合显式保护效用和过度拒绝维度，并在 ablation 表 5 中分别验证三者各自贡献：去掉 verifier 再评分 ASR 从 0.540 涨到 0.621，去掉 over-refusal 目标 HCR 退步，去掉 Pareto 选择 ASR 涨到 0.586。第四，把'同策略 + 多目标 Pareto + SFT/PPO 两阶段'组合成可迭代的封闭循环——这一点论文在图 3 中用 5 轮 Qwen3-8B 实验量化展示了渐进提升（ASR/HCR 单调下降、TSR/VRR 单调上升），证明监督分布确实在随策略演化。综合来看，FATE 在'把自身失败当作结构化监督'这一具体技术路径上的新颖性高于其各组件本身的新颖性，是典型的组合性创新。

独立分析论文可改进的弱点有以下几条。**弱点 1：verifier 单一来源风险**——FATE 的所有多目标分数 $z=(z_{sec}, z_{util}, z_{or}, z_{ctrl})$ 都来自同一套 verifier（环境 success predicate 或模型判定），当 verifier 在某类任务上失灵时，$q_t^\star$ 会系统性偏向 verifier 的盲点；改进方向是引入 verifier ensemble（如多个 LLM judge + 规则 + 环境反馈）以降低单点失效风险，并在 ablation 中报告 verifier 噪声对最终指标的敏感度。**弱点 2：同策略候选多样性受限于单次 rollout**——修复候选 $a'_k$ 都是从同一 $p_f$ 上的同策略采样，K=8 时多样性不足（论文图 2a 显示原始修复中 24% 仍不安全），改进方向是引入温度调度、多样性奖励（如 Self-BLEU 惩罚）或基于种子的多模态候选。**弱点 3：可行性阈值 $\kappa_\tau$ 需要任务级调参**——$\kappa_{util}, \kappa_{or}, \kappa_{ctrl}$ 三个保护阈值按任务模式 $\tau$ 设定，跨任务迁移不直接，改进方向是学习这些阈值（例如从验证集上 Pareto 曲线的拐点自动确定）或用 LLM 直接给出'可接受修复'的偏好。**弱点 4：迭代效率随轮次边际递减**——虽然图 3 显示 5 轮单调改善，但 R4→R5 的 ASR 改善幅度（从约 15% 到 13.2%）已明显小于 R1→R2，且 verifier 成本按轮次线性累加；改进方向是引入 early stopping 或基于改进幅度的动态轮数。**弱点 5：缺少对失败类型的分层分析**——论文统一把所有失败喂给同一框架，但'注入指令'和'有害请求'的修复机制差异较大，未报告 per-category 指标在 Pareto 筛选前后的变化（附录 G 仅给出 per-category 结果），改进方向是对不同失败类型分别训练子策略或分别调权重 $w_m$。**弱点 6：与同期多目标 RL 直接对比不足**——表 3 的 baseline 多为 prompt-level 或 runtime 方法，没有与 MORL、Pareto Q-learning 等多目标 RL 算法在相同 agentic 设置下对比，难以判断 Pareto-front 设计本身带来多少增益。

**作者提出的方向**：论文在结论与正文讨论中隐含了若干延伸——把 FATE 推广到更长程（multi-day）智能体任务、与人类反馈联合使用（verifier 不可靠的部分由人兜底）、以及把 Pareto 权重 $w_m$ 从固定改为可学习。**基于成果可延伸的方向**：(1) **Verifier 进化**——把 verifier 自身也做成可被 FATE 优化的对象，形成 verifier-policy 的协同进化博弈；(2) **跨任务迁移**——论文仅在 AgentDojo/AgentHarm 上训练、ATBench 上外推，可以尝试把 $R_t$ 跨基准共享，研究'修复迁移'的极限；(3) **多模态与具身智能体**——当前评估全部在文本/工具调用智能体上，把 $z_{ctrl}$ 拓展到具身轨迹（视觉/动作一致性）能直接落地到机器人安全；(4) **在线 verifier 蒸馏**——把昂贵的 verifier 重评分蒸馏成轻量分类器，作为下一轮 $q_t^\star$ 的快速近似，降低每次迭代的 verifier 成本；(5) **失败归因到具体 token/step**——目前 $z(x,a)$ 是轨迹级向量，可细化到 step-level，从而构造更细粒度的修复（只改坏的那一步而非整条轨迹）；(6) **鲁棒性评估**——论文主要评估自然分布下的失败率，可以补充对抗性 verifier 攻击或对抗性 prompt 注入的鲁棒性曲线；(7) **与宪法式 AI（Constitutional AI）结合**——把 $w_m$ 与人类/法律原则绑定，使 Pareto 前沿具备可解释的伦理约束而非纯统计优化。

**开源与代码**：论文提到有 Project Page 和 GitHub 链接（首页给出），但从摘要文本未读到具体的仓库地址或 commit hash，需要进一步在论文附录或补充材料确认。**数据**：所有训练在 AgentDojo、AgentHarm 的 $B_{dev}$ split 上完成，$B_{test}$ 完全 held-out，ATBench 仅做外部评估且完全不使用其轨迹参与训练；split 划分细节需在附录中查证。**算力**：所有策略更新使用 LoRA（论文明确给出），具体 LoRA 秩、超参与 batch size 在附录 F 中给出；训练量在 5 个开源骨干 × 多尺寸（最小 0.6B、最大 32B）上完成，单次完整跑通至少需要 6×A100 量级，PFPO 阶段因每 prompt 采 G 条 completion 且 verifier 调用按 $|F_t|\times K$ 线性增长，总成本不低。**复现难度评估**：(1) verifier 复现——AgentDojo/AgentHarm 是开源基准，环境重置与 success predicate 可直接复用，复现难度低；(2) Pareto 选择逻辑——公式 8-11 实现简单但阈值 $\kappa_\tau$ 需要按任务模式调，复现难度中；(3) PFPO 优化——公式 17 是序列级优势 + token 级 KL 惩罚的 PPO 变体，需要在 OpenRLHF/trl 等框架上定制，复现难度中–高；(4) LoRA SFT/PFPO 的稳定性——优势归一化、裁剪阈值、KL 系数均敏感，可能需要多 seed 实验（论文报告 3 seed 平均）；(5) 跨骨干训练——5 个不同家族（Qwen3/Llama-3.1/Ministral-3/Gemma-3/Phi-4-reasoning）的 tokenizer、chat template、特殊 token 不同，需要对每个骨干分别适配 prompt 模板（附录 B 给出了具体模板）。综合而言，**主线结果（表 1、表 3）复现难度中等偏低**（有开源 verifier + 论文明确超参），**完整 5 轮迭代与 ATBench 评估（表 2、图 3、表 4）复现难度中高**（涉及多骨干、多 seed、长程评估）。