AgentForesight：多智能体系统早期失败预测的在线审计 AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems

完整流程包含数据构造和模型训练两条主线。数据构造主线：(1)轨迹收集——在AutoGen/MetaGPT/Smolagents三种框架上跑MATH-500/HumanEval+/MBPP+/GAIA/HotpotQA五种任务，得到按 $\Omega$ 切分的 $\mathcal{D}_{succ}$ 和 $\mathcal{D}_{fail}$。(2)安全轨迹过滤——三阶段二元谓词 $\phi_{outcome}$(严格结果等价)、$\phi_{integrity}$(无无效工具调用)、$\phi_{coherence}$(LLM-judge检查每turn子目标对齐)同时为1才进 $\mathcal{D}_{safe}$，否则剔除，避免下游agent偶然恢复掩盖中间错误。(3)失败轨迹构造——构造性流从 $\mathcal{D}_{safe}$ 采样 $k_{inj}$ 和故障类别 $c\in\mathcal{C}$，按 $\pi_{fault}(\cdot|\tau_{0:k_{inj}-1},c)$ 生成错误turn $\tilde{t}_{k_{inj}}$，重roll得 $\tilde{\tau}$，过滤掉 $\Omega(\tilde{\tau})=1$ 和未真实修改的样本，进 $\mathcal{D}^{inj}_{fail}$；诊断性流用P个proposer对 $\tau\in\mathcal{D}_{fail}$ 提候选步，再用V个verifier沿 $s_{exists}/s_{substantive}/s_{decisive}/s_{earliest}$ 四准则做支持计数 $\sum_j\prod_r s_r^{(j)}\geq\lfloor V/2\rfloor+1$，取最高支持候选进 $\mathcal{D}^{nat}_{fail}$。(4)合并为AFTRAJ-2K($\sim$2.3K轨迹，$D_{safe}\cup D_{unsafe}$)。模型训练主线：(5)Stage 1 BPPO——对每条 $(\tau,k^*,a^*)\in\mathcal{D}_{unsafe}$ 构造两个边界提示：$x_{BS}=\tau_{0:k^*-1}$ 期望CONTINUE，$x_{BE}=\tau_{0:k^*}$ 期望ALARM@$k^*,a^*$；rollout采样解析verdict后形成 $\mathcal{D}_{BS}\cup\mathcal{D}_{BE}$，用 $\mathcal{L}_{BPPO}=-\sum_c\mathbb{E}\log\sigma(\beta\Delta_\theta)$ 联合优化，超参 $\beta=0.1$、学习率 $5\times 10^{-7}$、3 epoch，得到 $\pi_{\theta_1}$。(6)Stage 2 GRPO——rollout产出结构化verdict ...$\hat{y}$，按三轴打分：结构轴 $G(\hat{y})$ 校验schema/JSON/grounding；时序轴 $r_{step}=\exp(-(\hat{k}-k^*)^2/2\sigma_{step}^2)$；因果轴 $r_{agent}$ 精确匹配得1、不匹配部分给分；组成 $R(\hat{y},y^*)=G\cdot R_{content}-\eta_G(1-G)$，其中 $R_{content}$ 对正确ALARM返回 $w_s r_{step}+w_a r_{agent}$(权重和为1)、正确SAFE返回+1、跨类错误返回-1；用GRPO目标 $\mathcal{L}_{GRPO}=-\mathbb{E}[\min(\rho A,\text{clip}(\rho,1\pm\epsilon)A)]+\beta_{KL}\hat{D}_{KL}(\pi_\theta\|\pi_{\theta_1})$ 优化，参考策略锚定 $\pi_{\theta_1}$，组大小 $G=8$、$\beta_{KL}=10^{-3}$、学习率 $10^{-6}$，用低方差k3 KL估计器减少长轨迹rollout梯度噪声，最终得到AgentForesight-7B。推理时对每前缀 $\tau_{0:k}$ 用greedy decoding跑一次，得到CONTINUE/ALARM@$\hat{k}$、$\hat{a}$。

技术新颖性主要体现在四个层面。第一，问题形式化的重塑——把 $\hat{y}_{post}=f_{post}(\tau)$ 重写为per-step $\hat{y}_k=f_{online}(\tau_{0:k})$，并证明直接套用 $f_{post}$ 在前缀约束下不合法(因为 $f_{post}$ 训练时假设 $\Omega(\tau)=0$)，这是论文形式化上的根本贡献。第二，BPPO的边界对设计——把'安全-不安全'判别压缩为'仅差一步'的DPO对，并在BS/BE两个子集上联合优化，是把'风险预期'注入模型内部表征的新方法，作者在Figure 3的ablation中证明Stage 1单独即可把Exact-F1从21.1拉到35.6。第三，三轴奖励与类对称设计——把what(G)、where($r_{step}$高斯)、who($r_{agent}$)三轴耦合成 $\pm 1$ 对称奖励，既保证对正确ALARM/SAFE都给正梯度，又通过 $-\eta_G(1-G)$ 在训练早期保留对格式违反的梯度信号，避免单阶段RL的'全SAFE塌缩'。第四，AFTRAJ-2K的两路失败构造——构造性流(受控注入)+诊断性流(multi-judge propose-and-verify投票)互补覆盖，避免单流偏置。这四点合起来产生一个经验上非常强的现象：仅7B参数的AgentForesight-7B在AFTRAJ-2K上Exact-F1=66.44(比DeepSeek-V4-Pro高19.88)，在Who&When上Step-Acc=57.69(比GPT-4.1高19.59)，且FAR仅2.4%，唯一进入部署可行区的审计器。

独立分析的弱点集中在四个具体场景。其一，AFTRAJ-2K仅约2.3K轨迹，相对训练7B+参数的RL审计器属于小样本，构造性流通过故障注入增广虽能扩大数据量但可能引入分布偏置(注入错误≠真实错误)，改进方向是用更多真实失败轨迹补充诊断性流或采用主动学习让人标注高价值样本。其二，审计器只消费content层面的turn文本，看不到agent的内部状态(隐藏prompt、chain-of-thought、tool arguments完整schema)，对'隐性错误'(如静默篡改前提)天然不敏感，改进方向是接入agent执行的中间trace(类似OpenTelemetry)或对agent本身做probe。其三，Stage 1 BPPO用DPO类对比学习但chosen/rejected来自rollout而非人工标注，可能在边界附近产生低质量对(比如两个rollout都正确但verdict不同)，改进方向是引入裁判LLM对rollout二次过滤或换成KTO/IPO类对噪声更鲁棒的偏好目标。其四，推理时对每前缀跑一次LLM，多步轨迹累积开销显著(假设20步轨迹即20次7B前向)，改进方向是设计触发式检查(只在边际不确定性高时调用)或训练更小(<1B)蒸馏版审计器部署在边缘。

作者在Conclusion中指出框架开启'从后验诊断到运行时干预'的闭环，相应未来方向有三。第一，把ALARM直接接到重roll/重试/降级策略上，构成完整的运行时安全栈——例如ALARM@$k^*$时回滚到 $\tau_{0:k^*-1}$ 重新规划或切到人类审批流程，论文中已铺垫但未实验。第二，扩展到多模态agent(带视觉/音频输入)和更长程任务(>50步)，需要重新设计三轴奖励的时序项 $r_{step}$ 容忍更大的步偏移。第三，借鉴作者提出的部署可行区思想，把FAR-Step-Acc曲线推广为统一的审计器benchmark指标，建立社区可复现的对比协议。基于成果可延伸的方向：把粗到细范式移植到其他'逐步决策'任务(如机器人控制中的早期异常检测、对话系统中的安全越界拦截)；把AFTRAJ-2K的'构造+诊断'流水线推广到任意需要带定位标签的安全数据集构造；探索7B审计器+更小student的蒸馏，让在线审计能在大规模部署中跑得起。

复现评估在数据、算力、代码三个维度需注意。数据方面，论文给出AFTRAJ-2K的完整构造流水线(图2a)和三阶段过滤公式 $\mathcal{D}_{safe}=\{\tau\in\mathcal{D}_{succ}:\forall j\in\mathcal{F},\phi_j(\tau)=1\}$，以及四准则multi-judge共识 $\sum_j\prod_r s_r^{(j)}\geq\lfloor V/2\rfloor+1$ 的判定标准，附录B.3还承诺了源级细节，但论文正文未明确AFTRAJ-2K是否公开下载——复现需联系作者或自行重跑构造。算力方面，Stage 1 BPPO用verl[46]框架在2×NVIDIA H200上训练(学习率 $5\times 10^{-7}$、3 epoch、$\beta=0.1$)，Stage 2 GRPO用vLLM加速rollout(组大小 $G=8$、$\beta_{KL}=10^{-3}$、学习率 $10^{-6}$、2×H200)，评估用greedy decoding对每前缀跑全轨迹，相对其他RL论文门槛适中但仍需多卡H200。代码方面，verl和vLLM均开源，但论文未给出完整训练脚本仓库链接(附录A承诺提供伪代码)，需要复现者自行整合。基础模型Qwen2.5-7B-Instruct已公开。整体复现难度中高：算法原理清晰，但缺少一站式代码库+数据公开是主要障碍。