Dream2Discern：从困难隐空间变体学习的多智能体运行时故障预测

用预测损失引导的算子扰动构造困难隐变体，免新轨迹提升运行时故障预测

前置知识

LLM 多智能体系统与轨迹

多个由 LLM 驱动的智能体（如编码者、测试者、浏览器）通过通信与工具调用协作完成任务。一次完整执行记录为轨迹 $\tau_i=(c_i,u_{i,1},\dots,u_{i,T_i})$，$c_i$ 是任务上下文，$u_{i,t}$ 是来自智能体、用户、工具或环境的消息/动作/观察，终止结果 $Y_i\in\{0,1\}$ 标记成败。

本文的审计对象就是这类轨迹的前缀，理解轨迹的逐步结构是理解运行时预测问题的前提。

运行时故障预测审计器

在执行尚未结束时，审计器只观测前缀 $\tau_{i,\le t}$，每步输出失败分数 $s_{i,t}=f_\Theta(X_{i,t})\in[0,1]$，经阈值判决预测最终成败，以便及时干预。难点在于未来交互、终止步数 $T_i$ 与真实结果 $Y_i$ 在预测时均不可见。

这是论文的核心问题设置，Dream2Discern 本身就是一个运行时审计器。

LoRA 低秩适配

冻结预训练权重 $W^0$，用可训练低秩因子近似权重更新：$W_j(a)=W^0_j+\kappa_L B_j A_j$，$B_jA_j$ 秩很小，$\kappa_L$ 为缩放。由于 $B_jA_j=(cB_j)(A_j/c)$，算子级扰动预算对因子重缩放不变。只训练适配器即可高效微调大模型。

Dream2Discern 的可训练参数正是 q/v 投影上的 LoRA，Dream 步的扰动也施加在这些有效权重上。

截断 SVD 与低秩近似

对矩阵 $C$ 做 SVD $C=P\Sigma Q^\top$，只保留最大的 $r$ 个奇异分量，得到 Frobenius 范数意义下最优的秩不超过 $r$ 的近似 $C_r$。秩帽 $r$ 限制了每个投影扰动的输出位移方向数，同时大幅降低搜索空间。

Dream 步求解最优扰动的核心计算就是对缩放损失梯度做秩 $r$ 截断 SVD。

损失引导的对抗式扰动

与梯度下降降损失相反，这里对固定模型沿 $\nabla_V\mathcal{L}_B$ 方向施加有界扰动以升高损失，即求解 $\max_{V\in\mathcal{U}_{\gamma,r}}\mathcal{L}_B(\Theta,V)$。由此产生的困难变体再用于训练，思想接近对抗训练与课程学习。

这是 Dream 步的本质：预测损失同时充当训练目标与构造困难样本的准则。

AUROC / FPR95 / wACC / TWA

用每条轨迹非终止步的最大前缀分数做聚合：AUROC 衡量成败判别力；FPR95 是 95% 失败召回率下的假阳性率；wACC 是按真实类别比例的轨迹级加权准确率；TWA 是时间加权准确率，奖励更早发现失败并计入漏检与误报。阈值按名义误报水平 $\alpha$ 校准。

论文所有实验结论都用这四个指标表述，读懂它们才能比较数字优劣。

研究动机

现有学习型运行时审计器（TRACES、AgentForesight 等）依赖有限的、经结果验证的轨迹语料训练。扩充语料的两条路实测都走不通：其一，收集新轨迹需要智能体 rollout 加结果验证，对 AFTraj-2K 约 2K 条轨迹的测量显示平均获取时间达每条数十秒（如 GAIA 域平均 107.4 秒），反复扩张不可持续；其二，编辑已录轨迹虽复用历史，但改动一个动作或工具响应后恢复执行，续写结局会漂移——作者实测 326 条验证续写中，源自失败轨迹的续写有 85.7% 最终成功，原标签无法复用。更根本的是，两条路都不提供任何准则来判断哪些前缀是当前审计器觉得难以分类的；固定训练预算下，把验证过的编辑样本加进训练（+Edited）反而使 held-out 类平衡 BCE 从约 0.520 升到约 0.578，没有带来增益。

本文的目标是本文目标是在不新增任何标注轨迹（不做 rollout、不做结果验证）的前提下，识别并利用当前审计器自身的困难样本，提升运行时故障预测。具体做法：把当前审计器觉得难形式化为批预测损失，搜索能使记录前缀上批 BCE 损失上升的表示算子扰动，把扰动后的前缀表示当作困难隐式变体，保留原始输入与结局标签训练；Dream（构造变体）与 Discern（从变体学习）交替进行，使困难样本随审计器进化而再生。工程目标是训练一个参数高效的运行时审计器，在 AFTraj-2K 与 StepShield 上达到 90% 以上轨迹级加权准确率，并兼顾失败检测的及时性。

与已有工作不同的是，与扩大外部数据的路线正交，本文的切入是审计器相关的隐式增强：困难样本不来自新轨迹或编辑文本，而来自扰动审计器自身表示计算（q/v 投影权重）在隐空间产生的变体。关键洞察是把预测损失一物两用——它既是 Discern 的训练目标，又是 Dream 中选择扰动的准则。由于变体只存在于暂时扰动的前向计算中，输入与标签始终有效，绕开了编辑导致的标签失效问题。变体随每次参数更新重新生成，形成可再生的困难样本源；这也是与随机扰动或一次性数据增强的本质区别——搜索方向由当前模型的梯度决定，天然瞄准其当前弱点，而非盲目追求覆盖面。

核心方法

直觉：与其花大价钱收集更多轨迹，不如先弄清当前审计器在哪些表示上容易出错，再围绕这些弱点训练。架构上，审计器为 $f_\Theta(X)=\sigma(g_\psi(h_{\phi_0,a}(X)))$：冻结的预训练 LLM（如 Qwen3-8B，权重 $\phi_0$）编码前缀，从固定中间层后对 q/v 投影接入 LoRA（参数 $a$），取最后 token 隐状态经小分类头 $g_\psi$ 输出失败分。训练在类平衡批（成功/失败各 $m$ 条前缀）上交替两步：Dream 步冻结 $\Theta$，在相对 Frobenius 半径 $\gamma$、每投影秩不超过 $r$ 的集合 $\mathcal{U}_{\gamma,r}$ 内搜索共享扰动 $V$ 使批损失 $\mathcal{L}_B(\Theta,V)$ 上升，得到困难隐式变体；Discern 步冻结返回的 $\hat V_B$，对扰动后的批损失做一步梯度更新，只改 LoRA 与分类头。运行时丢弃扰动：每个观测前缀打分并与按步校准阈值 $\zeta_t$ 比较，每步仅一次前向。

核心创新是把什么样本对当前模型难变成可求解的优化问题：在 $\mathcal{U}_{\gamma,r}=\{V:\|V\|_\omega^2\le\gamma^2,\ \mathrm{rank}(V_j)\le r\}$ 内最大化 $\mathcal{L}_B(\Theta,V)$，$\omega_j=\|W^0_j\|_F$ 为冻结投影范数。Proposition 1 证明一阶最优扰动为 $V^{\mathrm{lin}}_j=\gamma\,\omega_j C_{j,r}/g_r$：$C_j=\omega_j G_j$ 为缩放损失梯度，$C_{j,r}$ 是其秩 $r$ 截断 SVD，$g_r$ 为保留范数。Proposition 2 给出 $\mathcal{L}_B(\Theta,\hat V_B)-\mathcal{L}_B(\Theta,0)-\rho_B g_r\le\beta\rho_B^2$，把困难程度定量归结为模型敏感度 $\rho_B g_r$。与轨迹编辑不同：变体只存在于暂时扰动的前向计算中，输入与标签不变，且随审计器更新再生，天然瞄准其当前弱点。

方法步骤详情

流程四步。① 组批：从训练轨迹抽每类 $m$ 条前缀构成类平衡批 $\mathcal{B}$，输入与标签全程不变。② Dream：固定 $\Theta$，对 q/v 投影有效权重 $W_j(a)=W^0_j+\kappa_L B_jA_j$ 施加扰动；算梯度缩放得 $C_j=\omega_j G_j$，做秩 $r$ 截断 SVD 组装候选 $V_B$；逐次减半、最多 6 次前向，接受首个使损失严格上升的步长 $\lambda_B$，返回 $\hat V_B$ 与半径 $\rho_B$。③ Discern：固定 $\mathrm{sg}[\hat V_B]$，最小化 $\mathcal{L}_B(\Theta,\mathrm{sg}[\hat V_B])$，更新 LoRA 适配器与分类头。④ 运行时：对观测前缀算失败分 $s_{i,t}$，按阈值 $\zeta_t$ 判决 $\hat Y_{i,t}$；$\zeta_t$ 离线用成功轨迹按百分位/max-rank 校准（$\alpha=0.05$）。整体为 100 步热启动加 4 epoch Dream-Discern 交替。

技术新颖性

新颖性有四点。其一，困难样本来源从外部数据转向模型自身表示算子的扰动，属于隐式增强/隐空间对抗课程，免 rollout、免结果验证、免标签失效问题。其二，扰动搜索有理论支撑：Proposition 1 给出秩约束下的一阶最优解（截断 SVD），Proposition 2 把 Discern 的损失分解为无扰动损失加 $\rho_B g_r$，把难度与模型敏感度定量挂钩；消融证明该准则必不可少——四个设置中 Dream 扰动的 AUROC 全部高于随机扰动与不扰动。其三，参数高效：基座冻结，只训 LoRA 与小分类头，4B 审计器即可在 StepShield 上胜过 Claude-Sonnet-4.6。其四，与 TRACES（时序隐风险演化建模）、Hide-and-Seek（对比学习找时间结构信号）、SAFE（内部特征判失败）不同，本文回答互补问题——如何让固定语料上的训练自动瞄准当前审计器的弱点，Dream/Discern 交替使训练目标随模型能力共同进化。

**Figure 3**: Overview of Dream2Discern. ① Labeled prefixes: class-balanced batch from recorded success and failure prefixes. ② Dream: with the auditor fixed, search for shared, bounded, low-rank perturbations to its query and value projection weights that increase batch prediction loss. ③ Discern: holding the selected perturbation fixed, update the LoRA adapters and prediction head to minimize the loss on the resulting hard latent variants. ④ Runtime auditing: discard the perturbation and apply a calibrated threshold to each prefix score to predict failure during execution.

**Figure 5**: (a) Per-batch loss increase and (b) Dream sensitivity - Held-out error association.

实验结果

主实验（Table 1）：AFTraj-2K 上四项指标全部第一，Qwen3-8B 版 AUROC 95.82、FPR95 31.95、wACC 91.47、TWA 73.45；StepShield 上 4B 版 wACC 90.28、TWA 57.67 领先，比最强审计器基线 AgentForesight-7B 高 11.11 个百分点，并超过闭源 Claude-Sonnet-4.6（87.04）。跨骨干（Table 2）：Llama3.1-8B 版 wACC 91.16 亦优于 TRACES 的 88.15。消融（Table 3）：Dream 扰动 AUROC 96.21 > 随机 94.60 > 无扰动 93.65（Qwen3-8B），四个设置均以 Dream 最高。机制（Figure 5）：按 Dream 敏感度五分位，错误率从 4.4% 单调升至 51.1%。案例（Figure 6）：环境 step 9 才报错，模型在错误步 step 7 即预测失败。成本侧：每条轨迹 rollout+验证达数十秒（GAIA 107.4s），编辑续写 85.7% 失败源转成功。

**Table 1**: Main comparison on AFTraj-2K and StepShield. The best and second-best results in each column are shown in bold and underline.

**Table 2**: Comparison on Llama backbones.

**Table 3**: Ablation on the perturbation strategy.

**Figure 4**: Detection accuracy–timeliness trade-offs for Qwen3-8B. Markers denote α = 0.05.

**Figure 6**: Case study of runtime failure prediction on a held-out coding trajectory from AFTraj-2K.

查看结构化数据

任务	指标	本文	基线	提升
AFTraj-2K 轨迹级故障判别（域内）	wACC↑	91.47±0.17（Qwen3-8B）	88.76±1.14（H&S-Qwen3-4B，次优）	+2.71
StepShield 轨迹级故障判别（模板级域外）	wACC↑	90.28±0.46（Qwen3-4B）	79.17（AgentForesight-7B，审计器基线最强）	+11.11
AFTraj-2K	AUROC↑	95.82±0.43（Qwen3-8B）	94.76±0.39（SAFE-Qwen3-4B）	+1.06
AFTraj-2K	FPR95↓	31.95±3.07（Qwen3-8B）	41.42±3.13（SAFE-Qwen3-4B）	-9.47（数值越低越好）
StepShield	FPR95↓	42.28±2.33（Qwen3-4B）	59.88±7.98（TRACES-Qwen3-4B）	-17.60（数值越低越好）

局限与改进

作者承认：审计器预测可能出错，不能认证执行安全或阻止有害行为，部署需保留任务级防护与人工监督，并保护执行历史中的敏感信息。我的补充观察：其一，StepShield 上 8B 版（wACC 87.50）反而低于 4B 版（90.28），更大骨干不必然更好，且 8B 的 FPR95 达 53.09±8.40、方差很大，域外稳定性存疑；其二，TWA 绝对值仍低（StepShield 约 55-58），及时检测空间很大，Table 2 中 Llama 版在 StepShield 的 TWA（49.06）甚至低于 TRACES（56.01）；其三，阈值 $\zeta_t$ 离线由训练集成功轨迹拟合，运行时分数分布漂移（新任务、新智能体组合）可能使名义 $\alpha=0.05$ 失真，wACC 也依赖测试集类别比例；其四，超参 $\gamma$、$r$ 与扰动层的敏感性讨论不足，一阶近似在深度非线性下依赖回溯兜底；其五，仅 AFTraj-2K（同分布）与 StepShield（域外）两个基准，外推性有限；成败二值标签也丢弃了部分完成/延迟成功等中间信息。

独立分析的弱点

独立弱点分析：① Dream 依赖一阶线性化加最多 6 次减半回溯，若 $g_r=0$ 或回溯全拒则返回零扰动、该批退化为普通训练，可引入随机重启、二阶信息或更紧的凸近似提高扰动命中率；② 扰动只作用于固定中间层之后的 q/v 投影，覆盖的失败表示模式有限，可扩展到 MLP、嵌入层并学习逐层预算分配；③ 训练只用轨迹级成败标签，未利用错误步定位等细粒度监督，结合 Who&When/AgenTracer 式归因信号有望直接改善 TWA；④ 每批需一次梯度、一次截断 SVD 与最多 6 次前向评估，训练开销数倍于普通 LoRA 微调，论文未报告训练时间与显存对比，落地需权衡；⑤ 预测到失败后如何干预（中止、回滚、重规划）未研究，审计器与干预策略的联合优化是部署闭环缺口；⑥ 校准只用成功轨迹，失败稀少的长尾环境下分位数估计不稳，可探索共形预测式校准。

未来方向

作者展望是支持在固定语料上针对当前预测困难定向改进学习，并推广到不同模型家族与任务域。基于成果可延伸：其一，把审计器与干预/恢复策略联合训练，让预测直接触发重规划、回滚或切换模型，形成部署闭环；其二，将 Dream 式损失引导扰动推广到其他序列监督任务，如过程奖励模型、LLM 判官校准与 RAG 质量评估；其三，结合步级归因标注做细粒度监督，同时回答判失败与哪步出错两个问题；其四，理论上把 Proposition 2 的余项界与泛化界、校准误差联系起来，给出扰动半径 $\gamma$ 的自动选择准则；其五，在线/流式场景下变体再生的持续学习，防止审计器随智能体升级而退化；其六，跨基准 zero-shot 迁移审计器，检验困难变体学到的表征是否更通用。

复现评估

复现条件较好。代码与项目页公开，论文给出完整算法（附录 A）、证明（附录 B）、数据划分/前缀构造/训练配置/基线实现/指标定义（附录 C）与补充分析协议（附录 D）。基座模型 Qwen3-4B/8B、Llama-3.2-3B/Llama-3.1-8B 均开源，两个基准 AFTraj-2K、StepShield 来自先前公开工作。方法参数高效（基座冻结，仅 q/v LoRA 与小分类头），Qwen3 结果报告 3 个随机种子的均值±标准差，可靠性高。算力上，8B 级 LoRA 训练通常需 1-2 张 A100/H100；Dream 搜索每批增加一次反向、一次截断 SVD 和最多 6 次前向，工程实现有一定复杂度。总体难度中等：有 LoRA 微调经验的小团队数天可复现主结果，但需仔细对齐类平衡批、阈值校准与回溯细节。

Dream2Discern：从困难隐空间变体学习的多智能体运行时故障预测 Dream2Discern: Learning from Hard Latent Variants for Runtime Failure Prediction in Multi-Agent Systems