从成功轨迹的流动中追踪智能体失败 Tracing Agentic Failure from the Flow of Success
仅在成功轨迹上训练的一类学习模型，用神经受控微分方程定位智能体失败步骤
前置知识
失败归因（Failure Attribution）
失败归因指的是给定一条失败的智能体轨迹，找出其中导致任务失败的具体步骤（可能不止一个）。它比单纯的轨迹级成功/失败二分类难得多，因为一条长程轨迹可能包含上百个动作，且失败的根因常被后续步骤部分补偿而变得隐蔽。Zhang 等人提出的 Who&When 基准显示，即便是顶级推理模型在该任务上的准确率也低于 15%。
本文的核心问题就是失败归因，理解这个任务的难度和既有方法的瓶颈，才能理解 OAT 用一类学习绕开标注瓶颈的动机。
神经受控微分方程（Neural CDE）
神经 CDE 是连续时间序列建模的一种方法，把离散观测（如轨迹的步骤表示）通过样条插值成一条连续的控制路径 $X(u)$，再让潜在状态随该路径演化：$z(u)=z(0)+\int_0^u f(v,z(v))\,dX(v)$。与只在初始条件上确定的神经 ODE 不同，神经 CDE 在每个积分步都由控制信号的导数 $dX(v)/dv$ 调制，因而对局部的、逐步的偏移非常敏感，特别适合捕捉智能体轨迹的时序动力学。
OAT 的核心技术骨架就是神经 CDE，理解它如何把离散轨迹建模成连续潜在路径、以及为何对局部偏差敏感，是读懂方法章节的关键。
一类学习 / 异常检测（One-class Learning）
一类学习只用「正常」类样本训练，把偏离正常分布的样本视为异常。在本文中，正常类是成功轨迹，模型学到的是成功轨迹的动力学流形；推理时给一条失败轨迹，逐步骤计算其潜在表示与预测动力学之间的偏差作为异常分数。这种范式无需失败数据的逐步标注，因此绕开了标注瓶颈。
OAT 把失败归因重新表述成一类学习问题，这是本文区别于「提示工程」和「失败轨迹监督训练」两大流派的根本所在。
保形预测（Conformal Prediction）
保形预测是一种无需分布假设的统计推断框架，能提供覆盖概率保证。本文在校准集（留出的成功轨迹）上逐步骤计算异常分数，取其 $(1-\alpha)$ 分位数作为阈值 $\delta$（$\alpha=0.2$），推理时把异常分数超过 $\delta$ 的步骤判为错误步骤，可控制类内步骤的假阳性率不超过 $\alpha$。它替代了需要预知错误步骤数量的 top-k 策略。
这是 OAT 的两种检测策略之一，理解它如何自适应地决定错误步骤数量并提供理论保证，对读懂实验中精度/召回的权衡很重要。
LLM 内部表示（Hidden Representations）
LLM 在生成动作 $a_t$ 时，第 $\ell$ 层产生的 token 表示聚合后得到该步骤的潜在向量 $h_t = M_t^{(\ell)}(a_t\mid Q,a_1,s_1,\dots,a_{t-1},s_{t-1})\in\mathbb{R}^{d_h}$。本文用 Qwen3.5-27B 最后一层隐状态、对 token 做 mean-pooling，再用 PCA 降到 64 维作为神经 CDE 的输入。消融显示越靠后的层信号越强，因为高层编码更抽象、更任务相关的语义。
OAT 不用生成的文本，而用 LLM 的内部表示来建模轨迹，理解这一表示抽取方式才能理解整个流水线的输入特征。
研究动机
LLM 智能体在长程任务上的失败诊断是部署、调试与审计的关键瓶颈：一条轨迹可能跨越多智能体、工具调用的数十乃至上百个步骤，根因又常被后续步骤部分补偿而难以定位，人工追一条轨迹可能耗专家数小时。现有两条路线各有硬伤：一是提示工程流水线（如 GPT-4o、GPT-5 全盘审阅），必须在推理时调用前沿大模型，GPT-5 平均输出 3012 个 token、单条轨迹延迟约 40 秒，且无法本地部署；二是基于失败轨迹的强化学习后训练，需要逐步骤错误标注，而标注本身昂贵、含糊（依赖实际不可得的「神谕纠正函数」），难以规模化。更糟的是，Zhang 等人的 Who&When 基准表明，即便是顶级推理模型在单步定位任务上的准确率也不到 15%，凸显现有方法远未达标。
本文的目标是本文追求一个「实用」的失败归因模型，需同时满足三点：轻量、可在本地服务器部署、无需调用前沿大模型推理；可在没有任何失败数据、也没有逐步骤标注的情况下训练；并且能在推理时逐步骤定位失败轨迹中的错误步骤（而非仅做轨迹级二分类）。为此作者提出「无监督失败归因」这一新问题设定——只用成功轨迹 $D_{succ}=\{\tau^{(k)}\}$（满足 $Z(\tau^{(k)})=1$）训练，推理时为任意失败轨迹 $\tau'$ 预测其错误步骤集合 $\hat y(\tau')\subseteq\{1,\dots,T_{\tau'}\}$。成功轨迹可从任何智能体系统正常运行的副产品中轻松收集，因此彻底消除了标注瓶颈。
与已有工作不同的是，本文的独特切入角度是「向成功学习以定位失败」。在 LLM 智能体社区，此前的失败归因要么依赖昂贵的前沿模型提示，要么依赖带标注的失败轨迹监督学习；而机器人社区虽有一类学习（只在正常执行上训练、推理时标记异常轨迹）的先例，却只做轨迹级检测，无法定位到具体步骤。OAT 桥接了这两个世界：把一类学习范式引入 LLM 智能体，并把目标从轨迹级检测提升到严格更难、更有信息量的步骤级定位。它还引入失败归因中的「复合错误」概念——多个步骤共同导致失败，单步干预未必能挽回——这也扩展了既有工作的范围。
核心方法
OAT 的整体思路分两阶段。训练阶段：把每条成功轨迹 $\tau=(Q,a_1,s_1,\dots,a_{T_\tau})$ 的每个步骤用 LLM 的潜在表示 $h_t$ 编码，连同查询表示 $h_Q$，视为一条连续潜在路径的「不规则采样观测」，用神经 CDE 学习这条路径在 $[0,1]$ 上的动力学，目标是让重建的 $\hat h(u_t)$ 逼近真实 $h_t$，损失为 $\mathcal{L}=\mathbb{E}_{\tau\sim D_{succ}}\big[\sum_t\lVert h_t-\hat h(u_t)\rVert_2^2\big]$。推理阶段：把失败轨迹的逐步骤表示送入同一个动力学模型，得到预测的「成功流」，逐步骤异常分数 $e_t=\lVert h'_t-\hat h(u_t)\rVert_2^2$ 越大，表示该步越偏离成功动力学，再用 top-k 或保形预测把这些分数转成错误步骤集合。直觉是：成功轨迹共享一种「正常流动」，失败步骤则是流动中的离群点。
核心创新有三。其一，把无监督失败归因首次建模为「成功轨迹动力学」的一类学习，模型只学正常流形、推理时按局部偏差定位，这与「提示前沿模型逐点判读」和「在带标注失败轨迹上做 RL」两类方法本质不同。其二，用神经 CDE（而非神经 ODE 或 RNN）建模轨迹：神经 ODE 仅由初始条件驱动，会把每个初始状态映射到唯一确定轨迹，无法刻画「多种动作序列都成功」的现实；神经 CDE 通过控制路径 $X(u_t)=(h_t,u_t)$ 在每个积分步持续注入观测的导数 $dX(v)/dv$，对局部、逐步的偏移高度敏感，正好契合「检测逐步偏差」的需求。其三，提出门控控制路径：$\frac{d\tilde X}{du}=q\big(\frac{dX}{du}\big)\odot\frac{dX}{du}$，分布内时门控全开、分布外时压制异常大的样条导数，让模型对未见领域更鲁棒。
方法步骤详情
完整流水线分五步。第 1 步表示抽取：对每步用活跃智能体 $M_t$ 第 $\ell$ 层、生成 $a_t$ 时取 token 隐状态 mean-pooling 得 $h_t$，查询 $Q$ 同样得 $h_Q$；本文用 Qwen3.5-27B 最后一层，再 PCA 降到 $d_h=64$。第 2 步把 $(h_Q,h_1,\dots,h_{T_\tau})$ 在 $u(t)=t/T_\tau$ 上用三次自然样条插值成控制路径 $X(u)=(h,u)$。第 3 步训练神经 CDE：$z(0)=g_2(h_Q)$，沿门控路径用 Euler 法积分 $z(u)=z(0)+\int_0^u f(v,z(v))\,d\tilde X(v)$，$f$ 为 3 层 MLP，$g_1$ 投回 $\hat h(u)$；80% 训练、20% 校准。第 4 步对失败轨迹算异常分 $e_t=\lVert h'_t-\hat h(u_t)\rVert_2^2$。第 5 步检测：top-k 取最高 $k=3$ 步，或保形预测取 $\alpha=0.2$ 分位数 $\delta$。
技术新颖性
新颖性体现在三个层面。问题层面：首次提出「无监督失败归因」，证明只用 100 条成功轨迹、零失败数据、零逐步标注即可超过前沿 LLM 的提示方法，重新定义了该任务的可行训练范式。建模层面：把神经 CDE 与智能体轨迹联系起来——作者指出这种联系既新又非平凡，因为潜在路径需捕捉「目标导向行为」、且要对「局部逐步偏差」敏感；并设计了门控控制路径，把标准 CDE 的控制信号替换为可自适应压制的门控版本，使模型在 in-domain 保留全部表达力的同时提升 OOD 鲁棒性（消融显示 +0.172 AUROC）。检测层面：在 top-k 之外引入保形预测，提供无分布假设的覆盖保证并自适应决定错误步骤数量。整体只用一个轻量 3 层 MLP 参数化 $f$，部署 <1 GB VRAM、零 token 成本。
实验结果
结果围绕三表与消融。In-domain（MCP-Atlas，103 成功+88 失败）：OAT 碾压提示基线，F1 上 Top-k $0.420$、CP $0.435$，而 GPT-4o 仅 0.212、GPT-5 仅 0.181，即 $+20\%$ F1；AUPRC 上 OAT(Top-k) $0.324$、GPT-5 仅 0.217，$+10\%$。两策略权衡清晰：Top-k 召回 0.706、Hit 0.777 但精度低（0.321），CP 精度更高（0.443）。OOD（Who&When，184 条失败，GPT-4o 生成）：尽管跨基准差异大，OAT(Top-k) 仍以 F1 $0.225$、AUROC $0.758$、AUPRC $0.128$ 超过 GPT-5 的 F1 0.152、AUROC 0.584，$+7\%$ F1。效率：OAT 零 token、延迟仅 $7$ ms，GPT-5 耗 3012 token、约 40 秒，速度差 200–5000 倍。消融证实神经 CDE 优于神经 ODE/RNN，门控路径改善 OOD（+0.172 AUROC）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| In-domain 失败步骤定位（MCP-Atlas） | F1 / AUROC / AUPRC | OAT(Top-k) F1 0.420、AUROC 0.629、AUPRC 0.324；OAT(CP) F1 0.435 | GPT-5 F1 0.181、AUROC 0.515、AUPRC 0.217 | F1 +0.239（约 +20 个百分点），AUPRC +0.107（约 +10 个百分点） |
| OOD 失败步骤定位（Who&When） | F1 / AUROC / AUPRC | OAT(Top-k) F1 0.225、AUROC 0.758、AUPRC 0.128 | GPT-5 F1 0.152、AUROC 0.584、AUPRC 0.078 | F1 +0.073（约 +7 个百分点），AUPRC +0.050（约 +5 个百分点） |
| 推理效率（延迟 / token） | 输出 token 数 与 单条轨迹延迟 | OAT：0 token，MCP-Atlas 7±4 ms，Who&When 16±22 ms | GPT-5：3012±683 token，约 39.6 秒 | 200–5000× 更快，零 token 成本，<1 GB VRAM |
局限与改进
作者承认的局限：仅凭 6 条定性案例显示模型常漏掉标注的「根因」，却能对失败前逐步劣化的次优规划、以及失败被显式「说出」的步骤给出渐进升高的分数，提示检测覆盖还可更自适应（如更聪明的阈值或多错误场景建模）。绝对精度仍偏低——in-domain F1 仅 0.42、OOD 仅 0.225，离「可靠诊断」有距离。我额外观察到：训练与评测都强烈依赖单一代理模型 Qwen3.5-27B 的内部表示，表示层、聚合策略、代理模型的选择都会影响结果（消融在附录 G）；数据规模极小（103 条成功、88 条失败），统计意义有限；评估只覆盖两个基准，Who&When 用的是 GPT-4o 轨迹，但 OAT 表示来自 Qwen3.5-27B，存在「评测器与轨迹生成器不同源」的隐患；复合错误的标注本身含糊，作者定义的「失败贡献步骤」与「根因步骤」界限仍需厘清。
独立分析的弱点
第一，绝对性能偏低：即便大幅领先提示基线，in-domain F1 仅 0.42、Hit 0.78，OOD F1 仅 0.225，难以支撑高可信诊断；改进方向是扩大成功轨迹训练集（作者指出可零标注成本扩充）并探索更强的表示（如多模型、多模态融合）。第二，强绑定单一代理模型与表示层：当前用 Qwen3.5-27B 最后一层 mean-pooling + PCA 64 维，迁移到其他智能体/底层模型时需重新抽取；可引入跨模型对齐或代理无关表示。第三，门控与阈值固定：门控网络与保形阈值 $\alpha$、top-k 的 $k=3$ 都是手工设置，不同任务的最佳值可能不同；可做任务自适应或在线校准。第四，数据规模小、基准少：仅 100 余条训练轨迹、两个基准，结论的统计稳健性与外部效度待加强；应补充更多智能体系统（编码、科学、客服）评估。第五，对「复合错误」建模仍弱：当前逐步骤独立打分，未显式建模步骤间因果传播；可引入因果或图模型刻画错误在轨迹中的蔓延。
未来方向
作者展望是希望本工作推动社区「向成功学习」做智能体诊断。可延伸方向有：一是把无监督一类学习推广到更多诊断任务，如失败类型分类、根因归因、可恢复性预测，而不仅定位步骤；二是用学到的异常分数驱动自动修复——定位错误步骤后自动重规划或重调用工具；三是把门控神经 CDE 的连续时间建模与多智能体图结构结合，建模多智能体间的依赖与错误传播（Who&When 这种多智能体场景尤其需要）；四是探索更强的表示抽取——多代理、多模态（含视觉/工具返回结构）、跨层融合，以及在线/流式校准的自适应保形预测；五是结合轻量代理模型蒸馏，在边缘设备上实现真正实时的诊断-修复闭环，让 OAT 的 200–5000× 速度优势进一步放大。
复现评估
复现总体友好但存在缺口。有利因素：方法用极轻量的 3 层 MLP（隐藏维 64），$<1$ GB VRAM 即可部署，训练只需 100 条成功轨迹，超参清晰（$d_h=64$、$\alpha=0.2$、$k=3$、80/20 划分、Euler 求解器、三次自然样条）；论文承诺开源「Code & Dataset」。挑战在于：评估依赖 MCP-Atlas 与 Who&When 两个基准，其中 MCP-Atlas 的失败轨迹需要作者手工标注「贡献步骤」（含主观性）；轨迹表示必须用 Qwen3.5-27B 抽取最后一层隐状态，复现者需具备该模型权重与单卡推理条件；消融（聚合策略、代理模型选择、表示层）的关键细节放在附录 F/G，需仔细对照；论文预印本中表 1、2 的部分单元格（如 CP 行的 AUROC/AUPRC）留空，需从开源仓库补全。整体属中等可复现，主要门槛是数据标注一致性与代理模型依赖。
论文图表
