智能体错误数据集：扩展5万条错误-诊断对用于失败分析与错误感知后训练 Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training
构建5万条智能体错误-诊断对，验证失败经验可转化为诊断与修复训练信号
前置知识
LLM 智能体与 harness
基于大语言模型的自主系统，通过“思考-行动-观察”循环与环境交互：模型生成动作（调用工具、执行命令），环境返回观察，模型再决定下一步。harness 是连接模型与工具、持久状态的执行框架（如 ReAct、LangGraph）。一次完整运行称为 rollout，其轨迹记录动作-观察序列。
论文的研究对象就是智能体 rollout 的失败记录，数据覆盖 33 环境×19 类 harness×23 个策略模型，只有理解这个层次结构才能明白数据集的组成维度和跨设置分析的意义。
监督微调（SFT）与后训练
在预训练模型上用标注数据继续训练。SFT 损失为 $\ell_i(\theta)=-\sum_k m_{ik}\log\pi_\theta(y_{ik}|x_i,y_{i,<k})$，只对目标 token 计损失。后训练泛指用 SFT、DPO、RL 等手段提升模型下游任务能力。
论文的核心实验就是用 AED 构建的不同训练视图（诊断/预防恢复/后错误修复/动作偏好）对 Qwen3-8B 做 SFT，比较各目标对诊断一致率和任务成功率的影响。
同检查点对照重放
从轨迹中出错的检查点出发，在完全相同的策略模型、harness、预算和验证器设置下，分别执行“建议的修正动作”和“原始动作重试”，比较两者的 verifier 通过率。两个结果都保留，修正收益才能归因于动作本身而非随机波动或设置差异。
这是论文验证“修正真的有用”的关键实验设计，+32.7 个百分点的核心结论来自 3,062 对这样的匹配重放，也是 AED 区别于纯标注数据集的证据分级机制。
错误归因与诊断
给定一条失败轨迹，回答三个问题：哪一步出错（精确步骤定位）、谁的责任（负责的 agent）、为什么错（带轨迹引用的解释），并进一步给出具体的替代动作（修正建议）。AED 中诊断是自由文本四元组 $d_i=(t_i^*, u_i^*, e_i, a_i^*)$，错误类型是事后归纳的，不是固定分类标注。
AED 的每条记录就是一个错误-诊断对，理解诊断的内容结构才能理解三个训练视图的输入输出如何构造，以及为何迁移到其他标注体系时会失败。
DPO（直接偏好优化）
一种离线偏好训练方法：给定同一输入下的偏好答案 $y_w$ 与拒绝答案 $y_l$，以参考策略为基线构造两答案的对数比值差，经 $-\log\sigma(\cdot)$ 形式的损失直接优化策略，无需在线采样与奖励模型。AED 的同检查点重放对比天然构成此类动作偏好对。
AED 的重放对比天然构成动作偏好对，论文据此做了离线 action-DPO 试点（附录 I.15），结果未发现恢复收益——这是理解“哪些训练目标有效”的重要负结果。
研究动机
失败的 LLM 智能体 rollout 蕴含的信息远多于最终奖励：它记录了智能体看到的观察、选择的动作和环境的响应。但要把失败经验变成训练信号，必须回答“改哪一步、改成什么”，而单纯的结果奖励给不出答案。现有失败分析资源规模小且目标割裂：Who&When 仅 184 条记录，MAST 1,642 条，AgenTracer 超过 2,000 条，多数只做归因标注而不指定智能体应学什么动作；MAST 给错误分类却不定位步骤；AgenTracer 训练诊断模型但不训练执行策略；AgentDebug 用修正反馈做提示式恢复而非策略训练。此外各数据集在执行设置、标注目标和修正证据上互不兼容，难以在同一批自然失败上同时研究诊断学习与动作学习。
本文的目标是本文要构建一个大规模、可审计的自然失败数据集 AED：50,228 条错误-诊断对，覆盖 33 个环境、19 类 harness 家族、23 个策略模型（每个来源至少 10 个源任务），并保留源轨迹和执行元数据以支持跨设置失败分析与无需重新 rollout 的再诊断。具体目标有三：(1) 用五阶段 AET 流水线把自然失败连接到诊断、修正建议和（支持重放的环境中的）同检查点对照重放证据；(2) 验证修正的执行价值——3,062 对匹配重放中修正动作把 verifier 通过率从 18.4% 提到 51.1%；(3) 构建面向不同目标的训练视图（诊断 SFT、恢复 SFT、动作偏好），实证检验错误感知后训练能否把 Qwen3-8B 的精确步骤一致率从 47.2% 提到 63.6%，以及修复监督能否改进执行策略。
与已有工作不同的是，本文的独特切入是把“收集-诊断-验证-训练”做成一条可审计的证据链，而非孤立标注集。已有工作要么注入故障（Who&When Pro 的 12,326 条、AEGIS 的 9,533 条均为注入错误），要么只做归因；AED 坚持全部使用自然失败，且每条诊断必须带轨迹引用并通过结构化与语义校验。更关键的是引入同检查点对照重放协议：修正与原始动作在匹配设置下各跑一次、双向保留结果，把“修正有用”变成可测量的执行证据。论文还严格区分收藏集与训练集：50,228 对是收藏规模，实验用单独冻结的 4,319 行诊断发布版、独立的重放与演员队列，配 943 例留出集和三种子评估，避免数据泄漏式的自我验证。
核心方法
直觉上，一条失败轨迹就是一份病例：要让它可教，需要定位病灶（错误步骤）、写出诊断（带证据的解释）、开出药方（具体修正动作），最后用临床试验（对照重放）验证药方。技术上作者设计五阶段 AET 流水线：(1) 在 33 环境×19 harness 家族×23 策略模型的组合中收集 9,961 个源任务的自然失败，保留动作-观察轨迹，剔除基础设施与评分器故障；(2) 用 citation-first 判官生成带轨迹引用的诊断，对公共失败池产出率达 93.5%（对照方法仅 48.4–65.8%）；(3) 通过结构化与语义检查把诊断落到学生可见的轨迹上，记录接受与拒绝的提案；(4) 在支持重放的环境中对 3,062 个案例从同一检查点分别执行修正与原始动作；(5) 构建诊断 SFT、恢复 SFT 和动作偏好三类训练视图，统一损失为 $\ell_i(\theta) = -\sum_k m_{ik}\log \pi_\theta(y_{ik}|x_i, y_{i,<k})$，诊断用逐样本均值归一化，演员用全 rank token 归一化。
核心创新是把失败经验的多重用途拆成独立验证的证据层：诊断记录只需轨迹引用即可用于训练（无需重放）；恢复目标必须有执行成功且通过验证器的后续动作；偏好对要求同状态下执行过的正结果对比。这与 MAST/Who&When 的“只标注不修正”、AgentDebug 的“诊断后提示恢复”本质不同——AED 直接产出可用于策略训练的监督目标。另一关键设计是同检查点对照重放：修正与原始动作在相同策略、harness、预算、验证器下各自重跑，收益（18.4%→51.1%）可归因于动作本身。诊断标签为自由文本而非固定分类，错误模式是事后归纳的，避免分类方案绑架底层标注；存储的失败后续可补充新诊断而无需新 rollout。
方法步骤详情
第一步收集：运行 9,961 个源任务，环境适配器报告失败终态即入选，剔除基础设施与评分器故障，保留 38,278 个源轨迹 blob。第二步诊断：对失败轨迹生成四元组 $d_i=(t_i^*, u_i^*, e_i, a_i^*)$——错误步骤、负责 agent、带引用的解释和建议修正；citation-first 判官产出率 93.5%。第三步落地校验：结构检查（引用是否真实存在于学生可见轨迹）加语义检查，记录接受与拒绝的提案。第四步重放：在支持的 3,062 个案例上，从同一检查点以匹配的策略、harness、预算与验证器设置分别执行修正和原始动作，双向记录 verifier 结果。第五步构建视图：诊断视图输入 $x_i=\tau_i$，目标为紧凑归因（可选短理由），排除构造期验证器上下文与成功参考；预防视图配对 $(h_{<t}, a_t^+)$（出错前历史+执行成功的动作）；后错误视图把原错误动作及其拒绝作为掩码上下文再监督修正（仅状态保持的拒绝入上下文）；偏好视图要求同输入下执行过的正负对比。每条记录按证据决定可进入哪些视图。
技术新颖性
技术新颖性体现在四点。其一，规模与覆盖：50,228 对、33 环境、19 harness 家族、23 策略模型，比此前最大资源（Who&When Pro 12,326 条注入错误）大约 4 倍且全部为自然失败，并保留完整 provenance。其二，证据分级的数据契约：用入学规则把收藏与训练解耦——诊断不需重放、恢复需执行通过的后续、偏好需共享输入对比——杜绝“标注即有效”的隐含假设。其三，对照重放协议：同检查点、匹配设置、双向保留结果，把修正价值变成因果性更强的对比实验，而此前工作（AgenTracer、MAST 等）最多提供部分执行证据。其四，冻结发布与统计规范：4,319 行冻结诊断版 + 943 例留出集 + 三种子均值±标准差（63.56±0.82%）+ 任务聚类置信区间（+32.7pp 的 95% CI 为 28.4–37.0），加上训练/留出重叠审计，方法论上远比单点报告严谨。
实验结果
四大发现。(1) 修正执行价值：3,062 对匹配重放中修正把 verifier 通过率 18.4%→51.1%（+32.7pp）；给定位置下诊断引导续跑 31.3%，高于泛化反思 26.0% 与重放 18.6%，但对反思优势不显著。(2) 诊断学习：1,656 任务全诊断 SFT 使 Qwen3-8B 在 943 例留出集上精确步骤一致率 47.2%→63.6%，超最强参考 Claude Opus 5 的 54.7%，四个训练规模单调提升。(3) 迁移依赖协议：Who&When 公共协议下学生反降（HC 责任 50.00% vs 56.90%），加答案格式后 70.69% 超四个前沿参考；AgentErrorBench 环境宏 16.67/1.67→20.33/5.00；与 AgenTracer 数据各有胜负。(4) 演员训练：单种子下 WebShop-lite 动作修复比纯成功 SFT 高 6.67pp，但 TextQuest 低 8.33–9.67pp，真实 ALFWorld/ScienceWorld 预防式输给未训练策略；离线 action-DPO 无收益。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 匹配重放纠错（3,062 对） | verifier 通过率 | 首个提案修正 51.1% | 同检查点原始动作重试 18.4% | +32.7pp（任务聚类 95% CI 28.4–37.0） |
| 诊断 SFT（943 例留出集，三种子） | 与内部教师标签的精确步骤一致率 | 63.6%（均值 63.56±0.82%） | Qwen3-8B 基线 47.2%；最强提示参考 Claude Opus 5 54.7% | 对基线 +16.37pp，对最强参考 +8.9pp |
| 诊断学习扩展曲线 | 精确步骤一致率（案例级微平均） | 240/480/948/1,656 任务 → 53.13/57.26/60.59/63.56% | 未训练基线 47.19% | 四个规模均提升，最大 +16.37pp |
| 给定位置错误恢复 | 恢复成功率 | 诊断引导续跑 31.3% | 泛化 reconsideration 26.0%；重放 18.6% | 对反思 +5.3pp（配对增益不显著）；对重放 +12.7pp |
| Who&When 归因（共享提示，HC 条件） | 负责 agent / 精确步骤准确率 | AED 诊断 SFT + 答案格式多样性 70.69/24.14% | Qwen3-8B 基线 22.41/8.62%；Claude Sonnet 5 56.90/20.69% | 对基线 +48.28pp；超过四个前沿参考（未加 gold 时） |
| AgentErrorBench（ALFWorld/WebShop/GAIA） | 精确步骤 / 步骤+模块（环境宏平均） | AED 诊断 SFT 20.33/5.00% | Qwen3-8B 基线 16.67/1.67% | +3.66pp / +3.33pp（点估计提升，无明确配对优势） |
| WebShop-lite 演员训练 | 初始状态任务成功率变化（vs 纯成功 SFT） | 动作修复 SFT +6.67pp | 纯成功 SFT（interaction tuning 式对照） | +6.67pp（Holm 校正显著）；但 TextQuest −8.33pp |
局限与改进
作者坦承多重局限：内部指标是与记录教师标签的一致率，标签由共识生成、含其约定与缺陷，并非人类金标或诊断能力的一般排名；公共基准迁移依赖协议——Who&When 上全诊断训练反而变差，剔除标记任务重叠后区间含零，TrajErrBench 均值低于基线，说明增益部分来自环境与 harness-策略组合重叠而非广泛迁移。演员训练是单种子对比，各配方任务池、暴露量与更新次数不同，测的是配方组合而非修复监督本身；修复收益环境依赖（TextQuest 与真实环境亏损）。我自己的观察：3,062 对重放只占 50,228 对的约 6%，绝大多数诊断缺乏执行证据；citation-first 判官的 93.5% 是产量而非准确率，诊断质量上限受教师模型约束；数据集限定文本任务，不含多模态轨迹。
独立分析的弱点
第一，诊断标签是自由文本加共识生成，系统学到的可能主要是“教师的标注风格”而非客观错误，换标注体系（Who&When、AgentErrorBench 的算法生成条件）迁移时明显崩溃，改进方向：引入小规模人类金标锚定、跨数据集标签对齐训练或不变性正则。第二，重放覆盖率低（约 6%），绝大多数修正从未被执行验证，“数据集规模”与“已验证修正数”之间落差大，改进方向：用廉价模拟器或主动采样优先重放高价值修正。第三，演员训练配方混杂且单种子，结论脆弱，改进方向：正交化任务池、匹配更新数、多种子重复。第四，仅覆盖文本型任务，GUI/多模态 agent 失败（CUADebug 已涉及）被排除，改进方向：接入截图轨迹与视觉诊断。第五，错误类型画像是事后归纳且历史子集有采样偏差（2,604 条轨迹中仅 2,092 条被分类，任务混合不同），π agent 验证/观察错误占 61.3% 的现象不能直接归因于 harness 本身，改进方向：按错误类型分层采样并均衡训练分布。
未来方向
作者方向：接受后开源代码、模型检查点与数据（受许可与隐私审查约束），发布划分、提示、评测协议与结果生成器；存储的失败可继续接收新诊断，支持无需新 rollout 的再诊断。可延伸方向：(1) 把重放对比升级为在线 RL 或迭代式 DPO——论文的离线 action-DPO 试点无收益，暗示需要 on-policy 采样或步骤级信用分配；(2) 自主错误检测：目前的恢复研究都在“给定位置”进行，训练能自己发现错误位置的检测器是自然下一步；(3) 利用 harness 失败画像（如 π agent 验证/观察错误占 61.3%、ReAct 以动作错误为主 43%）做错误类型感知的课程学习与针对性数据增强；(4) 扩展到多模态与长程任务的失败复用；(5) 把 AED 的诊断能力接入生产级 harness，做运行时调试、自动回滚与“诊断引导恢复”服务化。
复现评估
作者承诺接受后在 GitHub 开源代码，并在 agenterrordata.apodex.com 发布模型检查点与数据（含划分、提示、评测协议、结果生成器），受源许可、隐私审查与再分发权限制约；附录 D/Q/A 给出划分、干预、统计与运行清单，附录 T 给出 schema 与完整示例，透明度较高。复现门槛中等偏高：需要 Qwen3-8B 底座的多卡微调与三种子重复；重放实验要求能在 33 个环境中从任意检查点恢复执行并保证匹配设置，工程量大；诊断生成与参考评测依赖 GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash 等教师/前沿模型的 API 成本。此外 SWE-bench 类任务可能含贡献者邮箱等个人信息，发布前会脱敏，最终开放范围可能小于 50,228 对的完整集合；短期内无法直接下载复现，需关注后续发布。
论文图表
两个面板展示 50,228 对的构成：(a) 按环境的份额——BFCL 11.0%、ALFWorld 9.6%、Mind2Web(static) 8.1%、AgentBench-OS 6.6%、τ-bench retail 6.2% 等，其余 25 个环境占 39.4%；(b) 按 harness 的计数——ReAct(single) 16,646、Native tool calls 9,614、smolagents 4,614、AutoGen 4,368、OpenHands 4,329、LangGraph 3,873 等。
展示了数据集的覆盖广度与来源分布，证明“33 环境×19 harness 家族满足十源任务下限”的规模主张，同时强调这些是收藏份额而非失败率或训练准入率。
历史机器标注的失败类型画像：九个 harness 组中八组以动作错误为主（如 planner-executor 61.7%、mini-SWE-agent 51%、LangGraph 48%），而 π agent 集中在验证与观察错误（合计 61.3%）；标注覆盖率从 ReAct 的 870/896 到 Multi-agent 的 107/113 不等，整体 2,092/2,604 条轨迹被分类。
揭示错误模式随 harness 显著变化，支撑“选训练样本时要同时检查错误类型覆盖”的论点，也提示该分析是探索性的，不能当作因果效应。