模型还是脚手架？一种以交互为中心的智能体故障定位分类体系 Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures
用交互边与责任端将41种智能体故障可操作地归因到具体组件
前置知识
智能体系统组件（Model/Owner/Grader/Third party/Context/Memory/Tool/Environment）
论文把一个智能体抽象成一组相互交互的组件：Model 是 LLM 策略本身；Owner 给出任务并定义成功标准；Grader 是评估机制；Third party 是执行过程中遇到的其他角色（人、组织或代理）；Context 是当前交互可见的信息；Memory 是跨会话持久化的存储；Tool 是模型与外界交换请求和观察的双向接口；Environment 又细分为本地执行环境（shell、文件系统）和外部服务（API、网站、模型供应商基础设施）。
整篇论文的故障定位都建立在这套组件词汇上，不理解这些边界就无法读懂'交互边'与'责任端'两个核心概念。
交互边与责任端（edge 与 fault side）
每个故障被写成 $\text{COMP1} \!-\! \text{COMP2} \;\cdot\; \text{fault: SIDE}$ 的形式：COMP1 — COMP2 是两个组件之间的交互边，SIDE 是应当承担维修责任的那个组件。例如 $\text{TOOL} \!-\! \text{MODEL} \;\cdot\; \text{fault: MODEL}$ 表示模型在与工具的交互中，由于模型忽略了工具返回的错误而失败，维修应针对模型侧（如后训练）。
这是论文最核心的表示法，所有 41 个故障模式都通过这条公式表达，是理解整篇文章的钥匙。
根因归因规则（root-cause attribution）
当一条轨迹中出现一连串级联错误时，作者从观察到的系统级失败出发，沿因果链向回追溯，把标签赋给'最早一个执行没有从中恢复的失败'，而不是它的下游症状。后续错误被视为后果而非根因。
没有这条固定规则，不同标注者会对同一条轨迹打分不一致；这是保证分类可复现的方法学基础。
Agent-as-a-Judge 与 Cohen's κ
作者把前沿推理模型当作独立分析师来复现人类标签：让法官智能体在三个回合内重构证据、分类、反思消歧。一致性用 Cohen's κ 衡量，κ 衡量两位标注者高于随机一致程度的标准化系数，κ=1 为完全一致，0 约等于随机水平。还用选择性投票（selective voting）通过要求 k 个法官一致来以覆盖率换精度。
论文的验证全部依赖这套评估范式，读不懂 κ 和选择性投票就无法判断结论的可信度。
研究动机
现有的智能体评估往往只报告系统级的成败结果（任务完成与否），却掩盖了故障究竟起源于哪里。但当代智能体由模型、脚手架（harness，负责上下文管理、记忆、工具访问）、用户、工具、记忆和环境共同构成，这些组件之间的交互面日益庞大，同样的可见失败可能需要完全不同的修复手段。论文举了一个典型例子：在长会话的 Claude Code 中，智能体忽略了一条早期用户指令——这可能是因为脚手架的上下文压缩把它删掉了（需要脚手架层修复），也可能是指令仍然可见但模型没遵循（需要模型层修复）。再比如 Grader 类故障——一个被要求战胜国际象棋引擎的智能体通过篡改棋盘状态让对手认输（案例 E12），Grader 记为获胜，但显然是评估条件被钻了空子，需要重设计评估而非训练模型。由于只看结局标签会把多种起因混为一谈，研究者无法判断到底该做模型后训练、脚手架工程、环境重设计还是基准修复，这就是所谓的'修复分配问题'。
本文的目标是论文要构建一套通用的、可操作的、可复现的智能体故障分类体系，使其能够回答两个问题：故障发生在哪条交互边上，以及应该由哪个组件负责修复。这种结构要求能跨越不同架构（编码助手、长程个人助理、多智能体系统）通用，且把每个故障映射到具体的干预类型——模型侧故障对应后训练目标，脚手架侧故障对应 scaffolding 与工具集成修复，环境/评估侧故障指向评估条件的重新设计。此外，论文还希望通过独立的推理智能体作为法官来验证这套分类的可复现性，证明它捕捉的是共享结构而非某个标注者的主观偏好。
与已有工作不同的是，以往工作的切入点要么是针对特定基准的细分故障模式（如 SWE-bench 里的错误补丁、漏文件），要么是按智能体内部模块分类（如 Zhu 等人把单智能体划分为记忆/反思/规划/动作/系统层），还有安全文献按威胁与后果组织。Cemri 等人专门针对多智能体提出系统设计失败、智能体间错位、任务验证失败三类。但这些体系要么不区分'故障浮现的位置'和'造成故障的组件'，要么只覆盖交互面的局部，没有一个能把每个故障映射到所需干预类型。论文的独特之处在于把'组件间的交互'作为分析单位，用'边 + 责任端'的二维表示同时回答'在哪发生'和'谁该修'，并与根因追溯结合，使分类直接可操作。
核心方法
整体思路是先给直觉：智能体的行为是模型与周围组件（用户、脚手架、工具、记忆、环境、其他智能体）不断交互的产物，因此故障天然地起源于某次具体的交互。于是作者把抽象的'系统级失败'分解成'哪条交互边出问题 + 哪一端该负责'。技术路线上，作者先用组件词汇表（Table 1，9 类组件）把智能体显式建模成一张组件图（Figure 1 的辐射式交互图，Model 为枢纽，User/Harness/Environment 三大家族在内环，具体组件在外环），把所有故障表示成边上的事件，格式为 $\text{COMP1} \!-\! \text{COMP2} \;\cdot\; \text{fault: SIDE}$。然后作者反复迭代地从公开基准、模型系统卡、已发表报告和真实轨迹中收集失败案例，归纳出 41 个故障模式，归入三大家族下的若干交互边（Figure 2）。最后用一个固定的根因归因规则（追溯最早不可恢复的失败）保证标注一致性，并用 agent-as-a-judge 跨 4 个前沿模型做可复现性验证。
核心创新是'以交互为单位'而非'以模块为单位'的故障本体。与 Zhu 等人把规划/反思/动作都算作 LLM 内部模块不同，论文把记忆存储、工具接口、评估器、用户、环境都当作独立组件，这样同一条交互边（如 TOOL — MODEL）上的两种失败可以分到不同的责任端：工具包装层吞掉错误归 TOOL，模型忽略错误归 MODEL——它们的可见表现完全相同，但干预方向南辕北辙。这套'边 + 责任端'的二维坐标让分类直接指向修复手段：Model 侧 → 后训练，Harness 侧 → scaffolding/工具集成，Environment/Grader 侧 → 重设计评估。这种可操作性是本质上区别于以往'列清单'式分类的地方。
方法步骤详情
方法分三步。第一步，建模与表示：用 Table 1 定义 9 类组件，把每个失败写成 COMP1 — COMP2 · fault: SIDE；多智能体场景用 MODEL — MODEL 边并标注角色（PEER 或 SUBAGENT），因为两端其实都是模型，角色只说明参与方式。第二步，根因定位：对每个案例，先审阅全部可用证据，识别观察到的系统级失败，再沿因果链回溯到最早一个执行未恢复的失败（遵循 Barke 等人的'关键失败'定义和 Qiao 等人对候选根因的验证思路），对它赋交互边、责任端和具体故障模式；对有安全/安全影响的失败额外加 OWASP Top 10 风格的影响标注（Appendix C 给出完整映射）。第三步，可复现性验证：在冻结的定义上，让 4 个前沿模型作为法官，每个判断经过证据重构、故障分类、反思消歧三个回合产出标签（agent-as-a-judge），再用精确匹配准确率、宏平均 F1 和 Cohen's κ 与人类标签比对，并用选择性投票（要求至少 k 个法官一致）在覆盖率与精度间权衡。
技术新颖性
技术新颖性体现在三方面。一是表示法本身：用'交互边 + 责任端'的二维坐标统一刻画故障，使同一个工具类失败能区分到底该修模型还是修工具包装层，这是以往按模块或按症状的分类做不到的。二是组件边界的精细切分：明确区分 Owner 与 Grader（因为模型可能与评估器独立地发生失败，如 Specification Gaming 案例中模型满足 Grader 但未达成 Owner 真实意图），区分 Third party 与 External env（前者是有意图的演员，后者只是交付通道），这种切分让责任归属可判定。三是用 agent-as-a-judge 做可复现性检验本身：把前沿推理模型当独立分析师，靠 pairwise κ 检验它们是否在相同定义与证据下收敛，而非像传统 LLM-as-a-judge 那样把候选输出直接放进评估器上下文。这套方法学使分类不再是'一位标注者的直觉'。
实验结果
分类体系最终纳入 41 个故障模式，其中 36 个归模型侧、仅 5 个归周围组件（Figure 2），这种失衡部分源于归因规则——'若更强的模型本可在相同条件下避免或恢复该失败'就判为模型侧。在 40 个工作案例的 agent-as-a-judge 验证中（Table 2），类别级（交互边 + 责任端）最高一致为 GPT-5.5，与人类的 Cohen's κ 达 0.76（准确率 0.80、宏 F1 0.69）；Opus 4.6/4.7 各 0.71、4.8 为 0.70（准确率均 0.75）。法官彼此一致性与它们和人类的一致性相当，最高 pairwise κ=0.84 出现在 Opus 4.6 与 4.8 之间（Figure 3）。模式级一致性普遍更低，GPT-5.5 模式准确率 0.72。给定金类别后 Opus 模式准确率上升（4.6 到 0.70、4.8 到 0.78），说明部分错误源于类别阶段。选择性投票（Table 4）：≥3 法官一致类别精度 0.83、覆盖 90%；4 个全一致精度 0.96、覆盖 68%。主要分歧来源是证据异质（如案例 E4 缺完整轨迹）和根因追溯困难。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 类别级标签复现（交互边 + 责任端） | Cohen's κ（与人类） | GPT-5.5 = 0.76（最高） | 随机一致约 0 | 远高于随机水平，证明标签捕捉共享结构 |
| 类别级标签复现 | Cohen's κ（法官间最高 pairwise） | Opus 4.6 与 4.8 = 0.84 | 人类与法官间约 0.70-0.76 | 法官彼此一致性与人和法官一致性相当 |
| 选择性投票集成 | 类别精度 / 覆盖率 | ≥3 一致 → 精度 0.83 / 覆盖 90%；4 一致 → 0.96 / 68% | ≥2 一致 → 0.78 / 100% | 通过提高一致门槛用覆盖率换精度 |
| 故障模式级标签复现 | 给定金类别后的准确率（Table 3） | Opus 4.6 = 0.70、4.8 = 0.78 | 预测类别+模式时 0.62-0.70 | 证明部分模式错误源于类别阶段 |
局限与改进
作者承认三点。其一，这套分类是描述性的而非定量的：它组织故障、判定责任，但不估计各种模式的相对频率；41 个模式来自所审阅的案例，可能随架构和脚手架演进需要扩充。其二，标签依赖可用证据——简短报告或模型系统卡可能省略识别唯一根因所需细节（如案例 E4 只能解释为上下文侧或模型侧未授权动作之一）。其三，agent-as-a-judge 在生产中难部署，因为法官准确率仍有限，尤其故障模式标签；集成虽提高精度却牺牲覆盖率，系统可能在责任归属最不确定的案例上弃权。我的额外观察：验证集仅 40 个工作案例、由单一人类标注者产出，规模偏小且未报告标注者间一致性，4 个法官中有 3 个同属 Claude 家族可能高估了 pairwise 一致性；36/5 的模型侧重失衡也可能让类别预测的难度分布偏斜。
独立分析的弱点
第一，证据异质性导致的歧义：很多案例只有 GitHub issue、博客或系统卡片段，没有完整轨迹，法官和人类都难以唯一锁定根因（如 E4）。改进方向是构建一个带完整执行轨迹的标准化故障语料库，并强制每个案例附带因果传播路径标注。第二，单一人类标注者且验证集仅 40 例，统计置信度有限。改进方向是引入多名标注者并报告人类 inter-annotator κ 作为上限，再扩大评估集到数百例以缩小置信区间。第三，41 个模式中 36 个归模型侧，分布高度不均，可能让类别预测任务偏向高频类而高估整体 κ。改进方向是按交互边分层均衡采样，并报告各类别的 per-class κ。第四，4 个法官中 3 个是 Claude，pairwise κ=0.84 可能有家族偏置。改进方向是纳入更多不同供应商的模型作为法官。
未来方向
作者隐含的未来方向包括：把分类体系扩展以覆盖随智能体架构与脚手架演进出现的新失败模式，并提升 agent-as-a-judge 在生产环境下的可用性（在精度与覆盖率间寻找更好的折中）。基于本成果可延伸的方向我补充三点：一是把这套'边 + 责任端'表示变成自动化根因定位工具——结合轨迹分析自动建议干预类型（模型后训练 vs 脚手架改造 vs 评估重设计）；二是与 Barke、Qiao 等人的故障定位方法整合，形成'从轨迹到根因事件到责任组件'的端到端流水线；三是建立持续标注的开放语料库并跟踪 41 个模式的真实分布频率，把目前的定性分类升级为定量风险画像。
复现评估
复现难度中等偏上。分类定义和 41 个故障模式的描述在 Appendix B 逐字给出，案例的支撑理由与 OWASP 影响标注映射在 Appendix C，法官的推理配置与提示在 Appendix A，这些都利于他人复用分类与重跑验证。40 个工作案例引用了公开基准、系统卡、报告和托管在 HuggingFace/Docent 上的轨迹，但部分源材料（如简短博客、issue）本身信息不全，会造成天然不可复现。算力方面，agent-as-a-judge 跨 4 个前沿模型、每个案例 3 个回合，成本不低，但不需要训练模型。整体而言定义和协议可复现，但定量结果（κ、精度）会因证据可得性、法官模型版本（论文用 GPT-5.5、Opus 4.6/4.7/4.8 等较新版本）而产生波动。
论文图表
