从特征到行动：传统AI与智能体AI系统中的可解释性 From Features to Actions: Explainability in Traditional and Agentic AI Systems
提出轨迹级可解释性框架MEP，证明静态归因方法无法诊断智能体多步执行失败
前置知识
Explainable AI (XAI, 可解释人工智能)
可解释AI是一类旨在让人类理解AI系统决策过程的技术和方法的总称。传统XAI方法主要分为两类：内在可解释性（如线性模型、决策树，模型本身结构透明）和事后可解释性（如SHAP、LIME、显著性图，通过分析已训练模型的输入-输出关系来解释预测）。核心思想是将黑盒模型的决策过程转化为人类可理解的形式。这些方法通常在静态预测场景下工作，即模型对单个输入产生单个输出的情况。
本文的核心主题是XAI，需要理解传统XAI方法的基本分类和工作原理，才能理解为什么它们在智能体场景下失效。
SHAP (SHapley Additive exPlanations)
SHAP基于博弈论中的Shapley值，为每个输入特征分配一个归因分数，量化该特征对模型预测的贡献。对于给定输入 $x$，SHAP值 $\phi_i$ 表示特征 $i$ 相对于平均预测的边际贡献，满足效率性（所有特征SHAP值之和等于预测与均值之差）、对称性和可加性等公理。SHAP有多种变体：Kernel SHAP（模型无关）、Tree SHAP（树模型专用）和Linear SHAP（线性模型专用），能同时提供局部（单个样本）和全局（整个数据集）的特征重要性解释。
论文使用SHAP作为静态XAI的代表性方法，并在桥接实验中用它对智能体行为特征进行归因分析，需要理解其原理才能理解实验结果的含义。
LIME (Local Interpretable Model-agnostic Explanations)
LIME是一种模型无关的局部解释方法。其工作原理是：对于待解释的预测，在该样本附近生成扰动样本，获取模型在这些样本上的预测结果，然后训练一个简单的可解释模型（如线性回归）来近似原始模型在该局部区域的行为。通过可解释模型的系数来理解哪些特征对该预测最重要。LIME的优势在于不需要访问模型内部结构，只需要输入-输出即可工作。
LIME是论文中静态实验使用的核心解释方法之一，理解其局部近似的特性有助于理解为什么它在静态设置下表现良好但无法扩展到轨迹级别。
Agentic AI (智能体AI)
智能体AI指能通过多步交互（观察环境、推理、采取行动、接收反馈）来完成复杂目标的AI系统，典型代表是基于LLM的工具使用智能体。与传统单次预测不同，智能体的行为展开为一个轨迹 $\tau = (s_0, a_0, o_0, s_1, a_1, o_1, \ldots, s_T)$，其中 $s_t$ 是第 $t$ 步的内部状态，$a_t$ 是采取的行动（包括工具调用），$o_t$ 是接收到的环境观察。成功或失败由整个轨迹决定，而非单一输出。
本文的核心论点是传统XAI方法不适用于智能体场景，需要理解智能体AI的基本概念才能理解为什么需要新的可解释性框架。
Execution Trace (执行轨迹)
执行轨迹记录了智能体完成任务的完整过程，包括每一步的推理内容、工具调用参数和返回结果、中间观察、状态更新等。在本文中，使用HAL-Harness标准化框架收集轨迹，并通过Docent框架对轨迹进行后验分析。执行轨迹是轨迹级可解释性的核心数据基础。
执行轨迹是论文中智能体可解释性方法的核心输入，理解其结构有助于理解rubric评估和MEP框架的工作方式。
Minimal Explanation Packet (MEP, 最小解释包)
MEP是本文提出的框架，将解释从孤立的算子打包为一个结构化单元，包含三个组件：(1) 解释算子——人类可理解的解释本身（如特征归因图、推理轨迹、工具调用摘要）；(2) 链接证据和执行上下文——支撑算子的材料（如输入实例、执行轨迹、检索文档、工具调用日志、状态快照）；(3) 验证信号——解释可靠性的指标（如扰动稳定性分数、基于rubric的行为标记、基于重放的一致性检查）。MEP是方法无关的，可以在不同粒度（实例级或模型级）实例化。
MEP是论文的核心理论贡献，统一了静态和智能体两种场景下的解释框架，理解其结构是理解全文的关键。
Rubric-based Evaluation (基于评分标准的评估)
这是一种对智能体行为进行系统化诊断的方法。论文定义了六类行为约束（Intent Alignment、Plan Adherence、Tool Correctness、Tool-Choice Accuracy、State Consistency、Error Recovery），对每次智能体运行的执行轨迹，由LLM评判器（GPT-5）判断每类约束是否被满足或违反，产生二值化的标记。这些标记随后用于分析失败模式的普遍性和预测强度。该方法的核心优势是能逐运行地定位具体违反了哪条行为约束。
Rubric评估是论文方法论的核心创新，是连接执行轨迹和可操作诊断结果的桥梁，也是与静态归因方法对比的主要工具。
研究动机
过去十年，可解释AI（XAI）主要聚焦于解释单个模型预测。典型方法如SHAP、LIME和显著性图通过事后归因来解释输入特征如何影响输出，在静态预测设置下表现良好。然而，随着AI系统日益走向智能体化——特别是基于LLM的工具使用智能体通过多步观察、推理和工具调用来完成任务——这些方法面临根本性挑战。静态设置下，解释的单位是单个预测；而在智能体设置下，成功和失败由一系列决策的序列决定。一个智能体可能在第3步选择了错误的工具，导致第7步状态不一致，最终在第12步无法恢复而失败——这种级联失败模式是单步归因方法无法捕捉的。论文通过实验证明，尽管SHAP在静态设置下能产生稳定的特征排名（Spearman $\rho = 0.86$），但这些归因方法无法可靠地诊断智能体轨迹中的执行级失败。
本文的目标是本文的具体目标是：(1) 建立静态预测和智能体系统之间可解释性的形式化区分；(2) 提出一个跨范式的解释目标和解释产物分类法，从特征级归因到轨迹级账户；(3) 通过实证比较，在静态分类任务和LLM智能体基准测试（TAU-bench Airline和AssistantBench）上分析归因方法和基于轨迹的诊断方法的差异，从而为智能体系统的可解释性提供具体需求和方向。
与已有工作不同的是，现有工作存在三个相互割裂的领域：传统XAI方法擅长解释静态预测器（归因、概念、因果电路），但不涉及时间维度；LLM相关工作通过思维链（CoT）、ReAct等技术展示推理轨迹，但这些是自述性的，可能与实际因果因素不一致；智能体评估框架（如DeepEval、LangSmith、Ragas）提出了评估智能体性能的指标，但将可解释性作为诊断工具来评估是一等公民的需求尚未被系统化处理。本文的独特切入点是通过范式区分（静态 vs. 智能体）来统一组织XAI研究，并通过桥接实验（将轨迹投影到rubric特征空间后应用SHAP）实证测试两种范式的解释能力差异。
核心方法
本文的方法论分为三个层次。首先，在理论层面，论文形式化了静态预测和智能体系统之间的范式区分：静态系统实现固定映射 $y = f(x)$，解释定义在单一输入-输出决策上；智能体系统的行为展开为轨迹 $\tau = (s_0, a_0, o_0, s_1, a_1, o_1, \ldots, s_T)$，正确性和失败定义在整个轨迹的层面上。其次，论文提出了MEP框架，将解释从孤立算子打包为结构化单元，包含解释算子、链接证据和验证信号三个组件。最后，在实验层面，论文在两个互补设置下评估解释质量：静态预测设置（文本分类任务）和智能体设置（TAU-bench Airline和AssistantBench），使用统一的MEP标准（范围、基础、可靠性、可审计性）进行跨范式比较。
本文的核心创新是提出一个跨范式的视角，将XAI方法从静态预测映射到智能体系统，并揭示了一个关键的方法论转化需求。核心洞察是：在静态设置中，归因回答的是'哪个输入特征影响了这个输出'这一有良好定义的问题；而在智能体设置中，关键问题是'为什么智能体现在选择这个行动'——这需要相对于当前可用替代方案（工具、记忆、检索证据、历史观察）来回答。论文通过MEP框架实现了这一转化：静态MEP包含SHAP特征归因、输入文本和扰动稳定性验证；智能体MEP包含执行轨迹（推理步骤到行动的链接）、完整上下文（用户请求、每步观察、工具参数和返回值、状态更新）和rubric标记验证。这一框架的本质区别在于将验证信号从'可选附加项'提升为'一等公民'，因为在智能体场景中，失败可以从跨步骤的累积效应中涌现。
方法步骤详情
方法分为三个阶段。第一阶段是静态可解释性评估：在Online Job Postings数据集上进行IT vs. 非IT二分类，使用TF-IDF + Logistic Regression和Text CNN两个模型，通过SHAP（全局特征重要性）和LIME（局部实例解释）评估解释稳定性，以Spearman秩相关系数 $\rho$ 衡量扰动下的特征排名一致性。第二阶段是智能体可解释性评估：在TAU-bench Airline（50个任务，使用o4-mini模型）和AssistantBench（33个任务，使用GPT-4.1模型）上收集执行轨迹，然后使用Docent框架和GPT-5评判器对每条轨迹进行六类rubric评估（Intent Alignment、Plan Adherence、Tool Correctness、Tool-Choice Accuracy、State Consistency、Error Recovery），每条rubric产生二值标记（满足/违反）。对于每类rubric，计算失败模式普遍性 $P(f_r=1|y=0)$ 和 $P(f_r=1|y=1)$ 及其差值 $\Delta_{\text{prev}}(r)$ 和比值 $\text{Ratio}_{\text{prev}}(r)$，以及可靠性相关指标 $P(y=1|f_r=1)$ 和 $P(y=1|f_r=0)$ 及其差值 $\Delta_{\text{rel}}(r)$ 和风险比 $\text{RR}(r)$。第三阶段是桥接实验：将TAU-bench Airline的执行轨迹投影到rubric特征空间（每个维度表示一个行为约束是否满足），训练逻辑回归预测任务成功/失败，然后用SHAP计算每个rubric特征的归因分数，从而在共享表示下比较传统归因和轨迹级解释。
技术新颖性
本文的技术新颖性体现在多个方面。首先，MEP框架是首个将静态和智能体可解释性统一打包的结构化方案，将解释算子、链接证据和验证信号三者绑定，改变了以往验证作为可选附加的做法。其次，论文提出的跨范式映射方法（将轨迹投影到行为rubric特征空间后应用SHAP）是一种新颖的桥接策略，既保留了归因方法的全局分析能力，又暴露了其在逐运行诊断上的局限。第三，rubric评估方法通过纯行为证据（执行轨迹）而非结果信息进行评判，避免了结果泄漏，提供了比现有智能体评估框架（DeepEval、LangSmith、Ragas）更具诊断粒度的失败定位能力。最后，论文量化了状态追踪不一致性在失败运行中的普遍程度（$2.7\times$），并证明违反该约束会使成功概率下降49%，这是首次在智能体可解释性中提供此类因果关联证据。
实验结果
论文的实验结果清晰地展示了静态和智能体可解释性之间的范式差异。在静态设置中，TF-IDF + Logistic Regression的解释稳定性（Spearman $\rho = 0.8577$）显著高于Text CNN（$\rho = 0.6127$），表明当模型的归纳偏置与任务结构对齐时，SHAP和LIME能产生稳定的归因模式。在智能体设置中，性能差异显著：TAU-bench Airline准确率为56%（28/50），AssistantBench仅为17.39%（2/33）。关键的诊断发现是：TAU-bench Airline中，State Tracking Consistency是最强的失败信号（$\Delta = 0.333$，Ratio $= 2.7\times$），成功概率在违反时从73.5%降至37.5%（$\Delta_{\text{rel}} = -0.36$，RR $= 0.51$），说明状态漂移会静默累积直到导致不可恢复的错误。AssistantBench中，Tool Choice Accuracy和Plan Adherence违反对应零成功（RR $= 0.00$），是硬性阻断因素。桥接实验显示，当轨迹投影到rubric特征空间时，Intent Alignment（平均|SHAP| = 0.473）、State Tracking Consistency（0.422）和Tool Correctness（0.415）是最重要的预测因子，但这些归因仍只能提供全局关联，无法定位具体运行中的失败原因。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 静态文本分类（IT vs. 非IT）- TF-IDF + LR | 解释稳定性 (Spearman ρ) | 0.8577 | Text CNN: 0.6127 | 提升 40%（0.8577 vs 0.6127） |
| TAU-bench Airline 智能体任务 | 任务准确率 | 56.0%（28/50） | N/A（诊断分析，非性能优化） | 诊断发现：状态追踪不一致是2.7×过表达的失败模式 |
| AssistantBench 智能体任务 | 任务准确率 | 17.39%（2/33） | N/A（诊断分析，非性能优化） | 诊断发现：工具选择准确性违反对应零成功（RR = 0.00） |
| 桥接实验（TAU-bench Airline rubric特征） | SHAP归因分数 | Intent Alignment: 0.473, State Tracking: 0.422 | 直接轨迹分析 | 证明归因方法在压缩特征空间下可恢复全局重要性排名，但无法提供逐运行诊断 |
局限与改进
作者承认了多方面的局限性。首先，评估范围有限：仅在TAU-bench Airline和AssistantBench两个基准上使用少量LLM智能体（共83次运行），不涵盖具身智能体、多智能体协调或具有在线学习和持久记忆的系统。其次，轨迹级解释是事后从执行轨迹中提取的，使用预定义行为rubric进行总结——这种抽象虽然可扩展，但本质上是粗糙的，可能隐藏细粒度决策动态，且主要支持相关性而非因果性结论。第三，rubric标签由LLM评判器（GPT-5）生成，尽管使用了固定提示和仅轨迹访问，仍引入了主观性，且依赖轨迹完整性——在不完整日志或部分可观测性下这一假设可能不成立。此外，Docent目前对自动反事实干预、因果验证和与内部模型表示的直接集成支持有限。从个人观察来看，83次运行的样本量相对较小，特别是在AssistantBench仅有33次运行（成功率17.39%，仅2次成功）的情况下，统计显著性可能不足。论文也未充分讨论LLM评判器本身的可靠性验证。
独立分析的弱点
论文存在几个值得改进的弱点。第一，样本规模偏小：TAU-bench Airline仅50次运行、AssistantBench仅33次运行，在如此小的样本上计算的条件概率（如 $P(f_r=1|y=0)$）置信区间较宽，统计稳定性存疑，特别是AssistantBench中仅2次成功的条件下，许多条件概率的估计可能高度不稳定。改进方向是扩大评估规模，或使用bootstrap等方法量化估计不确定性。第二，LLM评判器的可靠性未经验证：GPT-5作为评判器对轨迹进行rubric评分，但论文未报告评判器间一致性（inter-rater agreement）或与人类标注的相关性，无法判断rubric标记的噪声水平。改进方向是引入多评判器对比和人类标注子集验证。第三，rubric粒度有限：六类rubric虽然覆盖了主要行为维度，但可能过于粗糙，无法捕捉更细粒度的失败模式（如特定类型的状态不一致、特定工具的误用模式）。改进方向是开发层次化rubric体系，支持不同粒度的诊断。
未来方向
作者提出了三个主要未来方向：(1) 混合人类-AI验证策略——结合人类判断和自动化评估来提高rubric评分的可靠性；(2) 自适应轨迹摘要——针对超长轨迹开发智能压缩技术，在保留关键信息的同时降低分析复杂度；(3) 生产级实时可解释性——将MEP框架扩展到实时系统，支持实时失败检测和干预。基于本文成果还可以延伸以下方向：将MEP框架应用于多智能体协作场景，研究智能体间的交互如何影响可解释性；开发自动化的反事实干预工具，通过修改特定步骤的行动来验证因果假设；将rubric评估与模型内部表示（如注意力模式、激活状态）结合，实现从行为级到机制级的可解释性；探索在线可解释性——在智能体执行过程中实时生成解释和风险预警，而非仅事后分析。
复现评估
论文的可复现性较好。代码和所有rubric提示、评分模板已随代码库发布。静态实验使用标准Python库（scikit-learn、SHAP），在CPU-only Linux服务器上运行，门槛较低。智能体实验使用HAL-Harness标准化框架收集轨迹，Docent框架进行rubric分析，配置参数在Table 9中详细列出（GPT-5，温度0.1，中等推理努力度，单轮，仅轨迹访问）。两个基准（TAU-bench Airline和AssistantBench）均为公开基准。主要复现成本在于LLM API调用：83次智能体运行的推理成本约25.51美元（TAU-bench $11.36 + AssistantBench $14.15），加上GPT-5评判器的rubric评估成本。整体复现难度中等——静态实验易复现，智能体实验需要API访问和中等算力。
论文图表