使用反事实链和因果图的大语言模型可解释性

通过构建概念级因果图揭示LLM推理过程中的概念组织方式和依赖关系

前置知识

因果图

因果图是一种有向图模型，其边表示变量之间的直接因果关系。在因果图中，节点代表变量，有向边从原因指向结果。因果图基于Judea Pearl的因果推理框架，提供了表示和处理因果关系的数学语言。与仅表示相关性的贝叶斯网络不同，因果图可以进行反事实推理和干预效果估计。例如，在疾病诊断场景中，因果图可以表示症状如何直接导致不同的疾病诊断结论，而不仅仅是统计相关性。

本文的核心创新是用因果图来建模LLM的推理过程，因此理解因果图的基本概念对于理解论文方法至关重要。作者用因果图来表示文本输入、LLM感知的概念状态和最终预测之间的因果流，这需要读者熟悉因果图如何编码因果依赖关系和干预操作。

马尔可夫链蒙特卡洛

MCMC是一类通过构建马尔可夫链来从复杂概率分布中采样的算法。其核心思想是设计一个转移核，使得链的平稳分布恰好是目标分布。经典的Metropolis-Hastings算法通过接受-拒绝机制实现：提出一个新样本，计算接受概率，然后决定是否接受。经过充分多的迭代后，链的状态会近似服从目标分布。MCMC特别适用于高维、难以直接采样的复杂分布，在贝叶斯推断、物理模拟等领域广泛应用。

本文提出了MCMC风格的数据扩展算法来填充稀疏的概念空间。算法通过构造反事实文本链来探索概念空间，接受或拒绝候选反事实。理解MCMC的工作原理有助于理解作者如何通过迭代生成和验证反事实来获得更密集、更高质量的概念覆盖，从而支持稳定的因果发现。

反事实推理

反事实推理是因果推理的核心能力，指的是推理'如果某个条件不同，结果会如何变化'。在机器学习可解释性中，反事实方法通过生成输入的轻微扰动（反事实样本）来解释模型决策。例如，对于拒绝贷款申请的模型，反事实解释可能是'如果收入增加5000美元，贷款将被批准'。这种方法提供了因果证据，而不仅仅是相关性分析，因为测试了特定因素对预测的因果影响。

本文的数据扩展阶段完全基于LLM生成的反事实文本。作者通过迭代生成概念状态被精确控制的反事实样本，解决了观测数据稀疏导致的因果发现难题。理解反事实推理的概念有助于理解作者如何确保生成的反事实在概念空间中产生预期的位移，以及如何验证反事实的忠实性。

σ-CG算法

σ-CG（constraint-based causal discovery for cyclic graphs）是一种基于约束的因果发现算法，可以处理离散变量和可能包含循环的因果结构。与假设DAG（有向无环图）的经典算法如PC算法不同，σ-CG允许变量之间存在循环依赖，这在现实世界的复杂系统中很常见。算法通过条件独立性测试来约束可能的因果结构，然后在这些约束下寻找一致的因果图。它在存在隐变量和循环的情况下仍能工作，使其适合本文的LLM推理场景。

本文使用σ-CG作为因果发现的核心算法。LLM内部的概念推理可能存在循环依赖（概念A可能影响概念B，反之亦然），因此不能假设图是无环的。σ-CG能够处理这种情况，并且支持离散变量（本文的概念状态恰好是离散的）。了解σ-CG的特点有助于理解为什么作者选择它而不是其他因果发现算法。

研究动机

大型语言模型的能力虽然强大，但其推理过程仍然是不透明的：决策因素不可观察，生成的解释往往缺乏忠实性。现有的可解释性方法主要基于相关性，如特征归因、注意力分析、探测等，但这些方法不能提供因果证据。反事实方法提供了更强的因果证据，但通常局限于局部、以输入为中心的解释，可以量化特定因素对预测的因果效应，但无法恢复模型的高级推理过程。机制可解释性针对神经元和电路等内部组件，但这往往是低层面的科学分析，与利益相关者需要的解释不匹配。医疗和司法等高风险领域的LLM应用尤其需要真正可靠的解释，以避免自信的幻觉和偏见。

本文的目标是本文的目标是提供一个全局的、因果层面的LLM推理解释方法。具体而言，作者想要恢复一个概念级的因果图，展示LLM如何组织人类可解释的概念并将它们映射到最终预测。这个因果图应该从输入文本开始，经过LLM感知的概念状态，最终到达预测结果，显式表示模型如何组织概念级信息以及这种结构如何导致最终预测。通过这个因果图，利益相关者可以获得对LLM推理过程的透明视图，理解模型如何看待和组织高级概念来产生预测。

与已有工作不同的是，本文的独特切入角度是将因果图作为LLM推理过程本身的可解释性对象，而不是像先前工作那样用因果图来建模真实世界的关系。先前工作中，因果图要么用于机制可解释性（在神经元、注意力头等内部组件上），要么用于估计高级概念对模型预测的因果效应（通常假设图由领域专家提供，描述从概念到文本再到模型预测的数据生成过程）。本文提出的第三个用途是描述模型的高级推理：文本→概念→预测，在这个设置中，因果图本身就是解释，相关的概念和它们的因果关系必须被推断而不是假设。这是文献中尚未探索的新方向。

核心方法

方法整体思路是模型驱动的四阶段管道。直觉上，既然要解释LLM的推理，就让LLM自己参与概念提取、数据生成和因果发现的全过程。给定目标LLM和一组文本示例，方法首先让LLM生成预测，然后用这些预测替换真实标签，确保后续分析反映模型视角而非数据集标签。接下来，方法迭代地发现区别不同预测类别的可解释概念，并将每个输入映射到LLM感知的概念状态向量。然后，引入MCMC风格的反事实增强程序，通过反事实链扩展稀疏的观测数据，产生更密集、更高质量的概念空间覆盖。最后，应用σ-CG算法进行稳定的因果发现，得到信息丰富的可解释因果图。整个过程完全自动化，不需要人工干预或领域知识。

核心创新点有两个：第一，将因果图作为LLM推理过程本身的解释对象，构造从文本到概念再到预测的完整因果图，而不是像先前工作那样只恢复局部Markov毯或估计特定概念的因果效应。第二，引入MCMC风格的反事实增强算法来解决因果发现中的数据覆盖难题。在LLM推理这个潜在过程中，观测数据稀疏地覆盖模型的内部决策空间。作者通过让LLM生成目标概念被精确控制的反事实文本，主动扩展概念空间，为更稳健的因果发现提供更丰富的支持。这两个创新使得方法能够真正揭示LLM如何组织概念级信息来做出决策。

方法步骤详情

方法的完整步骤包括四个阶段。第一阶段是标签预测：给定数据集D={(xj, yj)}，用目标LLM对每个文本xj进行分类，得到预测标签ŷj = f(xj)，然后用ŷj替换真实标签yj。所有后续阶段都使用这些预测标签，确保恢复的因果图反映模型的视角。第二阶段是差别性概念提取：将Dtrain分成小的类别平衡批次，每个批次包含每个类别的|B|/|Y|个实例。对每个批次，让LLM查看示例并提出新的候选概念，添加到概念集C中。每十个批次，对累积的概念进行过滤。为此，首先用概念向量ϕ(x)注释到目前为止看到的每个示例，其中每个概念取V中的一个值，对应于子集S⊆Y。然后只保留那些既相关又有区别性的概念：即其赋值映射到严格部分类别子集的示例比例超过阈值τ=1/|Y|的概念。处理完Dtrain中的所有批次后，用相同的标准注释Dtest中的示例并再次过滤，得到最终概念集C。第三阶段是MCMC风格的数据扩展：Dtrain中的每个原始示例x启动一个持续K=11步的独立扩展过程。在第k步，对于当前示例x，迭代所有ci∈C并均匀采样目标类别y∗∈Y。让S是ϕ(x)[ci]映射到的子集，根据y∗是否包含在S中选择方向dx∈{MORE, LESS}。提示LLM重写文本以将ci向y∗的方向移动，同时保持其他概念稳定。一个提案被接受仅当满足两个条件：目标对齐和非目标概念的漂移数不超过容差ϵ。如果失败，进行递归精化。第四阶段是通过σ-CG的因果发现：对扩展后的注释数据集应用σ-CG算法，获得变量V上的有向图G，施加ˆy是唯一汇节点的约束。

技术新颖性

技术新颖性体现在多个方面。首先，这是首次将因果图用于LLM推理本身的全局概念级解释，而不是局部效应估计或真实世界建模。其次，MCMC风格的数据扩展算法是在文本空间而非概念空间中操作，这保留了语言连贯性同时允许探索可实现的概念空间区域。算法的接受标准模拟了Metropolis-Hastings测试，确保生成的反事实忠实于预期的概念位移。第三，评估协议针对因果图的预测保真度和结构稳定性，在缺乏金标准推理图的情况下提供了创新的验证方法。最后，方法发现不同LLM即使在同一任务上也发展出独特的潜在启发式，这一发现本身也具有新颖性，揭示了模型间推理模式的异质性。

**Figure 2**: Overview of our four-phase pipeline for constructing causal graphs. The 'papaya' running example is drawn from the full toy walkthrough in Appendix B.

实验结果

核心发现包括三个方面。首先，预测保真度评估表明，因果图父节点集在所有设置、所有模型和数据集中都优于平均的替代概念子集。具体来说，在10折交叉验证中，基于因果图的预测器准确率在Disease Diagnosis任务上达到0.67（Gemini-2-Flash和GPT-OSS-20B）和0.63（Qwen3-14B），在Sentiment Analysis任务上达到0.80-0.84，在LLM-as-a-Judge任务上达到0.64-0.83，显著高于随机基线和大多数替代概念组合。Top-3结果进一步强化了这一结论：在几乎所有设置中，因果图父节点集在多数CV情况下排名前三。其次，发现的因果图揭示了LLM推理的二分性：在结构化的合成任务（DD）上，模型收敛到相似的解释性概念，成功恢复生成数据集时使用的因果图的地面真值变量（如具体症状）。但在自然数据集（SA, LAJ）上，每个模型发展出独特的潜在启发式，即使模型依赖相似的概念，它们的因果拓扑也各不相同。最后，MCMC扩展达到分布和拓扑收敛。KL散度曲线从正交扩展上界开始，逐渐向完美重叠下界靠近，表明链主动发现新的有效概念状态并最终稳定。KL稳定后，连续迭代间恢复的因果边集的Hamming距离降至零，说明额外的增强不再改变学习的图。

**Table 1**: Causal-Graph Prediction Results: Average 10-fold cross-validation results.

**Table 2**: Extracted concepts across different models and datasets.

**Figure 3**: Illustrations of four causal graphs.

**Figure 4**: KL-divergence convergence during MCMC-inspired data expansion on Sentiment Analysis for GPT-OSS-20B.

**Figure 5**: Impact of MCMC: Mean accuracy across DD and SA datasets and all concept combinations, under three training regimes.

查看结构化数据

任务	指标	本文	基线	提升
Disease Diagnosis	Parent Set Prediction Accuracy (10-fold CV)	0.67 (Gemini-2-Flash, GPT-OSS-20B), 0.63 (Qwen3-14B)	0.61, 0.59, 0.56 (average alternative subsets)	约10-13%的准确率提升
Sentiment Analysis	Parent Set Prediction Accuracy (10-fold CV)	0.80 (Gemini-2-Flash), 0.80 (Qwen3-14B), 0.84 (GPT-OSS-20B)	0.77, 0.75, 0.78 (average alternative subsets)	约4-8%的准确率提升
LLM-as-a-Judge	Parent Set Prediction Accuracy (10-fold CV)	0.79 (Gemini-2-Flash), 0.64 (Qwen3-14B), 0.83 (GPT-OSS-20B)	0.74, 0.62, 0.78 (average alternative subsets)	约3-7%的准确率提升
Concept-level Prediction (Mean across C)	Concept Prediction Accuracy (10-fold CV)	0.54-0.88 across all settings	0.48-0.80 (average alternative subsets)	因果图父节点在概念预测上也优于大多数替代组合

局限与改进

局限性包括三个方面。首先，概念提取对批次配对敏感。由于LLM输出token限制，概念提取在小批次中执行，并且由于推理成本只运行一次。因此，候选概念可能取决于每个批次内示例的任意分组。不同的批次配对可能突显不同的对比特征，产生不同或更全面的概念集C。其次，评估限制于局部父节点。框架旨在恢复全局概念级因果图，但当前的验证协议主要通过发现的父节点集评估局部预测保真度。这证明了每个节点的直接预测因子是信息丰富且结构稳定的，但没有直接验证更长的多跳因果链或恢复图的更广泛层次结构。最后，依赖于自注释和生成。在反事实生成期间，作者依赖目标LLM注释概念、生成反事实并判断提议的编辑是否满足预期约束。由于LLM生成的推理和自我评估不保证忠实性，这些中间步骤中的错误可能传播。虽然接受标准通过检查目标对齐和概念漂移来降低这种风险，但未来工作应该调查外部验证、人工审计或多模型一致性来进一步评估注释和反事实的质量。

独立分析的弱点

独立分析的弱点主要有三个。第一，计算成本高。四阶段管道需要多次调用LLM，包括预测、概念提取、注释和反事实生成。对于大型数据集，成本可能非常昂贵，这限制了方法的可扩展性。改进方向包括探索更高效的概念提取策略，如并行化批次处理、减少MCMC步数，或使用更小的专用模型进行辅助任务。第二，概念状态空间的假设相对简单。每个概念的状态被建模为类别子集，这可能无法捕捉概念间更复杂的关系，如强度、时间或条件依赖。改进方向是扩展概念表示，引入更丰富的状态空间，如数值强度、时间关系或逻辑组合，这可能需要更复杂的因果发现算法。第三，因果发现算法的假设限制。σ-CG虽然允许循环，但仍然基于一定的假设，如离散性和特定的约束结构。对于连续概念或更复杂的非线性关系，可能需要其他因果发现方法。改进方向是探索适应性更强的因果发现算法，或结合多种算法的集成方法。

未来方向

未来研究方向包括四个方面。作者提出的方向：将框架扩展到更多语言、开放式生成设置和多模态领域；进一步扩大实证评估，向更标准化和以利益相关者为中心的可解释性框架迈进。基于成果可延伸的方向：第一，探索因果图的实际应用，如调试模型偏差、指导模型编辑或生成更可靠的解释。第二，研究因果图的动态性，即在不同数据分布或训练阶段如何变化，这可能揭示模型学习的演变过程。第三，结合人类反馈来验证和改进因果图，例如让领域专家评估图结构的合理性，或用人类标注的概念状态来替代自注释。第四，探索因果图在模型选择和比较中的作用，不同模型即使在相同任务上有相似性能，但其推理模式可能不同，因果图可以作为选择合适模型的额外标准。

复现评估

复现评估方面，作者在附录中提供了详细的伪代码和提示模板，这有助于复现。算法1详细描述了迭代差别性概念提取过程，算法2描述了LLM引导的MCMC数据扩展过程，附录E包含了所有阶段的提示模板。然而，复现仍面临挑战：需要访问三个LLM（Gemini-2-Flash, Qwen3-14B, GPT-OSS-20B），API调用成本高；概念提取结果可能由于LLM的随机性而不同，尤其是在温度设置非零时；MCMC扩展的计算复杂度与概念数和数据集大小相关，对于大型数据集可能非常耗时。作者没有开源代码，但提供了足够的细节来重新实现。数据方面，Disease Diagnosis和Sentiment Analysis使用公开数据集（LIBERTY, IMDB），LLM-as-a-Judge来自Reddit，数据可用性较好。总体来说，复现难度中等到高，主要挑战是计算成本和LLM访问。

使用反事实链和因果图的大语言模型可解释性 LLM Explainability with Counterfactual Chains and Causal Graphs