LIBERTy：基于结构反事实的LLM概念解释因果评估框架 LIBERTy: A Causal Framework for Benchmarking Concept-Based Explanations of LLMs with Structural Counterfactuals
提出因果框架LIBERTy，用结构反事实评估LLM概念解释方法的忠实性
前置知识
结构因果模型（SCM）
结构因果模型是Judea Pearl提出的因果推理框架，由外生变量、内生变量和结构方程组成。在SCM中，每个内生变量由其父变量和关联的外生噪声变量通过结构方程定义。SCM诱导的因果图是一个有向无环图（DAG），编码变量间的依赖关系。通过do算子可以进行干预操作，改变特定变量的值并观察其对其他变量的影响。SCM框架支持反事实推理：在固定外生变量的情况下，改变某个内生变量的值并传播这种改变，可以得到反事实结果。
LIBERTy的核心思想是为文本生成过程显式定义SCM，将概念作为变量、概念间关系作为边，从而生成结构反事实。理解SCM是理解整个框架的基础。
概念解释（Concept-based Explanations）
概念解释方法量化高层、人类可理解的概念（如性别、种族、专业经验）如何影响模型预测。与词元级解释不同，概念解释关注语义层面的特征，更符合人类认知过程。主要方法包括：归因方法（如TCAV、ConceptShap）、概念擦除方法（如LEACE）、反事实生成方法和匹配方法。这些方法通过不同方式估计概念对模型输出的重要性分数。
本文评估的就是这类解释方法的忠实性。理解不同概念解释方法的工作原理是理解实验比较的基础。
因果概念效应（CaCE和ICaCE）
因果概念效应（CaCE）衡量概念变化对模型预测的平均因果效应，类似于平均处理效应（ATE）。个体因果概念效应（ICaCE）则衡量单个样本上的因果效应，类似于个体处理效应（ITE）。形式上，ICaCE_f(x_ε, →c) = f(x̃_ε^c) - f(x_ε)，其中x̃_ε^c是反事实文本。在LIBERTy中，由于外生变量固定且解码确定性，ICaCE是精确的。
这些是评估解释方法忠实性的参考标准。解释方法的目标就是估计这些因果效应。
顺序保真度（Order-Faithfulness）
顺序保真度是本文提出的新评估指标，衡量解释方法是否能正确捕捉概念重要性的相对排序。对于两个概念变化c1和c2，计算其参考效应向量之差和解释向量之差，比较两者符号的一致性。形式上，OF(f, M_f, x_ε, →c1, →c2) = sign(ICaCE_f(x_ε, →c1) - ICaCE_f(x_ε, →c2); M_f(x_ε, →c1) - M_f(x_ε, →c2))。这个指标比误差距离更稳健，因为它关注相对排序而非绝对值。
这是本文提出的创新评估指标，用于补充传统的误差距离指标，更符合实际应用中解释方法的使用场景。
研究动机
当前基于概念的解释方法缺乏可靠的评估基准，这严重阻碍了可解释性研究的发展。现有评估方法存在三个主要问题：首先，广泛使用的CEBaB基准局限于餐厅评论的情感分析，文本简短简单，因果图仅包含四个概念且关系简单（无层次结构），无法反映真实场景的复杂性。其次，CEBaB的反事实由人类标注者编写，而非来自数据生成过程（DGP）的实际干预，因此作为评估参考的因果效应本身就是对未观测效应的近似。第三，现有基准无法支持对直接和间接因果效应的评估，也无法分析模型对概念干预的敏感性。在高风险领域（如医疗、金融、法律），决策者需要可靠的解释来理解和信任模型行为，但当前缺乏严格的评估协议来区分忠实和不忠实的解释方法。
本文的目标是本文的具体目标是提出一个可靠、可扩展、灵活的因果框架LIBERTy，用于生成包含结构反事实的干预数据集，从而基准测试基于概念的解释方法。框架需要满足以下要求：（1）支持显式定义的SCM，确保反事实与DGP严格对齐；（2）生成的文本具有多样性和真实性；（3）支持复杂因果图（至少8个概念，包含混杂和中介结构）；（4）提供新的评估指标，不仅衡量估计精度，还衡量相对排序的忠实性；（5）支持对多个NLP模型和LLM的系统评估。
与已有工作不同的是，本文的独特切入角度在于将文本生成过程显式建模为SCM，将LLM作为SCM的一个组件来实例化概念为自然语言文本。与现有工作相比，LIBERTy抓住了三个被忽视的关键点：第一，它认识到人类编写的反事实（如CEBaB）与结构反事实有本质区别——前者反映的是人类编辑启发式，而非实际的DGP机制，因此LLM生成的反事实在CEBaB上表现良好（因为LLM能很好地模仿人类编辑），但在结构反事实评估下表现不佳。第二，它引入外生接地文本（persona和template）作为噪声变量，既确保反事实的多样性，又保持确定性解码的可行性。第三，它提出了顺序保真度指标，认识到在实际应用中，解释方法的相对排序能力比绝对值估计更重要。
核心方法
LIBERTy的核心思想可以类比为一个可控的科学实验：我们不直接观察真实世界（这太复杂），而是构建一个简化的、完全可控的模拟环境（SCM），在这个环境中精确知道每个概念如何影响结果，然后测试解释方法能否发现这些已知的因果关系。技术路线如下：首先，为文本生成过程显式定义SCM，包括概念变量、外生噪声变量和结构方程。其次，使用LLM（GPT-4o）作为SCM的组件，将抽象的概念值实例化为自然语言文本。为了增加多样性并保持真实性，引入两个外生接地变量：persona（作者人设）和template（模板）。第三，遵循Pearl的三步反事实程序生成结构反事实：（1）外推：固定原始样本的外生变量；（2）干预：改变目标概念的值；（3）预测：通过SCM传播改变，生成反事实文本。第四，使用生成的数据集评估解释方法，比较其重要性分数与参考因果效应。
LIBERTy最本质的创新在于将LLM整合到SCM中作为文本生成器，从而获得严格的结构反事实。这与已有方法的根本区别在于：已有基准（如CEBaB）依赖人类编写的反事实，评估的是'解释方法能否估计人类编辑的效应'；而LIBERTy评估的是'解释方法能否估计实际DGP中的因果效应'。这种区别至关重要，因为人类编辑和实际因果机制是不同的——人类倾向于最小化编辑（改变一个概念时保持其他部分不变），但实际的因果机制可能要求多个相关概念同时改变（如改变性别可能通过中介变量影响其他属性）。LIBERTy通过确定性解码（温度=0）确保反事实严格符合Pearl的结构反事实定义：给定SCM和观测到的外生值，反事实是唯一确定的。此外，引入persona和template作为外生变量解决了确定性解码的三个限制：避免了模板化文本、增加了多样性、确保了原文和反事实来自同一叙事。
方法步骤详情
LIBERTy框架包含以下步骤：（1）定义SCM：为每个数据集定义因果图，指定概念及其方向性关系，基于高斯噪声和结构方程定义概念值的生成规则。三个数据集的因果图分别基于文献（工作场所暴力）、医学知识（疾病检测）和统计模式（简历筛选）。（2）生成接地文本：使用Gemini-1.5-Pro生成persona（作者人设，包含职业、爱好等）和template（模板，从真实语料库抽象）。例如，工作场所暴力数据集生成500个persona和大量面试模板。（3）采样概念值：按拓扑顺序从SCM中采样概念值，使用结构方程和高斯噪声。（4）生成原始文本：将概念值、persona和template提供给GPT-4o，使用数据集特定的prompt，通过确定性解码（温度=0）生成文本。（5）生成反事实：遵循Pearl三步程序——外推（固定外生变量）、干预（改变目标概念值）、预测（传播改变并重新生成文本）。（6）构建评估数据集：每个测试样本随机选择三个概念变化，生成反事实对。数据集分为训练集（用于训练解释模型）、解释方法训练集和测试集（包含反事实对）。（7）评估解释方法：计算参考因果效应（ICaCE）和解释方法的重要性分数，使用误差距离（ED）和顺序保真度（OF）进行比较。
技术新颖性
LIBERTy的技术新颖性体现在四个方面：第一，它是首个将LLM整合到SCM中生成结构反事实的框架，解决了现有基准依赖人类标注反事实的根本局限。第二，引入外生接地文本（persona和template）作为SCM的噪声变量，这是一个巧妙的设计：persona提供多样化的人物背景（如护士的爱好、职业动机），template提供叙事结构（如Reddit帖子风格、面试格式），两者共同确保生成文本既多样又真实，同时保持确定性解码的可行性。第三，提出的顺序保真度指标填补了评估方法的空白——现有指标（如误差距离）关注绝对值估计，而顺序保真度关注相对排序，这更符合实际应用中解释方法的使用方式（决策者通常关心哪个概念更重要，而非精确的效应大小）。第四，LIBERTy支持复杂因果图（至少8个概念），包含混杂、中介、长路径（概念到文本最多4条边）和反因果学习问题，远超CEBaB的4概念简单图。
实验结果
实验结果揭示了几个重要发现：首先，在局部解释性评估中，基于匹配的方法整体表现最佳，其中FT Match（使用微调编码器的匹配方法）取得了最低的估计误差（平均ED=0.34）和最高的顺序保真度（平均OF=0.74）。具体而言，FT Match在DeBERTa-v3模型上表现尤为突出，ED仅为0.16，OF达到0.88。相比之下，LLM生成的反事实方法（CF Gen）表现最差，平均ED=0.55，OF=0.49。这与CEBaB上的结果形成鲜明对比——在CEBaB上，LLM生成的反事实优于匹配方法，但在LIBERTy上则相反。其次，概念基匹配方法ConVecs（ED=0.44，OF=0.69）和Approx（ED=0.45，OF=0.69）也表现良好，表明基于概念值的相似性搜索比语义相似性搜索更有效。第三，概念擦除方法LEACE仅适用于疾病检测数据集（因为假设概念值0表示概念缺失），其表现较差（ED=0.65，OF=0.46）。第四，在全局解释性评估中，FT Match同样表现最佳（平均OF=0.857），但所有方法都至少遗漏了一个黄金概念，表明全局解释性仍有很大改进空间。第五，敏感性分析显示，零样本LLM（Llama-3.1和GPT-4o）对人口统计概念（种族、性别、年龄）的敏感性显著降低，这可能是由于后训练对齐的影响。例如，GPT-4o对性别的敏感性仅为0.594，而真实效应为1.271。最后，微调模型Qwen2.5-1.5B最准确地反映了数据的因果结构，但仍与真实效应存在差距。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 局部解释性（平均） | 误差距离（ED） | FT Match: 0.34 | CF Gen: 0.55 | 降低38.2% |
| 局部解释性（平均） | 顺序保真度（OF） | FT Match: 0.74 | CF Gen: 0.49 | 提升51.0% |
| 全局解释性（平均） | 顺序保真度（OF） | FT Match: 0.857 | ConceptSHAP: 0.408 | 提升110.0% |
| 工作场所暴力预测（DeBERTa-v3） | 误差距离（ED） | FT Match: 0.11 | CF Gen: 0.39 | 降低71.8% |
| 疾病检测（DeBERTa-v3） | 顺序保真度（OF） | FT Match: 0.86 | CF Gen: 0.47 | 提升83.0% |
局限与改进
作者承认了几个主要局限性：首先，LIBERTy依赖LLM生成合成文本，而非人类编写的文本，这可能导致LLM实例化概念的方式与人类自然表达方式存在不匹配。不过，人类评估（附录B）确认生成文本具有高语言质量（连贯性4.79/5，流畅性4.85/5），且94.2%的概念值被正确整合。其次，框架专注于基于概念的解释，排除了词元级或自由文本解释方法。第三，SCM和因果图仅简化真实世界机制，并非完美镜像——但作者强调这并不损害评估协议的可靠性，因为目标是测量解释模型内的因果效应，而非恢复真实世界机制。第四，使用确定性解码（温度=0）虽然确保结构反事实的严格性，但也限制了文本多样性。第五，三个数据集的因果图虽然比CEBaB复杂，但仍远比真实世界场景简单。从我的观察来看，评估指标的选择也可能影响结论——顺序保真度关注相对排序，但实际应用中可能需要更细粒度的效应估计。
独立分析的弱点
基于独立分析，我识别出以下弱点：第一，匹配方法（特别是FT Match）的优异表现可能部分源于评估设置的偏向——匹配方法从数据集中检索相似样本，而数据集本身由相同的DGP生成，这给了匹配方法一个隐式优势。改进方向：引入分布外测试集或跨数据集评估。第二，概念分类器的准确性可能成为瓶颈——所有解释方法都依赖概念分类器预测概念值，但分类器准确率在90-96%之间，这意味着约5-10%的概念预测错误可能传播到解释评估中。改进方向：使用集成分类器或不确定性感知的预测。第三，顺序保真度指标对噪声敏感——当两个概念的真实效应接近时，微小的估计误差就可能导致排序错误。改进方向：引入置信区间或统计显著性检验。第四，评估仅在三个特定领域的数据集上进行，可能不具普遍性。改进方向：增加更多领域（如法律、金融）和更多语言的数据集。
未来方向
作者提出了几个未来研究方向：首先，开发更忠实的解释方法——当前最佳方法（FT Match）的ED仍为0.34，OF为0.74，表明有很大改进空间。特别是，基于因果结构而非规模的轻量级、理论驱动的方法值得探索。其次，研究LLM对人口统计概念的敏感性降低现象——这可能反映了后训练对齐的副作用，需要进一步分析。第三，开发能更好捕捉数据因果结构的学习方法——当前微调方法可能无法充分利用因果信息。基于论文成果可延伸的方向包括：将LIBERTy扩展到多模态场景（如图像+文本），研究不同规模LLM作为文本生成器的影响，探索因果信息是否能改进模型训练（而不仅是解释），以及将框架应用于真实世界数据（而非合成数据）的评估。
复现评估
LIBERTy具有良好的可复现性：首先，作者提供了完整的开源代码（GitHub: GilatToker/Liberty-benchmark），包括数据生成、模型训练、解释方法实现和评估管道。其次，三个数据集的SCM、prompt模板和生成参数都有详细文档（附录D）。第三，解释方法的实现细节（包括超参数、训练配置）在附录E中完整记录。第四，评估使用了五个公开可用的模型（DeBERTa-v3、T5、Qwen-2.5、Llama-3.1、GPT-4o），其中前三个是开源的，后两个可通过API访问。主要复现挑战包括：需要GPT-4o API访问来生成数据（成本考虑），需要Gemini-1.5-Pro生成persona和template，以及需要GPU资源训练微调模型和概念分类器。总体而言，复现难度中等——代码和文档完整，但需要一定的计算资源和API访问权限。
论文图表
