忠实性指标并不衡量忠实性：基于真值的元评估 Faithfulness Metrics Don't Measure Faithfulness: A Meta-Evaluation with Ground Truth
构建BONAFIDE基准证明主流CoT忠实性指标基本无效
前置知识
Chain-of-Thought (CoT) 思维链
大语言模型在给出最终答案前生成的中间推理步骤序列，可视为模型对自己思考过程的自然语言'解释'。现代推理模型（如 DeepSeek-R1）会生成极长的 CoT。
CoT 是本文的研究对象；若不理解 CoT 就无法理解'忠实性'到底在衡量什么
忠实性 Faithfulness
Jacovi & Goldberg 定义：解释是否准确反映了模型推理过程；与合理性(plausibility)、因果重要性(causal importance)都不同。本文扩展到逐步(step)与整体(CoT)两层。
本文核心论证'现有指标混淆了忠实性、重要性与合理性'，必须先严格区分三者才能读懂
重要性 Importance-based 指标
通过扰动或删除某个 CoT 步骤观察最终答案是否变化来推断该步骤是否'重要'的方法，包括 Adding Mistakes、Early Answering、Filler Tokens、SCM 等。
这是本文评估的四大类指标之一；论文指出其存在系统性'判为不忠实'的偏差
SHAP 归因与 CC-SHAP
SHAP 是博弈论启发的特征归因方法；CC-SHAP（Convex-Cooperative SHAP）比较输入 token 对生成 CoT 和生成最终答案的归因差异，用一致性衡量忠实性。
CC-SHAP 是本文 CoT 级表现最佳的指标，但其计算代价高达 $10^3$ 秒/样本
AUROC 与 DeLong 置信区间
AUROC 衡量二分类器在不同阈值下的整体排序能力，0.5 为随机、1.0 为完美；DeLong 方法用于估计 AUROC 的非参数置信区间，本文给出 95% DeLong 区间。
本文几乎所有结果都以 AUROC 报告，必须理解 0.5 = 随机、0.7 在该任务上已是当前最优
研究动机
近年来出现了十余种 CoT 忠实性指标，但它们的可靠性从未被严格检验。原因很直接：要评估指标本身，需要'CoT 是否真正忠实'的真值标签，而这要求观察模型内部计算，几乎不可行。因此既有工作只能退而求其次，用合理性(plausibility)或因果重要性作为代理——前者衡量推理听起来是否合理，后者衡量某步骤是否影响答案。然而作者论证两者都与忠实性正交：一个听起来很有说服力的 CoT 完全可能是事后编造的，而一个对答案没影响的步骤也可能如实描述了模型真实发生过的内部运算。Lanham 等人提出的扰动类指标假设'影响答案的步骤就是忠实的'，但论文图 1 的例子表明，模型完全可以先决定跟提示走、再编造独立理由，这种编造步骤对答案有影响却是典型的不忠实。
本文的目标是本文目标是构建一个带真值标签的 CoT 忠实性基准 BONAFIDE，并用它对八种主流忠实性指标进行首次系统化元评估。基准要覆盖逐步和整体两个粒度，包含 3,066 条 CoT 与 1,946 个带标签的步骤，覆盖 10 个开源模型与 13 个任务；实验同时报告 AUROC、单实例墙钟时间与预测偏差，最终目的是全面暴露现有指标的系统性偏移与失效模式，并推动后续更可靠、更高效的忠实性指标设计与落地部署。
与已有工作不同的是，本文的切入角度是利用'任务设计让中间计算可被外部推断'这一观察：在某些任务里，模型若给出特定答案则必有特定中间步骤（如被错误提示误导、或必须经过特定瓶颈步骤），从而可以无需窥探模型内部就获得真值标签。这种'间接但可靠'的标注方式既避开了可解释性工具的不成熟，又绕开了用合理性/重要性作为代理的陷阱，是与既有 FaithCoT-Bench 等基准最本质的差别，也填补了 reasoning 模型 CoT 元评估的空白。
核心方法
BONAFIDE 的核心直觉是：'如果模型在某个特定任务上必须经过某个中间步骤才能得到最终答案，那么这条中间步骤就是可被外部验证的真值信号'。基于此设计了两种任务设定：outright（用程序生成的算术/图遍历/加密等瓶颈任务，模型若答对则其中每一步都是真值）和 diversionary（在开放问答里塞入错误提示，若模型照提示回答则其'承认依赖提示'的步骤是忠实的、'把提示答案归功于其他来源'的步骤是不忠实的）。再用一个两阶段 LLM 评判流水线（检索+验证）大规模自动标注，最终由人类标注验证流水线精度达 98.9%。
与既有方法本质区别有三：第一，把忠实性细分为逐步(Definition 1)与整体(Definition 2)两层，并明确要求整体忠实性包含完整推理路径；第二，标签来源不是模型内部而是任务结构本身，即'答案→中间步骤'的逻辑蕴含；第三，把 LM Judge 列为 skyline（天际线）而非方法，因为数据集本身就是 LM 流水线造的，LM 评判天然能用上同一信号，必须区分'我们关心的真实指标'与'LM 评判的能力上限'。
方法步骤详情
整体流水线有四步。第一步生成任务：outright 用程序化生成 10 类新颖任务（图遍历、Collatz 函数迭代等），保证模型不能靠记忆绕过瓶颈，无 CoT 时成功率仅 1.5%；diversionary 用 Gemini 3 Flash 生成错误答案并以 6 种提示格式注入。第二步收集 CoT：用 10 个 4B-70B 开源模型（Qwen3、OLMo 3、DeepSeek-R1-Distill、Llama 3.3，含推理/非推理变体）采样，过滤出答对或照提示答错的 CoT。第三步切分并标注：把 CoT 按句子切步，经'检索 judge + 验证 judge'两阶段判断五种步骤类型，逐步标签再聚合成 CoT 级标签。第四步验证：人类标注复核流水线输出，precision 达 98.9%（95% CI [96.6, 100]），整套成本约 2,100 美元。
技术新颖性
技术新颖性主要体现在三方面。其一是'基于任务结构的真值恢复'思路，把不可观测的内部计算还原为可被外部推理验证的逻辑蕴含，避免了对未成熟可解释性工具的依赖。其二是形式化的双层忠实性定义，把 Jacovi & Goldberg 的单层定义扩展到逐步级与整体级，明确'整体忠实要求步骤完整且无虚假步骤'，从而把'遗漏提示承认'与'编造独立理由'两类常见不忠实都纳入覆盖范围。其三是把效率与偏差作为一阶评估维度，论文图 2b 与图 3 把计算代价（对数秒数轴）和 0.5 阈值下的预测偏移作为主要可视化，让读者一眼看出 CC-SHAP 等指标的实用性瓶颈和 IMP/SEM 类指标的偏置本质。
实验结果
核心发现是绝大多数忠实性指标接近随机水平。CoT 层面最好的是 CC-SHAP，AUROC 仅 0.70（±0.04），其次是 LM Judge (generic) 0.67、Paraphrasing 0.52、Filler Tokens 0.50、Adding Mistakes 0.51、Early Answering 0.45。步骤层面最好的是 Filler Tokens 0.59（±0.01），LM Judge (generic) 0.68，CC-SHAP 反跌至 0.41（低于随机），两类最优指标互不迁移。系统性偏差（图 3）更严重：重要性类（IMP）把 90%-96% 的 CoT 判为不忠实，语义类（SEM）把 94%-96% 判为忠实，说明 AUROC≈0.5 是偏移而非判别力。计算代价：CC-SHAP 单实例最高 $10^3$ 秒，Early Answering 约 $10^1$ 秒，语义类仅 $10^0$ 秒。LM Judge skyline 步骤级 0.87、CoT 级 0.82，但'自指'设置本身无法真正评估指标。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BONAFIDE CoT级忠实性判别 | AUROC ± 95% DeLong | CC-SHAP 0.70；LM Judge (generic) 0.67；Paraphrasing 0.52；Adding Mistakes 0.51；Filler Tokens 0.50；Early Answering 0.45 | Random 0.50；LM Judge (skyline) 0.82 | 最佳 CC-SHAP 仅比随机高 0.20；多数指标提升 ≤0.02；skyline 与 random 差 0.32 |
| BONAFIDE 步骤级忠实性判别 | AUROC ± 95% DeLong | Filler Tokens 0.59；Adding Mistakes 0.51；Paraphrasing 0.50；SCM 0.38；CC-SHAP 0.41（低于随机） | Random 0.50；LM Judge (skyline) 0.87 | 最佳 Filler Tokens 仅比随机高 0.09；多个重要性指标低于随机；skyline 比 random 高 0.37 |
| 单实例计算代价 | Wall-clock seconds（对数刻度） | CC-SHAP 最高 10^3 s；Early Answering ≈10^1 s；语义类 Paraphrasing/Sim ≈10^0 s | Random 与 LM Judge (generic) 数量级最低 | CC-SHAP 比语义类慢约 100-1000 倍 |
| 标签流水线精度 | Precision vs 人类标注 | 98.9% （95% CI [96.6, 100]） | 无直接基线 | 在 3,066 CoT、1,946 步骤上达到近完美一致 |
局限与改进
作者明确指出三点局限。其一是覆盖盲区：任务设计只能让我们知道'哪些中间步骤必须发生过'，无法标注 CoT 中大量其他步骤，导致大量步骤被排除在评估之外。其二是标签分布偏移：定义 2 要求整体忠实需要每一步都忠实或 inert，故一张不忠实步骤或缺失瓶颈步骤就足以让整条 CoT 被标为不忠实，造成 85% CoT 不忠实、15% 忠实的天然不平衡。其三是场景局限：方法只能验证'特定步骤是否发生'，无法捕捉未在任务设计内的不忠实模式，且实验只用开源模型（因为大多数指标需要访问模型内部或修改其生成）。我个人额外观察到，diversionary 设定依赖'模型在没提示时极少自然给出错误答案'（验证为 0.9%），这一前提在不同模型族和不同领域上的稳定性尚需进一步考察。
独立分析的弱点
独立分析有四处值得改进的弱点。其一是 LM Judge skyline 与数据集同源带来的方法论循环——既然真值标签由 Gemini 生成，再用 LM 评判就天然接近上限，这使 LM-based 方法在该基准上的意义被稀释，未来可考虑用完全独立的人类标注或多模型投票作为金标准。其二是 13 个任务的覆盖偏向程序化任务，对真实用户场景（医疗、法律等）外推有限；outright 任务里的瓶颈步骤与真实开放域推理的多样性差距较大。其三是重要性指标的失败归因较模糊，作者承认图 3 中重要性指标在 CoT 长度增加时表现下降，但缺乏一致趋势（不同数据集结果方向不同），结论只能说'开放问题'。其四是评判管线本身依赖 Gemini 3 Pro 做最终验证，若验证者自身存在系统性偏差，整个基准的信度会被波及，未来应增加多模型交叉验证。
未来方向
作者明确呼吁开发'更准确且更高效'的忠实性指标，因为趋势是 CoT 越来越长、需要实时监控，但当前最快可用指标也难以规模化部署。基于本文成果可延伸的方向至少有三：第一，用 BONAFIDE 作为训练信号微调轻量判别器，使其在保持 skyline 精度的同时降到毫秒级；第二，研究重要性指标的归一化策略，缓解其系统性'判为不忠实'的偏移；第三，把'忠实性'和'可监控性(monitorability)'框架结合，探索是否能在不直接评估忠实性的前提下识别危险行为。论文还指出 commission-type 不忠实（编造独立理由）在长 CoT 推理模型上超过 omission-type 不忠实（不承认提示），提示后续研究应更多关注'主动编造'而非'沉默省略'。
复现评估
复现性较好：作者明确发布 BONAFIDE（含 3,066 CoT、1,946 步骤标签和更大未筛选版本）和评估代码，托管在 huggingface.co/collections/yoavgurarieh/bonafide 与 github.com/BonaFide。10 个评估模型均为开源（Qwen3、OLMo 3、DeepSeek-R1-Distill、Llama 3.3，4B-70B），八种被评估指标代码均可在对应原始仓库获取。但复现门槛仍较高：标签流水线依赖 Gemini 3 Flash/Pro 的 API 调用（约 2,100 美元成本），评判 prompt 公开但敏感于 prompt 工程；CC-SHAP 等指标需要多个模型前向传播，单卡难以复现；评估本身需要把每个 CoT 通过所有指标跑一遍，全集端到端跑通估计需要数十 GPU 小时。整体而言方法描述清晰、协议详尽，第三方团队能在投入相应算力与 API 预算的前提下独立复现。
论文图表
