← 返回 2026-05-01

遵从性与合理性：大语言模型中的推理可控性研究 Compliance versus Sensibility: On the Reasoning Controllability in Large Language Models

Xingwei Tan, Marco Valentino, Mahmud Elahi Akhter, Yuxiang Zhou, Maria Liakata, Nikolaos Aletras 📅 2026-04-29 👍 10 2026-07-13 08:36
CoT忠实性 大语言模型 推理可控性 机制可解释性 激活引导
arXiv HuggingFace PDF

揭示LLM在推理任务中偏好任务合理性胜过指令遵从，并提出激活层干预方案。

前置知识

Chain-of-Thought (CoT) 思维链

CoT 是一种通过提示让 LLM 在给出最终答案前先生成逐步中间推理的范式，由 Wei 等人 2022 年提出。它能显著提升复杂推理任务表现，但生成过程是否真正影响最终结论（即忠实性）仍是开放问题。

本文研究的核心场景就是 CoT 推理，因此理解 CoT 如何工作以及它与最终答案的关系是看懂整篇论文的基础。

演绎、归纳与溯因三种基本推理

演绎是从一般规则+具体观察推出必然结论（如三段论）；归纳是从若干观察推断最可能的规律（如从数列找通项）；溯因是从结果反推最可能的解释（如医生根据症状推断病因）。Walton 2001 提出的经典三分法。

本文用这三种推理类型构造冲突实验，让指令要求的推理类型与任务自然适配的类型不一致，从而观察模型反应。

Contrastive Activation Addition (CAA) 对比激活加法

CAA 是 Rimsky 等人 2024 年提出的推理时干预方法：从配对样本计算第 L 层残差流的平均差作为引导向量，无需微调即可改变行为。推理时以系数 μ 加到对应层所有 token 位置。

本文用 CAA 把 LLM 从自然合理模式强行拉回遵从指令模式，是论文后半段机制干预的工程基础。

Linear Probing 线性探针

在冻结的 LLM 表示上训练一个线性分类器，用分类准确率衡量某种属性是否被模型以线性可读的方式编码。中间-后层通常表征更抽象的语义属性。

本文用探针验证指令要求的推理类型和模型最终执行的推理类型是否可被线性解码，是机制分析的关键工具。

P(True) 自置信度估计

Kadavath 等人 2022 年提出：让模型在原 prompt 下回答后，再用'上述答案是否为真'追问，把模型选 (A) True 的概率作为其对自己答案的置信度。

本文用它来量化冲突指令下模型内部不确定性变化，是文本输出之外的第二条信号通道。

研究动机

现有 Chain-of-Thought 研究普遍发现模型选哪种推理（演绎/归纳/溯因）是个黑盒——用户写错模板、注入对抗指令都可能让模型走错逻辑路径。更严重的是，即使指令明确要求某种推理范式（如对一个本该用演绎的谜题要求溯因），LLM 的反应仍不清楚。最近的多项基准（Xu et al. 2025、Liu et al. 2025a、Dougrez-Lewis 2025）都报告 LLM 在溯因与混合推理任务上准确率断崖式下跌，说明根本性推理类型与具体任务的耦合未被理解。更糟糕的是 CoT 自身的忠实性也存疑（Turpin 2023、Lanham 2023），即生成的推理链可能只是对内部计算的事后包装，并非真正驱动答案——这使得单纯看文本无法判断模型是否遵从指令。

本文的目标是本文系统性地刻画 LLM 在指令遵从 (compliance) 与任务合理性 (sensibility) 冲突下的行为模式，并回答三个核心问题：(1) 当用户指令的推理类型与任务不匹配时，模型到底偏向哪一边，比例如何？(2) 这种冲突能否在隐藏层被线性检测到，即模型是否知道自己被要求什么？(3) 是否可以通过机制干预（如激活引导）把模型拉回遵从指令这一边？最终为可控推理提供可解释的解释与轻量级修补方案。

与已有工作不同的是，以往工作要么只做 CoT 忠实性的二元探测（Turpin 2023、Lanham 2023），要么只在任务级准确率上比较不同推理范式（Hu 2025b、Cao 2026），从未在指令要求 vs 任务需要的二维冲突空间中系统分析。本文第一次把推理冲突显式化为可测量的张力坐标，并融合三种互补方法（LLM-as-a-judge 自动分类、隐藏层线性探针、CAA 推理时干预）来同时打外部行为、内部表征、可控性三个层面，独特切入点是引入主导推理模式 (Dominant Reasoning Mode) 假设与配对采样来构造干净的训练集和评估集。

核心方法

论文设计了一个三段式研究框架：第一段用提示词诱导推理冲突并通过 LLM-as-a-judge 量化遵从/合理比例；第二段在线性探针层面证明指令类型与最终推理类型在中间层都可解码；第三段用 CAA 把非遵从模型的内部激活推向遵从侧。具体而言，先为每道题注入零样本提示 $g_{t'}$（$t'$ 是被要求的推理类型，可与任务真实需要 $t$ 一致或冲突），用 3 个随机种子采样，让 GPT-5.1/Gemini-3-Flash 作为法官把生成的 CoT 归类为演绎/归纳/溯因/直接四类（与人类标注 Cohen's $\kappa=0.84$），再据此把每个响应归入 $S\cap C$、$S\cap\neg C$、$\neg S\cap C$、$\neg S\cap\neg C$ 四象限。

和已有工作相比的本质区别在于：(a) 把遵从与合理作为两个独立可测的轴而非合并的准确率指标；(b) 不依赖人工标注，而是用 Cohen's $\kappa=0.83$-$0.84$ 的强一致性法官自动分类；(c) 构造正确性相同、指令类型相同、但推理类型不同的对比对来训练 CAA 引导向量，从而只操控遵从与否而不影响最终答案对错，避免了之前工作里 CAA 改变答案的副作用。技术上还引入任务忽视 (task-neglect) 概念来描述干预过度时模型输出格式崩坏的现象。

方法步骤详情

步骤 1：构造测试集——FOLIO（演绎，一阶逻辑）、SPR（归纳，序列模式识别，4300 训练/100 测试）、$\alpha$NLI（溯因，100 随机题）、RECV（演绎+溯因，99 题）。步骤 2：把每个问题与三种零样本提示 $g_t$ 配对（Table 1 给完整文本），用 vLLM（GH200/A100/MI300X）采样，$\text{temperature}=0.5$。步骤 3：用 LLM 法官把每个 CoT 标为四种推理类型之一，再对比指令 $t'$ 和任务真值 $t$ 落入四象限。步骤 4：用 p(True) 追问获取置信度，按正确/错误分组统计。步骤 5：冻结残差流，对指令类型、法官推断类型、是否遵从三个目标各训练一个 $\text{logistic}(C=1.0,L_2)$ 探针，逐层取平均池化（仅在 question 区间内）。步骤 6：用 EasyEdit 2.0 在 OLMO3-7B-IT 第 14-17 层构造 CAA 引导向量，对比样本严格保持答案对错与指令类型一致，仅推理类型不同。

技术新颖性

技术新颖性体现在三处：(1) 主导推理模式 (Dominant Reasoning Mode) 形式化解决了 LLM 长 CoT 中可能混用多种推理类型的标签噪声问题，把评估限定在只允许单一推理类型的题上。(2) 探针结果显示：指令类型即使在非遵从样本中也几乎 100% 可解码，而法官推断类型显著弱，说明 LLM 知道指令但选择不执行，这是首次直接证实冲突是主动决策而非表征失败。(3) CAA 的反向引导 ($\mu<0$) 揭示了一个反直觉发现——把模型推向不遵从反而能通过触发直接回答 (Direct Answer) 减少认知摩擦、提升准确率，提示遵从 vs 合理不仅是单一连续光谱。

The probing scores across layers for compliant vs. non-compliant binary classification.
Figure 5: The probing scores across layers for compliant vs. non-compliant binary classification.
The strongest probe accuracy for instructed reasoning type and judge-inferred reasoning type.
Figure 8: The strongest probe accuracy for instructed reasoning type and judge-inferred reasoning type.
The layer-wise accuracy for each family of model and their instructed and judge-inferred reasoning types.
Figure 9: The layer-wise accuracy for each family of model and their instructed and judge-inferred reasoning types.

实验结果

核心发现一：四象限分布严重倾斜——跨所有数据集/指令/模型，$S\cap\neg C$ 占 43.5%，$\neg S\cap C$ 仅 18.6%，$\neg S\cap\neg C$ 占 5.7% 且所有模型都低于 10%，LLM 系统性偏向合理性。核心发现二：推理合理性随规模上升（GPT-5.1 达 88.1%，LLAMA3.1-8B-IT 仅 58.2%），但遵从度与规模无单调关系——LLAMA3.1-8B-IT 反而以 65.1% 全场最高，OLMO3-7B-IT 最低 39%。核心发现三：QWEN3 开 thinking 后合理略升（73.5% 到 73.9%）但遵从下降。核心发现四：p(True) 差异显著但效应量小，正确样本差 0.0179、错误样本差 0.0833（$p<10^{-12}$，Cohen's $d$ 0.09/0.12），说明模型内部有察觉但不崩塌。核心发现五：FOLIO 上 sensible CoT 比 compliant/not-sensible 高 20-40 个百分点，RECV 上差距小于 20%，合理性才是准确率真正驱动。核心发现六：CAA 在 OLMO3-7B-IT 第 14-17 层把遵从率提升高达 29%（µ 单调上升），但 µ 过大会引发 task-neglect，µ 小于 0 反而稳定提升准确率。

Prompts for controlling LLMs' reasoning.
Table 1: Prompts for controlling LLMs' reasoning.
Average p(True) confidence scores of compliant reasoning and not compliant reasoning grouped by incorrect or correct final answers.
Table 2: Average p(True) confidence scores of compliant reasoning and not compliant reasoning grouped by incorrect or correct final answers.
Prompts for controlling LLMs' reasoning (full version).
Table 3: Prompts for controlling LLMs' reasoning (full version).
Agreement between the LLM judges and the human annotators.
Table 4: Agreement between the LLM judges and the human annotators.
The average accuracies of the sensible and compliant reasoning.
Table 5: The average accuracies of the sensible and compliant reasoning.
The average accuracies of the final answer and their standard deviations with respect to the instructed reasoning types.
Table 6: The average accuracies of the final answer and their standard deviations with respect to the instructed reasoning types.
Whether the reasoning is sensible (S) or compliant (C) based on the LLM judge.
Figure 2: Whether the reasoning is sensible (S) or compliant (C) based on the LLM judge.
The average accuracies of the final answers with respect to the categories.
Figure 4: The average accuracies of the final answers with respect to the categories.
The impact of multiplier µ across reasoning types on FOLIO when steering the layer 14-17 of OLMO3-7B-IT.
Figure 10: The impact of multiplier µ across reasoning types on FOLIO when steering the layer 14-17 of OLMO3-7B-IT.
The impact of multiplier µ across reasoning types on α-NLI when steering the layer 14-17 of LLAMA3.1-8B-IT.
Figure 11: The impact of multiplier µ across reasoning types on α-NLI when steering the layer 14-17 of LLAMA3.1-8B-IT.
查看结构化数据
任务指标本文基线提升
FOLIO (Deduction) 四象限比例 + 最终答案准确率 S∩C 49.26-84.27%、S∩¬C 54.62-81.09%、¬S∩C 41.82-62.32%（区间涵盖 OLMO3-7B-IT 到 QWEN3-32B） 无对照组，直接展示 LLM 行为分布 本研究首次报告该分布；GEMINI3-FLASH 在 FOLIO 上 S∩C=88.50%，显著优于 OLMO3-7B-IT 的 49.26%
SPR (Induction) S∩C / S∩¬C / ¬S∩C GPT-5.1: 67.79/70.56/50.00%；LLAMA3.1-8B-IT: 38.11/45.24/23.35%（全场最低） 无对照，跨模型横向比较 GEMINI3-FLASH 在 SPR 上达 89.23/90.09/90.16%，三象限均最高
αNLI (Abduction) S∩C / S∩¬C / ¬S∩C GPT-5.1: 90.00/90.62/80.00%；QWEN3-32B: 79.93/80.95/79.61% 无对照，溯因任务是公认弱项 OLMO3-7B-IT 在溯因上仅 61.11/32.14/32.12%，凸显小模型在 abductive 任务上的双重失败
RECV (Deduction+Abduction) S∩C / S∩¬C / ¬S∩C GPT-5.1: 78.75/80.66/81.18%；LLAMA3.1-8B-IT: 83.06/83.04/82.63%（反而最优） 无对照，RECV 含混合推理类型 LLAMA3.1-8B-IT 在 RECV 上三象限都达 83% 左右，是唯一小模型接近 frontier 表现的场景
CAA 引导增强遵从 Compliance Rate 提升百分比 在 OLMO3-7B-IT αNLI 上提升高达 29%（µ 单调上升） 基线 OLMO3-7B-IT αNLI 遵从率 32.12% 提升 29 个百分点，绝对值上从 32.12% 提升到约 60%（具体数值取决于 µ）

局限与改进

作者明确承认的局限：(1) CAA 干预会引入 task-neglect 副作用——模型过度聚焦被引导的推理类型，导致忽略输出格式约束（如忘记用 包裹最终答案），在 OLMO3-7B-IT 上 µ 增大时 abductive 准确率随之下降。(2) 所有探针与 CAA 实验都在开源权重架构上做，作者承认激活引导是否能迁移到 closed frontier 模型未经验证。(3) 测试集全部限定在只允许单一推理类型的题目，无法回答多推理类型混合的复杂场景。(4) 仅用 Cohen's $\kappa$ 评估法官，并未对每类推理的细粒度错误做系统分析，Gemini 在溯因到归纳方向混淆较明显（Fig. 7）。我自己的观察：(5) 遵从率与规模非单调的现象说明仅靠 scaling law 不能解决遵从性问题，未来需要更好的指令微调。(6) $\mu<0$ 反向引导提升准确率这一发现很反直觉，论文没有深入机制分析其原理。

独立分析的弱点

独立分析出的可改进弱点：(1) 评估覆盖性不足——四象限框架假设题目只能由单一推理类型解决，但真实场景常常需要混合推理（如先归纳规律再演绎应用），框架无法刻画中间过渡态。(2) CAA 的引导向量只在 OLMO3-7B-IT 上充分验证，附录 G 给出 LLAMA3.1-8B-IT 的 αNLI 结果但未跨数据集系统对比，结论泛化性受限。(3) LLM-as-a-judge 的混淆矩阵显示 Gemini3-Flash 把溯因误判为归纳的比例偏高，可能系统性低估某些模型的遵从率。(4) 没有控制问题长度、选项数等混杂变量，可能让模型在某些题目更合理的解释力变弱。(5) sensible 的定义完全依赖法官对最终 CoT 的分类，而法官自身可能受模型表面措辞影响（如把使用最可能一词的答案都判为溯因），导致 lexical mirroring（论文已识别）成为虚假指标。改进方向：增加题目难度梯度、引入多种法官集成、加入专家人工复核子集、用 controlled paraphrase 隔离措辞影响。

未来方向

作者提出的方向：把分析扩展到多推理类型混合的复杂问题，以验证 Dominant Reasoning Mode 假设失效时模型行为如何变化。基于本文成果可延伸的方向：(1) 把 CAA 思想与 instruction-tuning 结合，开发能在训练时内化遵从优先目标的轻量对齐方法，避免推理时干预的副作用。(2) 借鉴本文探针发现（指令类型在中间-后层几乎完美可解码），可以构建一个指令意图解码器实时监测 LLM 是否即将违抗指令，提前触发干预。(3) 把 $\mu<0$ 反而提升准确率这一反直觉发现系统化研究，探究直接回答 (Direct Answer) 是否是一种被低估的认知摩擦缓解机制。(4) 把推理遵从性扩展到多模态、Agent 等场景，因为工具调用本身也是一种推理类型。(5) 基于 LLM 知道指令但选择不执行的发现，研究是否能通过强化学习训练一个内化的遵从 reward。

复现评估

复现评估：实验代码已开源在 https://github.com/Xingwei-Tan/compliance_sensibility。数据全部公开——SPR 是 Hu 等人 2025a 的合成数据生成代码（4300 训练 + 100 测试），FOLIO 使用公开 validation split（无 test），$\alpha$NLI 从公开测试集随机 100 题，RECV 从 Dougrez-Lewis 等 2025 数据分层采样 99 题 + 1302 训练。算力方面，使用 NVIDIA GH200（96GB）/A100（80GB）/AMD MI300X（192GB）多卡部署 vLLM 推理，温度 0.5，3 个随机种子；CAA 干预基于 EasyEdit 2.0；探针是 sklearn 默认 logistic regression ($C=1.0,L_2$)。复现难度中等偏上——主要门槛：(a) GPT-5.1 和 Gemini3-Flash 需要付费 API；(b) 多机多卡部署 vLLM 需熟悉 GPU 调度；(c) CAA 的对比样本构造对正确性 marginalization 要求严格，稍有不慎就会把答案对错的信号混入引导向量污染实验。

论文图表

Reasoning instructions are used to induce reasoning conflicts.
Figure 1: Reasoning instructions are used to induce reasoning conflicts.

示意图展示研究流程：用一个推理指令（可能是与任务匹配的，也可能是冲突的）作为输入让 LLM 生成 CoT，再用一个分类器把 CoT 标为 sensible 或 compliant，从而构造出四象限评估。

这篇图直观定义了推理冲突的实验范式，是理解后文所有四象限、S∩C 等符号的关键。

Figure 3: Proportion of sensible vs. compliant CoT across models. Larger circles represent larger LLMs.

散点/气泡图，x 轴是 sensible rate，y 轴是 compliant rate，气泡大小代表模型参数量。揭示 sensibility 随规模上升但 compliance 无单调关系——LLAMA3.3-70B-IT 反而比 8B 更不遵从。

揭示规模 vs 遵从的非单调关系，是反驳 scaling 解决一切的关键证据。

Figure 6: The impact of µ on α-NLI when steering the layer 14-17 of OLMO3-7B-IT.

三联子图：(a) Compliance Rate、(b) Final Answer Accuracy、(c) Direct Answer Ratio 随 µ 的变化曲线，分四种推理指令颜色。µ 大于 0 时遵从率显著上升（最高 29%），但准确率在 abductive 指令上下降（task-neglect），µ 小于 0 时准确率反而稳定上升。

展示 CAA 干预的双刃剑效果，是论文方法部分的关键工程结果。

The confusion matrix between the aggregated human labels and the LLMs' labels.
Figure 7: The confusion matrix between the aggregated human labels and the LLMs' labels.

2 乘 4 矩阵分别对应 GPT-5.1 和 Gemini3-Flash，显示两类 LLM 法官 vs 人类标注的混淆矩阵，Gemini 在 ABDUCTIVE 到 INDUCTIVE 方向混淆明显。

揭示 LLM 法官自身的偏差，避免盲目信任自动分类。