迷失在提示词顺序中：揭示语言模型中因果注意力的局限性

因果注意力掩码使解码器模型在选项位于上下文之后时丧失对上下文的利用能力

前置知识

因果注意力掩码（Causal Attention Mask）

在仅解码器（decoder-only）Transformer架构中，因果注意力掩码是一种上三角矩阵遮蔽机制，确保每个位置的token只能关注序列中位于它之前的token，而不能看到未来的token。这一设计使模型能够以自回归方式逐token生成文本，但同时也引入了一个信息流约束：任何token的隐藏状态只能编码其左侧上下文的信息。当选项token出现在上下文token之后时，选项可以利用上下文信息；但当选项出现在上下文之前时，选项的表示在计算时完全无法接触到后续的上下文内容。这一约束在标准文本生成任务中通常是合理的，但在MCQA等需要同时比较证据和选项的推理任务中，它会成为信息流动的结构性瓶颈。

本文的核心论点正是：因果注意力掩码是导致不同提示词顺序下性能差异的根本机制。理解因果掩码如何限制信息流动，是理解全文所有实验和干预设计的关键前提。

MCQA中的提示词顺序（CQO vs QOC）

多项选择题问答（MCQA）的典型提示由三部分组成：上下文段落（Context，C）、问题（Question，Q）和选项（Options，O）。CQO顺序将上下文放在最前面，然后是问题和选项；QOC顺序则将问题和选项放在前面，上下文放在最后。直觉上，由于语义内容完全相同，顺序的改变不应该影响模型表现。但本文发现，对于仅解码器模型，CQO平均比QOC高出14.7个百分点的准确率，这一差距在多个数据集和模型家族中保持一致。这说明提示词的表面排列对模型内部计算有深层的结构性影响。

这一性能差距是全文研究的出发点。理解CQO和QOC的具体结构差异，才能理解为什么因果掩码在QOC中造成了信息瓶颈。

激活修补（Activation Patching）

激活修补是机制可解释性领域中的一种因果干预技术。其基本思路是：在模型运行两次不同的输入（如CQO和QOC格式）后，将其中一个运行中特定位置的隐藏状态粘贴到另一个运行中的对应位置，观察下游预测是否发生变化。本文在中间层到后半层（如24层模型的第12-23层）将QOC的选项隐藏状态替换为CQO的选项隐藏状态，结果使QOC准确率提升了约6.0个百分点。这证明了选项的上下文感知表示确实是性能差异的直接原因。

激活修补是本文验证因果假设的核心工具，它提供了超越相关性分析的因果证据，证明了上下文感知的选项表示对正确回答的重要性。

梯度乘以输入归因（Gradient×Input Attribution）

这是一种用于量化输入特征对模型预测重要性的方法。对每个输入token，计算损失函数相对于该token输入表示的梯度，然后与该token的输入值逐元素相乘，得到一个归因分数。将所有token的归因分数聚合后，可以计算上下文token在总归因中的占比。本文发现，在CQO格式下上下文归因比例为0.797，而在QOC格式下仅为0.335，两者相差约2.38倍。这直观地量化了QOC格式下模型对上下文信息利用的严重不足。

梯度归因分析从信息利用的角度提供了定量证据，与注意力分析和激活修补共同构成了支持因果掩码假设的三重证据链。

编码器-解码器与仅编码器模型的双向注意力

与仅解码器模型的因果（单向）注意力不同，仅编码器模型（如BERT、RoBERTa）使用双向注意力，每个token可以同时关注序列中所有位置的token；编码器-解码器模型（如Flan-T5）的编码器部分同样使用双向注意力。这意味着在这些架构中，无论上下文、问题和选项如何排列，选项token的表示始终能够整合上下文信息。本文利用这一架构差异作为自然实验：如果因果掩码是QOC性能下降的根源，那么双向注意力模型应该不会出现CQO-QOC差距——实验结果证实了这一预测。

架构对比实验是本文最关键的实验之一，它排除了其他可能的解释（如训练数据偏差），将因果掩码锁定为唯一一致的解释机制。

研究动机

大型语言模型对提示词结构高度敏感，这一现象已被广泛观察但缺乏深入的机制性解释。在多项选择题问答（MCQA）这一重要场景下，现有研究发现选项的排列顺序会显著影响模型准确率，但从未系统性地探究其背后的计算机制。具体而言，当提示词中的上下文段落放在选项之后（QOC顺序）时，仅解码器模型的表现会大幅下降：在LogiQA上从39.1%降至33.0%，在RACE-H上从69.5%降至48.8%，在RACE-M上从74.3%降至49.6%，平均下降14.7个百分点。这一差距在21个不同规模（0.5B到9B参数）的模型和3个模型家族（LLaMA、Qwen、Gemma）中一致出现，表明这不是某个特定模型的偶然现象，而是仅解码器架构的系统性问题。更令人困惑的是，这些模型在QOC格式下的选项回忆准确率实际上略高于CQO（94.7% vs 93.5%），排除了简单的遗忘机制。这意味着必须从模型的内部计算结构中寻找答案。

本文的目标是本文的首要目标是通过严格控制的实验，识别出导致CQO和QOC之间性能差距的根本机制。作者提出并逐一检验了三个竞争性假设：训练数据偏差、选项回忆失败和因果注意力限制。在确认因果掩码为根本原因后，论文进一步分析了上下文长度和选项位置等调节因素，设计了针对性的干预措施（注意力修剪、激活修补、选项重复和思维链提示），并通过这些干预验证了对机制的理解。最终目标是为提示词敏感性这一长期停留在描述性层面的研究问题提供机制性的解释，同时为实际应用中的提示词设计提供具体的实践指导。

与已有工作不同的是，本文的独特切入角度在于它从模型架构的底层约束出发，而非从表面的行为模式出发。以往对提示词敏感性的研究主要停留在是什么的层面——例如哪些顺序更好、哪些格式更友好——但没有回答为什么的问题。本文抓住了一个被前人忽视的关键洞察：在仅解码器模型中，因果掩码不仅限制了语言生成，还对推理任务中的信息获取施加了结构性约束。当选项token在序列中先于上下文token出现时，因果掩码从根本上阻止了选项利用上下文信息，形成了一个单步瓶颈——模型只能在最后的解码步骤中进行证据-选项匹配。这一视角不仅解释了已知的现象，还做出了可验证的预测（如选项重复和思维链应能部分弥补差距），这些预测在实验中得到了证实。

核心方法

本文的研究方法可以类比为一个侦探破案的过程：面对CQO和QOC之间14.7个百分点的性能差距这一犯罪现场，作者提出了三个嫌疑人假设，并通过一系列精心设计的实验逐一排查。第一个假设是训练数据偏差——CQO格式在训练数据中更常见，模型对QOC格式不熟悉；第二个假设是选项回忆失败——QOC格式中选项位于上下文之前，长上下文的干扰导致模型遗忘选项；第三个假设是因果注意力掩码——QOC格式中因果掩码阻止选项token关注后续的上下文token。在确认第三个假设后，作者进一步设计了两种验证性干预：一种是破坏性干预（在CQO中人为阻断选项到上下文的注意力路径，观察性能是否下降），另一种是建设性干预（通过激活修补、选项重复和思维链提示改善QOC性能）。整个研究流程遵循了假设-验证-干预-再验证的科学方法论。

本文的核心创新在于揭示了一个看似简单但影响深远的结构性问题：仅解码器Transformer中的因果注意力掩码在MCQA任务中创造了信息不对称。在CQO格式下，选项token的隐藏状态 $h_O = f_\theta(C, Q, O)$，即选项表示同时编码了上下文、问题和选项的信息，模型可以在内部完成证据-选项对齐。但在QOC格式下，由于因果掩码的约束，选项token的隐藏状态变为 $h_O = f_\theta(Q, O)$——上下文信息被完全排除在外。从信息论角度看，这意味着 $I(h_O^{QOC}; C | Q, O) = 0$，即给定问题和选项后，选项表示与上下文之间的互信息为零。这一发现与以往研究的本质区别在于：它不是在描述模型偏好某种格式，而是证明了因果掩码从结构上禁止了某种格式下的信息流动。这一定性差异使得本文的解释具有可证伪性和可操作性——任何能够打破这一信息约束的干预（如选项重复、激活修补、思维链）都应该能改善QOC性能，而实验确实证实了这一点。

方法步骤详情

本文的方法分为三个阶段。第一阶段是假设检验：作者在21个仅解码器模型（LLaMA 3、Qwen 2.5/3、Gemma 2家族，0.5B-9B参数）和4个数据集（LogiQA、RACE-H、RACE-M、SciQ）上测量CQO和QOC的准确率差异。对于假设1（训练数据偏差），比较9对基础/指令微调模型的差距，并使用0-5-shot上下文学习看差距是否缩小；对于假设2（选项回忆失败），让模型在给定提示后逐个回忆选项文本，比较CQO和QOC的回忆准确率；对于假设3（因果注意力），比较仅解码器、编码器-解码器（Flan-T5）和仅编码器（BERT、RoBERTa、ALBERT）三类架构的差距，并执行上下文移除测试（比较QOC与仅问题+选项QO的准确率）和注意力分析。第二阶段是调节因素分析：测试上下文长度和答案位置对差距大小的影响。第三阶段是干预验证：注意力修剪（在CQO中阻断选项到上下文的注意力）、激活修补（将QOC选项隐藏状态替换为CQO的）、选项重复（QOCO格式）和思维链提示（CoT）。所有实验使用受限似然评分（在A/B/C/D四个选项token上计算softmax概率），解码器使用贪心解码和bfloat16精度。

技术新颖性

本文的技术新颖性体现在多个层面。首先，在方法论上，本文将机制可解释性工具（注意力分析、梯度归因、激活修补）系统性地应用于提示词敏感性研究，建立了一个从现象到机制的完整分析框架。以往的MCQA顺序敏感性研究（如Pezeshkpour 2024、Zheng 2024）主要停留在行为层面——测量不同顺序下的准确率差异并提出工程缓解方案，但没有触及底层机制。其次，在理论贡献上，本文给出了一个严格的信息论表述：在QOC格式下，选项表示与上下文之间的互信息在结构上为零。这一结论是架构无关的——它适用于任何严格自回归的序列模型，不仅限于Transformer。作者通过在非Transformer架构（Mamba SSM、Qwen3-Next混合注意力、Dream扩散语言模型）上的实验进一步证实了这一点：Mamba-7B展示了比Transformer更大的差距（+18.5%），而使用块内双向掩码的Dream模型几乎无差距。这精确定位了严格从左到右的token处理（而非softmax注意力本身）为根本原因。

实验结果

本文的核心发现可以分为四个层次。第一，CQO-QOC差距的普遍性：在21个仅解码器模型和4个数据集上，CQO平均准确率为69.26%，QOC为54.54%，差距14.7个百分点。最大的差距出现在RACE-M数据集上（74.3% vs 49.6%，差距24.8%），最小的在SciQ上（94.1% vs 86.9%，差距7.3%），表明上下文越长差距越大。第二，三个假设的检验结果：假设1被排除——基础模型和指令微调模型的差距几乎相同（14.70% vs 14.12%），5-shot上下文学习仅使QOC提升3.1%，远不足以弥补差距；假设2被排除——QOC的选项回忆准确率（94.7%）甚至略高于CQO（93.5%）；假设3被证实——编码器-解码器模型仅显示2.30%差距，仅编码器模型差距接近零（-0.02%），架构对比清晰指向因果掩码。第三，调节因素：上下文长度从LogiQA的约70词到RACE-H的约305词，差距从6.2%增加到20.8%；答案位置在A/B/C/D的差距分别为22.4%/20.5%/19.2%/9.9%，靠后的选项因更接近上下文而受影响更小。第四，干预效果：注意力修剪使CQO从69.26%降至42.46%（-26.8%），证明选项到上下文的注意力路径至关重要；激活修补使QOC提升约6.0个百分点；选项重复（QOCO）使QOC提升8.2个百分点；思维链提示将差距从14.72缩小到7.47（-49.2%）。在商业闭源模型Gemini上，差距为11.84%，思维链将其缩小到1.97%（-83.4%），进一步支持了更强的推理能力更好地利用额外解码步骤的假设。在开放域QA和RAG场景中也观察到同样的顺序效应，RAG场景下差距甚至放大到+15.14 F1，表明这一问题对实际检索增强系统有重要的实践影响。

**Table 14**: Gemini闭源模型的CQO-QOC差距和CoT效果

查看结构化数据

任务	指标	本文	基线	提升
MCQA综合（4数据集平均）	准确率差距（CQO - QOC）	14.72%（21个模型平均）	基线差距	经CoT干预缩小至7.47%（-49.2%相对减少）
LogiQA逻辑推理	准确率	CQO 39.1% / QOC 33.0%	差距 6.2%	上下文长度约70词，差距最小
RACE-H高中阅读理解	准确率	CQO 69.5% / QOC 48.8%	差距 20.8%	上下文约305词，差距显著
RACE-M初中阅读理解	准确率	CQO 74.3% / QOC 49.6%	差距 24.8%	上下文约195词，差距最大
SciQ科学问答	准确率	CQO 94.1% / QOC 86.9%	差距 7.3%	上下文约80词，差距最小
编码器-解码器（Flan-T5）	准确率差距	2.30%	仅解码器 14.72%	双向编码器+交叉注意力使差距大幅缩小
仅编码器（BERT/RoBERTa/ALBERT）	准确率差距	-0.02%	仅解码器 14.72%	双向注意力完全消除差距
Gemini闭源模型	准确率差距	CQO 87.4% / QOC 75.5%（差距11.84%）	CoT后差距 1.97%	CoT使差距缩小83.4%
RAG检索增强生成	F1分数差距	GoldFirst 39.88 / QuestionFirst 24.74	差距 +15.14 F1	排序效应在RAG场景中更加显著
开放域QA（SQuAD 2.0）	F1分数差距	CQ 61.18 / QC 49.53	差距 +11.66 F1	顺序效应泛化到无固定选项的自由生成任务

局限与改进

本文存在两个主要的局限性，其中第一个由作者明确提出。首先，论文的理论分析（附录F中的信息论推导）被作者自述为有意简化的：它建立了QOC下选项隐藏状态与上下文在结构上独立的结论（$I(h_O^{QOC}; C | Q, O) = 0$），并证明了选项重复、激活修补和思维链等干预能提升这一互信息，但并未给出一个完整的数学模型来量化每种干预能恢复多少互信息。换言之，理论框架解释了为什么但没有精确预测能修复多少。其次，本文的范围是诊断性的：它识别了仅解码器LLM受提示词顺序影响的原因，并展示了多种推理时缓解方案（思维链、QOCO、激活修补），但没有提出一个实际可行的训练时修复方案来在不增加运行时开销的情况下消除这一差距。这使得本文的贡献更偏向于理解和诊断，而非工程解决方案。从独立观察来看，本文的实验主要集中在较小的开源模型（最大9B参数），虽然Gemini实验部分弥补了这一点，但对更大规模模型（如70B+）的系统性测试仍然不足。此外，所有实验都在英语MCQA上进行，对于多语言场景下的泛化性尚需验证。

独立分析的弱点

从独立分析的角度，本文存在几个值得关注的弱点。第一，模型规模覆盖有限：实验主要使用0.5B到9B参数的模型，而实际应用中常用的模型规模往往在70B到数百B参数之间。虽然Gemini的实验初步表明大模型也存在这一问题，但缺乏对开源大模型的系统性测试。改进方向是扩展到LLaMA-3.1-70B、Qwen2.5-72B等更大规模模型，验证差距是否随规模增加而缩小或扩大。第二，所有实验集中在英语MCQA任务上：对于中文、日文等语言，以及多语言模型（如Qwen系列）的跨语言泛化性尚不清楚。改进方向是在多语言MCQA基准（如XQuAD、MLQA）上测试。第三，注意力修剪实验的设置略有不自然：它在CQO格式中完全阻断选项到上下文的注意力，这是一种极端的干预，实际中信息流动的限制可能更微妙。改进方向是使用更细粒度的部分注意力遮蔽来绘制信息带宽曲线。第四，本文的QOCO（选项重复）干预虽然简单有效，但增加了约50%的提示词长度和对应的推理成本，在长上下文场景下可能不切实际。改进方向是探索在模型内部（如通过微调或架构修改）实现等效的选项重新编码机制，而非依赖输入层面的重复。

未来方向

本文提出了若干值得探索的未来研究方向。作者明确指出的最直接方向是寻找训练时修复方案：通过特定的训练策略（如数据增强中包含多种提示词顺序、或设计专门的正则化损失）使模型在训练过程中习得对顺序不变的选项表示，从而在推理时无需任何额外开销即可消除CQO-QOC差距。基于本文的发现，还可以延伸出几个有前景的方向：一是研究混合注意力架构的设计——Dream扩散语言模型的块内双向注意力已经展示了消除差距的可能性，这启发我们可以设计一种局部双向+全局因果的混合架构，在保持生成能力的同时获得更好的推理性能。二是将分析框架扩展到其他类型的提示词敏感性问题——例如上下文学习中示例的排列顺序、推理链中步骤的顺序等——看看是否也存在类似的结构性信息瓶颈。三是探索通过知识蒸馏将双向模型的顺序不变性传递给因果模型，作为一种软性的架构改进。四是研究RAG系统中的文档排序策略，本文发现将相关文档放在问题之前（GoldFirst）可以大幅提升性能，这一发现对实际RAG系统的设计有直接的工程价值。

复现评估

本文的复现性非常好。所有实验使用公开可用的模型（通过HuggingFace加载，论文附录提供了完整的模型ID列表）和公开数据集（LogiQA、RACE、SciQ、SQuAD 2.0）。实验设置清晰明确：使用受限似然评分（在A/B/C/D四个选项token上计算softmax概率），贪心解码，bfloat16精度，NVIDIA A6000 GPU。提示词模板在附录中完整列出，包括CQO和QOC两种格式以及各种架构的评估协议。主要的复现挑战在于计算资源：需要在21个模型上运行4个数据集、多种干预条件的完整实验矩阵，总计数百次评估运行。但每次单个评估的计算量不大（最大模型9B参数），使用单张A6000即可完成。激活修补实验需要同时存储两个运行的隐藏状态，内存需求约为单次运行的2倍。代码层面，论文未提及是否开源代码，但所有方法的描述足够详细，核心逻辑（因果掩码分析、注意力修剪、激活修补）使用标准的Transformer库（如PyTorch和HuggingFace Transformers）即可实现，复现难度中等偏低。

迷失在提示词顺序中：揭示语言模型中因果注意力的局限性 Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models