指令锚点：解剖模态仲裁的因果动力学 Instruction Anchors: Dissecting the Causal Dynamics of Modality Arbitration
揭示指令令牌作为模态仲裁结构锚点，浅层缓冲深层仲裁的稀疏头机制
前置知识
多模态指令遵循 (Multimodal Instruction Following, MIF)
多模态大语言模型（MLLMs）的核心能力之一，指模型能够根据用户指令，在多种模态（如图像、文本）之间进行选择性信息整合以执行复杂任务。与传统LLM的指令遵循主要关注输出格式约束不同，MIF面临一个额外挑战：当不同模态提供冲突信息时，模型必须严格遵循用户指令指定的模态证据。例如，当图像显示一只猫而文本描述一只狗时，如果指令要求基于图像回答，模型应选择图像信息。这种能力对于多轮对话、GUI导航和具身机器人控制等真实场景至关重要。
本文的核心研究对象就是MIF的内部机制，理解这一概念是理解全文的基础。
注意力敲除分析 (Attention Knockout Analysis)
一种因果干预技术，通过选择性地修改Transformer的注意力掩码（causal mask）来阻断特定的注意力路径，从而探测不同信息流对模型行为的重要性。具体操作是在以某层为中心的k层窗口内，将目标路径的注意力权重设为负无穷，阻止信息沿该路径流动。通过比较干预前后的模型输出变化，可以量化被阻断路径对特定任务（如模态遵循）的贡献。本文设置窗口大小k=3。
这是本文的核心分析方法之一，用于定位模态线索汇聚的关键路径。
Logit Lens
一种可解释性技术，通过将Transformer各层的隐藏状态通过最终的unembedding矩阵投影到词汇空间，来追踪模型在每一层的内部信念。具体来说，对于第l层的隐藏状态 $h_i^l$，计算 $\text{Logit}(Y_m | h_i^l) = \max_{y \in E_m} (E \cdot h_i^l)_y$，其中 $E$ 是unembedding矩阵，$E_m$ 是特定子空间的候选词集合。这使得研究者可以在生成最终答案之前，观察模型内部对不同答案的偏好如何逐层演化。
本文使用Logit Lens追踪指令令牌内部的模态决策如何逐层形成，是理解浅层缓冲、深层仲裁这一核心发现的关键技术。
模态仲裁 (Modality Arbitration)
当多模态模型接收到多种模态信息（如图像和文本）时，需要在这些竞争性信息源之间做出选择的过程。本文将这个过程形式化为两个子空间的竞争：指令合规子空间 $Y_p$（对应用户指令指定的模态答案）和竞争子空间 $Y_c$（对应另一模态的答案）。模态仲裁的成功意味着模型正确选择指令指定的模态信息，失败则意味着模型选择了错误的模态。
本文研究的核心过程就是模态仲裁如何在模型内部完成，理解这个概念对于理解论文的整个分析框架至关重要。
归一化有符号结构散度 (INSSD)
本文提出的新指标，用于量化注意力敲除对模态遵循的影响。定义为 $\text{INSSD} := \text{sign}(\tilde{P}_U(Y_p) - P_U(Y_p)) \cdot D_{\text{KL}}(P_U \| \tilde{P}_U)$，其中 $P_U$ 和 $\tilde{P}_U$ 分别是干预前后在模态仲裁子空间 $U = Y_p \cup Y_c$ 上的归一化分布。符号项指示干预对指令合规解释的影响方向（负号表示概率质量从指令合规区域移开），KL散度项测量干预对预测分布的重塑强度。相比传统指标，INSSD专注于模态仲裁相关的决策结构，抑制任务无关输出变化的噪声。
这是本文的核心量化指标，所有关键发现都通过INSSD来衡量和呈现。
注意力头功能特化 (Functional Specialization of Attention Heads)
Transformer模型中的多头注意力机制允许不同的注意力头学习关注不同类型的信息。本文发现，在模态仲裁过程中，只有一小部分稀疏的注意力头（约5%）起主导作用。这些头主要分布在深层，负责根据指令意图选择性地增强指令合规的模态信号。有趣的是，视觉遵循和文本遵循激活的头大部分是不同的（模态特异性），但存在少量共享的模态共享仲裁者。
这一发现是本文的核心贡献之一，验证了注意力头的功能特化为后续的针对性干预提供了理论基础。
研究动机
多模态大语言模型（MLLMs）在真实部署中的安全性和可靠性依赖于模态遵循能力，即根据用户指令选择性地利用多模态上下文。然而，现有研究主要从感知角度理解MLLMs的可解释性，关注视觉信息在Transformer架构中的编码、存储和检索，而对跨模态仲裁的内部机制研究严重不足。具体来说，当不同模态提供冲突信息时（例如图像显示A而文本描述B），模型内部如何决定遵循哪个模态仍然是一个黑盒。这种理解的缺失构成了诊断模型失败和确保行为可靠性的主要障碍。现有的可解释性工作要么聚焦于定位模态特定神经元或任务特定子回路，要么追踪信号的动态传播，但都没有触及模态仲裁这一核心决策过程。
本文的目标是本文的目标是通过信息流视角，系统性地解剖模态遵循的内部决策机制。具体而言，研究团队希望回答三个关键问题：(1) 模态线索在模型内部通过什么路径汇聚并整合形成决策？(2) 模态仲裁在模型的哪个位置、如何逐步完成？(3) 哪些具体的模型组件（层、注意力头）负责驱动模态仲裁？通过回答这些问题，论文旨在为模态遵循提供一个机制性解释，并为改进MLLMs的多模态证据利用提供理论指导。
与已有工作不同的是，本文的独特切入角度是将模态遵循视为一个信息流问题，而非单纯的性能优化问题。与以往研究关注生成令牌（generated tokens）处的信息变化不同，本文采用跨模态中继（cross-modal relay）视角，追踪外部多模态上下文如何被整合和利用。这种视角的关键创新在于发现指令令牌（instruction tokens）不仅仅是任务描述的载体，更是模态仲裁的结构锚点，即多模态线索的首要汇聚站点和决策的最终结晶点。此外，本文不仅进行定性分析，还提出了INSSD和LDAR两个新指标进行严格量化，并通过针对性的注意力头干预实验验证了分析框架的可靠性。
核心方法
本文的研究方法可以概括为一个三层递进的分析框架。首先是定位阶段：通过注意力敲除分析（Attention Knockout Analysis）和新提出的INSSD指标，定位模态线索汇聚的关键路径，发现指令令牌是首要汇聚点。然后是解剖阶段：使用Logit Lens追踪指令令牌内部的模态决策如何逐层形成，结合组件分析（注意力vs MLP）揭示浅层缓冲、深层仲裁的功能分层。最后是验证阶段：通过针对性的注意力头干预实验（阻断和放大）验证分析框架的可靠性。整个研究在受控诊断设置下进行，构造视觉和文本上下文支持不同答案的实例，使用Qwen2.5-VL-7B和InternVL3-8B两个模型进行分析。
本文的核心创新在于发现并验证了指令锚点机制：指令令牌不仅是任务描述的载体，更是模态仲裁的结构锚点。这与已有方法的本质区别在于：(1) 已有研究主要关注生成令牌处的信息变化，而本文发现模态决策在生成之前就已在指令令牌处结晶，LDAR超过95%；(2) 已有研究将注意力机制视为均匀的信息处理器，而本文揭示了从浅层缓冲到深层仲裁的功能分层，以及驱动仲裁的稀疏注意力头（约5%）；(3) 已有研究缺乏对模态仲裁的严格量化指标，本文提出了INSSD和LDAR两个新指标，能够在抑制任务无关噪声的同时测量模态仲裁的变化。
方法步骤详情
本文的方法分为以下几个关键步骤。步骤一：构建受控诊断设置。每个实例抽象为 $S = \langle C_p, C_c, I, A_p, A_c, E_p, E_c \rangle$，其中 $I$ 是指定目标模态的指令，$C_p$ 和 $C_c$ 是指令合规和竞争上下文，$A_p, A_c$ 是对应答案，$E_p, E_c$ 是包含最多10个语义等价表面形式的实体词典。将输入token序列 $X = [x_1, \ldots, x_N]$ 分为视觉token ($X_{\text{vision}}$)、文本上下文token ($X_{\text{ctx}}$) 和指令token ($X_{\text{inst}}$)。步骤二：注意力敲除分析。对于目标路径 $P_{\text{src} \to \text{dst}}$，在以第 $l$ 层为中心的k层窗口内修改注意力掩码 $\tilde{M}^{s,t}_l$，阻断从源token集到目标token集的信息流。步骤三：计算INSSD。对于每个实例，计算干预前后在模态仲裁子空间 $U$ 上的分布变化：$\text{INSSD} := \text{sign}(\tilde{P}_U(Y_p) - P_U(Y_p)) \cdot D_{\text{KL}}(P_U \| \tilde{P}_U)$。步骤四：内部信念追踪。使用Logit Lens计算指令令牌在每一层的子空间读出 $S_m(H^l_{\text{inst}}) := \frac{1}{K} \sum_{i \in T^l_m} \text{Logit}(Y_m | h_i^l)$，其中 $T^l_m$ 是logit激活最高的前K个指令token索引（本文设K=1）。步骤五：计算LDAR。对于数据集 $D$，$\text{LDAR}(l) := \frac{1}{|D|} \sum I[S_p(H^l_{\text{inst}}) > S_c(H^l_{\text{inst}})]$，测量指令令牌内部状态与最终输出的一致性。步骤六：组件分析。通过 $\delta^l_A(M) := M(H^{l-1}_{\text{inst}} + A^l_{\text{inst}}) - M(H^{l-1}_{\text{inst}})$ 和 $\delta^l_F(M) := M(H^l_{\text{inst}}) - M(H^{l-1}_{\text{inst}} + A^l_{\text{inst}})$ 分别量化注意力和MLP对模态仲裁边界的贡献。步骤七：注意力头干预。阻断实验将Top-G头的输出置零；放大实验将输出乘以系数 $\alpha > 1$。通过MFR评估干预效果。
技术新颖性
本文的技术新颖性体现在多个层面。第一，视角创新：首次采用跨模态中继视角研究模态遵循，发现指令令牌作为模态仲裁的结构锚点，这与以往关注生成令牌处信息变化的研究形成鲜明对比。第二，指标创新：提出INSSD指标，通过将分析限制在模态仲裁子空间内，有效抑制任务无关输出变化的噪声，实现对模态遵循变化的精确量化；提出LDAR指标，通过测量指令令牌内部状态与最终输出的一致性，定量证明模态决策在生成前就已在指令令牌处结晶。第三，发现创新：揭示了注意力机制从浅层缓冲到深层仲裁的功能分层，以及驱动仲裁的稀疏注意力头（约5%）的功能特化，阻断这些头会显著降低模态遵循（MFR下降约60%），但不影响一般视觉和语言能力；放大这些头可以恢复失败的模态遵循案例（提升约60%）。第四，方法创新：结合因果干预（注意力敲除）、归因分析（logit差分归因）和干预验证（头阻断/放大）的多层次分析框架，为可解释性研究提供了新范式。
实验结果
本文的核心发现可以分为三个层面。第一，指令令牌是模态线索汇聚的结构锚点。如Figure 2所示，在Qwen2.5-VL-7B和InternVL3-8B两个模型上，切断从模态线索到生成令牌的路径仅产生边际INSSD变化，而切断从视觉或文本上下文到指令令牌的路径导致显著负向偏移。例如，在文本遵循场景下，Xvision到Xinst路径的INSSD约为-0.9，而Xvision到Xg路径仅约-0.2。此外，Figure 3(a)表明，这种汇聚不是位置近邻的伪影：切断到模态指定语义token ($X_s$) 的路径有显著影响，而切断到输出格式约束token ($X_o$) 的路径影响极小。第二，模态仲裁在指令令牌处结晶。如Figure 3(b)所示，LDAR在浅层保持在随机水平（约0.5），但在深层急剧上升到超过95%，表明指令令牌的内部状态能够正确预测最终决策。Figure 3(c)进一步验证，切断从指令令牌到生成令牌的路径导致模态遵循性能急剧下降，而切断从模态线索到生成令牌的路径影响可忽略。第三，注意力机制呈现从缓冲到仲裁的功能分层。如Figure 5(a)所示，浅层注意力对指令合规和竞争模态的调制程度相似（缓冲功能），深层注意力选择性地放大指令合规模态（仲裁功能）。如Figure 5(b)所示，只有稀疏的深层注意力头对仲裁边界有强调制。干预实验显示，阻断Top-40头（约5%的总头数）导致MFR下降约60%（文本遵循），而阻断同等数量的随机头影响极小；放大Top-30头使MFR提升约60%。Table 1显示，阻断这些头对一般视觉和语言能力（TextVQA、Flickr30k、MMLU、IFEval）的影响可忽略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本遵循 (Text Following) | Modality Following Ratio (MFR) | 阻断Top-40头后MFR下降约60%（从100%降至约40%） | 原始MFR 100%，随机阻断后MFR仍接近100% | 验证了识别的头对模态遵循的功能特化 |
| 视觉遵循 (Vision Following) | Modality Following Ratio (MFR) | 阻断Top-40头后MFR下降约60% | 原始MFR 100%，随机阻断后MFR仍接近100% | 验证了视觉遵循和文本遵循激活不同的模态特异性头 |
| 失败案例恢复 | MFR恢复率 | 放大Top-30头后MFR提升约60%（从0%提升至约60%） | 原始MFR 0%（失败案例） | 证明了针对性放大可以恢复失败的模态遵循 |
| 视觉理解（TextVQA） | Accuracy | 阻断#10头后62.95%，阻断#20头后63.26%，阻断#30头后63.32% | 原始63.10% | 变化在噪声范围内，证明功能特化 |
| 视觉理解（Flickr30k） | METEOR/CIDEr/SPICE/PPL | 阻断#30头后21.4/28.5/14.8/20.3 | 原始21.4/28.4/14.9/19.6 | 变化极小，不影响一般视觉能力 |
| 语言理解（MMLU） | Accuracy | 阻断#30头后66.9% | 原始68.3% | 下降约1.4%，影响较小 |
| 指令遵循（IFEval） | Accuracy | 阻断#30头后65.3% | 原始66.4% | 下降约1.1%，影响较小 |
局限与改进
本文存在以下几个方面的局限性。首先，诊断设置是受控的二选一场景（视觉vs文本），而真实世界的模态遵循可能涉及更多模态（音频、视频等）和更复杂的竞争关系，本文的发现是否能推广到这些更复杂的场景还需要进一步验证。其次，研究主要基于Qwen2.5-VL-7B和InternVL3-8B两个模型，虽然论文在附录中验证了对更大稠密模型和MoE模型的泛化性，但覆盖的模型种类仍然有限，特别是未涉及近期的多模态推理模型。第三，Logit Lens方法假设模型的内部表示可以通过unembedding矩阵投影到词汇空间来理解，但这一假设在多模态模型中可能不完全成立，因为视觉token的表示空间与文本token可能存在差异。第四，本文的分析主要关注注意力机制，对MLP的作用分析相对简略，虽然发现MLP对模态仲裁的贡献不如注意力一致，但未深入探究MLP在模态仲裁中的具体角色。第五，干预实验虽然验证了注意力头的功能特化，但未提供在实际应用场景中如何利用这些发现来改进模型的具体方案。最后，论文的分析框架相对复杂（涉及多个新指标和多层次分析），可能对复现和应用造成一定门槛。
独立分析的弱点
本文的一个重要弱点是诊断设置的简化性。论文构造的二选一场景虽然便于控制变量和进行因果分析，但与真实应用场景存在差距。例如，在多轮对话中，模态线索可能动态变化；在视频理解中，时序信息的仲裁可能有不同于空间信息的特点。改进方向是扩展诊断设置到更复杂的多模态场景，如多模态干扰任务、动态模态切换等。第二个弱点是INSSD指标的局限性。INSSD将分析限制在模态仲裁子空间 $U = Y_p \cup Y_c$ 内，这虽然有效抑制了噪声，但也可能忽略了一些模态仲裁之外的重要信息变化。改进方向是设计更全面的指标，能够同时捕捉模态仲裁相关和任务相关的信息变化。第三个弱点是对浅层缓冲机制的分析不够深入。论文发现浅层注意力执行无差别的信息传输，但未解释为什么浅层会呈现这种行为，是因为训练数据的特性，还是架构的内在约束？改进方向是通过探针分析（probing）或训练动态分析来理解浅层缓冲的形成机制。第四个弱点是注意力头干预的可操作性。虽然论文证明了阻断或放大特定头可以调节模态遵循，但这些干预需要在推理时实时进行，计算开销较大。改进方向是将这些发现转化为更高效的模型设计或训练策略，例如通过知识蒸馏将仲裁头的行为蒸馏到更小的模型中。
未来方向
论文在讨论部分提出了两个未来方向。第一，高效计算：指令锚点机制可以指导上下文压缩策略，通过识别和保留关键的指令相关路径，实现更高效和有效的上下文学习。第二，全模态模型的架构设计：当前架构存在大量冗余计算，特别是在注意力路径上，更好的设计可以将计算与上下文使用对齐，在资源受限的情况下提升能力上限。基于本文的发现，还可以延伸出更多研究方向。第一个方向是动态模态仲裁：研究模型如何在多轮对话中根据上下文动态调整模态仲裁策略。第二个方向是跨模型泛化：将本文的分析框架应用到更多类型的模型（如纯编码器模型、扩散模型）和更多模态组合（如音频-视觉、3D-文本）。第三个方向是可解释性驱动的模型改进：利用本文发现的仲裁头特性，设计新的训练目标或架构变体，显式地鼓励模态仲裁的功能特化。第四个方向是故障诊断和修复：利用本文的分析框架，自动识别模态遵循失败的内部原因（例如，浅层缓冲不足还是深层仲裁错误），并针对性地进行修复。
复现评估
本文的复现性评估如下。开源情况：论文声明所有数据和代码将在接受后发布，这意味着目前无法直接复现，但承诺了未来的开源。数据：论文使用了受控诊断设置，构造了视觉和文本上下文支持不同答案的实例，这些数据的具体构造细节在附录B中描述。算力：分析基于Qwen2.5-VL-7B（7B参数）和InternVL3-8B（8B参数），这些模型在单GPU上可以运行推理，但进行完整的分析（包括多次注意力敲除实验）可能需要较大算力。难度：分析框架涉及多个自定义指标（INSSD、LDAR）和多层次的干预实验，复现需要对Transformer架构和可解释性技术有较深理解。此外，论文的注意力敲除实现依赖于对注意力掩码的精确修改，不同框架的实现细节可能影响结果。总体而言，如果代码和数据开源，复现应该可行，但需要一定的技术门槛和算力支持。
论文图表
