通过分隔符令牌缩放增强多图像理解

缩放图像分隔符令牌隐藏状态，无需训练即可抑制跨图像信息泄漏

前置知识

大型视觉语言模型（LVLM）

LVLM 是同时具备视觉理解和语言生成能力的深度学习模型，典型代表包括 Qwen2-VL、InternVL3 和 LLaVA-OneVision。这些模型通常由视觉编码器（如 ViT）和大型语言模型组成，通过投影层将视觉特征映射到语言模型的嵌入空间。输入可以是单张或多张图像配合文本提示，输出为自然语言回答。模型内部通过 Transformer 的自注意力机制处理输入序列，其中视觉 token 和文本 token 共享同一上下文窗口。

理解 LVLM 的基本架构是理解本文问题（跨图像信息泄漏）和方法（在 Transformer 层中操作分隔符隐藏状态）的基础

图像分隔符令牌（Image Delimiter Tokens）

图像分隔符令牌是 LVLM 中用于标记每张图像起止位置的特殊标记。在 Qwen2.5-VL 中使用 <|vision_start|> 和 <|vision_end|>，InternVL3 中使用 img 和 /img 标签，LLaVA-OneVision 中使用换行符。这些令牌嵌入在输入序列中多张图像之间，理论上用于帮助模型区分不同图像的视觉信息边界。它们在注意力计算中扮演特殊角色，能够吸引其对应图像内的 token 的注意力。

分隔符令牌是本文方法的核心操作对象，理解它们的结构和作用对于把握整个论文的技术路线至关重要

自注意力机制（Self-Attention）

自注意力是 Transformer 的核心计算单元，通过 Query、Key、Value 三个矩阵计算序列中每个 token 对其他 token 的关注程度。注意力权重 p_{q,i} 表示查询 q 对键 i 的关注程度，softmax 操作确保权重之和为 1。这个归一化特性意味着增强对某些 token 的注意力会自然削弱对其他 token 的注意力。注意力输出是 Value 向量的加权和，权重由 Query 和 Key 的相似度决定。

本文方法通过缩放分隔符令牌的隐藏状态来影响 Q、K、V，进而改变注意力分布，因此需要理解注意力的计算流程

Sink Token 现象

在大型语言模型中，研究者发现某些 token（通常是序列起始的 BOS token）会接收到异常高的注意力激活，这种现象被称为 Attention Sink。这些 sink token 接收的高激活充当隐式偏置项，均匀地影响整个序列的注意力模式。在 LVLM 的多图像设置中，每个图像的分隔符令牌也表现出类似但局部化的行为——它们主要吸引对应图像内 token 的注意力，而非全局性地影响所有 token。

理解 sink token 现象有助于理解分隔符令牌为什么能接收高注意力，以及为什么缩放隐藏状态能增强这种效果

隐藏状态缩放（Hidden State Scaling）

隐藏状态缩放是指将 Transformer 某一层中特定 token 的隐藏状态向量乘以一个缩放因子。这个操作发生在注意力计算之前，缩放后的向量被用于计算 Query、Key 和 Value。由于 Q、K、V 都由隐藏状态经线性变换得到，缩放隐藏状态会同时放大这三个分量，从而增强该 token 在注意力中的主导地位。这种操作的计算开销极小，且与 FlashAttention 等优化内核完全兼容。

这是本文提出的核心技术手段，理解其数学形式和计算影响是理解方法效果的关键

研究动机

大型视觉语言模型在单图像任务上表现出色，但当输入包含多张图像时，性能会显著下降。现有研究将这一问题归因于跨图像信息泄漏（cross-image information leakage），即模型无法清晰区分不同图像的信息，导致生成的输出混杂了多张图像的内容。例如，当被问及两张图中是否都有骑自行车的人时，基线模型错误地声称两张图中都有骑车人，而实际上只有第二张图包含该场景。另一个例子中，正确答案是北极熊和骆驼（分别对应两张图），但基线模型输出了骆驼和北极熊，将对应关系颠倒。尽管现有模型已使用分隔符令牌来标记图像边界，但分析表明这些令牌并不能有效阻止跨图像信息泄漏——注意力图中仍可观察到跨图像的交互模式。

本文的目标是本文的目标是深入分析图像分隔符令牌在多图像 LVLM 中的行为机制，揭示它们有效和失效的根本原因，并在此基础上提出一种简单有效的方法来增强分隔符令牌区分图像的能力，从而抑制跨图像信息泄漏，提升多图像理解性能。同时，该方法需要满足实际部署的约束：无需额外训练、无推理开销、不修改模型架构。

与已有工作不同的是，现有工作主要从两个角度解决多图像理解问题：训练方法（如 Mantis 构建多图像指令数据集进行监督微调）需要高昂的数据标注和计算成本；训练无关方法（如 AVAM 依赖外部文本编码器进行图文对齐、FOCUS 需要 n+1 次前向传播的对比解码策略）则引入了结构性复杂度或显著的推理开销。本文的独特切入点在于：首次系统分析了分隔符令牌在 LVLM 中的两个关键属性——接收对应图像注意力的能力（Property 1）和通过图像标签效应增强图像内交互的能力（Property 2），并基于此提出了极简的隐藏状态缩放方法。这种方法不需要任何额外模块或额外计算，仅通过缩放分隔符令牌的隐藏状态即可同时强化这两个属性。

核心方法

本文方法的核心直觉是：图像分隔符令牌已经具备区分不同图像的能力，但这种能力不够强——就像一个信号不够强的标签，虽然存在但无法完全阻挡信息的跨界流动。因此，方法的核心思路是增强信号而不是改变信号。技术路线分为三个阶段：首先通过注意力图分析验证分隔符令牌确实起作用（移除它们会导致约10个百分点的性能下降）；然后通过详细分析识别出分隔符令牌的两个关键属性（接收对应图像注意力的 Property 1 和增强图像内交互的 Property 2）；最后提出通过缩放隐藏状态来同时强化这两个属性的简单方法。整个方法只需要在推理时对分隔符令牌的隐藏状态乘以一个缩放因子，不需要修改注意力机制本身。

本文的核心创新在于发现了分隔符令牌的图像标签效应（image-wise tagging effect）并通过隐藏状态缩放来增强它。与已有方法的本质区别在于：FOCUS 通过对比解码策略在输出层面分离图像信息，需要多次前向传播；AVAM 通过外部模块选择相关视觉区域，需要额外的编码器；M-RoPE 通过位置编码区分图像，效果不如分隔符令牌。而本文方法直接在隐藏状态层面操作，利用 softmax 的归一化特性——增强分隔符令牌的注意力会自然降低跨图像交互——同时通过增强的图像标签效应保持图像内交互。具体来说，当缩放因子大于 1 时，分隔符令牌的 Key 向量增大使其更易被 Query 匹配，Value 向量增大使得分隔符对注意力输出的贡献占主导地位。

方法步骤详情

方法的具体实施分为以下步骤：第一步确定缩放层，通过超参数调优选择 Transformer 的早期层（如 Qwen2.5-VL-3B 选择第 0-3 层），因为早期层的缩放效果会传播到后续层，且早期层在视觉基础处理中起重要作用。第二步识别分隔符令牌，根据模型类型确定对应的特殊令牌，如 Qwen2.5-VL 使用 vision start 和 vision end 标记，InternVL3 使用 img 和 /img 标签，LLaVA-OneVision 使用换行符。第三步隐藏状态缩放，在选定层的注意力计算前，对分隔符令牌的隐藏状态应用缩放，缩放因子大于 1，其他令牌保持不变。第四步正常执行注意力计算，缩放后的隐藏状态经过 QKV 投影后参与标准注意力计算。对于多文档任务（如 MultiNews），将文档分隔符设为特殊分隔符令牌并应用相同方法。

技术新颖性

本文的技术新颖性体现在多个层面：首先在分析层面，首次系统性地揭示了 LVLM 中分隔符令牌的两个关键属性——与 sink token 类似但局部化的注意力吸引模式（Property 1），以及由此产生的图像标签效应（Property 2）。这种类似 sink token 但局部化的行为在先前的 sink token 研究中未被探索，因为之前的工作主要关注文本 LLM 或单图像设置。其次在方法层面，隐藏状态缩放的简洁性令人印象深刻——仅需一行代码（将特定 token 的隐藏状态乘以常数），却能同时强化两个属性并产生显著效果。这种简单性带来了实际部署的巨大优势：与 FlashAttention 完全兼容，无额外内存或时间开销。第三在发现层面，证明了该方法不仅适用于多图像任务，还能推广到多文档和多表格场景，表明多实例区分是跨模态的通用问题。

实验结果

实验结果在多个层面验证了方法的有效性。在多图像理解基准上，方法在 Qwen2.5-VL、InternVL3 和 LLaVA-OneVision 三个模型家族上均带来一致提升。以 MuirBench 为例，Qwen2.5-VL-3B 从 37.31 提升到 42.42（+5.11），InternVL3-2B 在 Mantis 上从 52.07 提升到 54.38（+2.31）。值得注意的是，性能提升跨越不同模型规模——从 0.5B 到 78B 的模型均有效。在大模型上，Qwen2.5-VL-72B 在 Mantis 上从 74.19 提升到 75.58，InternVL3-78B 从 74.65 提升到 76.50。在多文档和多表格任务上，Qwen2.5-3B 在 TQABench 上从 37.38 提升到 37.84，甚至超越了 7B 基线（37.50）；在 WCEP-10 和 MultiNews 上 ROUGE 分数也有一致提升。在 few-shot 设置中，OKVQA 上 Qwen2.5-VL-3B 从 18.04 提升到 20.00（+1.96），VizWiz 上从 42.38 提升到 42.88。关键的是，方法不引入任何额外推理开销——平均 VRAM 使用、峰值 VRAM 和推理时间与基线完全相同（8.3 GB、10.2 GB、约 100 秒）。与 FOCUS 的对比显示，FOCUS 的峰值 VRAM（21.86 GB）是本文方法（10.18 GB）的两倍多，推理时间（5 分 21 秒 vs 1 分 41 秒）慢三倍以上。

**Table 6**: Few-shot 设置下的 OKVQA 和 VizWiz 结果

查看结构化数据

任务	指标	本文	基线	提升
多图像理解（Mantis）	Accuracy	63.13 (3B)	59.91 (3B)	+3.22
多图像理解（MuirBench）	Accuracy	42.42 (3B)	37.31 (3B)	+5.11
多图像理解（MIRB）	Accuracy	57.38 (3B)	56.45 (3B)	+0.93
多图像理解（QBench2）	Accuracy	63.30 (3B)	62.70 (3B)	+0.60
多表格理解（TQABench）	Accuracy	37.84 (3B)	37.38 (3B)	+0.46
多文档摘要（WCEP-10）	ROUGE-1	27.52 (3B)	27.30 (3B)	+0.22
多文档摘要（MultiNews）	ROUGE-1	37.24 (3B)	37.16 (3B)	+0.08
Few-shot VQA（OKVQA）	Accuracy	20.00 (3B)	18.04 (3B)	+1.96

局限与改进

作者在论文中承认的主要局限是：方法目前不适用于缺乏显式帧分隔符令牌的视频输入。在附录中作者进一步指出，方法需要访问模型的隐藏状态，因此只能应用于开源模型，无法直接用于商业闭源模型（尽管模型开发者可以内部集成）。从独立分析的角度来看，还有一些值得关注的局限：缩放因子需要针对每个模型进行调优，虽然实验显示方法在合理范围内具有鲁棒性，但最优值因模型而异。层的选择也需要超参数调优，虽然作者建议使用早期层，但不同模型的最优层组合可能不同。对于 QBench2 等某些基准，提升幅度较小（如 3B 模型仅 +0.60），表明方法在某些任务类型上的效果有限。方法假设分隔符令牌已存在于模型的输入格式中，对于自定义输入格式可能需要额外设计。

独立分析的弱点

尽管方法简洁有效，但仍存在几个值得改进的方面：首先缩放策略的粒度较粗——当前对所有层使用相同的缩放因子，但不同层对跨图像交互的贡献可能不同，细粒度的逐层自适应缩放可能带来更好效果。其次方法是静态的——缩放因子在推理前确定，不根据输入内容动态调整。附录中展示的熵基扩展虽然有效（在 InternVL3-14B 上额外提升 0.46），但因需要完整注意力图而无法使用 FlashAttention，导致内存和时间成本大幅增加（推理时间增加 2.3 倍）。需要找到既能动态调整又能保持效率的方案。第三对视频场景的适用性缺失——视频帧之间没有显式分隔符，需要开发替代的帧边界检测机制。第四方法的效果高度依赖于分隔符令牌本身的质量——当用其他特殊令牌替换分隔符令牌后应用缩放，性能反而下降（53.00 vs 基线 59.91），说明方法不能弥补分隔符令牌设计的不足。

未来方向

基于本文的发现，可以从多个方向延伸研究：第一视频域扩展，作者已明确将此列为未来工作，关键挑战是为视频帧设计有效的分隔机制，可能需要结合时序位置编码（如 M-RoPE）和本文的缩放方法。第二与其他技术的结合，方法可以与 AVAM 的区域选择、FOCUS 的对比解码等方法结合，形成互补的多图像理解增强方案。第三自适应缩放，开发轻量级的动态缩放机制，根据输入的多图像复杂度（如图像数量、视觉相似度）自动调整缩放强度，可能通过小型网络预测最优缩放因子。第四推广到更多多实例场景，本文已验证了多文档和多表格的有效性，可以进一步探索多视频、多代码文件等场景。第五与训练方法结合，在微调阶段引入分隔符令牌的正则化损失，可能在训练阶段就建立更强的图像区分能力。

复现评估

论文的可复现性较好。作者承诺将发布完整代码和脚本，所有实验使用固定种子运行，数据集和超参数均有记录。具体来说：代码已在 GitHub 开源（https://github.com/MYMY-young/DelimScaling）。使用的模型均为公开可用的预训练模型（Qwen2.5-VL、InternVL3、LLaVA-OneVision、Qwen2.5、Phi-1.5）。使用的基准数据集均为公开数据集（Mantis、MuirBench、MIRB、QBench2、TQABench、MultiNews、WCEP-10）。实验在标准 GPU 上进行（A5000、A6000、H200），方法本身几乎不增加计算需求。超参数调优策略：使用测试集的 10% 作为验证集确定缩放层和缩放因子，对同一模型的所有基准使用相同的缩放层。整体而言，复现难度较低，只需在现有 LVLM 推理代码中添加几行缩放逻辑即可。

通过分隔符令牌缩放增强多图像理解 Enhancing Multi-Image Understanding through Delimiter Token Scaling