基于视觉信息增益的大视觉语言模型选择性训练

提出VIG指标量化视觉贡献，通过选择性训练提升LVLM视觉接地能力

前置知识

视觉语言模型 (LVLM)

Large Vision Language Model 是结合视觉编码器和大型语言模型的多模态架构。典型结构包括预训练视觉编码器（如CLIP ViT）提取图像特征、适配器将视觉特征映射到语言模型的语义空间、以及预训练语言模型生成文本。训练通常分两阶段：预训练阶段使用图文对数据对齐视觉-文本空间，指令微调阶段在复杂多模态指令数据上微调以提升推理能力。代表模型包括LLaVA、ShareGPT4V等。

本文针对LVLM的训练过程提出改进，理解其架构和训练范式是理解本文方法的基础。

语言偏见 (Language Bias)

LVLMs中普遍存在的一种现象：模型过度依赖文本先验而非视觉证据来生成回答。当图像内容与文本先验冲突时，模型仍倾向于遵循文本模式，导致视觉忽略（忽略显著图像内容）和幻觉（自信地描述图中不存在的物体或属性）。这种偏见源于训练数据中包含大量可从常识或语言上下文回答的样本。

本文的核心动机就是解决语言偏见问题，理解这一问题是理解研究动机的关键。

困惑度 (Perplexity, PPL)

困惑度是衡量语言模型预测不确定性的指标，定义为 $PPL = \exp(L)$，其中 $L$ 是交叉熵损失。PPL越高表示模型对预测越不确定。在本文中，通过比较有无视觉输入时模型对答案token的困惑度差异来量化视觉信息的贡献。具体地，使用模糊图像模拟视觉缺失来计算无视觉条件下的PPL。

VIG指标的数学基础就是基于困惑度的比较，理解PPL的含义对理解VIG的计算至关重要。

KL散度 (Kullback-Leibler Divergence)

KL散度衡量两个概率分布之间的差异，定义为 $D_{KL}(p||q) = \sum_{x} p(x) \log \frac{p(x)}{q(x)}$。在本文的理论分析中，VIG可以被重新表述为KL散度的差值：$VIG = D_{KL}(p_{A|Q}||q_Q) - D_{KL}(p_{A|I,Q}||q_{I,Q})$，表示视觉信息将模型预测分布拉近真实分布的程度。

这一理论形式化帮助理解VIG为什么能有效衡量视觉信息的贡献。

选择性建模 (Selective Modeling)

一种数据高效的训练策略，根据数据样本的质量或重要性进行筛选，只在最有价值的子集上训练。在LLM领域已有成功应用（如DoReMi），本文将其扩展到多模态场景，在样本级别和token级别同时进行选择，实现更精细的数据利用。

本文方法的核心思想就是选择性建模，理解这一概念有助于把握方法的本质。

研究动机

当前大型视觉语言模型普遍存在语言偏见问题：模型在训练过程中过度依赖文本先验而非视觉证据。这种问题的具体表现是：在多模态指令微调数据集中，存在大量异构样本——有些样本可以仅凭常识或语言上下文回答（如图1a中"船在水中留下的痕迹叫什么"这类问题），而另一些则真正需要细粒度的视觉理解（如图1b中描述图片元素）。然而，现有训练方式对所有样本和token一视同仁，导致模型没有动力区分视觉依赖信号和纯文本模式，最终倾向于利用容易获取的语言捷径。实验表明，在LLaVA-1.5等模型中，注意力分布过度集中在文本token上，视觉token被相对忽略。现有缓解方法（如对比解码、增强图像注意力）主要是训练无关的推理时策略，存在推理开销大、效果有限等问题，无法从根本上解决训练数据层面的语言偏见。

本文的目标是本文的核心目标是直接量化每个训练样本和token从视觉输入中获益的程度，并利用这一信号引导训练过程聚焦于真正依赖视觉信息的数据。具体目标包括：(1) 提出一种可解释、可分解的度量指标来衡量视觉信息对模型预测的贡献；(2) 基于该指标设计选择性训练方案，在不增加模型复杂度和推理开销的前提下提升视觉接地能力；(3) 实现显著的数据效率提升，用更少的训练token达到甚至超越全数据训练的性能。

与已有工作不同的是，本文的独特切入点是从数据视角而非模型或解码策略视角来解决语言偏见问题。与已有方法的关键区别在于：(1) 现有方法缺乏对"每个样本/token到底多大程度依赖视觉信息"的定量衡量，而本文提出的VIG指标填补了这一空白；(2) 训练无关方法（如对比解码）只是绕过而非解决根本问题，而本文从训练数据源头入手；(3) 架构修改方法（如LACING的双注意力机制）需要改变模型结构，而本文保持架构不变，通过数据选择实现更优效果。这种数据驱动的视角使得方法具有更好的通用性和可扩展性。

核心方法

本文方法的核心思想可以用一个简单的直觉来理解：不是所有的训练数据都值得学习。就像一个聪明的学生会把更多精力放在真正有挑战性的题目上，而不是重复做已经会的基础题。具体地，本文提出Visual Information Gain (VIG)指标来衡量"图像对回答问题到底有多大帮助"。对于每个训练样本，计算有图像和无图像时模型预测答案的困惑度差异——如果加入图像后困惑度大幅下降，说明这个样本高度依赖视觉信息；反之则说明可以仅凭文本回答。基于VIG，本文设计了两层级的选择性训练：先筛选高VIG样本（样本级），再在这些样本中筛选高VIG token（token级），只在筛选后的数据上计算损失。技术路线是：使用预训练对齐后的模型计算VIG分数→按VIG排序并保留top-p%样本→对每个保留样本，只对VIG高于阈值的token计算损失→在筛选后数据上进行指令微调。

本文最核心的创新是提出VIG这一度量指标及其引导的选择性训练机制。与已有方法的本质区别体现在三个层面：第一，VIG提供了首次对多模态训练数据中视觉依赖程度的定量、可分解测量。它不仅能衡量样本级的视觉依赖，还能分解到token级别，精确识别哪些token（如颜色、空间关系、物体属性）真正需要视觉信息，哪些（如冠词、介词）主要由文本驱动。第二，VIG具有理论优雅性——它等价于交叉熵损失的减少量，也等于KL散度的差值，即 $VIG = D_{KL}(p_{A|Q}||q_Q) - D_{KL}(p_{A|I,Q}||q_{I,Q})$，量化了视觉信息将模型预测分布拉近真实分布的程度。第三，基于VIG的选择性训练是一种数据层面的根本性解决方案，不同于推理时的临时补救。它通过在训练时就过滤掉低视觉贡献的信号，让模型学会真正"看"图像，而不是默认依赖文本捷径。

方法步骤详情

VIG引导的选择性训练包含以下完整步骤：(1) 对齐预训练：使用标准的图文对数据训练适配器，对齐视觉-文本语义空间，保持视觉编码器和语言模型冻结。LLaVA-1.5使用558K对，ShareGPT4V使用1.2M对。(2) VIG计算：对每个指令微调样本 $(I, Q, A)$，使用对齐后的模型分别计算有图像和无图像时的困惑度 $PPL(A|Q,I)$ 和 $PPL(A|Q)$，其中无图像条件通过高斯模糊模拟。VIG定义为两者比值的对数：$VIG = \log \frac{PPL(A|Q)}{PPL(A|Q,I)}$。这一步是前向传播，无需梯度，可完全并行化。(3) 样本级选择：对所有多模态训练样本按VIG排序，选择top-p%（实验中p=70）。设阈值 $\tau_p$ 为第p百分位的VIG值，保留集合 $S_p = \{i | VIG_i \geq \tau_p\}$。(4) Token级选择：对每个保留样本，只对token级VIG满足 $VIG_{i,t} \geq \tau_p$ 的token计算损失。输入完整答案序列，但损失仅在视觉信息丰富的token上计算。(5) 指令微调：在筛选后的数据上进行标准的指令微调，超参数与原始模型完全相同。

技术新颖性

VIG方法的技术新颖性体现在多个维度。首先，在度量设计上，VIG首次将"视觉信息贡献"量化为可计算的标量，且能自然分解为token级别——这是之前的对比解码等方法无法做到的。其次，在理论分析上，VIG可以从困惑度比值、交叉熵差值、KL散度差值三个等价视角理解，这种多角度的形式化为指标的有效性提供了坚实的理论基础。第三，在训练策略上，样本级和token级双重选择使用同一阈值 $\tau_p$ 是精心设计的：它避免了引入额外超参数，同时确保优化集中在数据中最富含视觉信息的区域。第四，VIG具有即插即用的特性——它是纯数据层面的方法，不修改模型架构、不增加推理成本、与现有推理时优化方法（VCD、PAI、VAR）正交且可叠加。最后，VIG分析揭示了训练数据中的视觉依赖分布规律：颜色词、空间关系词、物体属性词具有高VIG，而功能词（冠词、介词）VIG接近零或为负。

实验结果

本文在四个LVLM架构（LLaVA-1.5 7B/13B、ShareGPT4V 7B、Open-Qwen2VL 2B）上进行了全面实验，结果表明VIG选择性训练在大幅提升数据效率的同时还能提升性能。对于LLaVA-1.5 7B，VIG训练仅使用38.45M active tokens（原始58.61M，减少34%），但在所有8个benchmark上都取得提升：LLaVAW从59.02提升到61.22（+2.20），MMVet从28.62到32.71（+4.09），MMBench从65.46到66.33（+0.87），CV-Bench从59.18到62.48（+3.30），CHAIR CS从52.93降到47.00（-5.93，越低越好），MMHal幻觉率从71.25%降到62.78%（-8.47%）。对于LLaVA-1.5 13B，效果更为显著：仅用12.14M tokens（减少79%）就实现全面超越，说明更大模型能更有效地利用精心筛选的视觉接地数据。与现有方法对比，VIG训练在不引入任何架构修改或推理开销的情况下，取得与LACING（需要架构修改）和VAR（增加推理成本）相当或更优的结果。特别值得注意的是，VIG与现有方法正交——与VCD、PAI、VAR、LACING组合使用时都能获得叠加增益，最强组合"VIG + LACING"在MMVet上达到37.01，在MMBench上达到67.89。消融实验进一步验证了设计选择的有效性：随机选择70%数据会导致性能下降，而基于VIG选择则能超越全数据训练，token级选择是关键。

查看结构化数据

任务	指标	本文	基线	提升
视觉理解 - LLaVAW	Score ↑	61.22	59.02 (LLaVA-1.5 7B vanilla)	+2.20
视觉理解 - MMVet	Score ↑	32.71	28.62 (LLaVA-1.5 7B vanilla)	+4.09
视觉理解 - MMBench	Score ↑	66.33	65.46 (LLaVA-1.5 7B vanilla)	+0.87
视觉理解 - CV-Bench	Acc. ↑	62.48	59.18 (LLaVA-1.5 7B vanilla)	+3.30
幻觉 - CHAIR	CS ↓	47.00	52.93 (LLaVA-1.5 7B vanilla)	-5.93 (越低越好)
幻觉 - MMHal	Hall. ↓	62.78%	71.25% (LLaVA-1.5 7B vanilla)	-8.47% (越低越好)

局限与改进

尽管VIG方法取得了显著效果，但仍存在几个值得讨论的局限性。首先是计算开销问题：VIG需要对每个训练样本进行额外的前向传播来计算无视觉条件下的困惑度。在8张RTX 4090上计算VIG约需6小时，虽然这是一次性的、可并行的、且可跨训练复用的过程，但对于资源受限的研究者仍是一个考量。其次，本文的实证研究主要基于LLaVA-1.5和ShareGPT4V系列模型，虽然也展示了在Open-Qwen2VL 2B上的泛化性，但在更多样化的架构（如纯decoder-only、混合专家模型）和领域（如视频理解、3D理解）上的有效性有待进一步验证。第三，选择比例p=70是固定设置，虽然消融实验显示在30-70范围内都能工作，但最优p值可能因任务和数据集而异，缺乏自适应的选择机制。第四，VIG使用高斯模糊模拟视觉缺失，这是一种近似方法，可能无法完全模拟真正的"无视觉"状态。最后，作者坦承VIG训练并非设计来消除更广泛的可靠性和安全问题，包括训练数据偏见、跨领域性能不均等。

独立分析的弱点

从独立分析的角度，VIG方法存在几个可以改进的弱点。第一，VIG的计算依赖于对齐预训练后的模型，这意味着如果预训练阶段本身存在偏见，VIG分数可能无法准确反映真正的视觉依赖——一个在预训练时就已"学坏"的模型可能会给低视觉依赖的样本打高分。改进方向是探索更robust的VIG计算方式，如使用多个模型的集成或引入对比学习框架。第二，当前的token级选择使用与样本级相同的阈值 $\tau_p$，虽然避免了额外超参数，但这种"一刀切"的策略可能不够灵活——某些样本中视觉密集token较少，统一阈值可能导致过度过滤。改进方向是设计自适应阈值机制，根据每个样本的VIG分布动态调整。第三，VIG对序列长度敏感：较长的答案序列中，即使视觉贡献token比例较低，绝对数量可能仍然可观，当前的平均化处理可能稀释了这些信号。第四，方法缺乏对"负VIG"样本的有效利用——这些样本（视觉信息反而增加不确定性的样本）可能包含了有价值的反例信号，当前简单丢弃可能浪费了学习机会。改进方向是将负VIG样本用于对比学习或负样本挖掘。

未来方向

基于本文成果，可以从多个方向延伸未来研究。首先，将VIG框架扩展到其他模态和任务是一个自然的延伸方向——在视频理解中衡量每帧的视觉贡献，在音频理解中衡量每段音频的信息增益，甚至在3D场景理解中衡量不同视角的价值。其次，VIG可以与课程学习结合：先在高VIG样本上训练建立视觉接地基础，再逐步引入低VIG样本学习文本推理能力，实现更平衡的学习过程。第三，探索VIG的在线计算和动态训练策略——不是预先计算VIG然后固定选择，而是在训练过程中根据模型状态动态调整样本权重，类似于主动学习的思路。第四，将VIG分析用于数据集质量评估和自动化数据清洗——可以开发工具自动识别并标注训练数据中的"视觉接地质量"，帮助数据集构建者提升数据质量。最后，作者提到将VIG-guided selection应用到其他架构和领域是重要的未来方向，特别是对于新兴的多模态大模型（如GPT-4V、Gemini），验证VIG的普适性价值。

复现评估

从复现评估角度看，本文具有较好的可复现性。代码和模型方面，作者使用的LLaVA-1.5、ShareGPT4V、Open-Qwen2VL 2B的预训练checkpoint都在Hugging Face公开可用，训练配置与原始模型保持一致。VIG计算的实现细节充分：使用高斯模糊模拟视觉缺失、模糊参数根据输入分辨率缩放，这些都有明确描述。算力需求方面，VIG计算需要8张RTX 4090（24GB）约6小时，指令微调需要8张A100（80GB），这是多数研究实验室可以承受的配置。数据方面，使用的LLaVA-665K、ShareGPT4V数据集都是公开的，MAmmoTH-VL也有公开的1M子集。选择比例p=70和对应阈值 $\tau_p$ 有明确的表格记录。总体而言，复现难度中等偏低，主要挑战在于需要多GPU进行VIG计算和训练。作者的方法具有即插即用特性，可以相对容易地集成到现有的LVLM训练流程中。

基于视觉信息增益的大视觉语言模型选择性训练 Selective Training for Large Vision Language Models via Visual Information Gain