V-GIFT：用自监督引导增强视觉指令微调 Boosting Visual Instruction Tuning with Self-Supervised Guidance
把少量自监督任务伪装成指令，迫使多模态大模型真正用眼睛看。
前置知识
多模态大语言模型 (MLLM) 与 LLaVA 架构
把预训练视觉编码器(如 CLIP ViT)提取的特征，经一个轻量投影器(MLP 或 Q-Former)映射到 LLM 的词嵌入空间，再交给 LLM 解码器生成文本。LLaVA 系列是这一范式的代表，通常分两阶段训练：视觉-语言对齐预训练 + 视觉指令微调。
V-GIFT 全部实验都建立在 LLaVA-1.5 与 LLaVA-OneVision-1.5 之上，不理解其'视觉编码器 + 投影器 + LLM'三件套结构，就无法判断 SSL 任务究竟注入到哪一阶段、影响哪些参数。
视觉指令微调 (Visual Instruction Tuning)
用图文指令-回答三元组 $(I, x, y)$ 对整模态模型做监督微调，损失为标准自回归交叉熵 $\mathcal{L}_{\text{inst}} = -\sum_j \log p_\theta(y_j \mid y_{<j}, x, I)$。该步决定模型是否会'用视觉证据'，而非只靠语言先验。
本文的核心论断是：现有视觉指令微调因样本可仅靠语言先验解决，导致模型形成'语言捷径'。理解自回归损失的形式有助于明白 V-GIFT 之所以能'无侵入'地融入，正是不需要改损失函数。
语言先验 (Language Priors) 与视觉遗忘
当给定图像-指令-回答样本时，如果只读指令文本就能猜出大致答案，模型就倾向忽略图像、依赖文本统计模式。这种现象在多模态文献中被称为'语言偏见'或'视觉欠利用'，是 MLLM 视觉中心任务失败的重要原因。
V-GIFT 的整个动机就是打破语言先验。理解'为什么很多 VQA 答案能不看图就猜对'，是读懂本文'模态竞争'比喻与 SSL 任务设计合理性的关键。
自监督学习 (SSL) 预训练任务
无需人工标注、直接从图像内部结构生成监督信号的学习范式。经典任务包括旋转角预测(给定旋转图像判断角度)、灰度上色(给定灰度图恢复颜色)、跨视角点对应(在两个视角中找匹配点)。原本用于预训练视觉编码器。
V-GIFT 的三大 SSL 任务正来源于此。理解这些任务本身'必须看图才能做对'，是明白为什么它们能成为反语言捷径武器的前提。
LoRA 与参数高效微调
Low-Rank Adaptation 的缩写。它冻结原权重，在每个线性层旁注入可学习低秩矩阵 $\Delta W = BA$，$B\in\mathbb{R}^{d\times r}, A\in\mathbb{R}^{r\times k}$，$r\ll d$。只训练这少量参数即可让模型适配下游任务。
表 2 报告 V-GIFT 在 LoRA 设定下仍能获得 +2.2 平均提升，理解 LoRA 的低秩结构才能体会'无需架构改动、不加辅助损失'的工程价值。
研究动机
多模态大语言模型(MLLM)虽然在图文对话、视觉问答上表现亮眼，却普遍在需要'真正看图'的任务上翻车，例如 CV-Bench 2D、POPE、MMStar、BLINK 等视觉中心基准上 LLaVA-1.5 仅 53.6 平均分。传统观点把这归咎于视觉编码器不够强，但近期研究表明 CLIP、DINOv2 等编码器本身已具备丰富表征，问题出在视觉指令微调阶段：训练样本 $(I, x, y)$ 全用自然语言表达，许多 VQA 答案可仅凭问题文本和常见答案统计规律猜中，导致模型学会'偷懒'用语言先验绕过图像。这一语言捷径即使在模型规模和数据量增加后仍顽固存在(参见 [22] 的观察)，作者将之称为模态竞争中的'语言主导'失衡。
本文的目标是本文目标直指监督信号层面的失衡：让模型在指令微调阶段被强制依赖视觉证据。具体做法是在标准视觉指令微调数据中掺入少量'必须看图才能答对'的样本，使得即便模型想走语言捷径也无路可走。最终目标是在不修改模型架构、不增加辅助损失、不引入 RLVR 的前提下，仅靠调整训练数据分布就能稳定提升 MLLM 在视觉中心基准上的表现，同时不损害通用推理能力。
与已有工作不同的是，现有改进 MLLM 视觉能力的路径有三条：(1) 设计更强投影器或多编码器融合，作用于视觉前端 (如 [5,14,40,47,66])；(2) 在 LLM 解码器上加辅助损失对视觉 token 做重建或蒸馏 (如 [9,70,79])，需要改优化目标；(3) 借助 RLVR 把视觉密集任务做成可验证奖励 (如 [33,51,73,74])，需要昂贵后训练流程。V-GIFT 选择了第四类、迄今最轻量的一条路：完全不碰架构与损失函数，仅在视觉指令微调阶段把经典 SSL 预训练任务(旋转/上色/点对应)改写成 $(I, x, y)$ 指令格式后混入数据集，注入比例仅 3%–10%，却能跨模型、跨训练方式、跨基准稳定奏效。
核心方法
V-GIFT 的核心直觉是'训练数据分布决定模型行为'。作者把指令微调视为模态竞争过程：当多数样本可仅由语言先验解决时，模型自然偏向文本捷径。应对方法是从源头引入'视觉强制型'任务——把经典自监督预训练任务(旋转预测、点对上色、跨视角点对应)重写成 $(I, x, y)$ 三元组形式，混入到原始指令微调数据集 $\mathcal{D}_{\text{inst}}$ 中得到 $\mathcal{D} = \mathcal{D}_{\text{inst}} \cup \mathcal{D}_{\text{ssl}}$。训练时 mini-batch 均匀采样自 $\mathcal{D}$，损失仍是标准自回归交叉熵 $\mathcal{L}_{\text{inst}}$，不引入任何新损失或架构变更。注入比例由超参 $\rho = |\mathcal{D}_{\text{ssl}}| / |\mathcal{D}_{\text{inst}}| \times 100\%$ 控制，LLaVA-1.5 用 $\rho = 10\%$，更强的 LLaVA-OneVision-1.5 只需 $\rho = 3\%$。
三大 SSL 任务的共同点：'正确回答在语言先验下无信息量'。比如灰度图上某像素原本是红色还是绿色，纯看问题文本无法判断；一张随机旋转后的图是 0°/90°/180°/270° 哪个角度，不看图也猜不出。这把 SSL 任务从'视觉编码器预训练'阶段剥离出来，搬到了'LLM 指令微调'阶段，作用对象从视觉特征变成了 LLM 解码时对视觉 token 的利用方式。V-GIFT 真正的反直觉在于：并不是用 SSL 损失去额外监督视觉编码器，而是用 SSL 任务作为'指令'让 LLM 不得不消费图像——这是与 [9,70,79] 等'加辅助损失'路线的本质区别。
方法步骤详情
步骤一，确定 SSL 任务集。三类任务分别为：(a) 旋转预测：图像 $I$ 经 $\theta\in\{0°,90°,180°,270°\}$ 旋转得 $\tilde I$，指令问 'What is the rotation angle of this image?'，回答为 $\theta$。(b) 点对上色：图像转灰度后采样 $K$ 个空间点 $\{q_i\}$，计算每点周围 $r\times r$ 邻域平均 RGB 颜色 $c_i$，用拒绝采样保证 $\|c_i-c_j\|_2\geq\delta$；指令给出打乱顺序的候选色卡，要求模型给出每个标签点对应的颜色索引 $y_A, y_B, \ldots$。(c) 跨视角点对应：输入图像对 $(I_1, I_2)$，借助 Stable Diffusion 伪分割掩码和 DINOv2 稠密特征在 $I_2$ 中找 $q$ 的最近邻 $q^+$ 与两个负例，指令要求识别正确匹配索引 $y_{q^+}$。步骤二，对每类任务用程序自动生成 $(I, x, y)$ 样本，不需任何人工标注。步骤三，按 $\rho$ 控制比例混入 $\mathcal{D}_{\text{inst}}$ 形成 $\mathcal{D}$。步骤四，按原 LLaVA 训练 recipe(AdamW、相同 lr、相同 schedule)在 $\mathcal{D}$ 上微调，$\rho$ 很小因此不需调整 batch size 或学习率。
技术新颖性
技术新颖性体现在三个层面。第一，视角新颖：把'视觉编码器阶段的 SSL 预训练'挪用为'LLM 阶段的视觉强制指令'，开辟了不依赖辅助损失而仅靠数据分布调优的先例。第二，工程新颖：实现零架构改动、零新超参(连 lr、batch size 都不动)，仅调一个 $\rho$ 即可。第三，机制新颖：通过 TVI (Token Vision Importance) 度量和注意力图可视化证明，提升的根因是模型对视觉 token 的依赖度上升而非表征增强——这与 [5,14,40] 等主张'加强视觉编码器'的工作形成鲜明对比。此外，表 7 进一步发现即使只对单张图像做几何裁剪与颜色抖动得到多视角，仍能取得 +0.6 提升，说明提升的关键不在数据规模而在任务设计本身的'视觉强制'属性。
实验结果
V-GIFT 在三类模型、两种训练方式(全量微调与 LoRA)以及四类视觉中心基准上取得稳定提升，且不损害通用能力。表 1 显示：LLaVA-1.5-Vicuna-7B 在 CVB-2D 从 55.9→58.5(+2.6)、MMStar 33.5→34.6(+1.1)、BLINK 38.2→37.8(−0.4)，平均 +0.9；LLaVA-1.5-Qwen2.5-7B 在四项基准上分别 +1.1/+0.5/+0.5/+1.7，平均 +0.9；LLaVA-OneVision-1.5 在 BLINK 上拿到最大单一提升 +3.4(48.8→52.2)，平均 +1.2。表 2 证明 LoRA 设定下增益更显著：CVB-2D +3.9、MMStar +1.1、BLINK +3.3，平均 +2.2，超过 VIRAL [79] 这一加辅助蒸馏损失的方法。表 3 验证通用能力无损：LLaVA-1.5-Qwen 在 MathVista 从 12.2→15.3、RealWorldQA 56.4→59.0；LLaVA-OneVision-1.5 在 OCRBench 从 627.0→634.0。消融方面，表 4 显示三类 SSL 任务单独使用都提升约 +0.4，组合用达 +0.9 且最稳定；表 6 证明 SSL 必须在指令微调'期间'注入，前置/后置均失效(后置甚至因灾难遗忘使 POPE 暴跌至 50.2)；表 5 通过控制额外 3% 普通指令样本证明增益不来自算力；表 8 给出 TVI 在 CVB-2D 从 0.1238 升至 0.1368，MMStar 0.1426 升至 0.1430，定量证实 V-GIFT 让模型更依赖视觉证据。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CV-Bench 2D (LLaVA-1.5-Vicuna-7B, 全量微调) | 准确率 (%) | 58.5 | 55.9 | +2.6 |
| CV-Bench 2D (LLaVA-1.5-Qwen2.5-7B, 全量微调) | 准确率 (%) | 62.2 | 61.1 | +1.1 |
| CV-Bench 2D (LLaVA-OneVision-1.5, 全量微调) | 准确率 (%) | 71.0 | 70.0 | +1.0 |
| CV-Bench 2D (LLaVA-1.5-Qwen2.5-7B, LoRA) | 准确率 (%) | 63.8 | 59.9 | +3.9 |
| BLINK (LLaVA-OneVision-1.5, 全量微调) | 准确率 (%) | 52.2 | 48.8 | +3.4 |
| MMStar (LLaVA-1.5-Vicuna-7B, 全量微调) | 准确率 (%) | 34.6 | 33.5 | +1.1 |
| POPE (LLaVA-1.5-Qwen2.5-7B, LoRA) | 平均准确率 (%) | 88.5 | 87.7 | +0.8 |
| MathVista (LLaVA-1.5-Qwen2.5-7B) | 得分 | 15.3 | 12.2 | +3.1 |
| OCRBench (LLaVA-OneVision-1.5) | 得分 | 634.0 | 627.0 | +7.0 |
| RealWorldQA (LLaVA-1.5-Qwen2.5-7B) | 准确率 (%) | 59.0 | 56.4 | +2.6 |
局限与改进
作者在结论部分坦承局限：第一，SSL 任务集仅覆盖 2D 图像与'基本视觉能力'(几何、颜色、跨视角)，尚未扩展到 3D 点云、时序视频、音频等其他模态；第二，$\rho$ 的最佳值依赖具体模型与训练 recipe (LLaVA-1.5 是 10%、OneVision-1.5 是 3%)，缺乏统一选择原则；第三，论文依赖 TVI 等间接指标来证明'视觉利用提升'，但并未深入分析 LLM 内部表征层面的因果机制。从独立观察看，表 1 中 LLaVA-1.5-Vicuna 在 BLINK 上反而比基线低 0.4，说明该方法并非在所有基准上都一致改善；表 6 表明若把 SSL 放在指令微调之后做 LoRA 微调，模型会出现严重灾难遗忘(POPE 暴跌 37 个点)，说明 V-GIFT 对注入阶段非常敏感，工程上需谨慎；最后，点对应任务依赖 Stable Diffusion 伪分割与 DINOv2 特征，这两者本身存在偏差，可能限制该任务在分布外数据上的迁移。
独立分析的弱点
具体场景下的弱点与改进方向：(1) SSL 任务生成需要预处理：旋转预测需对原图重采样，点对上色需灰度化与点采样、拒绝采样保证色差 $\|c_i-c_j\|_2\geq\delta$，点对应需要 Stable Diffusion 伪分割 + DINOv2 特征匹配，整套流水线计算与工程复杂度不低，未来可探索端到端可微生成。(2) $\rho$ 选择依赖经验：图 3 显示 LLaVA-1.5-Qwen 在 $\rho=10\%$ 最佳而 OneVision-1.5 在 $\rho=3\%$ 最佳，模型规模与数据规模共同决定最佳比例，论文未给出预测公式或自适应调度策略；改进方向可借鉴课程学习，让 $\rho$ 在训练过程中从 0 平滑爬升再下降。(3) 任务种类偏少且偏 2D：三大任务均针对静态 RGB 图像，对于视频时序推理、深度估计、相机位姿等任务未覆盖；改进方向可加入帧序预测、深度排序、相机运动方向等更具 3D 物理意义的 SSL 任务。(4) TVI 提升幅度有限(0.1238→0.1368)，且并非在所有基准上都单调改善，说明视觉利用提升的机制尚未被完全捕捉；改进方向可结合 attention rollout、causal tracing 等更细粒度的解释性方法。(5) 数据集偏移未充分讨论：表 7 表明即使用单张图像的增强视图也能涨点，但作者未系统评估 SSL 任务生成所用图像分布与原指令数据分布不一致时的鲁棒性。
未来方向
作者明确指出的下一步是把 V-GIFT 推广到 3D 点云、音频、视频等非图像模态；可延伸方向包括：(1) 与自回归图像生成、扩散模型结合，让 SSL 任务本身就是生成式输出(如让模型真的画出色块)，进一步打通'理解'与'生成'。(2) 与链式思维(CoT)结合：在 SSL 指令后强制模型先输出推理过程再给答案，可能放大视觉利用提升。(3) 把 V-GIFT 思路用于视频大模型：设计跨帧点对应、时序顺序预测、运动方向分类等 SSL 任务，应对长视频理解。(4) 探索任务自适应 $\rho$：根据当前 batch 内视觉 token 的注意力熵或 TVI 动态调节 SSL 样本比例，无需人工调参。(5) 与人类标注的视觉指令混合的协同效应：作者提到近期一些工作 [21] 用高质量人工标注提升空间定位能力，未来可研究 V-GIFT 与人工视觉指令的互补性——用 SSL 提供广度、人工标注提供深度。(6) 把 SSL 任务作为探针，构建'视觉利用诊断基准'，区分不同模型的语言偏见程度。
复现评估
论文明确声明'Code available here'并附 GitHub 链接(参考原文)，主要实验细节披露充分：训练硬件为 4×H100 GPU，LLaVA-1.5-Qwen7B 全量微调在 LLaVA-v1.5-mix665k 上约 12 小时、加入 10% SSL 后约 14 小时；SSL 任务生成基于 COCO 或单张图像增强视图，单张图像方案只需 1 张高分辨率图做几何裁剪 + 颜色抖动；训练 recipe 严格沿用原 LLaVA-1.5 / LLaVA-OneVision-1.5 的官方配置，未引入新的优化超参；评估基准 CVB-2D、POPE、MMStar、BLINK、MathVista、OCRBench、RealWorldQA 均为公开；作者报告了三次不同随机种子平均结果，降低了偶然性风险。复现难度评估：中等偏低——主实验可在 4×H100 上两周内完成，但点对应任务所需的 Stable Diffusion 伪分割 + DINOv2 稠密特征流水线需要额外工程，单卡/小显存研究者可只复现旋转与上色两类任务。
论文图表
