← 返回 2026-01-16

LaViT：通过对齐潜在视觉思维实现多模态推理 LaViT: Aligning Latent Visual Thoughts for Multi-modal Reasoning

Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang Meng, Ai Xuan, Linqi Song, Jacky Keung 📅 2026-01-15 👍 13 2026-07-13 08:35
多模态大模型 注意力机制 潜在推理 知识蒸馏 视觉推理
arXiv HuggingFace PDF

通过知识蒸馏对齐教师模型的视觉注意力轨迹，让小模型获得大模型的视觉推理能力

前置知识

多模态大语言模型（MLLM）

能够同时处理图像和文本的大型语言模型，通过视觉编码器（如ViT）将图像转换为token表示，再与文本token一起输入语言模型进行推理。典型架构包括Qwen2.5-VL、GPT-4o等。这类模型的核心挑战是如何让语言模型真正理解视觉信息，而非仅依赖语言先验进行猜测。

本文研究的就是如何让小规模MLLM通过蒸馏获得大模型的视觉推理能力

知识蒸馏（Knowledge Distillation）

一种模型压缩技术，通过让小模型（学生）学习大模型（教师）的输出分布或内部表示，将大模型的知识迁移到小模型。传统方法主要通过logit匹配或特征对齐实现，但在多模态场景下，仅对齐文本输出并不能保证视觉理解能力的迁移。

LaViT正是基于蒸馏思想，但创新地蒸馏视觉注意力轨迹而非文本输出

视觉注意力轨迹（Visual Attention Trajectory）

模型在处理图像时，注意力权重在不同空间位置上的分布模式。它反映了模型在看哪里以及看了多少。通过聚合所有层和头的注意力权重，可以得到一张注意力热力图，揭示模型的视觉聚焦区域。研究表明，正确的视觉推理需要模型将注意力集中在任务相关的视觉证据上。

LaViT的核心创新就是对学生模型施加教师模型的注意力轨迹监督

链式思维（Chain-of-Thought, CoT）

一种显式的推理范式，要求模型在给出最终答案前，先生成中间推理步骤。在多模态场景中，模型需要先将图像描述成文本，再在语言空间中进行推理。这种方式的局限在于推理过程完全在文本空间，无法直接利用视觉特征。

LaViT提出的潜在推理是对显式CoT的替代，通过连续隐状态而非离散token进行推理

潜在推理（Latent Reasoning）

一种新兴的推理范式，将中间推理过程压缩到连续的隐藏状态中，而非生成离散的token序列。这种方法可以提高计算效率，同时保留更丰富的语义信息。在多模态场景中，潜在token可以作为视觉信息容器，承载压缩后的视觉语义和注意力模式。

LaViT使用4个潜在token作为视觉推理的载体，这是区别于传统文本CoT的关键设计

CLIP盲区（CLIP-blindness）

CLIP等视觉编码器在某些细粒度视觉模式上存在盲区，例如无法区分左右镜像、难以识别细微的颜色差异或空间关系。这导致基于CLIP的多模态模型在需要精细视觉感知的任务上表现不佳。MMVP基准专门设计用于测试这类视觉盲区。

LaViT通过潜在视觉思维有效缓解了CLIP盲区问题，在MMVP上提升5%

研究动机

现有多模态大模型蒸馏方法存在根本性的感知鸿沟（Perception Gap）。作者通过在1000个Visual-CoT样本上的实验发现：尽管学生模型在文本输出上与教师高度对齐（余弦距离稳定在0.52-0.55），但其视觉注意力轨迹却出现显著发散。具体而言，功能词的平均KL散度仅为1.11，而属性词（如颜色、纹理描述）的KL散度高达1.39。这意味着学生模型学会了说什么，却没有学会看哪里——它依赖语言先验进行盲猜，而非真正观察图像。实验还发现，当视觉聚焦分数Sfocus低于1%时，模型的响应完全脱离视觉内容或出现严重幻觉，而正确样本的平均Sfocus（15.89%）比错误样本（11.84%）高出约34%。这种现象在精细视觉任务中尤为严重，学生模型无法复现教师的空间推理能力。

本文的目标是LaViT的目标是设计一种新的蒸馏框架，让学生模型不仅学习教师的文本输出，更要学习教师的视觉思维过程——即在推理过程中看哪里和看到什么。具体而言，该框架需要：（1）提取教师模型的内在视觉注意力轨迹和语义表示；（2）通过潜在token将这些视觉认知状态转移给学生；（3）确保学生在推理时真正依赖这些视觉证据而非语言先验。最终，一个3B参数的紧凑模型应能在复杂视觉推理任务上超越更大的开源模型甚至商业模型如GPT-4o。

与已有工作不同的是，LaViT的独特切入角度在于：将蒸馏目标从静态视觉特征转向动态视觉认知轨迹。现有方法（如LVR、CoVT）主要使用冻结视觉编码器的静态特征作为监督信号，忽略了注意力机制提供的动态引导。LaViT直接从教师的最后一层transformer提取上下文化的视觉语义（Vsem）和跨层聚合的注意力轨迹（Atraj），这些信号反映了教师如何针对特定问题解释视觉内容。此外，LaViT引入课程感知门控（Curriculum Sensory Gating）机制，通过渐进式暴露视觉信息来防止捷径学习，这是现有蒸馏方法未曾采用的训练策略。

核心方法

LaViT的整体思路可以用一个直觉来概括：与其让学生模仿老师的答案，不如让学生学会老师看图的方式。在技术路线层面，LaViT首先构建一个高质量的蒸馏数据集LaViT-SFT-15K，其中每个样本包含图像、问题、答案、教师的注意力轨迹Atraj和语义表示Vsem。然后，LaViT训练学生模型在生成文本答案之前，先自回归地生成K=4个连续的潜在视觉token。这些token被强制压缩教师的视觉语义和注意力模式。在训练过程中，课程感知门控机制逐步开放直接视觉通路：初期（Phase 1，前400步）将门控值gamma设为接近0，迫使所有视觉信息必须通过潜在token传递；后期（Phase 2，后600步）gamma恢复为1，允许潜在token和直接视觉通路协同工作。这种设计既防止了捷径学习，又避免了训练-推理分布偏移。

LaViT的核心创新在于白盒轨迹蒸馏（White-box Trajectory Distillation）。与传统蒸馏仅对齐logit或隐藏状态不同，LaViT同时监督两个维度的视觉认知：（1）语义重建（Lconcept）——通过投影头将学生潜在token的隐藏状态映射到教师语义空间，用余弦相似度损失对齐Vsem；（2）轨迹对齐（Ltraj）——用KL散度损失约束学生从潜在token产生的注意力分布匹配教师的Atraj。这两个损失函数的梯度只流向潜在token，确保它们成为真正的视觉信息容器。与LVR（使用辅助图像）和CoVT（使用DINO/SAM特征）不同，LaViT直接利用教师模型内在的推理轨迹，无需外部感知模型。

方法步骤详情

LaViT的完整流程分为三个阶段。第一，数据准备。对Qwen2.5-VL-32B教师模型，从Visual-CoT数据集中提取1000个样本的注意力轨迹和语义表示，经过三阶段过滤（正确性、难度、对齐度）构建LaViT-SFT-15K数据集。注意力轨迹通过公式聚合所有层和头，再经Min-Max归一化得到Atraj，并进行Top-K=8稀疏化。语义表示Vsem取自教师最后一层transformer的图像token，包含上下文化的视觉语义。第二，训练阶段。模型接收图像I和问题Xq，生成潜在token V = {v-trace1, ..., v-trace4}，再生成文本答案Xans。总损失L_total = L_ntp + lambda*(L_concept + L_traj)，其中lambda=0.3。课程感知门控gamma(t)在Phase 1按余弦曲线从epsilon增长到1，在Phase 2恒为1。第三，推理阶段。模型先生成4个潜在视觉token，再基于这些token生成最终答案，整个过程无需教师模型。

技术新颖性

LaViT的技术新颖性体现在三个方面。第一，首次提出感知鸿沟概念并通过量化分析验证——这是对多模态蒸馏领域的重要认知贡献，揭示了文本对齐与视觉理解之间的根本脱节。第二，白盒轨迹蒸馏是首个同时监督注意力轨迹和语义重建的蒸馏框架，与仅使用静态编码器特征的方法形成本质区别。第三，课程感知门控机制通过在注意力分数中注入时间依赖偏置来实现渐进式视觉暴露，这种设计优雅地解决了永久硬掩码导致训练-推理偏移和无掩码导致捷径学习之间的矛盾。此外，Top-K稀疏化过滤教师注意力中的低置信度噪声，使学生获得比教师更稳定的注意力模式（CV从0.392降至0.102），这是青出于蓝的意外收获。

Conceptual Illustration of Our Proposed Method LaViT
Figure 1: Conceptual Illustration of Our Proposed Method LaViT

实验结果

LaViT-3B在多个基准上取得了显著提升，验证了潜在视觉思维的有效性。在细粒度感知任务上，LaViT在MMVP上达到67.33%，比基线提升5.0个百分点，超越了PAPO（50.0%）和DMLR（61.33%）。在视觉推理任务上，LaViT在BLINK的相对深度任务上达到78.23%，比基线提升16.94个百分点，甚至超过7B参数的LVR（76.61%）和GPT-4o（64.52%）；在IQ-Test上达到32.0%，提升8个百分点，超过GPT-4o（30.0%）；在相对反射率上达到45.52%，提升15.67个百分点。在MMStar鲁棒性测试上，LaViT达到54.07%，比基线提升3.87个百分点。注意力分析显示，LaViT将注意力熵从基线的4.870降低到4.686（教师为4.284），显著锐化了视觉聚焦。最令人惊讶的是，LaViT的注意力稳定性（CV=0.102）超过了教师（CV=0.392），这归功于Top-K稀疏化过滤了教师的注意力噪声。消融实验证明，移除轨迹对齐或语义重建会导致所有任务性能下降，移除课程门控会使MMVP从67.33%降至59.33%。

Performance comparison on multimodal benchmarks across three categories: Fine-grained Perception, Visual Reasoning, and Multimodal Robustness
Table 1: Performance comparison on multimodal benchmarks across three categories: Fine-grained Perception, Visual Reasoning, and Multimodal Robustness
Statistical analysis of attention distribution on BLINK Relative Depth
Table 2: Statistical analysis of attention distribution on BLINK Relative Depth
Ablation study of LaViT on MMVP and BLINK subsets
Table 3: Ablation study of LaViT on MMVP and BLINK subsets
Hyperparameters used for the 1000-step training run
Table A1: Hyperparameters used for the 1000-step training run
Ablation study on the number of latent tokens (K) and training steps
Table A2: Ablation study on the number of latent tokens (K) and training steps
Distribution of data sources in LaViT-15k
Table A3: Distribution of data sources in LaViT-15k
Statistical properties of textual and visual components in LaViT-15k
Table A4: Statistical properties of textual and visual components in LaViT-15k
Attention entropy distribution
Figure 4: Attention entropy distribution
Visualization of attention distributions across Qwen2.5-VL-3B, 32B (Teacher), and LaViT on two representative samples from the BLINK
Figure 5: Visualization of attention distributions across Qwen2.5-VL-3B, 32B (Teacher), and LaViT on two representative samples from the BLINK
查看结构化数据
任务指标本文基线提升
MMVP（细粒度视觉感知） Accuracy (%) 67.33 62.33（Qwen2.5-VL-3B） +5.00
BLINK Relative Depth（空间推理） Accuracy (%) 78.23 61.29（Qwen2.5-VL-3B） +16.94
BLINK IQ-Test（几何推理） Accuracy (%) 32.0 24.0（Qwen2.5-VL-3B） +8.00
BLINK Relative Reflectance（视觉属性） Accuracy (%) 45.52 29.85（Qwen2.5-VL-3B） +15.67
BLINK Spatial Relation（空间关系） Accuracy (%) 81.82 81.12（Qwen2.5-VL-3B） +0.70
MMStar（多模态鲁棒性） Accuracy (%) 54.07 50.2（Qwen2.5-VL-3B） +3.87
V* Attribute Recognition（属性识别） Accuracy (%) 82.61 81.74（Qwen2.5-VL-3B） +0.87

局限与改进

LaViT存在几个值得关注的局限。首先，蒸馏数据规模受限——LaViT-SFT-15K仅有14567个样本，且主要来自Flickr30k（32.13%）和GQA（20.05%），数据多样性有限，可能导致模型在某些特定领域泛化不足。其次，教师模型的依赖——LaViT需要先运行Qwen2.5-VL-32B教师模型提取注意力轨迹和语义表示，这增加了数据准备的计算成本和复杂度。第三，潜在token数量的敏感性——消融实验显示K=4最优，K=6或8反而导致性能下降（如IQ-Test从32.0降至27.33/28.0），说明潜在容量的选择需要仔细调优。第四，评估基准的局限——论文主要在BLINK和MMVP等少数基准上验证，缺乏在更广泛的多模态任务（如VQA、图像描述、文档理解）上的全面评估。第五，课程门控的超参数敏感性——Phase 1的400步和Phase 2的600步划分、以及lambda=0.3的选择可能需要针对不同任务重新调整。最后，LaViT在空间关系任务上的提升较小（+0.70%），暗示该方法对某些空间推理模式的改进有限。

独立分析的弱点

LaViT的一个明显弱点是数据准备管线的复杂性和成本。当前流程需要先运行32B教师模型提取注意力轨迹和语义表示，再经过三阶段过滤，这对计算资源要求较高。改进方向包括：开发在线蒸馏方法，在训练过程中实时提取教师信号，避免离线数据准备；或者使用教师模型的缓存机制减少重复计算。另一个弱点是潜在token数量K的选择缺乏理论指导，目前仅通过经验选择K=4。可以探索自适应潜在容量机制，根据输入图像的复杂度动态调整K值。此外，课程门控的调度策略（余弦曲线）可能不是最优的，可以尝试基于验证集性能的自适应调度。在损失函数设计上，L_concept和L_traj使用固定权重lambda=0.3，没有考虑不同训练阶段的平衡需求，动态权重调整可能进一步提升性能。

未来方向

基于LaViT的成果，未来研究可以从多个方向展开。第一，将白盒轨迹蒸馏扩展到视频理解领域——视频推理同样需要动态视觉注意力，可以将注意力轨迹监督应用到时序维度。第二，探索LaViT与强化学习（如R1-OneVision、VLM-R1）的结合——当前LaViT仅使用监督学习，结合RL的自我探索能力可能进一步提升推理性能。第三，将潜在视觉思维机制应用于更大的模型（7B/13B）——论文仅在3B规模验证，大规模模型可能展现出更显著的收益。第四，开发更精细的注意力轨迹提取方法——当前的Top-K=8稀疏化可能丢失有价值的信息，可以探索基于重要性权重的软选择。第五，将LaViT的思想应用于多语言、多图推理场景——当前仅处理单图英文场景，扩展到多图对比推理和跨语言任务具有重要的应用价值。

复现评估

LaViT的复现条件相对友好。论文提供了详细的超参数配置（Table A1），包括学习率5e-6、batch size 16、训练1000步等，并明确了使用的数据集构成（Table A3）。论文声称代码和数据将开源（https://github.com/Svardfox/LaViT），这对复现至关重要。从算力角度看，LaViT基于Qwen2.5-VL-3B微调，1000步训练在单GPU上约需数小时，门槛较低。但数据准备阶段需要运行32B教师模型，这需要约4-8张A100 GPU。LaViT-SFT-15K的构建依赖Visual-CoT数据集的边界框标注，这些标注的质量直接影响蒸馏效果。总体而言，如果教师模型的推理轨迹数据开源，LaViT的复现难度中等偏低；如果需要自行提取教师信号，则复现成本显著增加。

论文图表

Impact of Visual Attention on Reasoning Accuracy
Figure 2: Impact of Visual Attention on Reasoning Accuracy

散点图展示视觉聚焦分数Sfocus与推理准确率的关系。横轴为Sfocus阈值（%），纵轴为准确率（%）。曲线呈单调递增趋势：当Sfocus从0增加到约30%时，准确率从约60%上升到约85%。图中标注了正确样本平均Sfocus=15.89%、错误样本平均Sfocus=11.84%，相对差距约34%。右下角插入了Sfocus小于1%时的典型失败案例——模型输出与视觉内容完全无关。

这张图提供了关键实验证据，证明视觉注意力是推理成功的必要条件，为LaViT的动机提供了量化支持

The Perception-Reasoning Gap
Figure 3: The Perception-Reasoning Gap

双轴图展示教师-学生之间的感知-推理鸿沟。左侧纵轴（蓝色实线）为KL散度，右侧纵轴（橙色虚线）为余弦距离。横轴为token类别：Functional（功能词）、Object（物体）、Attribute（属性）。关键发现：余弦距离在三类token上保持稳定（0.52-0.55），但KL散度从Functional的1.11单调增加到Attribute的1.39，表明属性token的视觉注意力发散最严重。

这张图核心地验证了感知鸿沟假设——文本对齐不等于视觉理解，是论文最重要的实证发现之一