从窄视到全景视觉：注意力引导的冷启动重塑多模态推理 From Narrow to Panoramic Vision: Attention-Guided Cold-Start Reshapes Multimodal Reasoning
揭示冷启动中视觉注意力不足的瓶颈，提出AVAR框架重塑注意力分配，平均提升7%
前置知识
冷启动（Cold-Start）
在多模态大推理模型（MLRM）的训练流程中，冷启动是强化学习（RL）之前的初始化阶段。它的目标是通过监督微调（SFT）让基础模型获得初步的推理能力，为后续RL训练提供一个良好的策略起点。冷启动通常使用包含思维链（Chain-of-Thought）的推理数据进行训练，数据形式可以是纯文本推理或多模态推理。这个阶段的质量直接决定了后续RL训练的上限。
本文的核心发现就是冷启动阶段存在一个反直觉的现象——纯文本冷启动反而优于多模态冷启动，理解冷启动机制是读懂全文的前提。
Visual Attention Score (VAS)
VAS是本文提出的量化指标，用于衡量模型在多模态推理时对视觉token的关注程度。其定义为：对于用户token作为查询，计算其对视觉token的注意力总和与对系统token注意力总和的比值。具体公式为 $VAS_i(l,h) = \frac{\sum_{j \in V} A_{i,j}(l,h)}{\sum_{j \in S} A_{i,j}(l,h)}$，其中 $V$ 是视觉token索引集，$S$ 是系统token索引集。模型级VAS通过对所有层、头和查询token取平均得到。
VAS是连接注意力分配与推理性能的关键桥梁，论文发现VAS与推理性能的皮尔逊相关系数高达0.9616，这一发现直接催生了后续的方法设计。
GRPO（Group Relative Policy Optimization）
GRPO是DeepSeek提出的一种策略梯度强化学习方法，是PPO的变体。它通过在一组rollout内部比较相对表现来估计优势函数，从而稳定训练过程。在每个更新步骤中，采样一批轨迹，计算其奖励，然后通过分组（如分位数或聚类）来估计相对优势。GRPO的核心优势在于不需要单独训练价值模型（critic），而是用组内相对排名来替代，大大降低了训练复杂度。
AVAR框架的RL阶段使用GRPO进行优化，并在此基础上加入了视觉锚定奖励塑形，理解GRPO才能理解AVAR的RL训练机制。
注意力机制中的token类型
在多模态语言模型中，输入序列由三类token组成：系统token（system tokens，即系统提示词）、用户token（user tokens，即用户指令和问题文本）和视觉token（visual tokens，即图像经过视觉编码器后得到的特征表示）。模型在推理时需要在这些token之间分配注意力。理想情况下，处理视觉推理任务时应将更多注意力分配给视觉token，但实际上模型往往过度依赖系统token或文本先验。
理解这三类token之间的注意力竞争关系，是理解Lazy Attention Localization现象和AVAR方法设计逻辑的基础。
研究动机
在多模态大推理模型（MLRM）的训练流程中，冷启动初始化阶段至关重要，但其工作机制长期以来缺乏深入理解。现有研究观察到一个反直觉的现象：使用纯文本推理数据进行冷启动，能够在后续RL调优中带来显著的多模态推理提升；而使用多模态推理数据进行冷启动，却只能获得边际收益。例如，OVR-CS和Revisual-R1-CS等基于纯文本冷启动的模型，其视觉注意力比R1-OneVision和ThinkLite-VL等多模态冷启动模型高出15-20%。这表明当前多模态冷启动训练未能有效利用多模态信号，导致资源浪费，并限制了RL阶段在多模态推理上的潜力。尽管这一现象已被多个研究团队观察到（Wei et al., 2025; Yue et al., 2025），但其背后的定量解释一直缺失，成为制约MLRM发展的核心瓶颈。
本文的目标是本文的具体目标包含三个层次：首先，提出一个可量化的指标来揭示冷启动阶段注意力分配与推理性能之间的关系；其次，通过训练无关的干预实验验证注意力分配对推理能力的因果性影响；最后，设计一个完整的冷启动框架，通过显式重塑注意力分配来克服现有冷启动的局限性，最终在多个多模态推理基准上实现系统性性能提升。具体而言，作者希望在Qwen2.5-VL-7B基座模型上，通过AVAR框架实现跨7个多模态推理基准的平均性能提升。
与已有工作不同的是，本文的独特切入角度在于将研究焦点从数据质量和训练策略转移到注意力分配这一更底层的机制上。此前的工作主要关注如何构建更好的冷启动数据（如数据增强、思维链优化等），或探索不同的RL算法，但都忽视了一个关键问题：模型在推理时到底是如何分配注意力的？本文通过引入VAS指标，首次建立了注意力分配与推理性能之间的定量关系，并发现了一个被忽视的瓶颈——多模态冷启动训练未能改变基座模型的注意力分布模式（Lazy Attention Localization）。这一发现解释了为什么纯文本冷启动反而更有效：纯文本数据虽然不包含视觉信息，但它教授模型结构化的推理模式，这些模式反过来帮助模型在推理时更好地保持视觉锚定。
核心方法
AVAR的方法设计可以用一个比喻来理解：想象一个人在看一幅复杂的画作解决问题。普通的模型就像一个近视的人，虽然眼前有画，但视线总是不由自主地飘到旁边的说明书上（系统token），而不是盯着画本身（视觉token）。AVAR的思路是通过三管齐下的方式训练这个近视的人：首先，给他看大量标注了视觉锚点的推理示范，让他学会边看画边思考（视觉锚定数据合成）；其次，在训练过程中直接告诉他多看画、少看说明书（注意力引导训练目标）；最后，在他做题时奖励他盯着画看的行为（视觉锚定奖励塑形）。技术路线上，AVAR包含三个互补组件：（1）三阶段数据合成流水线，使用Gemini 2.5-Pro生成高保真视觉描述，Qwen3-235B生成反思增强的推理链，Qwen3-32B插入视觉锚点；（2）基于注意力的训练损失函数，包括图像增强损失和系统抑制损失；（3）RL阶段的视觉注意力奖励塑形。
AVAR的核心创新点在于它不是简单地给模型看更多图，而是从注意力分配的底层机制入手，系统性地将冗余的系统token注意力重新分配到视觉token上。这与已有方法的本质区别体现在三个层面：第一，在数据层面，现有方法（如R1-OneVision）采用先描述后推理的流水线，图像描述和推理链是分离的，而AVAR将视觉锚点直接嵌入推理过程，让模型在推理的每一步都回头看图；第二，在训练层面，现有方法只使用标准的语言建模损失，而AVAR引入了显式的注意力引导损失，直接优化注意力分配模式；第三，在RL层面，现有方法只根据答案正确性给予奖励，而AVAR额外引入视觉注意力奖励，确保模型不仅给出正确答案，还保持对视觉信息的持续关注。这种从结果导向到过程导向的转变，使得模型能够发展出类似全景视觉的注意力模式，而非窄视的注意力模式。
方法步骤详情
AVAR的完整方法流程分为三个阶段：第一阶段是视觉锚定反思数据合成（Visual-Anchored Reflection Data Synthesis），包含三个子步骤：（1）高保真视觉描述生成——使用Gemini 2.5-Pro对图像进行工程蓝图级别的描述，遵循全局扫描、迭代元素解构和最终场景合成的协议，输出结构化的视觉描述文本；（2）反思增强推理生成——使用Qwen3-235B-A22B基于视觉描述生成扩展推理链，模型被提示进行迭代自我反思和错误检查，自然地在多步推理中利用视觉上下文；（3）视觉锚点集成——使用Qwen3-32B在推理链中插入显式视觉锚点引用（如回头看三角形、再次检查图像），模拟直接的图像感知。第二阶段是注意力引导训练（Attention-Guided Training），将标准语言建模损失 $\mathcal{L}_{LM}$ 与两个注意力引导损失结合：图像增强损失 $\mathcal{L}_{enhance-img}$ 鼓励对视觉token的持续注意力，系统抑制损失 $\mathcal{L}_{suppress-sys}$ 减少对系统token的冗余注意力，总损失为 $\mathcal{L}_{total} = \mathcal{L}_{LM} + \alpha \cdot \mathcal{L}_{enhance-img} + \beta \cdot \mathcal{L}_{suppress-sys}$。第三阶段是视觉锚定奖励塑形（Visual-Anchored Reward Shaping），在RL阶段引入视觉注意力奖励 $r_{visual}$，该奖励在答案正确时评估模型对视觉token相对于系统token的注意力比率，最终奖励为 $r_{total} = r_{accuracy} + \lambda_v \cdot r_{visual} + \lambda_f \cdot r_{format}$。
技术新颖性
AVAR的技术新颖性体现在以下几个方面：首先，VAS指标本身就是一个重要贡献，它提供了一种简单而有效的方式来量化模型对视觉信息的依赖程度，并揭示了VAS与推理性能之间高达0.9616的相关性。其次，Lazy Attention Localization现象的发现具有重要理论价值——它解释了为什么多模态冷启动训练反而不如纯文本冷启动，这一反直觉现象此前从未被定量解释。第三，训练无关的注意力调制实验证明了注意力分配的因果性作用，通过在推理时直接增强视觉token注意力并抑制系统token注意力，在不进行任何重训练的情况下获得了1-2%的一致性提升。第四，AVAR的数据合成流水线与现有方法有本质区别：不是先生成描述再推理的分离式流水线，而是将视觉锚点直接嵌入推理过程，生成边看边想的训练数据。第五，注意力引导的训练目标和视觉锚定奖励塑形机制是全新的设计，它们直接优化注意力分配模式而非仅优化输出结果。
实验结果
本文的核心实验发现可以从以下几个层面进行分析：首先，VAS与推理性能的强相关性得到了充分验证。在对11个7B规模的多模态模型进行分析后，作者发现VAS与4个推理基准的平均性能之间的皮尔逊相关系数高达0.9616，p值为9.0e-06，具有极强的统计显著性。基于VAS值，模型被分为三类：窄视模型（VAS小于10，如Qwen2.5-VL-7B-Instruct、R1-OneVision）、广角模型（VAS在10-15之间，如Revisual-R1系列）和全景模型（VAS大于15，如OVR-RL、MiMo-VL系列）。其次，Lazy Attention Localization现象得到了系统验证：多模态冷启动的R1-OneVision与基座模型Qwen2.5-VL-7B几乎具有相同的注意力分布，而纯文本冷启动的OVR-CS则展现出持续更强的视觉注意力。第三，训练无关的注意力调制实验在3个模型（Qwen2.5-VL-7B、Revisual-R1-CS、OVR-CS）和3个基准上验证了注意力分配的因果性作用，当系统token抑制系数取0.00或0.40时，性能一致提升1-2%。第四，AVAR-Thinker在7个多模态推理基准上实现了平均7.0%的提升，具体到各基准：MathVista提升6.5%、MathVision提升12.2%、MathVerse-VO提升9.3%、MMMU-VAL提升5.7%、MMMU-Pro提升4.6%、MMStar提升2.0%、HallusionBench提升8.8%。消融实验表明各组件逐步贡献：VARD单独提升1.7%、VARD+AGTO累计提升3.5%、完整AVAR累计提升7.0%。VAS的演进数据也很有说服力：基座模型VAS为7.5，VARD后升至10.1，AVAR-CS后升至13.8，AVAR-Thinker最终达到18.9。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理 - MathVista | Accuracy (%) | 74.7 | 68.2 (Qwen2.5-VL-7B) | +6.5% |
| 数学推理 - MathVision | Accuracy (%) | 37.4 | 25.2 (Qwen2.5-VL-7B) | +12.2% |
| 数学推理 - MathVerse-VO | Accuracy (%) | 50.4 | 41.1 (Qwen2.5-VL-7B) | +9.3% |
| 多学科理解 - MMMU-VAL | Accuracy (%) | 63.8 | 58.1 (Qwen2.5-VL-7B) | +5.7% |
| 多学科理解 - MMMU-Pro | Accuracy (%) | 42.9 | 38.3 (Qwen2.5-VL-7B) | +4.6% |
| 感知理解 - MMStar | Accuracy (%) | 64.1 | 62.1 (Qwen2.5-VL-7B) | +2.0% |
| 幻觉鲁棒性 - HallusionBench | Accuracy (%) | 59.5 | 50.7 (Qwen2.5-VL-7B) | +8.8% |
局限与改进
本文存在以下几方面的局限性：首先，在模型规模上，所有实验都在7B参数量的模型上进行（主要是Qwen2.5-VL-7B），虽然在附录中报告了Llama-3.2-Vision-11B-Instruct的泛化实验，但对于更大规模模型（如70B、72B）的效果尚不明确，而大规模模型的注意力行为可能与小模型存在显著差异。其次，在评估基准上，虽然涵盖了7个多模态基准，但主要集中在数学推理和感知理解领域，对于更广泛的多模态任务（如视觉问答、图像描述、视频理解等）的效果有待验证。第三，在数据合成方面，AVAR依赖于多个外部模型（Gemini 2.5-Pro、Qwen3-235B、Qwen3-32B）进行数据生成，这增加了数据合成的成本和复杂性，且数据质量受限于这些外部模型的能力。第四，VAS指标本身虽然简洁有效，但它是一个全局平均指标，可能掩盖了不同层、不同注意力头之间的差异性，论文中的细粒度分析（Figure 4-6）显示不同层的注意力分布存在显著差异。第五，论文对Lazy Attention Localization现象的解释——即纯文本数据通过教授结构化推理模式来间接提升视觉锚定——虽然合理但缺乏更深入的因果验证。
独立分析的弱点
从独立分析的角度，AVAR存在以下几个值得改进的弱点：第一，数据合成流水线的多模型依赖问题。当前方法需要三个外部模型协同工作，其中Gemini 2.5-Pro是闭源模型，这不仅增加了成本，还可能引入API限制和数据隐私问题。改进方向是探索能否用单一开源模型替代整个流水线，或者通过迭代自蒸馏的方式逐步减少对外部模型的依赖。第二，注意力引导损失的设计较为粗糙。当前的图像增强损失和系统抑制损失对所有层和头施加相同的约束，但论文自身的细粒度分析表明不同层的注意力行为差异很大。改进方向是设计分层的、自适应的注意力引导策略，例如在浅层侧重感知、在深层侧重推理。第三，视觉锚定奖励的计算依赖于rollout过程中的注意力矩阵，这在长推理链场景下可能带来显著的计算开销。改进方向是探索更高效的注意力统计方法，或者将视觉注意力约束融入模型架构设计中而非后处理。第四，论文在HallusionBench上的提升（+8.8%）虽然显著，但绝对值（59.5%）仍然不算高，说明模型在对抗视觉幻觉方面仍有较大提升空间，可能需要更强的幻觉检测和纠正机制。
未来方向
基于本文的成果，未来研究可以在以下几个方向展开：首先，将AVAR框架推广到更大规模的模型和其他多模态架构上，验证注意力重塑机制的普适性，特别是在30B+规模模型上是否仍然有效。其次，探索动态注意力分配机制，即根据输入图像的复杂度和任务类型自适应地调整视觉注意力比例，而非使用固定的引导策略。第三，将VAS指标扩展为一个实时监控工具，在训练过程中动态调整冷启动策略，实现自适应的课程学习。第四，研究注意力分配与推理链长度的关系——随着推理链变长，模型是否会逐渐忘记视觉信息？这可能需要设计跨推理步骤的注意力保持机制。第五，探索将AVAR的思想应用到视频理解领域，视频场景下需要在时间维度上维持视觉注意力，这是一个更具挑战性的问题。第六，研究是否可以通过模型架构层面的改进（如专门的视觉记忆模块）来从根本上解决注意力分配问题，而非仅在训练层面进行干预。
复现评估
从复现角度来看，本文具有较好的可复现性。代码、数据和模型已在GitHub开源（https://github.com/lrlbbzl/Qwen-AVAR）。基座模型Qwen2.5-VL-7B是完全开源的。冷启动数据集约30.6K样本，来自5个公开数据源（R1-ShareVL约22.2K、Geo3K约2.1K、M3COT约3.2K、AlgoPuzzleVQA约1.8K、SOLIDGEO约1.3K）。RL数据集约17.9K样本，来自4个公开数据源。训练使用16块A100 GPU，冷启动训练20个epoch，RL训练4个epoch，硬件需求较高但对研究机构来说是可承受的。主要的复现难点在于数据合成阶段需要访问Gemini 2.5-Pro API（闭源模型），以及Qwen3-235B-A22B和Qwen3-32B模型。论文提供了详细的超参数设置（Table 6）和提示词模板（Appendix G），有助于复现。对于硬件资源有限的研究者，训练无关的注意力调制方法是一个轻量级的替代方案，可以在不进行任何训练的情况下获得1-2%的提升。
论文图表
