iVGR: 基于强化学习的多模态大语言模型视觉定位推理内化

通过双流强化学习将视觉定位能力内化到文本推理中，无需显式输出坐标

前置知识

Chain-of-Thought (CoT)

链式思维是一种推理方法，要求模型逐步分解复杂问题，展示完整的推理过程而非直接给出答案。在视觉场景中，模型可以描述观察到的视觉元素和推理步骤。CoT通过显式的推理轨迹提升模型在复杂任务上的性能，尤其在多模态场景中帮助模型聚焦关键视觉细节。

本文将CoT分为文本CoT和视觉定位CoT两类，理解CoT是理解本文双流训练策略的基础，同时需要理解文本推理与显式定位的区别。

IoU (Intersection over Union)

交并比是计算机视觉中衡量预测边界框与真实边界框重叠程度的指标，计算公式为 $\text{IoU} = \frac{\text{Area}(B_{pred} \cap B_{gt})}{\text{Area}(B_{pred} \cup B_{gt})}$，取值范围为[0,1]，值越大表示定位越准确。在本文中，IoU用于评估视觉定位质量，并作为选择高质量参考CoT的阈值标准。

本文使用IoU来量化定位质量，分析定位准确性与答案准确性的关系，并设置阈值$\tau=0.3$来筛选有效的参考CoT，这是理解本文实验分析和一致性奖励设计的关键。

GRPO (Group Relative Policy Optimization)

GRPO是一种强化学习算法，适用于大语言模型训练。它通过在每个训练步骤中采样一组N个rollouts，使用组内归一化计算优势值，避免显式值函数估计。对于文本流，第i个rollout的优势为 $A_i = \frac{R_i - \bar{R}}{\sigma(R)}$，其中$\bar{R}$和$\sigma(R)$分别是组内奖励的均值和标准差。这种设计使训练更稳定且计算高效。

本文采用GRPO框架进行强化学习训练，理解GRPO的group-wise归一化机制有助于理解本文如何同时训练双流（定位流和文本流）并计算各自的优势。

Visually Grounded CoT

视觉定位链式思维是指在推理过程中显式地将推理步骤锚定到图像特定区域的技术。主要分为两类：基于工具的方法（如DeepEyes）动态调用crop工具裁剪目标区域；基于显式定位的方法（如TreeVGR）要求模型在推理文本中插入边界框坐标（如$\langle \text{box} \rangle [x1,y1,x2,y2] \langle /\text{box} \rangle$）。这两种方法都旨在增强模型对细粒度视觉细节的感知能力。

本文的核心发现是显式视觉定位CoT在推理时反而不如纯文本CoT，这一反直觉观察是本文的出发点。理解视觉定位CoT的工作机制是理解iVGR方法创新点的前提。

研究动机

现有视觉定位推理方法在推理阶段强制要求显式的crop工具调用或边界框坐标输出，这种设计反而导致性能下降。通过在DeepEyes和TreeVGR等SOTA模型上的实证研究发现，当使用标准文本CoT进行推理时（无需重新训练），这些模型的平均准确率反而比默认的视觉定位CoT更高。例如，在8个基准测试中，TreeVGR-7B的文本CoT平均准确率为75.7%，而视觉定位CoT仅为74.7%。在HR8K数据集上，TreeVGR-7B的文本CoT准确率为74.7%，显式定位CoT为73.1%。作者进一步分析了定位质量（IoU）与答案准确性的关系，发现对于TreeVGR，无论定位质量如何，显式定位CoT在所有IoU区间上都低于文本CoT，这表明强制输出坐标引入了不必要的任务干扰。

本文的目标是本文的目标是设计一种方法，将视觉定位能力有效内化到文本推理过程中，使模型能够在不输出显式坐标的情况下保持准确的视觉感知能力。具体而言，作者希望证明视觉定位能力可以从显式定位CoT转移到纯文本CoT中，从而避免推理时的显式定位任务对答案预测的干扰。同时，方法应保持与工具辅助推理流程的兼容性，以便在需要时能够进一步利用crop工具提升细粒度感知性能。

与已有工作不同的是，本文的独特切入点在于质疑了一个广泛接受但未经严格验证的假设：显式视觉定位（通过crop工具或边界框）在推理时总是有益的。作者通过实证研究首次系统性地分析了视觉定位CoT与文本CoT的性能关系，发现强制显式定位反而引入任务干扰。基于这一反直觉发现，本文提出了内化而非显式输出的新范式，区别于DeepEyes（动态调用crop工具）和TreeVGR（显式生成边界框）等需要推理时显式定位的方法。iVGR在训练时使用双流策略（定位流和文本流），通过一致性奖励将定位能力转移到文本流，推理时仅需标准文本CoT，这一创新点填补了现有方法的空白。

核心方法

iVGR采用双流强化学习训练策略，每个训练查询同时生成两个rollout流：定位流要求模型在推理时显式预测边界框坐标，文本流执行标准自然语言推理。通过一致性奖励机制，文本流的CoT被鼓励与高质量的定位参考保持语义一致，从而将视觉定位能力内化到文本推理中。训练包含两个阶段：冷启动监督微调阶段和强化学习阶段。冷启动阶段使用35K样本（32K带边界框标注+3K纯文本CoT）初始化模型；强化学习阶段使用51K样本（37K自然图像VQA+14K通用推理样本），采用GRPO框架优化。推理时，模型可以使用纯文本CoT（无需显式坐标），也可选地结合crop工具进行测试时扩展。

核心创新点是提出了一致性奖励机制，将视觉定位能力从显式定位流转移到文本流。具体而言，一致性奖励使用外部LLM（如Qwen2.5-72B）作为judge，评估文本CoT与高质量定位参考的语义一致性，评分标准包括完全一致（1.0分）、单向偏差（0.7分）、复合偏差（0.3分）和矛盾（0.0分）。通过这个奖励信号，文本流学会在不输出显式坐标的情况下，在推理轨迹中隐式地关注正确的视觉区域。另一个关键创新是维护Rollout Archive，为每个查询保存历史上最高质量的定位CoT，确保一致性奖励始终基于可靠参考，这比仅使用当前batch中的最佳rollout更稳定。

方法步骤详情

iVGR的训练流程包含以下步骤：输入为查询图像和问题，首先进行冷启动SFT训练，模型学习同时生成有效定位格式和高质量文本推理。在强化学习阶段，对于每个训练查询q，策略MLLM $\pi_\theta$采样N个rollouts构成两组：定位流$O_b = \{o_{b1}, \ldots, o_{bN}\}$和文本流$O_t = \{o_{t1}, \ldots, o_{tN}\}$。定位流的总奖励为$R_{bi} = R_{\text{format}} + R_{\text{acc}} + R_{\text{box}}$，其中$R_{\text{box}}$通过双向IoU匹配评估定位质量。文本流的总奖励为$R_{ti} = R_{\text{format}} + R_{\text{acc}} + R_{\text{consistency}}$。一致性奖励计算分三步：从Rollout Archive中检索查询q的参考$Z(q)_{\text{archive}}$，若archive为空或当前batch无有效rollout则$R_{\text{consistency}}=0$；否则使用LLM judge对文本rollout和参考进行一致性评分；最终$R_{\text{consistency}} = \alpha$，其中$\alpha \in \{0.0, 0.3, 0.7, 1.0\}$。Archive更新规则为$Z(q)_{\text{archive}} \leftarrow \arg\max_{z \in \{Z(q)_{\text{archive}}, o_{b\text{best}}\}} R_{\text{box}}(z)$。最后使用GRPO框架计算优势$A_b$和$A_t$并更新策略。推理时，模型可选择纯文本CoT，或生成定位CoT后使用crop工具生成局部视图、联合裁剪和原图作为多视图输入进行推理。

技术新颖性

技术新颖性体现在三个方面。首先，本文首次系统性地分析了视觉定位CoT与文本CoT的性能关系，通过在HR8K数据集上按IoU区间分组实验，发现TreeVGR的显式定位CoT在所有定位质量区间上都低于文本CoT，这一反直觉发现挑战了现有方法的假设。其次，一致性奖励机制通过LLM judge评估语义一致性，将视觉定位能力从显式流转移到文本流，这种设计不同于传统的知识蒸馏或奖励建模，更注重推理轨迹的语义对齐而非最终答案。第三，Rollout Archive机制在训练过程中动态维护高质量参考，实验显示其hit率从初始0%逐渐增长到约50%，有效稳定了一致性奖励的计算。这些技术组合使得iVGR能够在不依赖推理时显式坐标的情况下，保持甚至超越现有视觉定位方法的性能。

**Figure 1**: Paradigms of visually grounded reasoning

**Figure 3**: Illustration of the proposed method

实验结果

iVGR在多个基准测试上取得了显著提升。在细粒度VQA任务上，基于Qwen2.5-VL-7B的iVGR在V*、HR4K、HR8K上分别达到86.4%、78.3%、75.5%，相比Qwen2.5-VL-7B基线提升+7.9%、+9.3%、+10.4%，平均提升6.5%。相比视觉定位方法TreeVGR-7B，iVGR在V*和HR8K上分别提升2.6%和1.7%。在通用VQA任务上，iVGR-7B在MME-RW-Lite、POPE、RealWorldQA、CV-2D、CV-3D上分别达到55.6%、88.9%、68.6%、78.4%、81.1%。方法具有良好的可扩展性，基于Qwen3-VL-8B和Qwen3-VL-32B的iVGR平均提升分别为4.4%和3.3%。在图表理解和多学科推理任务上，iVGR-7B在ChartQA、AI2D、WeMath、MMStar、MMMU、MMK12上平均提升2.5%。消融实验显示，仅文本流RL训练比仅定位流训练效果更好，加入一致性奖励后平均性能从71.0%提升到71.5%，加入Rollout Archive后进一步提升到72.4%。注意力分析表明，iVGR使用文本CoT时对图像token的注意力得分（0.1239）高于仅文本流（0.0959）和仅定位流（0.1113），验证了视觉定位能力的内化。测试时结合crop工具可进一步提升性能，iVGR-7B在HR4K上提升3.5%，iVGR-8B在HR4K上提升2.3%。

**Table 1**: Performance comparison between visually grounded CoT and textual CoT

**Table 2**: Performance on fine-grained and general VQA benchmarks

**Table 5**: Ablation study of components in our method

**Table 4**: Evaluation results on high-resolution fine-grained VQA benchmarks

**Table 10**: Attention scores on image tokens at the final transformer layer

**Figure 4**: Analysis of training dynamics

**Figure 5**: Qualitative comparison between models trained with and without consistency reward

查看结构化数据

任务	指标	本文	基线	提升
细粒度VQA (V*)	准确率	86.4	Qwen2.5-VL-7B: 78.5; TreeVGR-7B: 83.8	+7.9% vs Qwen2.5-VL-7B, +2.6% vs TreeVGR-7B
细粒度VQA (HR4K)	准确率	78.3	Qwen2.5-VL-7B: 69.0; TreeVGR-7B: 77.1	+9.3% vs Qwen2.5-VL-7B, +1.2% vs TreeVGR-7B
细粒度VQA (HR8K)	准确率	75.5	Qwen2.5-VL-7B: 65.1; TreeVGR-7B: 73.1	+10.4% vs Qwen2.5-VL-7B, +2.4% vs TreeVGR-7B
图表理解 (ChartQA)	准确率	88.5	Qwen2.5-VL-7B: 86.4	+2.1%
多学科推理 (WeMath)	准确率	41.1	Qwen2.5-VL-7B: 35.3	+5.8%

局限与改进

作者承认本文方法存在一些局限性。首先，方法需要边界框标注，这增加了数据标注的负担。作者建议通过复用现有检测数据集（如计数任务）或使用离线检测器进行伪标注来减轻这一负担。其次，一致性奖励依赖外部LLM judge，LLM可能产生幻觉影响奖励准确性。实验表明，增大judge模型规模从14B到72B可以提升性能，ensemble四个judge分数比单个分数平均提升0.3%。第三，由于训练时不使用crop工具，定位流在处理超高分辨率图像或极细粒度内容时可能产生幻觉或遗漏细节，这限制了可用参考CoT的质量。作者建议可以在训练时用crop工具增强的推理机制替代定位流。此外，本文方法在CV-3D任务上相比基线有轻微下降（-2.5%），这可能是因为3D视觉场景的定位与2D场景不同，需要进一步研究。

独立分析的弱点

独立分析的弱点包括：其一，方法依赖边界框标注，对于没有标注的任务需要额外的检测器或伪标注流程，这增加了系统复杂度和潜在的误差传播。改进方向可以是开发无需边界框的一致性奖励计算方法，例如使用视觉特征相似性或注意力热图作为替代。其二，LLM judge的计算开销虽然较小，但仍是推理时的额外成本，可以考虑使用更小的专用于一致性评估的模型或蒸馏方法。其三，方法主要针对自然图像VQA任务，对于3D视觉、视频等多模态场景的泛化能力尚未充分验证，未来的工作可以扩展到这些领域。其四，一致性奖励的评分标准相对粗粒度（仅4个等级），可能无法捕获细微的语义差异，可以设计更细化的评分体系。

未来方向

作者提出和基于成果可延伸的未来研究方向包括：其一，在训练阶段将定位流替换为crop工具增强的推理机制，以产生更准确、细节更丰富的参考CoT，从而为文本流提供更强的监督信号。其二，扩大judge模型规模和ensemble多个judge分数以提升一致性奖励质量，实验显示使用72B judge比14B judge平均提升0.9%，ensemble四个分数比单个分数提升0.3%。其三，探索无需边界框标注的变体，例如利用对比学习或自监督学习从大量未标注数据中学习视觉定位能力。其四，将方法扩展到更多视觉模态，如3D视觉、视频、多视角场景，以及更多推理任务，如代码生成、数学证明等。其五，研究如何将内化的视觉定位能力与其他推理能力（如逻辑推理、常识推理）结合，实现更复杂的多模态推理。

复现评估

复现评估方面，论文提供了详细的实现细节和超参数设置。代码基于Llama-Factory和VeRL框架，使用8个NVIDIA A100 GPU进行训练，训练iVGR-7B模型约需39小时。数据集包括TreeVGR-RL-37K（37K样本）、OpenMMReasoner（12K样本）和ArxivQA（2K样本），总计51K样本。消融实验显示各组件的贡献明确，一致性奖励和Rollout Archive分别带来0.5%和0.9%的平均提升。训练动力学分析显示一致性奖励分布呈现清晰的收敛趋势，完全一致的rollouts比例逐渐增长到约50%。论文提供了完整的prompts和实现细节，但尚未开源代码和模型，复现难度中等。需要关注的是，judge模型的选择和采样策略可能影响结果稳定性，建议复现时使用相同的Qwen2.5-72B-Instruct和相同的超参数（temperature=0.01用于单分数，temperature=0.5用于ensemble）。

iVGR: 基于强化学习的多模态大语言模型视觉定位推理内化 iVGR: Internalizing Visually Grounded Reasoning for MLLMs with Reinforcement Learning