无需缩放的缩放：基于区域到图像蒸馏的细粒度多模态感知 Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception
通过训练时区域蒸馏取代推理时工具缩放，实现单次前向传播的细粒度视觉感知。
前置知识
Multimodal Large Language Models (MLLMs)
多模态大语言模型是将视觉编码器（如 ViT）与语言模型结合的架构，能够同时处理图像和文本输入并生成文本输出。典型的架构包括视觉编码器提取图像 token、跨模态投影层将视觉特征映射到语言模型的嵌入空间、以及语言模型进行推理和生成。本文中的基座模型包括 Qwen3-VL-4B/8B 和 Qwen2.5-VL-7B 等。MLLM 在广泛视觉理解任务上表现出色，但在需要关注图像中微小细节的细粒度感知任务上仍然存在明显短板。
本文的核心是改进 MLLM 的细粒度感知能力，理解 MLLM 的基本架构和视觉 token 处理机制是理解本文方法的前提。
Thinking-with-Images (TwI)
这是一种近期流行的多模态推理范式，让 MLLM 在推理过程中主动调用外部视觉工具（如裁剪缩放、旋转、搜索等）来获取更精确的局部信息。代表工作包括 DeepEyes 和 Thyme 等。这种方法通过迭代地缩放和重新编码感兴趣区域来缓解全局上下文中微小证据被淹没的问题，但代价是多次工具调用和视觉编码带来的高延迟，限制了实时应用。
TwI 是本文要解决的问题的现有主流方案，理解其工作方式和局限性是理解本文创新动机的关键。
Region-to-Image Distillation (R2I)
本文提出的核心方法，将传统的「推理时缩放」转化为「训练时基元」。具体来说，先从图像中裁剪出微小区域，用强教师模型在裁剪区域上生成高质量的 VQA 数据，然后将这些区域级别的监督信号蒸馏回完整图像上进行训练。训练时在图像上叠加边界框作为特权信息，推理时不使用任何工具，实现单次前向传播即可完成细粒度感知。
这是整篇论文的核心技术贡献，理解 R2I 的设计思想和实现细节是理解全文的关键。
Privileged Information
特权信息是指在训练时可用但在推理时不可用的额外信息。在本文中，边界框（bounding box）在训练时叠加在图像上，告诉模型需要关注的具体区域，但在推理时不提供。这种学习范式在理论上已被验证有效：模型通过特权信息学习到的注意力对齐模式可以泛化到没有特权信息的场景。这类似于教师在课堂上用手指指着黑板上的关键内容，学生学会后自己阅读时也能注意到这些关键部分。
理解特权信息的概念有助于理解为什么训练时的边界框在推理时被移除后模型仍能正常工作。
Reinforcement Learning / DAPO
DAPO（Direct Alignment from Preference Optimization）是一种强化学习训练方法，本文使用它在 74K 合成数据上训练学生模型。与传统的 SFT（监督微调）不同，强化学习通过奖励信号引导模型学习，能够让模型在少量数据上获得更大的性能提升。本文中使用的奖励函数基于任务正确性，即模型预测答案与标准答案的匹配程度。
本文使用 DAPO 而非 SFT 进行训练，这是一个重要的训练策略选择，影响了最终的性能表现。
Visual Grounding
视觉定位是指将文本描述与图像中的特定区域对应起来的能力。在本文中，视觉定位通过在图像上叠加边界框（box-overlay grounding）和在问题中添加空间约束来实现。这解决了将裁剪区域上的 QA 对蒸馏回完整图像时产生的指代歧义问题——一个问题在孤立的裁剪区域中是明确的，但在完整图像中可能变得模棱两可。
视觉定位是 R2I 方法中解决指代歧义的关键技术，消融实验表明它对最终性能至关重要。
Dual-View Evaluation Protocol
本文在 ZoomBench 中提出的评估协议，每个样本在两种条件下评估：全局视图（模型从完整图像回答）和区域视图（模型从关键裁剪区域回答）。两者的性能差异称为「缩放间隙」（zooming gap），衡量的是模型在有明确证据时能否从全局图像中可靠地找到并使用该证据。缩放间隙越大，说明细粒度感知瓶颈越严重。
这个评估协议是本文的重要贡献之一，提供了超越传统准确率指标的更深层次诊断能力。
研究动机
多模态大语言模型在广泛视觉理解任务上表现出色，但在细粒度感知任务上仍然脆弱，尤其是在决定性证据很小且容易被全局上下文淹没的场景中。例如，在标准单次前向传播设置下，模型必须从数千个视觉 token 中检索微小证据（如微小文字、微妙属性、小目标计数等），这使得模型很难在杂乱、干扰和冗余信息中可靠地隔离关键证据。现有的「Thinking-with-Images」范式虽然通过迭代缩放和重新编码感兴趣区域来缓解这一问题，但代价是多次工具调用和多次视觉编码带来的高延迟。实验数据显示，这些推理时工具调用方法的推理速度仅为本文方法的约 1/10，严重限制了实时应用场景。此外，现有的全局到全局合成数据管线（如 Oasis、MM-Evol 等）依赖教师模型直接处理完整图像生成 QA 对，容易产生幻觉和感知定位不准确的问题。
本文的目标是本文的核心目标是回答一个自然的问题：能否在保持单次前向传播推理效率的同时，获得推理时缩放带来的准确率收益？具体来说，作者希望将推理时的工具调用「缩放」转化为训练时的基元，让学生模型在内部化教师模型的区域级感知专业知识，从而在推理时无需任何工具调用即可从完整图像中完成细粒度感知。此外，作者还希望构建一个高质量的评估基准来严格测试这种能力。
与已有工作不同的是，本文的独特切入角度在于：将「缩放」从推理时工具解耦为训练时基元。与现有的「Thinking-with-Images」方法（在推理时缩放）和传统的全局到全局蒸馏方法（教师和学生都处理完整图像）不同，本文提出了一种区域到图像的蒸馏策略——教师模型在微裁剪区域上生成 QA 对以确保事实准确性，然后通过视觉定位（边界框叠加）将监督信号蒸馏回完整图像进行训练。这种方法的关键洞察是：边界框作为特权信息，虽然训练时可用但推理时不可用，但它能有效迫使模型的内部注意力机制与微区域对齐，这种对齐在推理时（没有边界框）也能泛化。这种方法既避免了推理时工具调用的高延迟，又避免了全局到全局合成中的幻觉问题。
核心方法
本文的方法「Region-to-Image Distillation」可以用一个直觉来理解：想象一位老师在课堂上，用手指指着地图上的一个小区域教学生认识某个城市。学生学会了「注意老师指向的位置」的能力后，即使没有老师的手指指引，自己看地图时也能找到那个城市。在技术层面，整体思路分为三个阶段：首先，从大量未标注图像中裁剪出微小区域（覆盖至少一个可见物体且面积占比低于阈值 0.1）；然后，使用强教师模型（如 GLM-4.5V、Qwen3-VL-235B）在这些微裁剪区域上生成高质量的感知导向 QA 对；最后，通过视觉定位将这些 QA 对蒸馏回完整图像进行训练。训练后的学生模型（ZwZ）在推理时仅需单次前向传播即可完成细粒度感知，无需任何工具调用。
本文的核心创新点与已有方法的本质区别在于蒸馏的方向和粒度。传统的「全局到全局」蒸馏中，教师和学生都处理完整图像，但教师模型在完整图像上同样面临微小证据被淹没的问题，容易产生幻觉。本文提出的「区域到图像」蒸馏则完全不同：教师在裁剪后的微区域上工作，此时细粒度细节清晰无歧义、幻觉最小化，然后将这种区域级的专业知识蒸馏到需要处理完整图像的学生模型。另一个关键创新是使用边界框叠加作为视觉定位手段——这不仅解决了从裁剪区域到完整图像蒸馏时的指代歧义问题，还充当了特权信息，迫使模型学会在全局上下文中定位微小证据的注意力模式。此外，本文还提出了一个通用框架（Algorithm 1），将 R2I 抽象为工具动作蒸馏，可以应用于缩放以外的多种工具动作（如翻转、3D 定位、调用专家模型等）。
方法步骤详情
方法分为两个主要阶段和四个具体步骤。第一阶段「缩放合成」（Zoom-in Synthesis）：(1) 给定图像池 Draw，使用物体识别和分割系统对每张图像 I 生成候选边界框 {B1, B2, ..., Bn}；(2) 对每个边界框 Bi 裁剪并调整大小得到区域 Ri，过滤出面积占比 Area(Bi)/Area(I) < 0.1 的微区域集合 Rtarget；(3) 对每个微区域 R，使用教师模型作为问题生成器提出感知导向问题 QR，然后使用多个教师模型作为答案生成器通过多数投票获得伪标签 A，仅保留高共识的三元组 (R, Q, A)。第二阶段「缩放蒸馏」（Zoom-out Distillation）：(1) 对每个三元组应用定位变换 G(I, Q, B)，在完整图像 I 上叠加边界框 B 形成 I，并在问题 Q 中添加空间约束形成 Q；(2) 使用更小的多模态模型进行难度过滤，移除过于简单的样本；(3) 最终得到蒸馏数据集 Dsyn；(4) 学生模型的训练目标为最大化期望奖励，其中奖励函数基于答案正确性，pi_theta 是学生策略。整个流程可以用 Algorithm 1 的伪代码抽象：对每个图像 I，先应用工具动作 f 得到 altered observation，再用教师生成 QA 对，最后通过逆变换 f^{-1} 映射回原图像域。
技术新颖性
本文的技术新颖性体现在多个层面。首先，R2I 提出了一种全新的蒸馏方向——从区域到图像，这与传统的全局到全局蒸馏和实例级蒸馏都不同。其次，将边界框作为特权信息用于训练的视觉定位策略是一个巧妙的设计：训练时 B 作为结构化提示强制模型的注意力与微区域 R 对齐，推理时移除 B 后这种对齐仍然泛化，这在理论上借鉴了 Vapnik 的特权信息学习框架。第三，方法的通用框架（Algorithm 1）将 R2I 抽象为「工具动作蒸馏」，使得同样的范式可以应用于缩放以外的多种工具动作，如翻转、旋转、3D 定位、调用专家模型等。第四，本文提出了信息增益与信息中性的分类标准来判断哪些「Thinking-with-Images」动作可以被蒸馏：信息增益动作（如网络搜索）带来不可预测的新信息，无法被蒸馏；信息中性动作（如缩放、翻转、旋转）只是重新格式化现有证据，可以被蒸馏。这个分类标准为何时使用工具、何时蒸馏提供了实用的判断依据。
实验结果
本文的实验结果全面且令人印象深刻。首先，在多个基准测试上，ZwZ 模型相对于基座模型取得了显著提升：ZwZ-8B 将 Qwen3-VL-8B 的平均分从 62.86 提升到 68.12，其中在最具挑战性的 ZoomBench 上从 37.87 大幅提升到 58.11。值得注意的是，ZwZ-4B 和 ZwZ-8B 的平均感知分（76.31 和 77.64）超过了所有开源模型，包括参数量大得多的 GLM-4.5V（108B，71.90）、Qwen3-VL-235B（74.61）和 Kimi-K2.5（1T，75.50），并与闭源 SOTA 模型 Gemini-3-Flash（79.37）保持竞争力。在与「Thinking-with-Images」代理模型的比较中，ZwZ-8B 在四个基准上的平均分达到 81.9，超过了 DeepEyesV2（74.6）、Thyme（74.0）、Qwen3-VL-8B+工具（79.1）等所有代理方法，同时推理速度快约 10 倍。数据效率方面，仅用 10K 合成数据训练就达到了 67.37 的平均分，超过了 500K 规模的 Oasis 数据（63.24）。消融实验证明了 R2I 的有效性：直接合成方法（全局到全局）在 ZoomBench 上仅达 40.95，而 R2I+边界框叠加达到 52.90。视觉定位消融表明，不使用边界框（46.27）或仅在问题中提供坐标（46.98）的效果都远不如在图像上叠加边界框（52.90）。在真实世界任务（AIGC 检测、GUI 代理）上，ZwZ-8B 也一致地超越了基座模型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ZoomBench（细粒度感知基准，本文提出） | Accuracy (%) | ZwZ-8B: 58.11 | Qwen3-VL-8B: 37.87 | +20.24 绝对提升 |
| VStar（细粒度视觉理解） | Accuracy (%) | ZwZ-8B: 91.10 | Qwen3-VL-8B: 86.39 | +4.71 绝对提升 |
| HR-Bench-4K（高分辨率基准） | Accuracy (%) | ZwZ-8B: 84.38 | Qwen3-VL-8B: 78.88 | +5.50 绝对提升 |
| HR-Bench-8K（高分辨率基准） | Accuracy (%) | ZwZ-8B: 82.00 | Qwen3-VL-8B: 74.63 | +7.37 绝对提升 |
| 通用感知基准平均分（GP-Avg） | Average Accuracy (%) | ZwZ-8B: 77.64 | Qwen3-VL-8B: 70.83 | +6.81 绝对提升 |
| 平均分（所有基准） | Average Accuracy (%) | ZwZ-8B: 68.12 | Qwen3-VL-8B: 62.86 | +5.26 绝对提升 |
| VStar（vs 代理模型） | Accuracy (%) | ZwZ-8B: 91.10 | DeepEyes: 85.60 | +5.50 绝对提升 |
| MME-RW-en（vs 代理模型） | Accuracy (%) | ZwZ-8B: 69.87 | Qwen3-VL-8B+工具: 66.00 | +3.87 绝对提升，且推理速度快约10倍 |
局限与改进
本文的局限性体现在多个方面。首先，作者自己承认的一个重要限制是：空间推理和多目标感知等任务尚未被纳入本文的评估范围，因此在 TreeBench 等侧重这些能力的基准上的表现未知。其次，R2I 方法的有效性依赖于强教师模型的质量——如果教师模型在裁剪区域上的表现也不够好，蒸馏的质量就会受到影响。第三，本文仅在 Qwen-VL 系列模型上进行了实验，对其他架构（如 LLaVA 系列）的泛化性尚未验证。第四，本文的方法虽然在信息中性动作上有效，但无法替代信息增益动作（如网络搜索），这意味着在需要获取外部新信息的场景中仍然需要工具调用。第五，训练数据的合成需要教师模型的多次推理（问题生成+多数投票答案生成），虽然比推理时的工具调用更高效，但数据合成的计算成本仍然不低。从个人观察来看，ZoomBench 仅包含 845 个样本，规模偏小，可能不足以全面评估模型的细粒度感知能力；此外，论文中的一些比较（如与代理模型的比较）是在不同训练数据和训练策略下进行的，可能不完全公平。
独立分析的弱点
本文存在几个值得深入探讨的弱点。首先，边界框叠加作为特权信息的有效性可能在更复杂的场景中受限——例如当图像中有多个相似区域时，单个边界框可能不足以消除所有歧义，可能需要更丰富的空间定位手段（如语言描述、关键点等）。改进方向是探索多模态定位策略，结合语言描述和视觉标注。其次，当前的难度过滤仅使用一个更小的多模态模型，可能遗漏了某些对小模型简单但对学生模型有挑战性的样本，改进方向是引入自适应难度评估机制。第三，数据合成仅使用裁剪区域，可能忽略了需要上下文信息才能回答的细粒度问题（例如需要理解区域与周围环境关系的问题），改进方向是探索区域-上下文联合蒸馏。第四，强化学习训练的奖励函数仅基于答案正确性，没有引入更细粒度的奖励信号（如注意力对齐程度），可能限制了模型学习更精确的注意力模式的能力。
未来方向
作者在文中提出了一个非常有前景的未来方向：开发统一的动态代理策略，该代理能够（1）默认使用具有增强感知技能的单次前向传播推理，（2）在需要时动态决定何时以及如何调用工具，（3）优先执行信息增益动作，仅在必要时使用信息中性操作。这将结合 R2I 方法的效率优势和代理「Thinking-with-Images」的开放世界能力。基于本文成果还可以延伸出多个方向：首先，将 R2I 范式扩展到更多工具动作（如 3D 定位、翻转、旋转等），文中已经提供了通用框架（Algorithm 1），可以直接应用；其次，探索 R2I 在视频理解中的应用，将「缩放」从空间维度扩展到时间维度；第三，研究如何将 R2I 与图像生成型「Thinking-with-Images」结合，利用生成的中间图像作为额外的训练信号；第四，将 R2I 的思想应用到多模态推理的其他方面，如将复杂推理链蒸馏为单步推理。
复现评估
本文的复现条件相对良好。代码已在 GitHub 上开源（https://github.com/inclusionAI/Zooming-without-Zooming），论文提供了详细的实现细节（包括框提议、过滤阈值、教师选择和提示词等，见 Appendix 8）。训练使用了 74K 合成数据和 DAPO 强化学习算法，基座模型为开源的 Qwen3-VL 系列，数据来源也是公开的图像数据集。然而，完全复现仍有一定难度：首先，数据合成需要调用大型教师模型（GLM-4.5V 108B、Qwen3-VL-235B 等），计算成本较高；其次，强化学习训练（DAPO）相比 SFT 更复杂，需要更多的调参经验；第三，物体识别和分割系统的具体实现细节（如使用哪个模型、如何设置阈值等）可能影响合成数据的质量。总体来说，对于有足够算力和经验的研究团队，本文应该是可以复现的。
论文图表
消融实验表格，比较了四种数据合成策略：Direct Synthesis（全局到全局）、R2I+边界框叠加（本文方法）、R2I+问题中坐标、R2I+无边界框。R2I+边界框叠加在所有基准上表现最好（ZoomBench 52.90），显著优于直接合成（40.95），也优于其他两种定位方式（46.98 和 46.27）。
这个表格是理解 R2I 方法各组件重要性的关键，证明了区域到图像蒸馏和视觉定位策略的有效性。
分类表，将常见的「Thinking-with-Images」工具/动作分为信息增益动作（如网络搜索，不可预测，不可蒸馏）和信息中性动作（如缩放、翻转、旋转、去噪、2D/3D 定位、绘图等，可预测，可蒸馏）。每种动作标注了是否可预测以及代表论文。
这个表格提出了一个实用的分类框架，帮助读者理解何时应该使用工具、何时可以蒸馏，是本文理论贡献的重要组成部分。