Phi-4-reasoning-vision-15B 技术报告：面向高效多模态推理的紧凑开源视觉语言模型 Phi-4-reasoning-vision-15B Technical Report
微软发布15B参数开源多模态推理模型，以少量算力实现数学/科学推理竞争力
前置知识
视觉语言模型 (Vision-Language Model, VLM)
视觉语言模型是一类能够同时处理图像和文本输入的深度学习模型。典型架构包括一个视觉编码器（如SigLIP、CLIP）将图像编码为视觉特征向量，再通过投影层映射到语言模型的嵌入空间，与文本token一同送入大型语言模型进行推理。这类模型广泛应用于图像描述、视觉问答、图表理解和GUI操作等任务。VLM的核心挑战在于如何有效地融合视觉和语言两种模态的信息。
本文的模型架构就是典型的中融合（mid-fusion）视觉语言模型，理解VLM的基本范式是理解本文设计选择的前提。
中融合 (Mid-Fusion) 架构
中融合是一种多模态架构策略，图像通过独立的预训练视觉编码器提取特征，经投影层转换为视觉token后注入预训练语言模型。与早融合（early-fusion，所有模态在单一Transformer中处理）和晚融合（late-fusion，模态在推理后期才交互）不同，中融合在效率和表达能力之间取得平衡。早融合可以获得更紧密的跨模态表征，但计算和数据需求巨大；中融合利用预训练组件的已有能力，训练成本更低。
本文明确选择中融合架构以降低训练和推理成本，这是其核心设计决策之一，需要理解各融合策略的权衡。
推理模型与链式思维 (Chain-of-Thought)
推理模型（reasoning model）通过生成显式的中间推理步骤（chain-of-thought）来解决复杂问题。在训练数据中，这类样本包含$\text{\textless think\textgreater}$和$\text{\textless /think\textgreater}$标记包裹的推理过程。链式思维让模型在给出最终答案前进行多步推理，特别适用于数学、科学等需要逻辑链条的任务。但推理过程会增加推理时间和token消耗，在简单任务上可能不必要甚至有害。
本文的核心创新之一是混合推理与非推理训练，理解什么是推理模型和链式思维对理解这一设计至关重要。
动态分辨率视觉编码器
动态分辨率视觉编码器能够根据输入图像的实际分辨率自适应地调整token数量和切分方式。与固定分辨率（如将图像resize到$384 \times 384$）不同，动态分辨率方法（如SigLIP-2的NaFlex变体）可以处理不同尺寸的图像，对高分辨率图像生成更多视觉token，对低分辨率图像生成较少token，避免信息损失或浪费。最大token数可配置为2048或3600，后者大致对应720p高清分辨率。
论文的核心消融实验对比了动态分辨率与多裁剪、S2等多种方法，发现动态分辨率在高分辨率任务上表现最佳，是模型成功的关键组件。
数据质量工程与合成数据增强
数据质量工程指系统性地筛选、修正和增强训练数据的过程。本文的方法包括：手动审查每个数据集的质量分类（优秀、好问题错误答案、低质量问题、低质量图像、格式错误）；使用GPT-4o和o4-mini重新生成错误答案；将开源图像作为种子合成新的高质量图文对；创建多图像配对数据等。合成数据增强是利用已有高质量样本或图像生成更多训练数据的技术，是应对高质量多模态数据稀缺的关键策略。
本文反复强调数据质量是性能的首要杠杆，论文中大量篇幅描述数据工程流程，是理解本文贡献的核心。
SFT (监督微调) 与训练阶段设计
监督微调（Supervised Fine-Tuning）是在预训练模型基础上使用高质量标注数据进行训练的方法。本文采用三阶段训练策略：第一阶段仅训练MLP投影层进行视觉-语言对齐（$1.4\text{B}$ tokens）；第二阶段全模型解冻进行单图指令微调（$188.5\text{B}$ tokens，主力阶段）；第三阶段进行长上下文、多图和安全对齐训练（$12\text{B}$ tokens）。每阶段使用不同的学习率、批次大小和序列长度。所有阶段使用AdamW优化器和bf16混合精度。
三阶段训练是本文方法论的核心框架，理解每阶段的目标和参数对评估实验设计至关重要。
研究动机
当前主流视觉语言模型呈现参数量和token消耗不断增长的趋势，导致训练和推理成本持续攀升，严重制约了在资源受限环境或交互式场景中的部署能力。以Qwen3-VL、Kimi-VL和Gemma3等模型为例，其训练数据量超过1万亿token，而推理时生成的大量推理token进一步增加了延迟和成本。与此同时，在多模态推理领域存在一个根本性矛盾：数学和科学推理任务受益于多步链式思维推理，而图像描述、OCR等感知密集型任务则不需要推理甚至可能因推理过程而性能下降。现有方法要么要求所有数据都包含推理痕迹（导致推理延迟和数据需求爆炸），要么使用非推理模型后再单独训练推理能力（面临灾难性遗忘风险），均无法高效地在单一模型中同时处理需要推理和不需要推理的任务。
本文的目标是本文的目标是构建一个紧凑的15B参数开源多模态推理模型Phi-4-reasoning-vision-15B，使其在数学和科学推理以及计算机使用（GUI操作）等核心任务上达到竞争力水平，同时显著降低训练和推理的计算成本。具体而言，模型仅使用200B多模态token进行训练（相比竞品的1T+ token），通过精心的架构设计和数据策展，在准确率与计算成本的帕累托前沿上推进，实现与需要10倍以上计算和token的大型模型相竞争的精度，同时在同级别速度的模型中获得更高的精度。此外，模型需要能够在推理模式和非推理模式之间智能切换，对简单任务给出直接回答，对复杂问题进行链式思维推理。
与已有工作不同的是，本文的独特切入角度在于三个层面的系统性工程设计。首先，在架构层面，通过大规模消融实验对比了动态S2、多裁剪、多裁剪+S2、动态分辨率等多种视觉编码策略，量化了每种方法在不同分辨率基准上的表现差异，为高分辨率感知提供了实证指导。其次，在数据层面，提出了系统性的数据质量分类和改进流程，不仅筛选数据，还通过合成增强、格式修正、答案重生成等手段最大化数据价值，论文的核心论点是数据质量而非数据规模才是性能的首要杠杆。最后，在训练策略层面，提出了基于显式模式token（$\text{\textless think\textgreater}$和$\text{\textless nothink\textgreater}$）的混合推理/非推理训练方法，从推理能力强的基础语言模型出发，通过$20/80$的推理/非推理数据比例混合训练，使单一模型能够根据任务复杂度自动选择是否进行推理，这是对现有推理模型训练范式的重要探索。
核心方法
Phi-4-reasoning-vision-15B的整体技术路线可以概括为：以推理能力强的语言模型Phi-4-Reasoning为骨干，采用中融合架构接入SigLIP-2动态分辨率视觉编码器，经过三阶段渐进式训练（MLP对齐→全模型指令微调→长上下文与安全），使用经过系统性质量改进的200B多模态数据，其中$20\%$为推理样本（含$\text{\textless think\textgreater}$标记的链式思维）、$80\%$为非推理样本（含$\text{\textless nothink\textgreater}$标记的直接回答），最终产出一个15B参数的开源模型，在数学/科学推理和计算机使用任务上以极低的推理成本实现竞争力表现。直觉上，这个设计的核心思想是「少即是多」——通过精心选择架构、数据和训练策略，用远少于竞品的计算资源达到可比的性能。
本文的核心创新点在于混合推理与非推理训练策略，这与现有方法有本质区别。现有推理模型的构建通常有三条路径：（1）从非推理LLM出发同时训练推理和多模态能力；（2）先训练多模态能力再添加推理能力；（3）从推理LLM出发要求所有多模态数据都包含推理痕迹。本文采用第四条路径：从推理能力强的基础模型出发，混合使用推理和非推理数据进行训练。关键设计包括：推理样本使用$\text{\textless think\textgreater}...\text{\textless /think\textgreater}$包裹链式思维过程，覆盖数学和科学领域；非推理样本以$\text{\textless nothink\textgreater}$标记开头，覆盖图像描述、定位、OCR和简单VQA等感知任务；推理数据约占总数据的$20\%$。由于基础模型本身已具备推理能力，训练过程主要是将已有推理能力「锚定」到视觉上下文中，而非从零开始学习推理。用户还可以通过显式提示$\text{\textless think\textgreater}$或$\text{\textless nothink\textgreater}$来覆盖默认行为。
方法步骤详情
模型训练分为三个阶段。第一阶段（MLP预训练）：仅训练跨模态投影层（MLP），视觉编码器和语言模型冻结。使用小规模干净图像-字幕数据进行视觉-语言空间对齐，学习率$1 \times 10^{-3}$，批次大小1024，最大序列长度2048，训练$2.0\text{M}$样本/$1.4\text{B}$ token，余弦学习率调度，预热$3\%$步数。第二阶段（指令微调）：MLP、视觉编码器和语言模型全部解冻联合训练。使用大规模单图视觉指令微调数据，覆盖VQA、数学/科学推理、定位、字幕、OCR和计算机使用等任务，数据混合包含推理痕迹和直接回答样本。学习率$2 \times 10^{-5}$，批次大小1920，最大序列长度8192，训练$62.8\text{M}$样本/$188.5\text{B}$ token，余弦调度带最小学习率比$0.1$，预热500步。第三阶段（长上下文与安全）：在长文档理解、多图/序列图任务和RAI安全数据上继续训练。学习率$7 \times 10^{-7}$，批次大小1920，最大序列长度16384，训练$3.2\text{M}$样本/$12\text{B}$ token。空间坐标统一归一化到$[0.0, 1.0]$范围。
技术新颖性
本文的技术新颖性体现在多个方面。第一，混合推理/非推理训练范式是对现有推理模型训练方法的系统性扩展，通过$\text{\textless think\textgreater}$和$\text{\textless nothink\textgreater}$模式token实现在单一模型中的智能推理切换，避免了所有数据都需要推理痕迹的高昂成本。第二，论文发现一个反直觉的结果：增加数学数据（3倍）同时保持计算机使用数据不变，不仅提升了数学基准分数，也提升了计算机使用基准分数（ScreenSpot-V2从$48.2\%$提升到$48.3\%$），说明数学推理能力可能通过学习通用推理表征而惠及计算机使用任务。第三，数据质量改进的系统化方法论——包括手动分类、格式修正、答案重生成、合成多图像配对（乱序字幕、配对匹配）和「变化了什么」序列截图数据——构成了一套完整的多模态数据工程实践，其核心结论是$5-10$分钟的手动审查即可有效分类数据集质量。第四，大规模视觉编码器消融实验提供了动态分辨率vs多裁剪vs S2方法在不同任务上的定量对比，为后续研究提供了实证参考。
实验结果
Phi-4-reasoning-vision-15B在多个关键基准上展示了竞争力表现，同时以极低的训练和推理成本实现了与大型模型相当的精度。在数学推理方面，MathVista$_{\text{MINI}}$达到$75.2\%$（默认混合模式），高于Phi-4-mm-instruct的$50.5\%$和Kimi-VL-A3B的$67.1\%$，接近Qwen3-VL-8B-Thinking的$77.7\%$。在计算机使用方面，ScreenSpot$_{\text{v2}}$达到$88.2\%$，大幅超越Kimi-VL-A3B的$28.5\%$和Gemma3-12b-it的$3.5\%$。在科学推理方面，MathVerse$_{\text{MINI}}$达到$44.9\%$，MMMU$_{\text{VAL}}$达到$54.3\%$。关键的消融实验表明：（1）动态分辨率编码器在高分辨率数据集上表现最佳，最大token数从2048增加到3600时ScreenSpot-Pro从$9.2\%$大幅提升到$17.5\%$；（2）数学和计算机使用数据可以共存互利，增加数学数据不损害计算机使用性能，反之亦然；（3）默认混合推理模式在大多数基准上优于强制推理或强制非推理模式，仅在MathVerse和MMMU上强制推理有小幅提升，在ScreenSpot$_{\text{v2}}$上强制非推理有微小提升。训练总token量仅$200\text{B}$，相比Qwen3-VL等模型的$1\text{T}+$训练数据，展示了极高的训练效率。推理延迟方面，模型在H100 GPU单线程测试中展现出良好的延迟-精度权衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MathVista$_{\text{MINI}}$ (数学视觉推理) | Accuracy (%) | 75.2 (默认) / 74.1 (强制推理) / 68.7 (强制非推理) | Qwen3-VL-32B-Thinking: 83.9, Qwen3-VL-8B-Thinking: 79.5, Kimi-VL-A3B: 78.6 | 相比Phi-4-mm-instruct (50.5%) 提升24.7个百分点，以15B参数超越多个更大模型 |
| ScreenSpot$_{\text{v2}}$ (GUI元素定位) | Accuracy (%) | 88.2 (默认) / 88.3 (强制非推理) | Kimi-VL-A3B-Instruct: 89.8, Qwen3-VL-32B-Instruct-4K: 93.7 | 大幅超越Gemma3-12b-it (3.5%) 和Kimi-VL-A3B-Thinking (81.8%) |
| ChartQA$_{\text{TEST}}$ (图表理解) | Accuracy (%) | 83.3 (默认) | Kimi-VL-A3B: 87.0, Qwen3-VL-32B-Thinking: 79.1 | 以15B参数超越多个32B级别推理模型 |
| MMMU$_{\text{VAL}}$ (多学科多模态理解) | Accuracy (%) | 54.3 (默认) / 55.0 (强制推理) | Qwen3-VL-32B-Thinking: 72.2, Qwen3-VL-8B-Thinking: 65.3 | 相比Phi-4-mm-instruct (42.3%) 提升12个百分点 |
| MathVerse$_{\text{MINI}}$ (数学视觉推理) | Accuracy (%) | 44.9 (默认) / 53.1 (强制推理) | Qwen3-VL-32B-Thinking: 78.3, Kimi-VL-A3B-Thinking: 61.0 | 相比Phi-4-mm-instruct (32.4%) 提升12.5个百分点 |
| OCRBench (OCR识别) | Score | 76.0 (默认) | Kimi-VL-A3B: 86.5, Qwen3-VL-32B-Instruct-4K: 88.5 | 相比Phi-4-mm-instruct (62.6%) 提升13.4个百分点 |
局限与改进
论文作者坦诚地承认了若干局限性。首先，在广泛、无约束的视觉-语言基准和通用多模态任务上，更大的专有模型仍然显著优于Phi-4-reasoning-vision-15B，该模型的竞争力主要体现在与同尺寸开源模型的对比中。其次，推理与非推理模式之间的切换是隐式学习的，由数据分布决定，边界可能不够精确——模型有时会在直接回答足够时仍进行推理（增加延迟），或在推理有益时直接回答（降低质量）。虽然用户可以通过显式提示$\text{\textless think\textgreater}$或$\text{\textless nothink\textgreater}$来覆盖默认行为，但这需要用户事先知道哪种模式更合适。第三，模型在极其精细或微妙的图像理解方面存在局限，用户应对关键输出进行验证，特别是涉及细微视觉细节的场景。从个人观察来看，论文的消融实验主要在较小的5B变体上进行，其结论能否直接外推到15B模型仍有不确定性；此外，$20/80$的推理/非推理数据比例是基于文献和实验观察设定的，是否对所有领域和部署场景最优尚属开放问题；论文也未充分讨论多图像推理和长上下文场景下的具体性能表现。
独立分析的弱点
尽管论文展示了令人印象深刻的结果，仍存在几个值得深入分析的弱点。第一，视觉编码器的高分辨率处理带来显著的效率代价——随着视觉token数量增加（最大3600），注意力计算的二次复杂度使得推理延迟成倍增长，论文虽然承认这是一个开放问题但未提供解决方案。第二，数据质量改进流程高度依赖手动审查和外部模型（GPT-4o、o4-mini），这既增加了成本，也引入了对闭源模型的依赖，且论文未评估这种方法在不同领域或数据规模下的可扩展性。第三，$20/80$的推理/非推理比例缺乏理论支撑，论文坦承这可能不是最优配置，但未系统搜索更优比例。第四，模型对不同类型错误答案的鲁棒性分析不足——论文提到GPT-4o用于重生成答案，但未评估这种合成数据引入的偏差。改进方向包括：探索更高效的视觉token压缩方法（如文本条件化分辨率分配），减少对手动审查的依赖（开发自动化数据质量评估器），以及通过强化学习（RL）而非纯SFT来优化推理模式切换策略。
未来方向
论文作者提出了几个重要的开放研究方向。首先，需要研究数据比例在更大规模下的影响——当前实验在模型尚未饱和的小规模上进行，当数据量挑战现有模型能力边界时，不同推理任务间的性能权衡是否会变得更加明显。其次，极端数据不平衡比（如数学数据占总数据$1\%$以下）对竞争性推理任务的影响是未充分研究的问题。第三，文本条件化视觉token分配是一个有前景但尚未成熟的方向——当对特定问题询问高分辨率场景时，背景可以用较低分辨率编码以节省token，类似BLIP-2的Q-Former思想但需要在计算机使用场景中验证。基于本文成果可延伸的方向包括：将混合推理/非推理训练扩展到强化学习阶段，利用模型的推理能力进行自我改进；探索更细粒度的推理模式（如「轻度推理」介于直接回答和完整链式思维之间）；以及将数据质量工程方法论系统化为可复用的工具链。此外，论文暗示数学推理能力对计算机使用任务有正向迁移，这一发现值得在更多任务组合中验证。
复现评估
论文在开源方面做出了积极贡献：模型权重在Microsoft Foundry和HuggingFace上公开发布，采用宽松许可证，同时发布了微调代码和基准日志。评估使用了两个互补的开源框架（Eureka ML Insights和VLMEvalKit），并在H100 GPU上进行了标准化的延迟测试。然而，完全复现面临若干挑战。训练数据方面，论文承诺将在未来几个月内发布部分训练数据，但目前尚未完全公开；论文使用了大量经过手动筛选和合成增强的数据，这些预处理步骤难以精确复现。算力需求方面，虽然$200\text{B}$ token的训练量远低于竞品，但15B模型在H100集群上的三阶段训练仍需要可观的计算资源。此外，数据质量改进流程依赖的GPT-4o和o4-mini是闭源模型，不同时期访问可能产生不同结果。总体而言，模型权重和评估代码的开源大大降低了使用门槛，但完整训练流程的复现需要中等规模的计算投入和大量数据工程工作。
论文图表
展示了模型在多种日常任务中的应用示例，包括生成旅行图片描述、解读收据信息、阅读服装洗涤说明等场景。每个示例展示了输入图像和模型的输出回答。
直观展示了模型的广泛适用性，让读者理解该模型不仅仅局限于数学推理，还能处理日常生活中的多种视觉语言任务。