STEP3-VL-10B：重新定义紧凑效率与前沿多模态智能的权衡 STEP3-VL-10B Technical Report
10B参数多模态模型通过统一预训练和平行协调推理，在60+基准上媲美或超越100B+模型
前置知识
多模态大语言模型 (MLLM)
能够同时处理文本和图像输入的大语言模型，通过视觉编码器将图像转换为token序列，与文本token一起输入语言模型进行理解和推理。典型架构包括视觉编码器（如ViT）、投影层和语言解码器三部分。视觉编码器提取图像特征，投影层将视觉特征映射到语言模型的嵌入空间，解码器基于融合后的多模态上下文生成响应。
本文的核心是构建一个10B参数的MLLM，需要理解多模态模型的基本架构和训练范式，才能理解其技术创新点
强化学习与人类反馈 (RLHF)
一种通过强化学习优化语言模型的训练方法。首先用监督数据微调模型（SFT），然后训练奖励模型学习人类偏好，最后用PPO等策略梯度算法优化模型使其最大化奖励。核心思想是让模型生成人类更偏好的回答，而不仅仅是模仿训练数据。
本文采用RLHF和RLVR两种强化学习方式来提升模型的推理和对齐能力，是其后训练阶段的核心技术
Proximal Policy Optimization (PPO)
一种策略梯度强化学习算法，通过裁剪代理目标函数限制策略更新幅度，保证训练稳定性。核心公式通过概率比和优势估计的乘积，配合裁剪机制防止策略更新过大，实现稳定的策略优化。
本文使用PPO作为RL阶段的核心优化算法，理解PPO的工作原理是理解其训练过程的关键
Parallel Coordinated Reasoning (PaCoRe)
一种测试时推理扩展策略，通过并行生成多个感知假设（proposals），然后进行顺序交叉验证和综合，最终得出统一结论。类似于计算机视觉中RPN（Region Proposal Networks）的提议-精炼范式，将隐式的视觉过程显式化，实现多视角自我验证。
这是本文最核心的创新点，使10B模型能够在推理时动态扩展计算，突破参数规模限制实现前沿性能
Perception Encoder
专门为多模态场景优化的视觉编码器，与传统的纯视觉编码器（如DINOv3）不同，它在预训练阶段就与语言模型对齐，具有更好的语言兼容性。本文使用1.8B参数的语言优化版本（PE-lang），相比空间优化版本具有更好的收敛特性。
理解Perception Encoder与传统视觉编码器的区别，是理解本文架构设计选择的关键
Generalized Advantage Estimation (GAE)
一种在策略梯度方法中平衡偏差和方差的优势估计技术。通过指数加权的TD残差计算优势值，参数gamma控制折扣因子，lambda控制偏差-方差权衡。在本文中采用gamma=1和lambda=1的设置用于离策略场景。
本文在PPO中使用GAE进行优势估计，是理解其RL算法细节的必要知识
研究动机
当前多模态大模型的发展主要依赖规模扩张，专有前沿模型如Gemini-3-Pro和GPT-5.2通过大规模参数实现了卓越的多模态智能，但其巨大的计算需求对实际部署构成障碍。另一方面，轻量级模型（10B参数以下）通常被描述为高效但有限，难以在受限的参数预算内实现复杂的推理和感知能力。这种效率与能力之间的权衡限制了多模态模型的广泛应用，特别是在资源受限的场景中。传统观点认为小模型只能在简单任务上表现良好，而复杂的数学推理、精细视觉感知和长链条逻辑推理需要大参数量支撑。
本文的目标是本文旨在重新定义紧凑效率与前沿多模态智能之间的权衡。具体目标是构建一个10B参数的开源基础模型STEP3-VL-10B，使其在视觉感知、复杂推理和人类对齐方面达到甚至超越100B+参数模型的水平。通过在60+基准测试上进行全面评估，证明10B模型能够与GLM-4.6V-106B、Qwen3-VL-235B等大10-20倍的开源模型以及Gemini-2.5-Pro等顶级专有模型相媲美或超越。这一目标如果实现，将彻底改变多模态模型部署的经济学。
与已有工作不同的是，本文的独特切入角度是同时从预训练和后训练两个阶段进行战略设计创新。在预训练阶段，采用统一的完全解冻策略在1.2T多模态token上训练，整合语言对齐的Perception Encoder与Qwen3-8B解码器建立内在的视觉-语言协同。在后训练阶段，通过1000+次迭代的强化学习（包括RLVR和RLHF）扩展测试时计算，并引入PaCoRe（平行协调推理）分配资源进行可扩展的感知推理。这种感知与推理双中心的设计理念，使得紧凑模型能够解决通常需要更大系统才能处理的复杂感知和推理任务。关键洞察是：智能不严格受模型规模限制，而在于如何高效利用计算资源。
核心方法
STEP3-VL-10B的方法整体思路可以概括为一个统一的预训练框架加上一个精细的后训练流水线。在直觉上，作者认为要让小模型具备大模型的能力，关键在于两点：一是在预训练阶段就建立强健的视觉-语言协同基础，二是通过强化学习在推理时动态扩展计算能力。技术路线上，预训练阶段使用1.8B语言优化的Perception Encoder提取视觉特征，通过16倍空间降采样投影器与Qwen3-8B解码器连接，在1.2T多模态token上进行单阶段完全解冻训练。后训练阶段采用两阶段SFT（文本主导到多模态整合）后接1400次RL迭代，其中RLVR阶段训练600次建立逻辑基础，RLHF阶段300次进行人类偏好对齐，最后PaCoRe阶段500次扩展平行推理能力。
本文的核心创新点在于PaCoRe（平行协调推理）的设计和对感知任务RL训练动态的深刻洞察。与已有方法的本质区别在于：传统方法在推理时只能进行顺序推理，计算量固定；而PaCoRe借鉴计算机视觉中RPN的提议-精炼范式，先并行采样多个感知假设（16个rollouts），然后进行顺序交叉验证和综合，将隐式的视觉过程显式化。更关键的是，作者发现感知任务的RL训练存在长度缩减现象，与推理任务的顺序扩展不同，感知任务的平均rollout长度在训练后会回到起始水平。这被识别为推理任务（正相关）和确定性感知任务（通过熵减少实现策略精炼）两种对立属性的抵消效应。PaCoRe通过缺失轨迹假设解决了这个问题，为感知推理提供了必要的认知轨迹。
方法步骤详情
方法分为预训练和后训练两个主要阶段。预训练阶段包括五个步骤：第一，使用1.8B语言优化的Perception Encoder提取视觉特征；第二，通过投影器进行16倍空间降采样（两个连续的stride-2层）；第三，采用多裁剪策略将图像分解为728x728全局视图和多个504x504局部裁剪；第四，用AdamW优化器在1.2T token上训练370K迭代，序列长度4096，全局batch size 8192；第五，两阶段学习率调度，前900B token从5e-5衰减到1e-5，后300B token从1e-5衰减到6e-6。后训练阶段包括四个步骤：第一，两阶段SFT，Stage 1文本主导（文本与多模态比例9:1）训练190B token，Stage 2多模态整合（1:1）训练36B token；第二，RLVR阶段600次迭代，每迭代512个prompt乘以16 rollouts，最大序列长度24k；第三，RLHF阶段300次迭代，512个prompt乘以8 rollouts，最大序列长度32k；第四，PaCoRe阶段500次迭代，64个prompt乘以16 rollouts，最大序列长度64k。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在架构设计上选择语言优化的Perception Encoder而非空间优化版本，证明了视觉编码器的语言对齐是高效VL建模的先决条件，即使后续有万亿级生成训练也无法弥补。其次，在数据构建上建立了系统化的多维过滤管线，包括可检查性（GPT-OSS-120B四次独立验证）、视觉相关性（语义相关性评估）、难度控制（24 rollouts识别some-accept样本），确保RL训练数据质量。第三，发现并利用了感知任务RL训练的长度缩减现象，提出缺失轨迹假设解释这一现象，并通过PaCoRe显式化隐式视觉过程。第四，设计了二分奖励框架，可验证任务使用基于IoU或欧几里得距离的严格距离衰减奖励和模型验证，不可验证任务使用生成式奖励建模进行成对偏好评估，配合语言一致性惩罚、引用验证、认知校准等行为正则化防止奖励黑客。
实验结果
STEP3-VL-10B在60+基准测试中建立了10B参数模型的新性能标准。在STEM和多模态推理领域，模型在MMMU上达到78.11%（标准版）和64.08%（Pro版），在MathVision上超过MiMo-VL-RL-2508和Qwen3-VL 10个点以上。在视觉识别和VQA任务中，MMBench EN和CN分别达到92.05%和91.55%，在10B参数范围内建立最强性能。在空间理解方面，尽管没有特定数据整理，模型在2D和3D任务上展现出涌现能力。在OCR和文档理解上，OCRBench达86.75%，AI2D达89.35%。在GUI定位上，ScreenSpot-V2达92.61%，OSWorld-G达59.02%。在纯文本任务中，模型避免了多模态训练的性能权衡，AIME2025达87.66%，LiveCodeBench达75.77%，IFBench达43.28%。最引人注目的是PaCoRe模式的结果：MMMU提升至80.11%，MathVision提升至75.95%，AIME2025提升至94.43%，HMMT25提升至92.14%，在多个推理密集型基准上超越Gemini-2.5-Pro和Seed-1.5-VL。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多模态理解与推理 | MMMU | 80.11% (PaCoRe) | 75.20% (GLM-4.6V-106B) | +4.91% |
| 多模态数学推理 | MathVision | 75.95% (PaCoRe) | 63.50% (GLM-4.6V-106B) | +12.45% |
| 视觉识别 | MMBench EN | 92.38% (PaCoRe) | 92.75% (GLM-4.6V-106B) | -0.37% |
| 高级数学推理 | AIME2025 | 94.43% (PaCoRe) | 71.88% (GLM-4.6V-106B) | +22.55% |
| 数学推理 | HMMT25 | 92.14% (PaCoRe) | 57.29% (GLM-4.6V-106B) | +34.85% |
| OCR | OCRBench | 89.00% (PaCoRe) | 86.20% (GLM-4.6V-106B) | +2.80% |
| GUI定位 | ScreenSpot-V2 | 92.61% | 92.14% (GLM-4.6V-Flash-9B) | +0.47% |
| 代码生成 | LiveCodeBench | 76.43% (PaCoRe) | 48.71% (GLM-4.6V-106B) | +27.72% |
局限与改进
尽管STEP3-VL-10B取得了显著成果，但仍存在几个重要局限性。首先，作者承认模型在纯文本任务上仍落后于最大的专有模型，例如在MMLU-Pro上77.09%对比Gemini-2.5-Pro的86.45%，在GPQA-Diamond上73.99%对比84.06%。其次，PaCoRe模式虽然显著提升性能，但需要16个rollouts的并行计算，推理成本较高，最大序列长度扩展到131072 token。第三，模型在某些感知密集型任务上仍与大模型存在差距，如在PixMo-Count上71.61%对比Qwen3-VL-235B的79.80%。第四，作者指出当前多模态RL依赖静态或噪声代理标签，存在现实差距，模型在数字任务上表现出色，但在物理世界交互方面仍有瓶颈。第五，论文提到的缺失轨迹假设表明训练数据中缺乏人类视觉认知的迭代过程，如扫视-聚焦机制，限制了感知推理的进一步扩展。
独立分析的弱点
基于独立分析，STEP3-VL-10B存在以下几个值得关注的弱点。第一，PaCoRe的计算效率问题：虽然论文展示了平行推理的显著收益，但16个rollouts的并行生成和后续综合增加了约16倍的推理成本，这对于实时应用可能不切实际。改进方向可以探索更高效的并行策略，如自适应rollout数量或提前终止机制。第二，感知任务的长度缩减现象表明模型可能过度压缩了视觉推理过程，虽然PaCoRe部分解决了这个问题，但将其内化为模型参数的自蒸馏方法仍待实现。第三，奖励系统设计复杂且依赖外部模型GPT-OSS-120B进行验证，增加了训练成本和潜在的级联错误。第四，多裁剪策略虽然避免了变长打包的复杂性，但728x728和504x504的固定裁剪尺寸可能限制了对极端长宽比图像的处理能力。
未来方向
作者在论文中明确提出了三个未来研究方向。第一，从语义世界模型到物理世界模型：当前的文本多基智能体综合只是构建语义世界模型的基础步骤，需要扩展到大规模视频轨迹和感觉运动动作序列，将不同模态统一为超越语言逻辑的整体世界模型，内化物理因果关系和时空动态。第二，物理作为终极验证器：当前多模态RL依赖静态或噪声代理标签，需要整合高保真仿真环境，让奖励由不可变的物理定律严格控制，将学习范式从表面模仿转变为交互驱动的掌握。第三，具身思维链E-CoT：扩展推理上下文以显式建模时间动态和物理状态转换，通过训练模型在行动前预测动态来表达物理直觉。此外，基于现有成果可延伸的方向包括将PaCoRe的平行推理轨迹通过自蒸馏内化为模型参数，实现系统2到系统1的压缩，以及探索更高效的RL训练范式，减少对外部验证模型的依赖。
复现评估
在可复现性方面，STEP3-VL-10B具有较好的开放性。模型权重已在ModelScope和HuggingFace公开发布，提供了完整的模型套件。论文详细描述了训练超参数，包括AdamW优化器参数、学习率调度、batch size、序列长度等，数据构建流程包括各领域的数据来源、过滤策略、增强方法，以及RL训练的完整配置包括奖励系统设计、迭代次数、rollout数量。然而，完全复现仍面临几个挑战：1.2T多模态token的预训练数据集虽然描述了来源，但完整数据集未公开发布；RL训练依赖内部前沿模型生成高质量响应和GPT-OSS-120B进行验证，外部研究者可能难以获取这些资源；1400次RL迭代的计算成本相当高，需要大规模GPU集群。论文还提到了评估细节，包括60+基准的prompt格式和重复评估策略，这有助于结果的可验证性。总体而言，虽然模型可直接使用，但从头复现训练流程需要显著的计算和数据资源投入。
论文图表
四张折线图展示MathVision、We-Math、MMMU-Pro、ReMI四个指标在100、300、500次迭代时的变化。所有指标都呈现快速初始增长后稳定改善的两阶段增长轨迹，与奖励动态一致。MathVision从约64提升到72，MMMU-Pro从约58提升到65。
证明RL训练能够持续提升多模态性能且不饱和，为从预训练向RL转移计算资源的策略提供实证支持
展示了PaCoRe处理定位任务的推理过程。模型首先聚合参考答案，然后交叉验证其有效性，最终识别最终答案的潜在模式。展示了复杂的类人验证行为。
直观展示PaCoRe的工作机制，说明模型如何通过多视角综合得出结论
展示PaCoRe的输入格式模板，将当前问题和紧凑消息集嵌入模型上下文。消息被框架为参考响应以鼓励模型综合多样视角。
提供PaCoRe实现的技术细节，是复现该方法的关键参考