Vero：通用视觉推理的开放强化学习训练框架 Vero: An Open RL Recipe for General Visual Reasoning
提出完全开源的视觉推理训练方案，通过六类任务的多任务RL实现广泛能力提升
前置知识
强化学习与策略优化
强化学习是一种通过与环境交互来优化决策过程的机器学习方法。在策略优化中，智能体根据当前状态选择动作，环境根据状态转移函数和奖励函数给出新的状态和奖励。策略梯度方法直接优化策略参数 $ heta$，目标是最大化期望累积奖励。PPO（Proximal Policy Optimization）通过引入重要性采样比率裁剪来限制策略更新幅度，确保训练稳定性。GSPO（Group Sequence-level Policy Optimization）进一步改进，使用序列级别的比率而不是每个token的独立比率，能够更好地处理多token的生成任务。在这个公式中，$J(\theta)$ 是优化目标，$s_{i,t}(\theta)$ 是序列级比率，$A_i$ 是优势函数，$\epsilon_{low}$ 和 $\epsilon_{high}$ 是非对称裁剪参数。
论文使用GSPO算法对视觉语言模型进行训练，需要理解策略优化的基本原理和目标函数的意义，才能理解为什么选择GSPO而不是其他RL算法，以及它如何帮助模型在多任务场景下稳定训练。
视觉语言模型与多模态理解
视觉语言模型（VLM）是能够同时处理视觉和语言输入的神经网络模型。典型的架构包括视觉编码器（如CLIP的Vision Transformer）提取图像特征，大型语言模型处理文本输入和生成输出，以及一个连接器模块将视觉特征映射到语言模型的输入空间。模型需要执行各种视觉推理任务，从简单的物体识别到复杂的图表解读、空间推理和多步推理。这些任务不仅需要识别视觉元素，还需要理解它们之间的关系，并结合常识或领域知识进行推理。训练这些模型通常需要大量的多模态数据，包括图像-文本对、视觉问答数据等。
本文的核心目标就是提升视觉语言模型在广泛的视觉推理任务上的表现，需要理解VLM的基本架构和任务类型，才能理解为什么需要特定的数据混合策略和奖励设计，以及如何评估模型的性能。
多任务学习与任务干扰
多任务学习是指同时学习多个相关任务的机器学习方法。理想情况下，不同任务之间可以共享知识，通过归纳迁移提高泛化能力。然而，在实际训练中，异构任务之间可能产生负面干扰。干扰可能来自优化梯度方向的不一致、任务难度差异导致的训练不平衡、或者任务特定的特征与通用特征的冲突。缓解干扰的方法包括任务权重调整、梯度操作（如PCGrad）、任务特定的模块设计等。在强化学习中，多任务训练更加复杂，因为每个任务有自己的奖励函数和最优策略，需要精心设计奖励信号来平衡不同任务的学习。
本文的关键发现之一是单一任务训练无法泛化到其他任务类别，甚至可能产生负面迁移，而六类任务的混合训练实现了正向迁移。理解多任务学习的挑战和解决方案，才能理解论文的混合策略设计以及为什么均匀权重表现最好。
奖励函数设计
在强化学习中，奖励函数定义了智能体需要优化的目标。对于结构化输出任务，奖励函数通常包括准确性和格式合规性。准确性奖励可以采用多种形式：二值奖励（完全正确或错误）、部分奖励（部分匹配）、数值容忍度奖励（数值答案在误差范围内）、IoU（交并比）奖励（用于边界框定位）、以及LLM-as-judge奖励（使用大语言模型评估开放性答案）。格式奖励确保输出符合特定格式要求，如包含特定的标签或结构。奖励设计需要平衡任务的特定需求和通用性，同时避免奖励黑客（模型通过钻规则空子来获得高奖励但实际质量差的输出）。
本文的一个重要贡献是设计了任务路由的奖励系统，能够处理十种不同类型的答案格式。理解奖励函数的设计原理，才能理解为什么这种多路由设计优于单一奖励（如math_verify），以及如何在多任务场景下避免负面奖励黑客。
研究动机
现有的最先进视觉推理模型（如GPT-5、Qwen3-VL）虽然表现优异，但其训练数据、算法细节和奖励设计都是不公开的，这导致研究人员无法系统地研究其性能来源，无法复现结果，也无法基于现有成果进行扩展。同时，完全开源的RL训练方法（如OpenMMReasoner、VL-Rethinker）主要关注数学推理等狭窄领域，缺乏对广泛视觉任务的覆盖。在多任务RL训练中，异构任务的混合常常导致干扰、弱迁移和优化不平衡，除非精心设计训练分布和奖励函数。例如，训练在单一任务类别上的模型在其他类别上表现可能下降，训练在非开放性任务上的模型会丧失视觉对话能力。
本文的目标是本文的目标是构建一个完全开源的视觉推理训练框架，能够在广泛的视觉推理任务上实现优异性能。具体而言，作者希望开发一个简单的单阶段RL训练流程，配合多样化和高质量的数据混合以及任务路由的奖励设计，使得训练出的模型在多个任务类别上都有提升。同时，希望通过系统性的消融实验，理解数据多样性、任务混合策略和奖励设计对性能的影响，为开放的多模态RL研究提供可复现的基础。
与已有工作不同的是，本文的独特切入角度在于提出了一个完全开放的RL训练方案，不仅开源数据和代码，还开源了完整的训练流程和实验结果，这与现有私有模型的封闭训练形成鲜明对比。更重要的是，本文系统地研究了多任务视觉推理RL训练中的数据多样性和任务迁移问题，发现不同任务类别会激发截然不同的推理模式，而广泛的任务覆盖是实现通用能力的关键。这不同于现有工作主要关注算法优化或单一领域任务，而是将多任务RL重新构建为分布设计问题而非仅是优化器设计问题。
核心方法
Vero方法的核心思想是通过多样化的数据混合和任务路由的奖励设计，实现单阶段RL训练来提升模型的通用视觉推理能力。整体思路是先从250+候选数据集中筛选出59个高质量数据集，组织成六个任务类别，每个类别100K样本，构建600K样本的Vero-600K训练集。然后使用GSPO算法对初始模型进行RL训练，配合十种任务类型的奖励函数。该方法不需要多阶段训练、教师蒸馏或额外的预热启动，是一个简单但有效的单阶段训练流程。关键的设计选择包括数据集级别的启发式筛选和手动质量控制、样本级别的LLM过滤、任务类别的均匀混合权重，以及针对不同答案格式的任务路由奖励系统。
Vero的核心创新点在于认识到不同视觉推理任务会激发不同的推理模式，因此需要通过广泛的任务覆盖来培养模型的通用能力，而非专注于狭窄领域。具体而言，作者发现STEM任务会激发更多的回溯和自我评估行为，而grounding任务则更倾向于抑制内省行为，转向直接的视觉搜索。训练在单一类别上的模型在其他类别上的表现往往下降，甚至可能崩溃为只产生简短的结构化答案。因此，Vero的关键创新是设计了一个包含六类任务的平衡混合数据集，配合任务路由的奖励系统，使得模型能够同时学习多种推理策略。这与现有工作主要集中在算法优化或单一领域形成鲜明对比，将多任务RL重新构建为分布设计问题。
方法步骤详情
Vero的训练流程包括数据收集、数据过滤、混合设计和RL训练四个主要步骤。数据收集阶段从250+候选数据集中手动筛选出59个数据集，每个数据集被分配到一个最适合其主要技能的任务类别。启发式筛选排除样本数少于1K、平均图像分辨率低于200K像素或包含二元选择问题的数据集。手动筛选检查约50个样本的标注正确性、问题明确性和答案可验证性。数据过滤阶段使用Qwen3-235B模型对每个样本进行五维度的评分过滤：相关性、歧义性、语言、可验证性和数值精度。答案过滤使用LLM分类器将答案类型归类为多选题、数值、字符串或不可解析，然后进行规则化的标准化处理。混合设计阶段对比了四种任务类别权重方案：均匀权重、难度加权（基于初始准确率的反比）、推理长度加权、图像大小加权，发现均匀权重表现最好。RL训练阶段使用GSPO算法，配合十种任务类型的奖励函数，包括字符串匹配、多选题、数值、列表匹配、排序、网络操作、定位（IoU/F1）、点击、指令遵循和LLM-as-judge。训练超参数包括学习率1×10⁻⁶、批次大小256、每提示8个rollout、非对称裁剪参数(ε_low=0.0003, ε_high=0.0004)。
技术新颖性
Vero的技术新颖性体现在多个方面。首先，这是第一个完全开源的视觉推理RL训练框架，包括数据、代码和模型，与现有私有模型的封闭训练形成鲜明对比。其次，Vero-600K是第一个覆盖六类任务的多样化RL数据集，相比现有工作主要集中在数学推理等狭窄领域，提供了更全面的视觉推理能力。第三，任务路由的奖励系统是新颖的，针对十种不同的答案格式设计了特定的奖励计算方法，优于单一奖励设计（如math_verify）。第四，通过行为分析和技能提取，作者系统地研究了不同任务类别对推理行为的影响，发现不同任务类别会激发不同的推理模式和技能组合，这为理解多任务RL训练提供了新的见解。最后，论文提出了VeroEval评估套件，包含30个基准测试覆盖所有六个类别，为视觉推理模型的全面评估提供了标准。
实验结果
Vero在多个基准测试上取得了显著性能提升。Vero-Qwen35-9B在VeroEval的30个基准测试中平均达到74.4分，比初始模型提升+2.9分，在25个基准测试上胜出，并且所有六个类别平均分都有提升：Chart & OCR (+2.3)、STEM (+3.3)、Spatial & Action (+4.0)、Knowledge & Recognition (+2.5)、Grounding, Counting & Search (+2.3)、Captioning & IF (+4.1)。在8B模型中，Vero-Qwen3I-8B和Vero-Qwen3T-8B分别达到66.1和65.8平均分，超越Qwen3-VL-8B-Thinking +3.8和+3.5分。Vero-Qwen25-7B比OpenMMReasoner-7B高+5.6分，尽管OpenMMReasoner使用了874K示例的教师蒸馏预热启动。最令人印象深刻的是，将Vero直接应用于仅预训练的Qwen35-9B-Base模型，在没有SFT或蒸馏预热的情况下获得+12.9分的提升，达到73.0平均分，仅次于Vero-Qwen35-9B。消融实验显示均匀任务权重优于其他权重方案，多路由奖励设计优于单一math_verify奖励，GSPO算法优于GRPO和DAPO并且训练更稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ChartQA-Pro (图表问答专业版) | 准确率 | Vero-Qwen35-9B: 71.2% | Qwen35-9B: 66.1% | +5.1% |
| MMMU-Pro Standard (多学科多模态问答) | 准确率 | Vero-Qwen35-9B: 71.3% | Qwen35-9B: 70.1% | +1.2% |
| Blink (细粒度视觉感知) | 准确率 | Vero-Qwen35-9B: 70.9% | Qwen35-9B: 67.4% | +3.5% |
| RealWorldQA (现实世界理解) | 准确率 | Vero-Qwen35-9B: 80.1% | Qwen35-9B: 73.3% | +6.8% |
| ScreenSpot (GUI定位) | 准确率 | Vero-Qwen35-9B: 90.8% | Qwen35-9B: 85.5% | +5.3% |
| MM-MTBench (多模态对话评估) | 得分 | Vero-Qwen35-9B: 83.8% | Qwen35-9B: 78.2% | +5.6% |
局限与改进
本文的局限性包括：首先，虽然研究展示了数据多样性的重要性，但没有确定任务分类法的最优方案或实现广泛迁移的最小任务集。例如，数据混合中不包括视频或多轮对话任务。其次，行为分析是描述性的而非因果性的：作者观察到不同任务类别在推理追踪中的差异，但还没有确定这些行为提高准确性的确切机制。第三，分析主要集中在小型模型（7B-9B参数），未来工作应该研究更大的模型和更多样的任务集。第四，LLM-as-judge奖励可能引入评估偏差，尽管作者通过严格的指导原则减少了奖励黑客。最后，训练数据虽然多样化，但仍然受到现有公开数据集的限制，可能无法覆盖所有可能的视觉推理场景。
独立分析的弱点
Vero方法的一个潜在弱点是对高质量数据的依赖，数据筛选和过滤过程虽然有效但相对昂贵和耗时。另一个弱点是均匀权重方案可能不是最优的，更精细的权重设计可能进一步提升性能。此外，当前方法没有处理视频和多模态时间序列任务，这在实际应用中很重要。模型在不同任务类别上的推理长度差异很大（Spatial & Action平均1983.3词，Knowledge & Recognition平均75.8词），这可能导致训练不平衡和优化困难。LLM-as-judge奖励的评估偏差仍然是一个问题，特别是在主观性较强的任务中。最后，当前方法主要关注单轮任务，多轮对话和交互式推理的能力尚未得到充分探索。
未来方向
未来研究方向包括：首先，探索更精细的任务分类法和权重设计，可能包括动态权重调整或基于任务难度的自适应采样。其次，扩展到视频和多模态时间序列任务，以及多轮对话场景，这将使模型适用于更广泛的应用。第三，深入研究行为分析的因果关系，理解特定推理行为如何影响准确性，这可能指导更有效的训练策略设计。第四，探索更强大的奖励函数设计，包括更鲁棒的LLM-as-judge评估和自动化的奖励黑客检测。第五，研究更大的模型规模（如30B+参数）和更多样的任务集，理解在更大规模下多任务RL训练的行为。最后，探索更高效的数据筛选和过滤方法，包括自动化的质量评估和主动学习，以减少人工标注成本。
复现评估
Vero的复现性很强，因为所有数据、代码和模型都公开可用。作者提供了详细的数据集文档、训练配置、评估协议和补充分析。数据筛选和过滤过程虽然使用LLM，但提供了完整的提示词和参数设置，可以复现。RL训练使用VeRL框架和GSPO算法，训练超参数在论文中详细列出（学习率1×10⁻⁶、批次大小256、每提示8个rollout、训练步数2,343、使用8个H100 GPU）。评估使用lmms-eval框架，遵循每个基准的官方评估协议。主要的复现挑战是计算资源需求（8个H100 GPU）和LLM评估器的可用性（Qwen3-32B）。总体而言，Vero为开放视觉推理研究提供了一个高度可复现的基础。
论文图表
