条条大路通罗马：在视觉-语言模型中激励发散思维

提出MUPO方法解决RL模型的多样性崩溃问题

前置知识

GRPO (Group Relative Policy Optimization)

一种用于大模型的强化学习算法，通过对比多个候选输出并奖励优秀的、惩罚较差的来优化模型策略。给定策略模型$\pi_\theta$，其目标是最大化$J_{GRPO}(\theta) = \mathbb{E}[\frac{1}{|G|}\sum_i \min(r_i(\theta)\hat{A}_i, \text{clip}(r_i(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_i)]$，其中$r_i(\theta) = \frac{\pi_\theta(o_i|q,I)}{\pi_{\theta old}(o_i|q,I)}$是重要性权重，$\hat{A}_i$是估计的token级优势。这种方法通过相对比较而非绝对值来提升模型性能，减少了训练不稳定性。

本文的核心对比对象是GRPO，理解它的工作原理和缺陷（多样性崩溃）是理解MUPO创新点的关键基础。

Divergent Thinking（发散思维）

指从多个角度探索问题解决方案的认知过程，与收敛思维形成对比。在视觉-语言模型的推理中，发散思维意味着模型能够生成多种不同的推理策略（如几何题既可以用方程求解，也可以用验证法；计数题既可以逐个枚举，也可以用排除法），而不仅仅是沿着单一路径深挖。本文通过余弦距离$d(o_i, o_j)$量化推理多样性，定义为推理段落的嵌入向量之间的成对平均距离。

这是本文的核心贡献所在——证明RL模型失去了基线模型的发散思维能力，并提出MUPO来恢复这种能力，这对理解问题的本质至关重要。

Test-Time Scaling（测试时扩展）

一种通过在推理时分配额外计算资源来提升模型性能的策略，分为两类：顺序扩展（如逐步生成、自我反思、验证）和并行扩展（如采样多个候选并通过一致性或验证器聚合）。本文使用acc@k指标衡量并行扩展能力，定义为在k次采样中至少有一次得到正确答案即为成功。给定温度参数$\tau=1.0$，模型生成$k=1,2,4$个响应，acc@4能更好反映模型通过多样化策略解决问题的能力。

本文发现RL模型在并行扩展上表现不佳（acc@4提升有限），而MUPO通过保持多样性显著改善了这一点，这是评估方法实用性的重要维度。

研究动机

现有强化学习方法在视觉-语言模型应用中存在一个关键但被忽视的问题：RL模型虽然准确率更高，但失去了基线模型的发散思维能力。具体实验数据显示，在3B和7B规模下，RL模型（如Vision-R1、VLAA-Thinker）在acc@1上超越基线模型（如Qwen2.5-VL），但当允许$k=4$次采样时，基线模型的acc@4显著提升，而RL模型的增益有限（图2）。例如在几何题中，RL模型只会用方程求解，而基线模型还能用验证法；在计数题中，RL模型只会逐个枚举，而基线模型会用排除法。根本原因是GRPO在训练早期（前20步）就出现了多样性崩溃（图3A），推理多样性从$0.20$急剧下降到接近$0$，导致模型过早收敛到有限策略子集，丢弃了大多数潜在路径。这带来了两个严重问题：1）探索被利用压倒，容易陷入局部最优；2）可扩展性差，无法覆盖广泛的问题谱系。

本文的目标是本文的目标是提出一种方法，在RL训练中保留基线模型的发散思维能力，使模型既能对单个解决方案进行深度推理，又能维护多样化的策略库。具体来说，作者希望开发一个能够激励多解决方案发散思维的算法，让模型不仅深入优化单个路径，还能探索并保留不同的推理模式，从而在测试时能够通过多样化尝试解决更多问题。实现这个目标需要在保持RL带来的准确率提升的同时，避免多样性崩溃现象。

与已有工作不同的是，本文的独特切入角度是关注推理的宽度而非深度。现有研究主要集中在提升RL推理的深度：有的采用采样视角选择信息量大的轨迹[50,53]，有的专注于视觉特征通过精细奖励设计促进感知感知推理[14,34]，有的探索通过熵机制集成不确定性鼓励探索[7,15,40]。但这些方法都忽略了培养发散策略，无法让模型同时具备深度和广度。本文通过对比RL和基线模型的行为差异，首次系统性揭示了多样性崩溃问题，并从并行思维的角度提出MUPO，填补了现有RL算法在维持推理多样性方面的空白。

核心方法

MUPO（Multi-Group Policy Optimization）的整体思路是将模型响应划分为多个组，每个组代表不同的推理策略，然后在每个组内进行局部优势估计，并通过多样性奖励促进组间分离。直观上，GRPO是在全局优化一个最佳策略，导致模型收敛到单模态分布；而MUPO是同时优化多个不错策略，让模型保持多模态分布，从而在探索和利用之间找到更好的平衡。技术路线上，MUPO首先通过约束聚类将N个响应分成K组，每组最小规模为$G_{\min}$以确保可靠的优势估计；然后计算每组的局部优势$\hat{A}_k^i$和多样性奖励$R_{div}$；最后通过加权组合多个GRPO目标来优化策略，其中负载平衡权重$w_k$确保各组贡献均衡，多样性奖励权重$\lambda$按余弦退火策略从$\lambda_{\max}=0.4$衰减到$\lambda_{\min}=0.1$，鼓励早期探索后期利用。

MUPO与GRPO的本质区别在于：1）GRPO在全局计算优势，所有响应相互竞争，导致收敛到单一模式；MUPO在组内计算局部优势，组间相互合作，每个组可以发展自己的推理模式。2）GRPO只有准确率奖励$R_{acc}$和格式奖励$R_{fmt}$；MUPO额外引入多样性奖励$R_{div}$，计算轨迹$o_k^i$与所有其他组响应的平均嵌入距离：$R_{div} = \frac{1}{N-|G_k|}\sum_{m \neq k}\sum_{j=1}^{|G_m|}d(o_k^i, o_m^j)$，鼓励组间分离。3）GRPO隐式假设所有响应应该集中到最优策略；MUPO显式假设不同问题可能需要不同策略，应该保持多个足够好的策略。4）MUPO的最终奖励是$R_k^i = R_{acc} + R_{fmt} + \lambda \cdot \mathbb{1}[R_{acc}=1] \cdot R_{div}$，其中准确率条件防止模型牺牲正确性换取多样性。这种设计使MUPO在技术上既保持了RL的深度优化能力，又恢复了基线模型的广度探索能力。

方法步骤详情

MUPO方法包含以下完整步骤：步骤1-采样和分组：给定问题$q$、答案$y$和视觉输入$I$，从旧策略$\pi_{\theta old}$采样$N=15$个响应$\{o_i\}_{i=1}^N$，使用约束聚类基于嵌入空间将其分为$K=3$组$\{G_k\}_{k=1}^K$，每组至少$G_{\min}=3$个响应。步骤2-计算奖励：对每组$G_k$的每个响应$o_k^i$，使用验证器计算准确率奖励$R_{acc}$（正确为1否则0）和格式奖励$R_{fmt}$，然后计算多样性奖励$R_{div}$为该响应与其他所有组响应的余弦距离平均值。步骤3-优势估计：在每组内标准化奖励序列$R = \{R_1, R_2, ..., R_{|G_k|}\}$得到局部优势$\hat{A}_k^i = \frac{R_{ki} - \text{mean}(R)}{\text{std}(R)}$，这确保每组内的优化独立进行。步骤4-计算负载平衡权重：$w_k = \frac{N}{K|G_k|}$，调节每组对整体目标的贡献，防止大组主导优化。步骤5-组合目标和优化：最大化$J_{MUPO}(\theta) = \mathbb{E}[\sum_{k=1}^K w_k \frac{1}{|G_k|}\sum_{i=1}^{|G_k|}\min(r_k^i(\theta)\hat{A}_k^i, \text{clip}(r_k^i(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_k^i)]$，这是多个GRPO目标的加权和，通过梯度上升更新策略参数$\theta$。步骤6-退火多样性奖励权重：按照$\lambda = \lambda_{\min} + \frac{\lambda_{\max}-\lambda_{\min}}{2}(1+\cos(\pi \cdot \frac{t_{cur}}{t_{max}}))$从$\lambda_{\max}=0.4$平滑衰减到$\lambda_{\min}=0.1$，实现从探索到利用的过渡。

技术新颖性

MUPO的技术新颖性体现在多个方面：1）首次将并行思维系统性地集成到RL框架中，通过多组划分和局部优化同时维持多个推理模式，这与现有顺序思维的RL方法[11,18,38]形成鲜明对比。2）引入组间多样性奖励作为新的奖励维度，用$R_{div}$显式量化并鼓励推理模式的差异，而传统方法只关注准确率和格式等单一路径指标。3）提出负载平衡机制$w_k$和余弦退火$\lambda$调度，在探索和利用之间建立平滑过渡，避免了GRPO的过早收敛和后期停滞问题。4）发现并形式化了多样性崩溃现象，将其定义为训练初期推理多样性的急剧下降，这为理解RL训练动力学提供了新视角。5）在算法设计上，MUPO是GRPO的直接drop-in替代品，保持简单易用的同时显著扩展了搜索空间，这在实用性和创新性之间找到了平衡。

实验结果

核心发现有三个层面：首先，MUPO在多个基准上建立了新的state-of-the-art。在数学基准上（MathVerse、MathVista、MathVision、LogicVista、WeMath、Geometry3K），MUPO-Thinker-7B的平均acc@1从之前最好的49.1%提升到51.6%，acc@4从52.8%提升到58.8%，提升幅度分别为2.5%和6.0%。在通用基准上（MMStar、HallusionBench、MMVet），平均acc@1从63.3%提升到65.6%，acc@4从66.2%提升到72.4%，提升分别为2.3%和6.2%。特别值得注意的是，MUPO-Thinker-3B在数学基准上达到43.0% acc@1和51.5% acc@4，在通用基准上达到57.8% acc@1和65.2% acc@4，平均增益5.9%（50.1%→56.0%），性能已经接近甚至超过一些7B基线模型。其次，MUPO确实诱导了发散思维。图6的t-SNE可视化显示，与GRPO的狭窄单峰分布不同，MUPO呈现宽广的多模态结构，每个模态对应不同的求解策略。图8的学习曲线显示，准确率稳步提升的同时，多样性奖励呈现上升-下降-平台的规律性趋势：初期上升表明模型在积极探索不同模式，中期下降对应$\lambda$衰减转向利用，最终平台反映训练已稳定在有效解周围。第三，消融实验揭示了关键参数的影响：组数K=3时达到最优（表4），K=1退化为GRPO；数学任务偏好更大的K（灵活策略），通用任务偏好较小的K（结构化推理）；多样性奖励权重$\lambda_{\max}=0.4$和$\lambda_{\min}=0.1$是最佳配置（图9），增大或减小都会损害性能。

**Figure 9**: 多样性奖励权重$\lambda_{\max}$和$\lambda_{\min}$的消融研究

查看结构化数据

任务	指标	本文	基线	提升
数学推理（6个基准平均）	acc@1	51.6%	Vision-R1: 49.1%	+2.5%
数学推理（6个基准平均）	acc@4	58.8%	Vision-R1: 52.8%	+6.0%
通用推理（3个基准平均）	acc@1	65.6%	Vision-R1: 63.3%	+2.3%
通用推理（3个基准平均）	acc@4	72.4%	Vision-R1: 66.2%	+6.2%
3B规模综合性能	平均acc@1	48.3%	LMM-R1: 46.1%	+2.2%
3B规模综合性能	平均acc@4	56.0%	LMM-R1: 50.1%	+5.9%

局限与改进

作者承认的局限性包括：MUPO的计算开销较大，因为需要采样$N=15$个响应并计算成对嵌入距离，而GRPO通常采样较少；聚类算法增加了额外复杂性，需要仔细选择聚类方法和$G_{\min}$阈值；多样性奖励的权重调度（余弦退火）需要针对不同任务调优，通用性有待验证。我自己观察到的局限：1）实验主要在3B和7B规模上进行，更大模型（如70B）的适用性未知，可能需要调整K和N参数；2）多样性奖励依赖于Qwen3-Embedding-0.6B提取嵌入，不同编码器可能影响效果；3）某些简单任务可能不需要多策略探索，强制多样性可能浪费计算资源；4）论文未分析推理嵌入在高维空间中的分布特性，多样性指标的鲁棒性有待验证；5）与proprietary模型（GPT-5-Thinking: 76.1% acc@1）仍有较大差距，说明提升空间还很大。

独立分析的弱点

独立分析的弱点包括：第一，计算效率问题。MUPO需要采样15个响应并计算所有成对距离，时间复杂度为$O(N^2)$，在实际部署中可能过于昂贵。改进方向：开发动态采样策略，早期用大N后期用小N；或者用层次聚类减少距离计算次数。第二，聚类质量依赖性。当前使用约束聚类，但聚类质量直接影响组内同质性和组间差异性，错误的聚类可能导致策略混合。改进方向：引入自监督聚类或基于语义相似度的软分组；或者自适应调整K值，根据问题复杂度动态决定组数。第三，奖励平衡问题。多样性奖励和准确率奖励的权重调度虽然用余弦退火，但$\lambda_{\max}$和$\lambda_{\min}$仍然需要手动调优，缺乏自适应机制。改进方向：基于验证准确率梯度自动调整$\lambda$；或者引入元学习框架学习最优调度策略。第四，单一任务假设。论文假设一个问题有多个有效策略，但这不总是成立。改进方向：引入策略识别器，先判断问题是否适合多策略探索再决定启用MUPO或GRPO。第五，缺乏跨模态验证。当前奖励主要基于文本准确率，视觉感知的多样性未被量化。改进方向：设计跨模态一致性奖励，确保视觉和文本策略都保持多样性。

未来方向

作者提出的未来工作包括：将MUPO扩展到其他模态和任务，如视频推理和音频-语言模型；探索自适应组数K，根据任务复杂度动态调整；研究MUPO与其他RL技术（如不确定性采样、感知感知奖励）的协同效应；分析更大规模模型的训练动力学。基于论文成果可以延伸的方向包括：1）理论分析：建立MUPO收敛性和多样性的理论框架，证明在什么条件下多组优化优于单组优化；2）自动化调优：开发自动搜索最优超参数（K、$G_{\min}$、$\lambda_{\max}$、$\lambda_{\min}$）的框架；3）在线学习：研究如何在推理过程中持续更新和优化策略组，实现真正的持续学习；4）跨任务迁移：探索在一个任务上学习到的策略组如何迁移到相关任务，减少训练成本；5）可解释性：深入分析每组代表的推理模式，建立策略到语义的映射，增强模型的可解释性；6）硬件优化：针对MUPO的多组并行特点，设计专用硬件加速方案，降低计算开销。

复现评估

复现评估方面：论文提供了详细实现细节，所有模型在ViRL39K数据集上训练2个epoch，学习率$1e^{-6}$，使用Qwen2.5-VL-3B和7B作为基线。关键参数已公开：采样数$N=15$、组数$K=3$、最小组大小$G_{\min}=3$、负载平衡指数$\beta=1$、多样性奖励权重$\lambda_{\max}=0.4$和$\lambda_{\min}=0.1$。项目页面https://xytian1008.github.io/MUPO/承诺开源代码和模型权重，但截至论文发表时尚未发布。算力需求方面：2个epoch训练约需2-4张A100 GPU（根据模型规模），推理时由于需要采样15个响应，内存和计算开销约为GRPO的3倍。数据集ViRL39K是公开的，但约束聚类和嵌入编码（Qwen3-Embedding-0.6B）的具体实现细节需要额外信息。总体难度中等，有完整的实验配置和参数设置，但代码未开源增加了复现门槛。

条条大路通罗马：在视觉-语言模型中激励发散思维 All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models