模型自我评判：多模态推理的无监督自进化训练框架

Actor-Judge架构实现多模态推理无监督自进化，无需标注数据

前置知识

Group Relative Policy Optimization (GRPO)

GRPO是一种强化学习优化算法，由DeepSeek团队提出。与传统PPO需要单独的Critic网络不同，GRPO通过对同一输入生成的多个采样轨迹进行组内相对比较来估计优势函数。具体而言，对于每个输入 $x$，采样 $n$ 条轨迹 $\{\tau_1, ..., \tau_n\}$，计算组内log-sum-exp基线 $b(x) = \log \sum_{j=1}^{n} \exp(\tilde{r}_j)$，然后将每条轨迹的优势定义为 $A_k = \tilde{r}_k - b(x)$。这种方式消除了对绝对奖励值的依赖，使得训练更加稳定。

本文的核心优化算法直接基于GRPO，理解其组内相对比较机制是理解本文方法的基础

多模态大语言模型 (MLLM)

多模态大语言模型是能够同时处理文本和图像等多模态输入的大规模语言模型。典型代表包括Qwen2.5-VL、InternVL等，它们通过视觉编码器将图像转换为token序列，与文本token一起输入Transformer进行推理。这些模型在视觉数学推理、图表理解、复杂场景推理等任务上展现出强大能力，但其性能提升仍高度依赖高质量标注数据或教师模型蒸馏。

本文的研究对象就是MLLM，旨在解决其对标注数据的依赖问题

自一致性信号 (Self-Consistency)

自一致性是一种测试时推理策略，通过对同一问题多次采样生成多个答案，然后选择出现频率最高的答案作为最终输出。其核心假设是：如果模型对某个答案具有较高的一致性（多次采样得到相同答案），那么该答案更可能是正确的。在本文中，自一致性被用作初始奖励信号，将答案的经验频率 $\hat{p}(a) = \frac{c(a)}{n}$ 作为每条轨迹的奖励。

本文方法的起点就是自一致性信号，但作者指出其局限性并提出了改进方案

多数投票 (Majority Voting)

多数投票是自进化训练中最常用的伪标签生成策略。对于每个输入，采样多条推理轨迹，选择出现次数最多的答案作为伪标签，然后为所有轨迹分配二值奖励（1表示答案与多数投票一致，0表示不一致）。形式化地，$a^* = \arg\max_{a \in A(x)} \hat{p}(a)$，奖励 $r_{MV}^i = \mathbb{I}[a_i = a^*]$。这种方法简单有效，但存在放大早期主导模式、抑制探索的问题。

本文的核心动机就是揭示多数投票的局限性，并提出更优的替代方案

能量基归一化 (Energy-Based Normalization)

能量基归一化是一种将绝对奖励转换为组内相对优势的技术。给定一组轨迹的奖励向量 $\mathbf{r}(x) = [R_1, ..., R_n]$，首先进行温度缩放 $\tilde{r}_k = \alpha R_k$，然后计算log-sum-exp基线 $b(x) = \log \sum_{j=1}^{n} \exp(\tilde{r}_j)$。最终优势 $A_k = \tilde{r}_k - b(x)$ 实际上对应于奖励诱导分布 $q_\alpha(\tau_k | x) = \frac{\exp(\alpha R_k)}{\sum_{j=1}^{n} \exp(\alpha R_j)}$ 的对数概率。这使得策略更新不再是追求绝对高分，而是在每个轨迹组内持续重新分配概率质量。

这是本文解决多数投票问题的关键技术手段，将绝对分数转换为相对优势

研究动机

多模态大语言模型在视觉数学推理任务上取得了显著进展，但其性能提升仍高度依赖高质量标注数据或教师模型蒸馏。具体而言，监督式训练需要精心标注的答案和推理轨迹（如Vision-R1、OpenVLThinker等方法），而这些标注数据日益稀缺且成本高昂。此外，现有评估器的能力也逐渐接近实际极限。在无监督自进化场景下，常用的方法是多数投票（Majority Voting），通过采样多个答案并选择最频繁的答案作为伪标签。然而，多数投票存在根本性缺陷：高一致性并不等同于高质量。如论文Figure 1所示，在一个菱形角度问题中，多数投票给出的答案41°是错误的（占37.5%），而正确答案49°只占50%，但多数投票会强化错误答案的优势。实验表明，在MathVision基准上，多数投票（MM-UPT）仅从25.0%提升到27.5%，而本文方法可达30.9%。在DynaMath上，多数投票从20.3%提升到21.4%，而本文方法可达24.2%。这些问题的根本原因是多数投票将丰富的答案分布结构信息压缩为二值标签，丢弃了主导模式与次优模式之间的相对差异信息。

本文的目标是本文的核心目标是提出一种无需人工标注答案或外部奖励模型的多模态推理自进化训练框架。具体而言，作者希望实现三个目标：（1）构建稳定可靠的无监督训练信号，避免多数投票带来的早期模式锁定问题；（2）通过联合建模同一输入的多条推理轨迹，区分细粒度的质量差异，而不是简单地放大早期主导模式；（3）实现可持续的性能提升，在多个迭代中稳定改善推理能力，而不是在训练早期就饱和。作者特别强调，整个训练流程在任何阶段都不依赖真实标签、额外元数据或任何外部奖励模型。

与已有工作不同的是，本文的独特切入角度在于提出了"自洽性+Judge调制+分布式建模"的三重协作范式，与现有方法形成鲜明对比。现有方法要么直接使用多数投票的二值奖励（如MM-UPT），要么使用模型自身生成的中间结果或伪标签（如EvoLMM），这些方法都存在早期模式锁定和探索抑制的问题。本文的关键洞察是：自一致性信号虽然包含噪声和偏差，但它编码了丰富的答案分布结构信息；Judge虽然不是完美评估器，但可以提供连续的质量信号；将两者结合并建模为组内相对分布，可以避免过度依赖任何单一信号源。这种设计使得训练信号具有自适应性：随着策略分布的演变，Judge调制持续重塑奖励信号，防止优化简单地锁定到当前共识。

核心方法

本文提出了一种无监督自进化训练框架，核心思想是从单一多模态模型中实例化两个角色：Actor和Judge。给定一个输入（图像-问题对），Actor采样多条推理轨迹，形成模型当前的自一致性分布。Judge（初始化为Actor的冻结副本）评估每条轨迹的质量，输出一个有界且连续可微的调制信号。该信号与自一致性信号相乘，得到校准后的最终奖励。最后，通过GRPO在组内相对分布上进行策略优化。整体框架如Figure 2所示，分为三个阶段：（1）基于一致性的初始奖励构建；（2）Judge调制的奖励校准；（3）组内分布式奖励建模。这种设计的直觉是：自一致性信号提供了"模型认为什么是对的"的粗略估计，Judge提供了"这条推理路径质量如何"的细粒度信号，两者结合可以区分"高度一致但低质量"和"高度一致且高质量"的轨迹。

本文的核心创新点是提出了"Judge调制而非Judge主导"的奖励校准机制，与已有方法形成本质区别。在多数投票方法中，奖励是二值的（0或1），完全由答案频率决定，丢弃了所有细粒度信息。在直接使用Judge分数的方法中，奖励完全由Judge决定，但由于Judge分数在不同输入间不可比，容易导致训练被少数高分轨迹主导。本文的创新在于：（1）将Judge分数作为调制信号而非绝对奖励，通过校准函数 $g(s) = 1 + \lambda_+ \sigma\left(\frac{s - t_h}{\tau_h}\right) - \lambda_- \sigma\left(\frac{t_l - s}{\tau_l}\right)$ 将其映射到有界区间 $[1-\lambda_-, 1+\lambda_+]$；（2）将最终奖励建模为组内相对分布，通过能量基归一化将绝对分数转换为相对优势。这种设计保证了Judge噪声不会被放大，同时保留了自一致性信号的分布结构信息。

方法步骤详情

本文方法包含三个关键步骤：第一步是构建基于一致性的初始奖励。对于输入 $x = (I, q)$，从当前策略 $\pi_\theta$ 采样 $n$ 条轨迹 $\{\tau_i\}_{i=1}^n$，每条轨迹关联一个最终答案 $a_i$。计算每个答案的经验频率 $\hat{p}(a) = \frac{c(a)}{n}$，其中 $c(a) = \sum_{i=1}^n \mathbb{I}[a_i = a]$。每条轨迹的初始奖励定义为 $r_i^{SC} = \hat{p}(a_i)$。第二步是Judge调制的奖励校准。初始化Judge为Actor的冻结副本，对每条轨迹输出原始分数 $s_k = J_\phi(x, \tau_k) \in [0, 1]$。通过校准函数 $g(s)$ 将其转换为有界调制信号。第三步是分布式奖励建模。最终奖励定义为 $R_k = r_k \cdot g(s_k) - \lambda_{fmt} \delta_k$，其中 $\delta_k$ 是格式违规标志。应用能量基缩放 $\tilde{r}_k = \alpha R_k$ 和log-sum-exp基线 $b(x) = \log \sum_{j=1}^n \exp(\tilde{r}_j)$，计算组内相对优势 $A_k = \tilde{r}_k - b(x)$。最后使用GRPO目标函数进行策略优化。

技术新颖性

本文的技术新颖性体现在三个方面。首先，在奖励构建上，首次将自一致性信号与Judge调制相结合，形成"粗粒度一致性+细粒度质量"的复合奖励结构。这与现有方法形成对比：多数投票只用一致性信号，直接Judge评分只用质量信号，而本文将两者通过乘法结合，使得Judge调制可以重塑但不主导一致性分布。其次，在优化目标上，引入能量基分布建模，将组内相对优势解释为奖励诱导分布的对数概率：$A_k(x) = \log q_\alpha(\tau_k | x)$。这使得策略更新可以理解为逐步匹配目标分布：$\min_\theta \mathbb{E}_{x \sim \mathcal{D}} D_{KL}[q_\alpha(\cdot | x) \| \pi_\theta(\cdot | x)]$，而不是简单地追求绝对高分。第三，在训练稳定性上，通过有界调制函数和组内相对比较，避免了Judge噪声放大和早期模式锁定问题。实验表明，本文方法在训练过程中保持更健康的熵轨迹和更稳定的响应长度，而多数投票方法会导致熵急剧下降和响应长度崩溃。

**Figure 2**: Overview of the proposed unsupervised self-evolution framework

实验结果

本文在五个数学推理基准上进行了全面实验，核心发现如下：首先，在Qwen2.5-VL-7B基座模型上，无监督训练后性能显著提升。以Geo3K为训练数据时，平均准确率从34.6%提升到37.9%（+3.3），在MathVision上从25.0%提升到30.9%（+5.9）。其次，与现有无监督方法对比，本文方法在相同训练设置下始终优于VisionZero（27.6% vs 30.9%）、EvoLMM（25.8% vs 30.9%）和MM-UPT（27.5% vs 30.9%）。第三，本文方法甚至在某些设置下超越了监督式训练和强模型蒸馏方法，如Vision-R1（29.4%）和R1-Onevision（29.9%）。第四，消融实验证明了各组件的有效性：仅用Self-Consistency只能获得有限提升（25.2%），仅用Judge Scoring获得27.3%，而Self-Consistency + Judge Scoring + 分布式建模可达到30.9%。第五，本文方法具有良好的泛化能力，在ChartQA（图表理解）和MMVP（通用视觉推理）等非数学任务上也观察到性能提升。最后，训练成本分析表明，本文方法的相对训练时间为1.4倍（相对于监督式GRPO的10.5小时），远低于VisionZero的2.8倍和EvoLMM的2.2倍。

**Table 1**: Main results on multimodal mathematical reasoning benchmarks

**Table 2**: Ablation experiments on different modules

**Table 3**: Self-evolution performance comparison across different backbone models

**Table 4**: Comparison of pass@10 across benchmarks

**Table 5**: Self-evolution results on a strong baseline that has already been trained with teacher distillation

**Table 6**: Comparison of relative training cost and MathVision accuracy across different methods

**Table 7**: Generalization to chart understanding (ChartQA) and general visual reasoning (MMVP)

**Figure 4**: Ablation training dynamics on MMR1

查看结构化数据

任务	指标	本文	基线	提升
MathVision 数学视觉推理	准确率 (%)	30.9	25.0 (Qwen2.5-VL-7B基座)	+5.9 绝对提升
MathVerse 数学推理	准确率 (%)	46.8	44.2 (Qwen2.5-VL-7B基座)	+2.6 绝对提升
WeMath 数学推理	准确率 (%)	38.7	37.1 (Qwen2.5-VL-7B基座)	+1.6 绝对提升
LogicVista 逻辑推理	准确率 (%)	49.0	46.3 (Qwen2.5-VL-7B基座)	+2.7 绝对提升
DynaMath 动态数学	准确率 (%)	24.2	20.3 (Qwen2.5-VL-7B基座)	+3.9 绝对提升
ChartQA 图表理解	准确率 (%)	85.4 (Geo3K训练)	85.7 (基座模型)	保持性能，泛化能力验证
MMVP 通用视觉推理	准确率 (%)	77.6 (Geo3K训练)	77.2 (基座模型)	+0.4 绝对提升

局限与改进

本文存在以下局限性：第一，研究主要聚焦于训练信号的构建，而非超越Judge能力极限的持续自进化。当Judge无法区分更高质量的推理路径时，自进化可能停滞。作者承认，要实现持续无监督自进化，Judge需要能够逐步提高其评估标准，并自主决定何时需要更新以保持可靠的训练信号。第二，本文仅在数学推理任务上进行了验证，虽然在ChartQA和MMVP上展示了泛化能力，但这些任务仍属于结构化推理范畴。在更开放的视觉理解任务（如图像描述、视觉问答）上的效果尚不明确。第三，Judge初始化为Actor的冻结副本，这意味着Judge的评估能力受限于初始模型的能力。如果初始模型在某些推理模式上存在系统性偏差，Judge可能无法识别这些偏差，导致自进化陷入局部最优。第四，实验仅在7B参数规模的模型上进行了主要验证，虽然Table 3展示了在2B到32B模型上的扩展性，但缺乏对更大规模模型（如70B+）的深入分析。

独立分析的弱点

本文存在以下几个值得关注的弱点：首先，Judge作为冻结副本的假设可能过于保守。在整个训练过程中，Judge参数保持不变，这意味着其评估标准不会随着Actor能力的提升而进化。一个改进方向是让Judge在训练过程中逐步更新，或者定期从更新后的Actor重新初始化，以保持评估能力与Actor能力的同步。其次，校准函数 $g(s)$ 中的超参数（$\lambda_+, \lambda_-, t_h, t_l, \tau_h, \tau_l$）需要手动调优，论文中设置 $\lambda_+ = \lambda_- = 0.2$，$t_h = 0.95$，$t_l = 0.40$。这些超参数的敏感性分析不足，在不同任务或模型规模上可能需要不同的设置。第三，本文方法的训练成本（1.4倍）虽然低于VisionZero（2.8倍），但仍高于监督式GRPO（1.0倍），这主要是因为在线采样和Judge评分的开销。一个可能的改进是探索离线Judge评分或缓存机制，减少重复计算。第四，论文中提到的响应长度崩溃问题虽然有所缓解（如Figure 3所示），但并未完全解决，特别是在长期训练中仍可能出现。

未来方向

基于本文成果，未来研究可以在以下方向展开：首先，实现Judge的自主进化是关键挑战。作者在Limitations中指出，Judge需要能够"逐步提高其评估标准，并自主决定何时需要更新"。这可以通过在线学习、对抗训练或多Judge投票机制来实现。其次，将本文框架扩展到更多模态和任务类型。目前仅验证了视觉-语言模态，未来可以探索音频-语言、视频-语言等多模态自进化。第三，探索更强的Judge设计。当前Judge仅输出单一分数，未来可以引入结构化评估（如分步评分、推理链评估）或基于规则的验证信号。第四，研究自进化过程中的课程学习策略。目前训练数据是随机采样的，但自进化过程中模型能力在变化，可能需要动态调整训练数据的难度分布。第五，探索多模型协作自进化。当前框架是单一模型的自我提升，未来可以研究多个不同能力的模型如何相互Judge和进化。

复现评估

本文的复现条件较为友好。代码已在GitHub开源（https://github.com/OPPO-Mente-Lab/LLM-Self-Judge），提供了完整的训练和评估流程。训练数据使用公开数据集：Geometry3k、GeoQA和MMR1，无需额外数据收集。基座模型Qwen2.5-VL-7B-Instruct是公开可用的。训练硬件要求为单节点8乘NVIDIA A800 GPU（80GB），训练时间约14.7小时（1.4倍相对于监督式GRPO的10.5小时）。关键超参数已明确给出：采样温度1.0、top-p 0.9、KL系数 $\beta = 0.01$、学习率 $1 \times 10^{-6}$、权重衰减 $1 \times 10^{-2}$、梯度范数1.0、每个问题采样8条轨迹。使用Verl框架进行训练，该框架也是开源的。整体而言，复现难度中等，主要挑战在于多GPU训练的资源需求和超参数调优。

模型自我评判：多模态推理的无监督自进化训练框架 When Models Judge Themselves: Unsupervised Self-Evolution for Multimodal Reasoning