MM-Zero：零数据自进化多模型视觉语言模型 MM-Zero: Self-Evolving Multi-Model Vision Language Models From Zero Data
首个零数据三角色自进化框架，让VLM自主生成图像并提升推理能力
前置知识
视觉语言模型（VLM）
视觉语言模型是一类能同时处理图像和文本输入的多模态大模型，典型代表包括 Qwen-VL、LLaVA 等。VLM 通常由视觉编码器（如 ViT）将图像转化为 token 序列，再与文本 token 一起送入语言模型进行联合推理。VLM 的训练传统上依赖大量人工标注的图文对数据，包括图像描述、视觉问答、OCR 任务等，这使得后训练阶段成本高昂。
本文的核心挑战就是如何让 VLM 在完全没有外部标注数据的情况下自我提升，因此理解 VLM 的基本架构和训练范式是理解本文动机的前提。
GRPO（Group Relative Policy Optimization）
GRPO 是一种强化学习算法，最初由 DeepSeek-Math 提出。与 PPO 不同，GRPO 不需要训练一个独立的价值网络（critic），而是对同一 prompt 生成的一组 N 个回复计算组内相对奖励优势。具体来说，给定 prompt $p$，策略 $\pi_{\theta_{old}}$ 生成 $N$ 个回复 $\{x_1, ..., x_N\}$，对应的奖励 $\{r_1, ..., r_N\}$ 在组内标准化后得到优势 $\hat{A}_i$，再通过 clipped surrogate objective 更新策略，同时用 KL 散度约束防止策略偏离过远。
GRPO 是 MM-Zero 中三个角色（Proposer、Coder、Solver）共同使用的训练算法，理解其工作原理对于理解整个训练流程至关重要。
自进化（Self-Evolution）
自进化是一种让模型通过自主生成任务、自我评估、自我学习来持续提升能力的训练范式，最大限度减少人工干预。在 LLM 领域，自进化已取得显著进展：模型可以自主生成训练任务并通过强化学习或代码执行反馈来优化自身。但将自进化扩展到 VLM 面临额外挑战——VLM 需要视觉输入，因此自进化循环不仅要生成问答对，还必须生成或提供图像。
MM-Zero 的核心贡献就是首次实现了 VLM 的零数据自进化，通过引入 Coder 角色用代码渲染图像来解决视觉数据来源问题。
测试时强化学习（TTRL, Test-Time Reinforcement Learning）
TTRL 是一种在没有 ground truth 标签的情况下，利用模型自身的多次采样一致性作为奖励信号来训练的方法。对于一个问题，模型生成 K 条独立推理路径，通过多数投票（majority voting）确定共识答案 $\bar{y} = \text{Mode}(\{y_1, ..., y_K\})$，然后将与共识答案一致的回复视为正样本进行强化学习。这本质上是一种自举（bootstrapping）策略。
Solver 的训练完全依赖 TTRL，因为 Proposer 生成的 hard question 没有标准答案，必须用模型自身的投票一致性来提供奖励信号。
Goldilocks 原则
Goldilocks 原则源自童话故事「金发姑娘和三只熊」，在机器学习中指寻找「恰到好处」的难度——既不能太简单（模型已经掌握），也不能太难（超出模型当前能力）。在 MM-Zero 中，难度奖励 $R_{\text{diff}} = \min(c_i, 1-c_i)$ 在模型不确定性最大（$c_i = 0.5$）时达到峰值 0.5，这确保 Proposer 生成的问题恰好处于 Solver 能力的前沿。
这是 Proposer 奖励设计的核心思想，确保生成的训练数据既具有挑战性又可求解，避免模型学到捷径。
研究动机
现有 VLM 自进化方法虽然减少了对人工标注标签的依赖，但仍然严重依赖预先收集的静态图像数据集。具体来说，VisPlay、Evolmm、V-Zero 等方法将 LLM 的 Proposer-Solver 双角色流水线迁移到多模态场景，但整个迭代过程严格依赖于已有的图像集合。这仅仅是把瓶颈从「人工标注标签」转移到了「图像数据收集」——模型的进化被收集到的图像数据的分布、质量和多样性所束缚。收集和筛选图像数据本身就是一个耗时且昂贵的过程，而静态图像集也无法提供越来越复杂的视觉场景来持续挑战模型的感知和推理能力。
本文的目标是本文的目标是实现真正的零数据 VLM 自进化——完全不依赖任何外部数据（无人工标注的问答对、无预先收集的图像数据集），仅通过模型自身的多角色交互来生成训练数据并持续提升视觉推理能力。具体而言，希望在多个 VLM 基准测试上实现一致的性能提升，尤其是在需要复杂推理的视觉数学任务上。
与已有工作不同的是，本文的独特切入角度在于引入了一个全新的 Coder 角色，将抽象的语言描述转化为可执行代码（如 SVG、Python）来程序化地渲染视觉内容。这从根本上解决了 VLM 自进化中视觉数据来源的问题——不再需要收集静态图像，而是通过代码生成来动态创建视觉内容。这种程序化渲染的方式类似于机器人领域中使用模拟环境训练自动驾驶系统的思想，可以模拟比人工收集数据集更复杂多样的场景，且变化几乎无限。此外，MM-Zero 突破了传统的双角色范式，首次探索了三角色自进化框架，让抽象语言、可执行代码和视觉推理三者相互强化。
核心方法
MM-Zero 的核心思想可以用一个类比来理解：想象一个由三个专家组成的团队在没有任何教材的情况下自学。第一位专家（Proposer）负责出题，描述一个视觉场景并设计简单和困难两个问题；第二位专家（Coder）负责将文字描述转化为代码来画出相应的图表或图像；第三位专家（Solver）负责看图答题。这个闭环系统的关键在于：Coder 画得好不好可以通过 Solver 能否答对简单问题来验证；题目的难度是否合适可以通过 Solver 对困难问题的投票一致性来衡量；而 Solver 自身则通过回答这些自动生成的难题来不断提升推理能力。整个技术路线采用 GRPO 强化学习算法，三个角色从同一个基础模型初始化，交替训练，每次训练一个角色时另外两个角色保持冻结。
MM-Zero 与已有方法最本质的区别在于引入了「程序化视觉生成」这一中间层。传统方法（如 VisPlay、R-Zero）使用 Proposer-Solver 双角色架构，但 Proposer 只能生成文本问题，图像必须从外部数据集获取。MM-Zero 新增的 Coder 角色将 Proposer 生成的抽象视觉描述翻译为 SVG 或 Python 代码，通过代码执行来渲染图像。这意味着整个训练数据（包括图像和问题）都是模型自主生成的，实现了真正的零数据自进化。另一个核心创新是精细的奖励设计：Proposer 的奖励包含了可解性上限（$\min(R_{\text{solv}}, 0.5)$）防止模型只生成简单题，内容类型多样性惩罚防止生成内容单一化，以及基于 BLEU 聚类的多样性奖励防止重复生成。这种多层次的奖励机制确保了训练数据的质量和多样性。
方法步骤详情
MM-Zero 的训练流水线包含三个交替进行的阶段。第一阶段训练 Proposer：给定多样化的视觉主题提示，Proposer 生成四元组 $(c, q_{easy}, a_{easy}, q_{hard})$，其中 $c$ 是视觉场景的细粒度文字描述，$q_{easy}$ 是可通过读图直接回答的简单问题，$q_{hard}$ 是需要多步推理的困难问题。Proposer 通过 Coder 和 Solver 的反馈获得奖励，包括格式验证、可解性评分、难度评分、内容多样性等多个维度。第二阶段训练 Coder：使用最新的 Proposer 检查点生成约 4000 个描述和问答对作为训练数据，Coder 学习将描述转化为 SVG 代码并渲染为 PNG 图像。渲染成功的图像被送入 Solver 计算奖励，失败的渲染会受到惩罚。第三阶段训练 Solver：使用最新的 Proposer 和 Coder 生成的图像和问题作为训练数据，Solver 仅在 hard question 上训练，采用 TTRL 方法——生成 K 条推理路径，通过多数投票确定银标签（silver label）作为奖励信号。每 20 步保存一次检查点，总共训练 60 步（3 次迭代）。训练过程中还应用了严格的数据过滤：Coder 阶段只保留渲染成功率在 0.25 到 0.75 之间的样本；Solver 阶段只保留简单问题准确率超过 0.5、困难问题准确率在 0.27 到 0.75 之间的样本。
技术新颖性
MM-Zero 的技术新颖性主要体现在三个方面。首先，三角色架构是自进化 VLM 领域的首次尝试：此前的所有方法（R-Zero、VisPlay 等）都停留在 Proposer-Solver 双角色范式，而 MM-Zero 通过引入 Coder 角色，将代码生成作为连接语言理解和视觉推理的桥梁，建立了一个「抽象语言—可执行代码—视觉推理」的闭环系统。其次，可解性上限机制（$\min(R_{\text{solv}}, 0.5)$）是一个精巧的设计：它防止了奖励被可解性独占（如果不加限制，可解性最高可达 1.0 而难度最优只有 0.5），确保模型同时优化可解性和难度，避免 Coder 学会将答案直接嵌入图像这种捷径行为。最后，多层次的多样性奖励机制——包括内容类型多样性惩罚 $r_{ct}$ 和基于 BLEU 聚类的描述/问题多样性奖励 $r_{div}$——有效防止了模型过拟合到少数容易渲染的视觉类型（如直方图），这在消融实验中得到了验证：去除内容多样性后，模型准确率从 50.3% 先升至 51.7% 后暴跌至 49.4%。
实验结果
MM-Zero 在三个不同规模的基础模型上都实现了一致的性能提升，验证了零数据自进化框架的有效性。对于 Qwen3-VL-4B-Instruct，平均准确率从基线的 50.2% 提升至 53.4%（+3.2%）；对于 Qwen3-VL-8B-Instruct，从 50.7% 提升至 54.1%（+3.4%）；对于 MiMo-VL-7B-SFT，从 50.9% 提升至 56.0%（+5.1%）。其中视觉数学推理任务的提升最为显著，例如 MiMo-VL-7B 在 MathVerse 上从 46.3% 跃升至 56.0%（+9.7%），在 MathVision 上从 36.6% 提升至 42.5%（+5.9%）。在泛化性方面，MM-Zero 不仅适用于不同大小的模型（4B/7B/8B），还适用于不同模型家族（Qwen-VL 和 MiMo-VL），说明该框架具有良好的通用性。值得注意的是，性能并未在三次迭代后饱和——对 Qwen3-VL-8B 继续训练至第五次迭代，平均准确率进一步提升至 54.5%（Iter 5 的 MMMU 达到 61.9%），表明更多的训练迭代可以带来持续改进。在图像生成质量方面，Coder 的渲染成功率在整个训练过程中稳步提升：7B 和 8B 模型从约 70% 的起始成功率持续改善，4B 模型从约 40% 的起始成功率也有所提升但幅度较小。渲染图像的可解性（即图像能否被 Solver 正确解读）也同步提升。消融实验进一步证实了奖励设计的重要性：去除可解性上限后，Solver 仅提升 2.3%（对比完整版的 3.9%），因为模型学会了将答案直接嵌入图像代码中这种捷径；去除内容多样性奖励后，模型在第一迭代后准确率就开始下降，从 51.7% 降至 49.4%，因为过拟合到直方图等易渲染的视觉类型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMMU（通用视觉理解） | Accuracy (%) | 58.3 (Qwen3-VL-8B) | 55.8 (Qwen3-VL-8B Base) | +2.5% |
| MMMU-Pro（通用视觉理解） | Accuracy (%) | 53.0 (Qwen3-VL-8B) | 46.6 (Qwen3-VL-8B Base) | +6.4% |
| ChartQA（图表理解） | Accuracy (%) | 41.7 (Qwen3-VL-8B) | 40.8 (Qwen3-VL-8B Base) | +0.9% |
| MathVerse（视觉数学推理） | Accuracy (%) | 53.2 (Qwen3-VL-8B) / 56.0 (MiMo-VL-7B) | 47.7 (Qwen3-VL-8B Base) / 44.7 (MiMo-VL-7B Base) | +5.5% (Qwen3-VL-8B) / +11.3% (MiMo-VL-7B) |
| MathVision（视觉数学推理） | Accuracy (%) | 39.6 (Qwen3-VL-8B) / 42.5 (MiMo-VL-7B) | 31.5 (Qwen3-VL-8B Base) / 36.6 (MiMo-VL-7B Base) | +8.1% (Qwen3-VL-8B) / +5.9% (MiMo-VL-7B) |
| HallusionBench（幻觉检测） | Accuracy (%) | 74.1 (Qwen3-VL-8B) | 72.8 (Qwen3-VL-8B Base) | +1.3% |
| 全部基准平均 | Average Accuracy (%) | 54.1 (Qwen3-VL-8B) / 56.0 (MiMo-VL-7B) / 53.4 (Qwen3-VL-4B) | 50.7 / 50.9 / 50.2 | +3.4% / +5.1% / +3.2% |
局限与改进
作者坦诚地指出了几个关键局限性。首先是计算资源限制导致无法在更大的 VLM（如 38B 参数模型）上验证自进化的扩展规律——这留作重要的未来工作方向，因为更大的模型可能具有更强的基础视觉代码生成能力，从而产生更高质量的训练数据。其次，7B 和 8B 模型在渲染成功率和最终性能上都显著优于 4B 模型（4B 模型的渲染成功率仅约 40%，而 7B/8B 约 70%），这表明该框架对基础模型能力有一定要求，较弱的模型可能无法充分受益。从独立观察来看，MM-Zero 的训练数据生成完全依赖 SVG 代码渲染，这意味着生成的图像类型局限于程序化可表达的图表、几何图形等，无法涵盖自然照片、复杂场景图等真实世界视觉内容，这可能限制了在更广泛视觉任务上的泛化能力。此外，论文的评估基准虽然多样，但主要集中在理解任务上，缺乏对生成任务（如图像描述生成、视觉对话）的评估。TTRL 方法依赖多数投票的共识作为银标签，这本身可能引入噪声——当模型对某个问题存在系统性偏见时，投票结果可能偏离正确答案。
独立分析的弱点
第一，视觉内容的表达能力受限于 SVG 和 Python 绘图库。SVG 擅长渲染图表、几何图形和抽象示意图，但无法表达自然图像、复杂纹理和三维场景。这意味着 MM-Zero 训练出的模型在处理照片类图像时的提升可能有限。改进方向是扩展 Coder 的工具箱，引入更多渲染后端（如 Blender 渲染 3D 场景、PIL 生成更复杂的图像合成），或者结合扩散模型生成自然图像作为训练数据。第二，奖励设计中的超参数较多（$\delta_{eh}=0.15$、$\lambda_{eh}=0.3$、$\phi=0.5$、$\lambda_{ct}=0.15$ 等），论文未提供敏感性分析，不清楚这些参数对结果的影响程度。改进方向是进行更系统的超参数搜索，或者设计自适应的奖励机制减少对人工设定阈值的依赖。第三，训练过程中三个角色是交替冻结训练的，而非联合优化。这种交替训练可能导致次优解——例如 Proposer 在 Coder 能力较弱时可能适应了生成「容易渲染」的描述，即使后续 Coder 能力提升也无法充分利用。改进方向是探索更紧密的角色间联合训练策略，或引入课程学习机制逐步增加任务复杂度。第四，Solver 的 TTRL 训练中银标签的质量取决于模型自身的能力，在训练早期模型偏见较大时可能产生错误的奖励信号，存在确认偏差（confirmation bias）的风险。
未来方向
作者提出了几个有前景的未来方向。首先是扩展工具使用：除了 SVG 代码生成，还可以支持更多类型的视觉组件生成，如 3D 渲染、动态图表、流程图等，从而创建更丰富的训练数据，甚至可以支持 3D 空间推理等更高级的视觉任务。其次是扩展到更大的基础模型：验证自进化是否能在更大模型上产生更强的 Coder 和更高质量的视觉输出，从而形成正向循环。第三是探索更多的 Agent 角色：当前的三角色架构是一个起点，未来可以引入更多专门化的角色，如 Reviewer（审查生成质量）、Planner（规划训练课程）等，进一步增强自进化的动态。基于 MM-Zero 的成果还可以延伸出更多方向：将框架从纯视觉推理扩展到视频理解和推理；探索跨模态的自进化，让文本推理和视觉推理相互促进；将程序化渲染与真实图像混合使用，兼顾训练数据的可控性和真实性；研究自进化的理论极限——模型在零数据条件下能走多远。
复现评估
MM-Zero 在代码开源方面做得较好，提供了 GitHub 仓库（https://github.com/zli12321/MM-Zero）。论文详细列出了所有训练超参数（表 4 和表 5）、提示模板（附录 A）和渲染流水线（附录 C），包括每个角色的 GPU 数量、学习率（$1 \times 10^{-6}$）、权重衰减（$1 \times 10^{-2}$）、rollout 温度等。硬件方面，所有训练在 8 张 RTX 6000/Pro 96GB GPU 上进行，总可训练参数约 8.77B（Qwen3-VL-8B-Instruct），使用全参数微调（LoRA rank 0）。这意味复现需要相当大的计算资源——至少 8 张 80GB+ 的 GPU。基础模型使用的是公开可用的 Qwen3-VL-4B/8B-Instruct 和 MiMo-VL-7B-SFT，数据集完全是模型自生成的因此无需额外数据收集。复现难度中等偏高：算法本身不复杂，但计算资源门槛较高，且奖励设计中的多个超参数可能需要针对不同基础模型进行调整。
论文图表
