Omni-R1：面向多模态推理的统一生成范式

统一多种多模态推理技能为生成范式，用SFT+RL实现

前置知识

多模态大语言模型（MLLM）

多模态大语言模型是能够同时处理文本、图像等多种模态输入的大规模语言模型。它们通常基于视觉编码器（如 ViT）提取图像特征，经投影层映射到语言模型的嵌入空间后，由 LLM 统一处理。代表性模型包括 Qwen2.5-VL、Chameleon、Anole 等。MLLM 已从最初的基础感知能力逐步演化出推理能力，是本文工作的基础架构。

本文的 Omni-R1 框架直接构建在 MLLM 之上，理解 MLLM 的架构和训练范式是理解本文方法的前提。

交织模态推理（Interleaved-modal Reasoning）

交织模态推理是指在推理过程中交替生成文本推理步骤和中间视觉信息（如图像）的范式。与传统纯文本推理后给出答案不同，交织模态推理允许模型在推理链中插入视觉证据，例如在回答视觉问题时先放大关键区域、画出辅助线、标注目标物体等，再基于这些视觉证据继续推理。ICOT 首次提出此概念，DeepEyes 利用外部工具实现，MVoT 在统一模型内实现。

本文的核心目标就是统一交织模态推理，使其能处理多种任务，而非局限于单一推理模式。

强化学习从人类反馈（RLHF）与 PPO

RLHF 是通过强化学习优化语言模型输出质量的训练范式。PPO（Proximal Policy Optimization）是其中常用的策略优化算法，通过裁剪机制限制策略更新幅度，保证训练稳定性。在 LLM 训练中，PPO 以奖励模型或规则奖励为信号，优化生成策略。本文使用的是 group-relative PPO 变体，即对同一 prompt 采样多个候选，根据组内相对优势更新策略。

本文的 PeRPO 阶段基于 PPO 优化策略，理解 PPO 的裁剪目标和组相对优势计算是理解训练细节的关键。

感知对齐与视觉码本（Visual Codebook）

视觉码本是 VQVAE 等向量量化模型中的一组离散嵌入向量，每个视觉 token 对应码本中的一个索引。本文利用冻结的视觉码本 $\mathcal{E} \in \mathbb{R}^{K \times D}$ 作为参考，通过感知对齐损失将模型隐藏状态与码本几何对齐，从而稳定自回归图像 token 生成。感知奖励则通过计算生成图像在码本嵌入上的二维全变差（2D Total Variation）来衡量视觉连贯性。

感知对齐损失和感知奖励是本文两个核心技术创新，直接决定了生成中间图像的质量。

零样本推理激活（Zero-shot Reasoning Activation）

零样本推理激活是指在没有特定任务标注数据的情况下，通过某种机制激发模型的推理能力。在本文中，Omni-R1-Zero 从纯文本的思维链（CoT）种子出发，通过逐步可视化（Step-wise Visualization）方法合成交织模态轨迹，从而在零多模态标注的条件下激活模型的生成式多模态推理能力。这借鉴了 DeepSeek-R1-Zero 在纯文本推理中从零开始产生推理链的思想。

Omni-R1-Zero 是本文的重要贡献之一，展示了无需人工标注交织数据即可实现多模态推理的可能性。

研究动机

当前多模态推理方法面临的核心问题是泛化能力不足。早期方法如 KAM-CoT 和 MM-Eureka 专注于纯文本推理，即模型接收图像后仅生成文字推理链和最终答案，推理过程中无法引入新的视觉信息。近期出现的交织模态推理方法（如 DeepEyes、MVoT）虽然将视觉信息引入推理步骤，但每种方法都遵循单一的特定推理模式——DeepEyes 使用外部工具裁剪放大，MVoT 想象路径可视化——这导致它们只能处理某一类多模态任务，无法泛化到需要不同推理技能的多样任务。实际上，多模态任务对推理技能的需求是多样的：自然场景 VQA 需要缩放定位（Grounding/Zoom-in），几何证明题需要画辅助线（Auxiliary Line Drawing），图表分析需要标注数字（Marking），视觉操作场景需要预测下一步状态（Visual Prediction）。没有一种单一推理模式能同时满足这些需求。

本文的目标是本文的目标是提出一种统一的生成式多模态推理范式（Unified Generative Multimodal Reasoning），在一个 MLLM 框架内统一多种多模态推理技能。具体而言，作者希望在推理过程中通过生成中间功能图像（functional images）——如裁剪放大图、标注框图、辅助线图、状态预测图——来实现不同的推理技能，从而让单一模型能够处理从自然场景感知到视觉操作规划的广泛多模态任务。同时，作者希望降低对昂贵的交织模态推理标注数据的依赖，探索零标注条件下的生成式推理激活方法。

与已有工作不同的是，本文的独特切入角度在于将所有多模态推理技能统一到生成这一范式下。与之前的工具调用方法（DeepEyes 需要外部视觉工具）或单技能方法（MVoT 仅处理空间推理）不同，作者认为生成中间图像本身就可以作为统一的推理机制：放大（Zoom-in）可以通过生成裁剪区域的图像实现，标注（Marking）可以通过生成带高亮的图像实现，辅助线可以通过生成带线条的图像实现，视觉预测可以通过生成下一状态的图像实现。这种统一视角使得在单一框架内组合多种推理技能成为可能。此外，作者设计了感知对齐损失和感知奖励来解决功能图像生成这一特殊挑战——这些中间图像往往不是自然图像，而是包含标注、框线等非自然元素的功能性图像，需要特殊的训练信号来保证生成质量。

核心方法

Omni-R1 的整体方法可以概括为：将多种多模态推理技能统一到生成式框架中，通过在推理链中生成中间功能图像来实现视觉推理。方法包含两个变体：标准 Omni-R1 使用少量人工标注的交织模态数据进行两阶段训练；Omni-R1-Zero 则完全无需交织模态标注，从纯文本 CoT 种子出发通过逐步可视化合成训练数据。两个变体共享相同的两阶段训练框架——先通过感知对齐监督微调（PeSFT）学习交织推理格式和视觉 token 生成，再通过感知校准相对策略优化（PeRPO）在无多模态标注的任务上进一步优化策略。关键技术包括使用冻结视觉码本的感知对齐损失来稳定功能图像生成，以及融合准确性、格式和感知三个维度的复合奖励来指导强化学习。

本文的核心创新点在于两个方面。第一，提出统一生成式多模态推理的概念，将缩放定位、标注、辅助线绘制、视觉预测等多种推理技能统一为生成中间图像这一操作。这与之前的工具调用方法有本质区别——不需要外部工具，所有推理技能都内化在模型的生成能力中。第二，设计了感知对齐损失 $\mathcal{L}_{Pe}$ 和感知校准奖励 $R_{Pe}$ 来解决功能图像生成的特殊挑战。功能图像（如带标注框的图片）不同于自然图像，直接用标准交叉熵训练容易导致视觉 token 生成不稳定。感知对齐损失通过将隐藏状态对齐到冻结视觉码本的几何结构上，提供了稳定的感知先验；感知奖励则通过衡量生成图像的二维全变差来评估视觉连贯性，为强化学习提供了细粒度的视觉质量信号。

方法步骤详情

Omni-R1 的训练分为两个阶段。Stage 1: PeSFT（感知对齐监督微调）——输入包含文本问题和图像的多模态数据，以及带有交织模态推理标注的轨迹 $y_{1:T}$。训练目标由两部分组成：交叉熵损失 $\mathcal{L}_{CE} = \mathbb{E}\left[-\sum_{t=1}^{T} \log \pi_{\theta}(y_t | x, y_{ Image Step k），组装成与 Omni-R1 相同格式的训练数据。

技术新颖性

本文的技术新颖性体现在多个层面。首先，统一生成式多模态推理这一概念本身具有开创性——之前的工作要么专注于单一推理技能（如 DeepEyes 的工具调用、MVoT 的路径可视化），要么专注于纯文本推理（如 MM-Eureka），没有人提出用生成中间图像来统一所有多模态推理技能。其次，感知对齐损失的设计巧妙地利用了 VQVAE 的离散码本结构作为视觉 token 生成的稳定锚点，这在之前的多模态生成工作中较少见到。第三，感知奖励通过 2D Total Variation 衡量功能图像质量是一种新颖的无参考图像质量评估方法，避免了需要额外的奖励模型。第四，Omni-R1-Zero 的逐步可视化（Step-wise Visualization）方法实现了从纯文本 CoT 到交织模态推理的零标注迁移，借鉴了 DeepSeek-R1-Zero 的思想但在多模态场景下是首创。最后，Omni-Bench 的构建——包含 800 个样本、4 类 Uni-Tasks、5 类 Uni-Skills——为评估统一多模态推理提供了标准化基准。

**Figure 3**: Training pipeline for Omni-R1 and Omni-R1-Zero.

实验结果

实验结果全面验证了 Omni-R1 框架的有效性。在 Omni-Bench 上，Omni-R1-M（Bagel 骨干）取得最佳平均分 0.402，相比 Bagel 基线 0.286 提升 40.7%，这是所有方法中的最高性能。在 Anole 骨干上，Omni-R1-Zero-M 达到 0.159 的平均分，相比 Anole 基线 0.081 提升高达 95.4%，表明零标注方法也能取得显著提升。值得注意的是，Omni-R1-Zero 在多个任务上甚至超过了使用人工标注数据的 Omni-R1，例如 Omni-R1-Zero-M 在 Structured-Image 上得分 0.170 而 Omni-R1-M 为 0.135。在通用基准测试上，Omni-R1-Zero-S 在 Anole 骨干上取得最高平均分 50.19，相比 Anole 基线提升 125.5%；Omni-R1-L 提升 117.0%。消融实验表明，移除 PeRPO 导致最大性能下降（平均从 0.159 降至 0.113，Vision-Op. 从 0.093 降至 0.033），证明强化学习阶段对开发复杂多步推理至关重要。移除感知奖励则在 Natural 任务上造成显著退化（0.410 降至 0.330），说明感知奖励对视觉证据利用和策略优化稳定性有重要作用。t-SNE 可视化显示 Omni-R1 生成的图像集中在几个紧凑模式中，而 Omni-R1-Zero 呈现更分散的多模态结构，正确样本的聚类更紧密。

**Table 1**: The composition of Omni-Bench.

**Table 3**: Results on general benchmarks.

**Table 4**: Ablation study on Omni-Bench for Omni-R1-Zero.

**Table 5**: Details of general multimodal benchmarks.

**Figure 4**: The t-SNE visualization of generated images from Omni-R1 and Omni-R1-Zero, respectively.

**Figure 5**: Case studies of Omni-R1 (Anole)'s multimodal reasoning skills.

**Figure 6**: Omni-R1-Zero's generative reasoning process on a commonsense multimodal question.

**Figure 7**: Additional case results of Omni-R1 (Zoom-In cases).

**Figure 8**: Additional case results of Omni-R1 (Graph connectivity case).

查看结构化数据

任务	指标	本文	基线	提升
Omni-Bench (Anole-7B, 4 Uni-Tasks 加权平均)	加权平均准确率	Omni-R1-M: 0.153, Omni-R1-Zero-M: 0.159	Anole Base: 0.081, Zebra-CoT: 0.129	Omni-R1-Zero-M 相比 Anole Base 提升 +95.4%
Omni-Bench (Bagel-7B, 4 Uni-Tasks 加权平均)	加权平均准确率	Omni-R1-M: 0.402	Bagel Text CoT: 0.286, Zebra-CoT: 0.333	Omni-R1-M 相比 Bagel Base 提升 +40.7%
通用基准 (Anole-7B, 7 项指标加权平均)	加权平均（MME-P0.1, MME-R0.25 后平均）	Omni-R1-Zero-S: 50.19, Omni-R1-L: 48.29	Anole Base: 22.25, Zebra-CoT: 38.12	Omni-R1-Zero-S 相比 Anole Base 提升 +125.5%，相比 Zebra-CoT 提升 +31.6%
MME Perception (Anole-7B)	MME-P 分数	Omni-R1-L: 775.17	Anole Base: 224.55, Zebra-CoT: 623.70	Omni-R1-L 相比 Zebra-CoT 提升 +24.3%
POPE (Anole-7B)	F1 分数	Omni-R1-Zero-S: 66.06, Omni-R1-Zero-T: 66.19	Anole Base: 27.74, Zebra-CoT: 48.88	Omni-R1-Zero-T 相比 Zebra-CoT 提升 +35.4%
MM-Vet (Anole-7B)	LLM-judge 分数 (0-100)	Omni-R1-Zero-S: 22.02	Anole Base: 8.95, Zebra-CoT: 7.20	Omni-R1-Zero-S 相比 Anole Base 提升 +146.0%

局限与改进

本文存在以下局限性。首先，功能图像生成的质量仍然有限——Omni-R1 在 Anole 骨干上的绝对性能（平均 0.153）仍然较低，尤其在 Vision-Operational 任务上仅约 0.09，说明生成复杂操作场景的中间图像仍具挑战。其次，Omni-R1-Zero 依赖于基模型自身的图像生成能力来合成训练数据，如果基模型的生成质量不足（如 Anole 的基础能力较弱），合成数据的质量也会受限，这解释了为什么 Anole 骨干上整体性能偏低。第三，感知奖励使用 2D Total Variation 作为图像质量的代理指标，这一度量可能过于粗糙——它主要衡量空间平滑性，无法全面评估功能图像中关键信息（如标注框位置、辅助线几何正确性）的准确性。第四，论文中使用的骨干模型（Anole-7B 和 Bagel-7B）均为 7B 参数规模，在当前动辄 70B+ 的多模态模型生态中属于较小规模，更大模型上的表现尚不确定。最后，Omni-Bench 仅包含 800 个样本，且 Vision-Operational 任务仅 300 个样本，样本量偏小可能导致评估结果的方差较大。

独立分析的弱点

Omni-R1 存在几个值得改进的弱点。第一，感知奖励的设计过于简化——2D Total Variation 只衡量空间平滑性，无法区分平滑但错误的图像和不平滑但正确的图像。例如，一个带粗粒度标注框的功能图像可能 TV 值较高（因为框边界处不连续），但推理价值很高；改进方向是设计基于语义的奖励，如使用 CLIP 或专用检测模型评估生成图像是否正确标注了目标物体。第二，Omni-R1-Zero 的逐步可视化依赖基模型在无训练情况下的图像生成能力，对于需要精细空间操作的技能（如精确的 BBOX 标注）可能力不从心；改进方向是引入预训练的图像编辑或条件生成模型来提升合成数据质量。第三，论文未充分探索不同骨干模型的影响——Anole 和 Bagel 都是 7B 规模的统一多模态模型，它们的图像生成能力天然较弱；如果使用更强的图像生成骨干（如基于扩散模型的架构），性能可能大幅提升。第四，PeRPO 的超参数（如 $\alpha, \beta, \gamma$ 的选择）在正文中未给出具体值，这增加了复现难度且可能影响最终性能。

未来方向

作者在结论中指出了几个重要的未来方向。首先，开发可扩展的监督信号用于生成式多模态推理——当前 Omni-R1-Zero 的零标注路径已有初步成果，但仍有提升空间，例如通过自我博弈（self-play）或迭代自我改进来逐步提升合成数据质量。其次，探索更大规模模型上的表现——随着统一多模态模型（如更大的 Chameleon 或类似架构）的发展，生成式多模态推理的能力可能会显著增强。第三，将更多推理技能纳入统一框架——当前覆盖了 Zoom-in、BBOX、Marking、Line、Pred 五种技能，未来可以扩展到视频推理、3D 空间推理等更多场景。第四，改进功能图像生成的可控性——当前方法生成的图像质量参差不齐，引入更强的图像生成模型（如 Flow Matching 或扩散模型）可能会提升生成质量和可控性。此外，基于本文框架，可以探索将生成式推理与工具调用相结合的混合范式，在保持统一性的同时利用外部工具的精确性。

复现评估

本文的复现条件相对较好。代码和项目页面已开源在 GitHub（https://github.com/ModalityDance/Omni-R1），训练框架基于 verl、Transformers、Flow-GRPO 和 trl 等开源库构建。训练数据方面，PeSFT 阶段使用的 Zebra-CoT（182K 样本）和 M3CoT 子集已公开，PeRPO 阶段使用的 ArxivQA 和 Geometry3K 训练集也可获取。Omni-Bench 的构成数据来自公开数据集（V*、ArxivQA、ChartQA、Geometry3K、MathVista、ViC-Bench）。论文在附录中详细列出了超参数设置（学习率 $1 \times 10^{-7}$、训练 batch 64、生成 batch 192、每 prompt 16 个采样等），但 $\alpha, \beta, \gamma$ 奖励权重的具体值未明确给出。算力方面，使用 7B 规模模型进行两阶段训练（SFT + 30-60 步 PeRPO），估计需要多卡 GPU 集群，但论文未报告具体 GPU 时数。总体而言，复现门槛中等偏高，主要瓶颈在于统一多模态模型骨干的获取和训练算力。

Omni-R1：面向多模态推理的统一生成范式 Omni-R1: Towards the Unified Generative Paradigm for Multimodal Reasoning