← 返回 2026-02-18

理解与生成：多模态模型中的优化困境导航 Understanding vs. Generation: Navigating Optimization Dilemma in Multimodal Models

Sen Ye, Mengde Xu, Shuyang Gu, Di He, Liwei Wang, Han Hu 📅 2026-02-17 👍 7 2026-07-13 08:35
图像生成 多模态模型 强化学习 视觉理解 迭代优化
arXiv HuggingFace PDF

通过Reason-Reflect-Refine框架将理解嵌入生成过程，解决多模态模型中生成与理解的权衡问题

前置知识

多模态大模型

多模态大模型是指能够同时处理和生成多种模态（如图像、文本、音频等）数据的深度学习模型。这类模型通常基于Transformer架构，通过统一的表示空间或联合编码器-解码器结构实现跨模态的交互与转换。例如BAGEL、Chameleon等模型，它们既能理解图像内容，又能根据文本描述生成图像，甚至进行图像编辑等任务。统一多模态模型的核心挑战在于如何在一个模型中平衡和理解这两种不同但相关的能力。

本文基于BAGEL等多模态模型开展工作，读者需要理解这些模型如何同时支持理解和生成两种能力，以及为什么这两种能力在训练过程中会存在竞争关系。理解多模态模型的基本架构和训练范式是把握本文问题定义和方法设计的基础。

强化学习（RL）

强化学习是一种机器学习范式，智能体通过与环境交互，在状态空间中采取行动，获得奖励或惩罚，从而学习最优策略。在深度强化学习中，策略通常由神经网络参数化。本文使用的GRPO（Group-Relative Policy Optimization）是PPO的改进版本，通过对一组采样的奖励进行归一化来稳定训练。优势函数通过对组内奖励进行标准化计算得到。

本文的核心训练方法基于强化学习，特别是GRPO和FlowGRPO算法。理解强化学习的基本概念（策略、奖励、优势函数等）是掌握本文训练过程的关键，特别是如何将生成过程建模为马尔可夫决策过程并进行优化。

扩散模型

扩散模型是一类生成模型，通过学习逐步向数据添加噪声的过程（前向过程）以及对应的去噪过程（反向过程）来生成样本。图像生成通常使用随机微分方程（SDE）或常微分方程（ODE）来描述这个过程。FlowGRPO将扩散过程建模为马尔可夫决策过程（MDP），每个去噪步骤是一个动作，最终图像质量作为终端奖励。

本文使用扩散模型进行图像生成，并使用FlowGRPO对其进行强化学习优化。需要理解扩散模型的工作原理以及如何将其转化为RL问题，特别是如何将去噪步骤建模为策略动作，以及如何设计终端奖励信号。

链式思维（Chain-of-Thought, CoT）

链式思维是一种推理策略，模型不是直接给出最终答案，而是将复杂问题分解为一系列中间推理步骤，逐步推导出最终结果。在本文的R3框架中，生成过程被重构为一个推理链：首先进行推理规划，然后反思评估，最后改进输出，形成完整的生成-理解-再生成的思维链。这与传统的单步生成形成对比。

本文的核心创新在于将生成过程建模为多步推理链，理解CoT的概念有助于把握R3框架的设计哲学和技术路线。链式思维不仅提高了生成的可控性，更重要的是将理解能力嵌入到生成过程的核心环节，形成生成与理解的协同关系。

研究动机

当前多模态模型研究面临一个核心挑战：提升生成能力往往以牺牲理解为代价，反之亦然。实验数据显示，在BAGEL模型上，仅在生成或理解任务上进行微调会导致互补能力的显著下降。例如，在GenEval++的计数子集上，仅生成训练使理解准确率从79.3%下降到47.5%，仅理解训练使生成准确率从60.0%下降到32.5%。即使是简单的联合训练也只能带来微小的提升。具体来说，针对高保真图像合成微调的模型（如基于扩散架构的模型）在需要精确视觉理解的任务上表现不佳，包括物体计数或空间推理；反之，针对视觉问答（VQA）或密集字幕生成等任务优化的模型，其创意生成性能往往弱于专用生成模型。这种权衡现象不仅出现在BAGEL模型上，在其他多模态模型中也普遍存在，表明这是一个系统性的问题而非特定模型的缺陷。

本文的目标是本文的目标是解决多模态模型中生成与理解能力之间的权衡问题，设计一种方法使得模型在提升生成能力的同时，能够保持甚至增强理解能力，而不是牺牲其中一个来提升另一个。更具体地说，本文希望找到一种方法，使得优化生成目标时不会导致理解能力的退化，反之亦然。通过这种设计，模型能够达到真正的统一多模态能力，既能生成高质量图像，又能准确理解图像内容，这两种能力能够相互促进而非相互竞争。

与已有工作不同的是，与现有方法的本质区别在于，本文没有采用统一的tokenization方案（如Chameleon、Janus等），也没有通过架构解耦为理解和生成分配独立容量（如Mixture-of-Transformers、MoE等方法）。相反，本文从任务角度出发，认为冲突的根本原因是不同的训练目标导致优化轨迹不对齐。生成目标通常最大化数据分布下样本的似然，这一目标可以在没有理解能力的情况下被优化，导致模型容量可能被垄断，与所需的理解能力形成竞争。本文的核心切入点是：生成是否应该主动融合模型对潜在语义的理解？通过将理解显式地嵌入到生成循环中，将理解从被动的评估任务转变为生成的主动组成部分。这种范式转换确保了优化目标的内在对齐，从根本上缓解了容量竞争导致的权衡问题。

核心方法

R3框架的基本直觉是将单次图像生成重构为多步迭代过程，类似人类创作者的工作方式。就像画家先构思草图，然后审视画面，发现不足后再进行修改，直到达到满意的效果。在推理阶段，模型分析用户意图并生成初始计划，然后合成初始图像。由于从复杂提示进行高保真生成通常难以一次性完成，框架进入迭代的反思-改进循环。在这里，模型评估其输出与原始提示的对齐情况——这个过程需要强大的多模态理解能力。如果输出对齐良好，过程终止；否则，模型形成修正性的文本指令并相应地改进图像。这个自我修正循环持续进行，直到达到满意的对齐，由模型自身决定何时停止。整个过程使用基于最终图像质量的结果奖励信号进行端到端训练。为了进一步提高效率，本文引入了即时展开策略，通过重要性采样选择多样化的奖励样本加速收敛，而不损失整体任务完成能力。

与已有方法的本质区别在于，R3框架明确地将视觉理解嵌入到生成过程的核心环节，而不是将理解和生成视为独立任务。在传统方法中，理解通常作为下游任务独立训练（如VQA、图像分类），与生成过程解耦。在R3中，理解被设计为生成链式思维的一个内在组成部分：模型必须通过反思来评估生成结果的质量，这个过程本身就是一种深度理解任务。因此，模型的生成能力提升严格依赖于其理解能力，形成一种共生关系而非竞争关系。这种设计确保了优化目标的内在对齐，从根本上缓解了容量竞争导致的权衡问题。

方法步骤详情

R3框架包含三个主要步骤，交替执行：1）Reason（推理）：模型首先扩展输入提示c以生成更详细的推理计划t1。计划应按照特定格式输出。然后，模型根据这个计划合成初始图像I1。这由联合概率建模。推理阶段的文本采用温度参数0.9采样，扩散SDE采样使用噪声参数0.7。2）Reflect（反思）：获得初始生成图像后，模型需要评估其与用户原始意图c的对齐情况。如果生成输出被认为令人满意，模型输出明确的终止信号。如果输出仍然不足，模型执行批判性内省，识别当前图像与期望目标之间的差异，最终生成精炼的编辑指令。3）Refine（改进）：模型执行生成的编辑指令来修改先前创建的图像，产生精炼的输出。整个反思-改进循环迭代执行，形成链式思维，直到模型的内部评估确认生成的图像满足用户请求的所有方面。

技术新颖性

R3框架的技术新颖性体现在三个方面：首先，它提出了生成-理解-再生成的范式转换，将理解从下游任务提升为生成过程的核心组件。其次，它设计了Tree-RL训练策略，将完整的多轮轨迹分解为Reason阶段和Reflect-Refine阶段，每个阶段将其结果作为初始条件填充到下一个阶段。所有策略使用GRPO损失函数优化，文本CoT使用标准GRPO，扩散模型使用FlowGRPO。第三，它引入了阶段化奖励设计，为推理、反思和改进阶段分别设计不同的奖励信号，确保每个步骤都有明确的学习目标。

The inference pipeline of our Reason-Reflect-Refine framework.
Figure 2: The inference pipeline of our Reason-Reflect-Refine framework.
The training procedure, which alternates between optimizing the Reason policy and the Reflect-Refine policies.
Figure 3: The training procedure, which alternates between optimizing the Reason policy and the Reflect-Refine policies.
Training reward curves of the Tree-RL versus Full Trajectory RL strategies.
Figure 4: Training reward curves of the Tree-RL versus Full Trajectory RL strategies.
An illustration of our model's two-stage generation process.
Figure 8: An illustration of our model's two-stage generation process.

实验结果

实验验证了R3框架的有效性，主要发现包括：1）在GenEval++基准测试中，R3框架实现了68.9%的整体准确率，相比基线BAGEL的37.1%提升了31.8个百分点。2）在理解任务上也取得显著提升。在Image-Text Alignment（ITA）任务上，整体准确率从60.6%提升到73.4%，提升了12.8个百分点。在Compositional VQA任务上，整体准确率从86.5%提升到89.6%，提升了3.2个百分点。3）反思-改进阶段至关重要。仅有推理阶段的基线在GenEval++上有提升，但完整框架进一步提升。4）推理轮次存在边际效应递减。最大的性能提升发生在第一次反思-改进轮次后。5）训练过程中能力演化呈现有趣的模式。在前150步中，模型的生成准确率与无反思基线相似，而VQA准确率变化最小。然而，超过150步标记后，反思-改进机制开始产生可观察的结果。

Instruction-following generation ability on the GenEval++ benchmark.
Table 1: Instruction-following generation ability on the GenEval++ benchmark.
Evaluation of understanding capabilities on our proposed ITA benchmarks.
Table 2: Evaluation of understanding capabilities on our proposed ITA benchmarks.
Evaluation of VQA capabilities.
Table 3: Evaluation of VQA capabilities.
Cross-topic evaluation on GenEval++.
Table 5: Cross-topic evaluation on GenEval++.
Quantitative evaluation results on TIIF testmini benchmark.
Table 6: Quantitative evaluation results on TIIF testmini benchmark.
Text-to-image generation ability on the GenEval benchmark.
Table 8: Text-to-image generation ability on the GenEval benchmark.
Inference performance on GenEval++ comparison between Bagel and R3.
Table 9: Inference performance on GenEval++ comparison between Bagel and R3.
Qualitative comparison between Bagel and our results.
Figure 5: Qualitative comparison between Bagel and our results.
Inference-time scaling effect across the GenEval, GenEval++, and TIIF benchmarks.
Figure 6: Inference-time scaling effect across the GenEval, GenEval++, and TIIF benchmarks.
The evolution of generation and understanding abilities in the training process.
Figure 7: The evolution of generation and understanding abilities in the training process.
An illustration of maze navigation results.
Figure 16: An illustration of maze navigation results.
查看结构化数据
任务指标本文基线提升
GenEval++ Overall Accuracy 0.689 0.371 (BAGEL) +0.318 (+85.7%)
GenEval++ Multi-Count 0.800 0.375 (BAGEL) +0.425 (+113.3%)
GenEval++ Color/Count 0.575 0.250 (BAGEL) +0.325 (+130.0%)
GenEval++ Pos/Count 0.750 0.250 (BAGEL) +0.500 (+200.0%)
ITA (Image-Text Alignment) Overall Accuracy 73.37% 60.60% (BAGEL) +12.77%
VQA (Visual Question Answering) Overall Accuracy 89.63% 86.48% (BAGEL) +3.15%
GenEval Overall Accuracy 0.962 0.820 (BAGEL) +0.142 (+17.3%)
TIIF Overall Following 82.02% 70.97% (BAGEL) +11.05%

局限与改进

作者承认的局限性包括：1）框架的学习理解目前是领域特定的。跨主题实验表明，在特定属性类别（如颜色、计数）上训练的模型，其理解能力的提升主要局限于训练领域。2）计算开销是一个实际问题。虽然自适应推理减少了平均迭代次数，但在NVIDIA H20 GPU上，初始推理阶段需要20-25秒，每次Reflect-Refine轮次需要25-35秒。3）框架在复杂文本渲染上仍有局限性。从定性示例可以看出，对于要求在网球球上渲染特定文本的提示，框架在初始阶段未能正确渲染所有单词，反思-改进阶段添加了大部分缺失的文本但引入了轻微的拼写错误。

独立分析的弱点

独立分析的弱点包括：1）对奖励模型依赖性强。框架通过反思阶段评估生成质量，这完全依赖于奖励模型的判断能力。如果奖励模型对某些类型的错误不敏感，反思-改进过程可能无法捕获和纠正这些问题。2）终止条件可能过早或过晚。模型自主决定何时停止改进，如果模型对自己的输出过于自信，可能过早终止；如果过于谨慎，可能进行不必要的迭代增加计算成本。3）对长提示的处理能力有限。对于非常长的复杂提示，计划生成和后续的反思-改进可能仍然难以处理所有细节。4）在非组合性任务上的效果未知。本文主要在组合性任务上验证框架，对更抽象或创造性的生成任务的有效性需要进一步验证。

未来方向

作者提出的未来研究方向：1）开发更通用的理解能力。2）扩展到其他模态和任务。3）与其他方法的结合。4）更高效的训练策略。基于成果可延伸的：1）自动化批评者模型。2）多智能体协作。3）可解释性分析。

复现评估

代码已在GitHub开源，论文提供了详细的实现细节。然而，完整的复现仍然具有挑战性。框架基于BAGEL模型，需要大量的计算资源。框架涉及复杂的强化学习训练流程，需要仔细调整多个超参数。评估依赖于强大的奖励模型，可能需要API访问。数据准备涉及生成合成图像和构建VQA问题。总体而言，虽然代码开源，但完整的复现仍需要大量的计算资源和技术专长。

论文图表

Fine-tuning BAGEL exclusively on generation or understanding degrades the complementary capability.
Figure 1: Fine-tuning BAGEL exclusively on generation or understanding degrades the complementary capability.

Figure 1通过柱状图展示了四种训练方法下BAGEL模型在生成和理解任务上的准确率对比，直观展示了多模态模型中生成与理解的权衡问题。

这张图对理解论文至关重要，因为它直接展示了多模态模型中生成与理解的权衡问题，这是本文要解决的核心问题。

Table 4: Impact of training trajectory length on generation and understanding.

Table 4展示了训练轨迹长度对生成和理解性能的影响，展示了训练轨迹长度对最终性能的影响。

这个表格对理解论文的训练设置至关重要，因为它展示了训练轨迹长度对最终性能的影响。