CLEAR：释放统一多模态模型中退化图像理解的生成潜力

通过连接生成和理解能力，提升统一多模态模型对退化图像的鲁棒性

前置知识

统一多模态模型

统一多模态模型是能够在单一架构内同时处理视觉理解和图像生成任务的人工智能系统。与传统采用不同专业模块的分离式架构不同，统一模型共享一个通用骨干网络（如 Mixture-of-Transformer），通过共享的视觉编码器（如 SigLIP）提取图像的语义特征，并通过 VAE 或离散分词器的生成路径在潜在空间生成图像。这种架构使得模型能够利用相同的参数空间理解视觉内容和创建视觉内容，为跨模态知识迁移和联合优化提供了可能。

本文的核心理念正是利用统一模型中理解和生成能力的天然互补性，即理解路径擅长高层语义推理而生成路径擅长低层结构建模，通过连接这两种能力来抵抗图像退化对视觉信息的破坏。

潜变分自编码器（VAE）

VAE 是一种生成模型，它学习将高维数据（如图像）压缩到低维潜在空间的概率分布。编码器将输入图像映射到潜在空间的均值和方差，解码器则从潜在采样重构图像。通过最小化重构误差（如 MSE）和正则化项（如 KL 散度），VAE 能够学习连续、平滑的潜在表示。在图像生成领域，VAE 潜在空间常被用作扩散模型或流匹配模型的操作空间，相比离散 Token 化保留了更丰富的低层视觉细节，如纹理、边缘和颜色分布。

CLEAR 框架使用 VAE 作为生成路径的潜在空间表示，并在推理过程中直接将生成的 VAE 潜在 Token 注入到语言模型的上下文中，使得模型能够在潜在空间进行推理而不必解码回像素空间，这是实现生成-理解联合优化的关键。

流匹配

流匹配是一种通过学习速度场来生成数据的生成模型框架。它定义从噪声分布到数据分布的连续轨迹，通过学习速度场 v_theta(x_t, t) 沿着概率路径传输样本。采样过程遵循常微分方程 dx_t = v_theta(x_t, t)dt，通过离散化为 N 步实现图像生成。Flow Matching 等价于整流流，相比扩散模型有更简单的目标函数和更少的采样步骤。在强化学习场景中，Flow Matching 可以转换为等效的随机微分方程（SDE），引入必要的随机性以支持策略优化。

CLEAR 的 Interleaved GRPO 方法扩展了 Flow-GRPO，将 Flow Matching 的速度场预测与文本生成联合优化，通过共享的奖励信号同时更新文本推理和视觉生成参数。

GRPO（Group Relative Policy Optimization）

GRPO 是一种强化学习算法，不需要单独的价值网络来估计优势。对于每个输入查询，GRPO 采样一组 G 个完成轨迹，通过在组内对奖励进行归一化计算群体相对优势，然后用剪裁代理损失更新策略。相比 PPO，GRPO 用统计归一化替代了学习的价值基线，显著降低了内存消耗和实现复杂度。GRPO 特别适合大型语言模型，因为它避免了额外价值网络的训练开销。

CLEAR 的 Interleaved GRPO 方法基于 GRPO 框架，但将其从纯文本序列扩展到文本和图像生成交替的单个自回归序列，通过共享的计算图和奖励信号实现跨模态联合优化。

图像退化

图像退化是指图像质量因各种因素而降低的现象，常见类型包括模糊（运动模糊、镜头模糊）、噪声（高斯噪声）、压缩伪影（JPEG 块效应）、光照不足（暗光照）、大气湍流等。这些退化破坏了图像的低层视觉线索（如纹理、边缘、颜色细节），这些线索正是多模态模型进行识别、定位和推理所依赖的基础。退化通常用严重性级别来衡量，从轻度（视觉可辨识）到重度（关键信息完全丢失）。

本文的研究问题就是如何让多模态模型在图像退化的情况下仍能保持理解能力。退化破坏的低层信息恰恰是生成路径能够恢复的内容，这是连接生成和理解能力的动机所在。

研究动机

现实世界中的视觉数据普遍存在图像退化问题，这不是边缘情况而是常态。自动驾驶、监控、手机摄影和视频会议等场景的图像经常受到运动模糊、传感器噪声、光照不足和激进压缩的影响。这些退化损害了多模态模型依赖的低层视觉线索，导致识别、定位和推理能力大幅下降。如图 1 所示，多模态模型可以在干净图像上正确识别物体，但在相同图像退化后完全误判。在商业系统如 GPT-4o 和各种开源架构上，我们在六个标准基准的退化版本上都观察到显著的精度损失，表明对图像退化的敏感性是当前多模态领域的普遍漏洞。其中，MM-Vet 从 Clean 到 Hard 下降 9.22 点，RealWorldQA 相对稳定（61.43 到 61.05）是因为其空间推理问题更多依赖场景布局而非纹理细节。这种鲁棒性缺失是实际部署多模态系统的核心障碍。

本文的目标是本文的目标是设计一种方法，让统一多模态模型能够有效利用其内置的生成能力来应对图像退化对理解能力的破坏。具体来说，目标是让模型在面对退化图像时能够自主判断是否需要生成中间视觉状态来恢复被破坏的低层信息，并通过联合优化确保生成的视觉状态真正服务于下游理解任务，而不仅仅是近似干净图像的像素级重构。最终目标是在大幅提升退化输入性能的同时保持干净图像的性能，不增加额外参数或外部模块，实现鲁棒性和效率的平衡。

与已有工作不同的是，本文的独特切入角度是识别并解决统一多模态模型中一个被忽视的功能断开：生成和理解在架构中共存但在功能上隔离。现有统一模型如 Emu3、Janus-Pro 和 Bagel 都有生成路径能够建模退化所破坏的精细视觉结构，但当直接回答关于退化图像的问题时，这些模型未能利用自身的生成能力。本文将此断开归因于两个因素：行为因素是现有训练范式从未要求模型在推理过程中调用生成；结构因素是标准的解码-重编码路径需要将生成的潜在表示解码到像素空间再通过冻结的视觉编码器重编码，这切断了生成和理解之间的计算图，阻碍了答案级反馈塑造模型如何生成。通过 Behavioral Initialization 建立生成-然后-回答模式、Latent Representation Bridge 替代解码-重编码瓶颈、Interleaved GRPO 联合优化文本推理和视觉生成，CLEAR 实现了生成和理解的有效连接。

核心方法

CLEAR 框架基于一个直觉：统一多模态模型的理解路径擅长高层语义推理，生成路径擅长低层视觉细节建模，而图像退化恰好破坏低层信息。因此，如果能让模型在遇到退化图像时自主调用生成能力来恢复这些信息，就能显著提升鲁棒性。技术路线分为三个渐进步骤：首先通过监督微调在退化感知数据集上建立生成-然后-回答的推理模式；然后用 Latent Representation Bridge 替代标准的解码-重编码路径，在生成和推理之间建立直接、可优化的连接；最后通过 Interleaved GRPO 在答案正确性奖励下联合优化文本推理和视觉生成。这个框架的核心创新在于让答案级的反馈通过桥接直接流向生成过程，使模型学习生成的中间视觉状态既服务于下游推理又具有更高的感知质量。

CLEAR 的核心创新是三层的渐进设计，解决了统一模型中生成和理解断开连接的问题。Behavioral Initialization 通过在退化感知数据集上的监督微调，教会模型何时调用生成以及如何构建交织的推理轨迹，建立行为模式。Latent Representation Bridge 是更关键的技术创新，它将生成的 VAE 潜在 Token 直接拼接到推理上下文中，消除了像素空间绕道，不仅降低了计算成本，更重要的是创建了从生成到推理的可微分路径，使答案级监督能够传播回生成参数。Interleaved GRPO 则是最深层的创新，它将 GRPO 从纯文本序列扩展到文本和图像生成交替的单个自回归序列，通过共享的奖励信号和计算图同时优化文本推理和视觉生成。这三层设计的递进关系确保了每一层都为下一层奠定基础：没有行为模式，RL 无轨迹可优化；没有桥接，答案反馈无法到达生成；没有联合优化，生成过程受 MSE 目标约束无法突破质量上限。

方法步骤详情

CLEAR 的完整工作流程分为训练和推理两个阶段。训练阶段包含两个步骤：步骤 1 是监督微调（SFT），构建退化感知数据集。从 LLaVA-OneVision 中采样图像-问题对，应用 16 种退化类型在三个严重性级别，然后用基线 Bagel 模型测试退化版本的回答正确性。模型回答正确的样本分配直接答案路径，回答错误的分配生成-然后-答案路径。两类样本各占一半共 24k，使用 GPT-4.1 生成结构化推理轨迹，包含分析阶段、可能的生成触发和后生成分析。SFT 目标是下一个 Token 预测，辅以 MSE 损失鼓励生成的 VAE 潜在接近干净图像、KL 散度损失引导 VAE 潜在向 ViT 特征分布靠拢，总损失包含三项。步骤 2 是 Interleaved GRPO，使用另一个 24k 样本集，组大小 G=4，学习率 1e-6，剪裁范围 0.2，图像损失权重 0.3，奖励权重正确性 0.75、格式 0.1、决策 0.15。推理阶段，模型首先进入分析阶段评估图像质量，如果判断生成会提升答案则输出触发标记多步去噪生成中间视觉状态，将生成的 VAE 潜在 Token 通过桥接注入推理上下文，然后进行后生成分析并最终回答；如果判断视觉信息充足则直接跳过生成回答。

技术新颖性

CLEAR 的技术新颖性体现在多个层面。架构层面，Latent Representation Bridge 是首次在统一多模态模型中建立生成-理解直接可优化连接的设计，替代了标准的解码-重编码绕道，使答案级监督能够直接塑造生成过程。训练层面，Interleaved GRPO 是首次将 GRPO 从纯文本序列扩展到文本和图像生成交替的单个自回归序列的方法，通过共享的群体相对优势估计和单步去噪选择实现跨模态联合优化，内存成本与纯文本 GRPO 相当。方法层面，CLEAR 发现了任务驱动优化和视觉质量的自然对齐：当移除像素级重构监督只保留答案正确性奖励时，生成的中间视觉状态的感知质量反而提升，表明显式重构监督更像是约束而非要求。这一发现具有反直觉性，因为它挑战了需要感知质量信号才能生成好图像的常规假设。此外，CLEAR 的自适应生成策略是通过奖励信号自然涌现的而非显式设计的，模型学会了根据输入质量决定是否生成，在轻度退化时生成触发率仅 5.2%，重度退化时达到 36.4%。

**Figure 2**: Overview of CLEAR. Stage 1 (top) performs supervised fine-tuning to establish the generate-then-answer reasoning pattern and warm-start the Latent Representation Bridge, with both VAE latent and ViT re-encoded features injected during this stage. Stage 2 (bottom) applies Interleaved GRPO, where text tokens are optimized with GRPO and the denoising step with Flow-GRPO, sharing the same group-relative advantage from answer-correctness rewards. The ViT path is removed in Stage 2, making the bridge the sole connection between generation and reasoning.

**Figure 3**: Left: the standard decode-reencode path in existing unified models. The generated VAE latent must be decoded into pixels and re-encoded through the ViT before it can enter the reasoning context. Right: the Latent Representation Bridge in CLEAR. The generated VAE latent is directly concatenated into the reasoning context, eliminating the decode-reencode bottleneck and providing an effective optimization route from answer correctness back to generation.

实验结果

CLEAR 在 MMD-Bench 和 R-Bench-Dis 的实验验证了其有效性。主要发现包括：退化脆弱性是普遍的，所有模型在退化下都遭受显著精度损失，即使 GPT-4.1-mini 和 Gemini-2.5-Flash 相比其干净图像性能也有明显下降；文本推理无法补偿视觉信息损失，Text-only CoT 相比基线模型没有实质性优势（60.02 vs 60.15）；连接生成和推理带来显著增益，CLEAR-SFT 比 Bagel 平均提升 3.27 点，CLEAR-RL 进一步推至 65.26，在所有七个评估集中都是开源模型最佳；CLEAR-RL 使 Bagel 提升 5.11 点（8.5% 相对提升）且不增加额外参数。鲁棒性分析显示 Bagel 在 Hard 退化下损失 7.29 点（10.9% 相对），CLEAR-RL 将此损失减少到 5.31 点（7.6%），鲁棒性差距缩小 24%。组件消融验证了每个步骤的必要性：SFT 单独带来 3.47% 硬输入增益，无 GRPO 的桥接表现类似 SFT 单独，用解码-重编码替代桥接限制增益至 63.72，完整 pipeline 最佳。自适应分析显示模型在低、中、高退化级别下生成触发率从 5.2% 单调增加到 36.4%，推理时间从 2 小时 3 分钟增加到 3 小时 35 分钟（74% 增加），但这是有针对性的计算分配而非固定开销。最有意思的发现是移除像素级重构监督后，RL 状态在 BRISQUE（43.73 到 41.53）、NIQE（5.32 到 4.93）、MUSIQ（42.63 到 45.74）所有无参考感知质量指标上都优于 SFT 状态，表明任务驱动奖励同时提升推理精度和感知质量。

**Table 1**: Main results under Hard degradation. R-Bench-Dis is an existing degraded-image benchmark; the remaining six are from MMD-Bench. Best in bold, second best underlined.

**Table 2**: Robustness analysis. Clean and Hard scores are averaged over the six MMD-Bench benchmarks. Drop = Clean - Hard.

**Table 3**: Component ablation averaged over six MMD-Bench benchmarks. Dec-reenc replaces the bridge with the standard decode-reencode path during GRPO.

**Table 4**: No-reference perceptual quality and reasoning accuracy of intermediate visual states. BRISQUE and NIQE (lower is better) measure distortion; MUSIQ (higher is better) measures overall quality.

**Figure 4**: Qualitative examples of CLEAR's adaptive reasoning. Left: on a mildly noisy image, the model skips generation and answers directly. Right: on a severely blurred image, the model triggers generation to recover obscured details before answering.

**Figure 5**: Generation triggering rate (bars, left axis) and total inference time (line, right axis) across degradation severity levels for each benchmark.

查看结构化数据

任务	指标	本文	基线	提升
MMBench	Accuracy	72.52	67.88	+4.64
MM-Vet	Accuracy	51.97	45.09	+6.88
MMVP	Accuracy	71.33	65.66	+5.67
CV-Bench	Accuracy	72.25	64.81	+7.44
MMStar	Accuracy	60.67	55.53	+5.14
RealWorldQA	Accuracy	61.05	58.43	+2.62
MMD-Bench Average	Accuracy	64.97	59.57	+5.40
R-Bench-Dis	Accuracy	67.07	61.64	+5.43

局限与改进

本文承认的局限性包括：当关键视觉证据占据非常小的区域且被严重退化时，30 步去噪可能无法恢复足够细节以正确识别，即使整体图像质量改善；方法依赖于模型自身的生成能力，如果退化程度超出生成路径的恢复能力则无法获益；推理开销与生成触发率正相关，重度退化时触发率 36.4% 增加 74% 推理时间。我们自己的观察包括：MMD-Bench 的 16 种退化类型虽然覆盖广泛，但不包括现实中的所有退化场景（如镜头脏污、色差）；方法在 Post-processing 类退化（如涂鸦、水印）上增益最小，因为这些退化引入的外来内容结构与自然图像退化根本不同，更难通过相同的生成过程处理；CLEAR-RL 在 Clean 上的性能提升部分来自结构化推理格式而非纯鲁棒性增益；方法需要 GPT-4.1 生成训练数据推理轨迹，数据构建成本较高。

独立分析的弱点

CLEAR 的几个独立分析弱点及其改进方向：首先是小区域严重退化的局限性，当关键信息在极小区域（如笔记本电脑品牌标志）且被严重压缩时，30 步去噪无法恢复，改进方向是探索区域感知或自适应分辨率生成，根据任务相关区域动态分配计算资源；其次是 Post-processing 退化增益最小，因为涂鸦、水印等外来内容结构与自然退化不同，改进方向是引入内容感知生成，区分原始内容和叠加伪影；三是推理开销在重度退化时显著增加，改进方向是进一步优化自适应策略，如基于任务复杂度的更细粒度触发决策或更少的去噪步数；四是数据构建依赖 GPT-4.1，成本高且可能有偏差，改进方向是开发自动化的推理轨迹生成方法或减少对合成轨迹的依赖；五是目前方法只在特定统一模型上验证，改进方向是扩展到其他统一架构以验证方法的通用性。

未来方向

作者提出的和基于成果可延伸的未来研究方向包括：将 Latent Representation Bridge 和 Interleaved GRPO 框架扩展到其他统一多模态架构以验证方法的通用性；探索更多生成-理解协作场景，不仅限于图像退化鲁棒性，还可扩展到少样本学习、跨模态推理、不确定性估计等任务；研究区域感知或自适应分辨率生成，针对任务相关关键区域分配更多计算资源；将框架扩展到视频模态，处理视频退化对时空理解的影响；探索更细粒度的自适应策略，如基于退化类型、任务难度、图像内容的更精确触发决策；研究将任务驱动优化和感知质量对齐的发现推广到其他生成任务，如文本生成图像的质量评估；开发更高效的训练方法，减少对 GPT-4.1 生成推理轨迹的依赖；探索将 CLEAR 的思想应用到其他多模态任务，如多模态问答、视觉推理、视觉定位等。

复现评估

CLEAR 的复现评估：代码和训练数据已公开在 GitHub，包括 SFT 数据集构建脚本、推理轨迹生成模板、完整的训练和推理代码。基础模型 Bagel-7B 是开源的统一多模态模型。评估基准 MMD-Bench 的构建细节（16 种退化类型、三个严重性级别、六个基准）在附录中详细说明。算力需求是 8 张 NVIDIA A100 80GB GPU，SFT 训练 3 个 epoch，Interleaved GRPO 训练时长未明确说明但应在合理范围内。超参数敏感性分析在附录中提供，方法在合理范围内鲁棒。推理时间和生成触发率的详细统计在附录中提供。MMD-Bench 使用 VLMEvalKit 进行评估，确保可复现性。整体而言，论文提供了充分的实现细节和开源代码，复现难度中等，主要挑战是计算资源需求和数据构建成本。

CLEAR：释放统一多模态模型中退化图像理解的生成潜力 CLEAR: Unlocking Generative Potential for Degraded Image Understanding in Unified Multimodal Models