DeepGen 1.0：面向图像生成与编辑的轻量级统一多模态模型 DeepGen 1.0: A Lightweight Unified Multimodal Model for Advancing Image Generation and Editing
5B参数统一模型，性能超越80B基线，核心为堆叠通道桥接架构
前置知识
Vision-Language Model (VLM)
视觉语言模型是一类能够同时理解图像和文本的深度学习模型。它通常由视觉编码器（如ViT）和语言模型（如LLaMA、Qwen）组成，通过大规模图文对预训练学习跨模态对齐。在本文中，VLM作为理解与推理骨干，负责从文本指令和参考图像中提取丰富的语义特征和世界知识。本文使用的是Qwen-2.5-VL（3B参数）作为VLM组件。
理解VLM是理解本文架构的基础。DeepGen的核心思想就是充分利用VLM的语义理解能力来指导图像生成，因此VLM的能力直接决定了模型的上限。
Diffusion Transformer (DiT)
扩散变换器是将Transformer架构应用于扩散模型的生成范式。与传统U-Net扩散模型不同，DiT使用Transformer作为去噪网络，通过流匹配（Flow Matching）框架进行训练。在每个时间步，DiT接收带噪图像的潜在表示和条件信号，预测去噪方向。本文使用SD3.5-Medium（2B参数）作为DiT骨干，负责将VLM提供的语义条件转化为高保真图像。
DiT是本文的生成解码器，理解其工作原理有助于理解VLM-DiT对齐的技术挑战，以及为什么需要专门设计SCB模块来桥接两个模块。
Stacked Channel Bridging (SCB)
堆叠通道桥接是本文提出的核心对齐框架。它从VLM的多个均匀分布层提取隐藏状态，注入可学习的思考令牌（Think Tokens）增强推理能力，然后沿通道维度拼接并通过轻量级连接器融合。具体而言，SCB选取VLM的6个均匀分布层的隐藏状态，沿通道维度拼接后通过MLP投影和Transformer编码器融合，生成最终条件输入。
SCB是本文最核心的技术贡献，直接解决了紧凑模型中VLM-DiT信息传递不充分的问题。理解SCB的工作原理是理解本文为什么能在5B参数下达到大模型性能的关键。
MR-GRPO (Mixture of Rewards - Group Relative Policy Optimization)
混合奖励组相对策略优化是本文提出的强化学习框架，是Pref-GRPO在流匹配模型上的扩展。它在每个文本条件下采样一组图像，使用多个奖励函数（VLM偏好奖励、OCR奖励、CLIP相似度奖励）分别归一化后加权聚合。关键创新包括：解耦优势归一化保留多奖励信号粒度，辅助监督扩散损失防止能力退化，以及噪声保持随机采样策略提供更准确的奖励信号。
MR-GRPO是本文达到最优性能的关键训练策略。理解它有助于理解为什么RL阶段能同时提升文本渲染、语义对齐和整体生成质量，以及如何避免强化学习中的能力退化问题。
Flow Matching
流匹配是一种生成建模框架，通过学习从噪声分布到数据分布的连续传输路径来生成样本。与传统扩散模型的去噪过程不同，流匹配直接建模速度场，通过ODE或SDE进行采样。在训练时，流匹配损失通过预测的速度场与真实速度场的差异来优化模型。本文的DiT基于流匹配框架训练，这使得MR-GRPO能够在速度空间中计算KL散度进行正则化。
流匹配是本文DiT的训练范式，理解它有助于理解RL阶段的KL正则化公式以及噪声保持随机采样策略的技术细节。
Think Tokens
可学习思考令牌是本文注入VLM输入序列的一组可训练特殊令牌，共128个。这些令牌通过自注意力机制与文本和视觉输入在所有层中交互，逐步总结隐藏表示，充当隐式的思维链（Chain of Thought）。它们在所有VLM层中累积推理信息，然后在SCB的特征融合阶段被提取并传递给DiT，为生成过程提供结构化的推理指导。
思考令牌是本文提升推理能力的关键设计。实验表明移除思考令牌会导致WISE基准下降5.6%、RISE下降12%，证明它们在推理密集型任务中的重要作用。
研究动机
当前统一多模态模型在图像生成和编辑领域取得了显著进展，但现有高性能模型依赖于庞大的参数规模，导致训练成本和部署门槛极高。具体而言，Qwen-Image需要27B参数，HunyuanImage 3.0需要80B参数，BAGEL需要14B参数，Emu3.5需要34B参数，这些模型都需要数十亿训练样本和大量计算资源。更严重的是，许多模型还需要分别维护生成和编辑两个独立模型，例如Qwen-Image系列需要54B总参数（生成27B加上编辑27B），LongCat-Image系列需要26B总参数（生成7B+6B加上编辑7B+6B），进一步翻倍了部署成本。虽然业界迫切需要轻量级替代方案，但现有的小规模统一模型在多样化任务上表现一致不佳，强化了紧凑模型缺乏全面多模态生成和编辑能力的普遍认知。
本文的目标是本文的核心目标是证明：通过协同的架构设计和以数据为中心的训练策略，轻量级模型完全可以实现与甚至超越大型模型相当的综合能力。具体目标包括：第一，在仅5B参数的紧凑预算内，同时集成通用生成、推理生成、文本渲染、通用编辑和推理编辑五大能力；第二，将训练样本量控制在约5000万，相比LongCat-Image的12亿和HunyuanImage 3.0的50亿大幅减少；第三，在WISE推理基准上超越80B HunyuanImage，在UniREditBench编辑基准上超越27B Qwen-Image-Edit，证明规模并非高性能的唯一路径。
与已有工作不同的是，本文的独特切入角度在于对模型性能与规模关系的深刻洞察。通过分析性能数据，作者发现模型性能并不随规模单调增长——例如8B的Lumina-DiMOO在DPG-Bench上达到86.04，超越了14B的BAGEL（85.10）。这表明对于统一多模态模型，更大的规模并不必然保证更强的性能。基于这一观察，本文不是简单地缩放模型，而是从架构设计和训练策略两个维度寻求突破。在架构层面，通过堆叠通道桥接（SCB）解决紧凑模型中VLM-DiT信息传递不充分的问题；在训练层面，设计三阶段渐进式训练策略和MR-GRPO强化学习框架，最大化紧凑模型的潜力。这种以智取胜的思路填补了轻量级高效统一模型的技术空白。
核心方法
DeepGen 1.0采用VLM-DiT架构范式，整体思路是将视觉语言模型的强大语义理解能力与扩散变换器的高保真图像生成能力深度整合。直觉上，传统的统一模型要么依赖单层VLM特征（丢失细节信息），要么通过深层共享注意力实现融合（增加大量参数），而DeepGen 1.0找到了一个精巧的平衡点：通过堆叠通道桥接（SCB）从VLM的多个层次提取特征，沿通道维度拼接并融合，既保留了细粒度视觉细节，又提供了高层语义指导。技术路线分为三步：首先使用Qwen-2.5-VL（3B）作为理解和推理骨干，SD3.5-Medium（2B）作为生成骨干；然后通过SCB模块（包含SigLIP视觉编码器和6层Transformer连接器）实现VLM到DiT的特征对齐；最后通过三阶段渐进式训练（对齐预训练、联合监督微调、强化学习）逐步释放模型潜力。这种设计使得总参数量控制在约5B，同时保持了全面的生成和编辑能力。
本文的核心创新点是堆叠通道桥接（Stacked Channel Bridging, SCB），它与已有方法存在本质区别。已有方法主要有三种范式：第一种是使用可学习令牌传递条件信号（如BLIP3-o、MetaQuery-XL），但这些令牌难以充分表达丰富的多模态信息；第二种是依赖VLM最终层或倒数第二层的隐藏状态（如UniWorld-V1、OmniGen2、Qwen-Image系列），但最终层偏向高层语义抽象，往往丢弃了对DiT建模至关重要的细粒度视觉细节；第三种是通过深层共享注意力进行紧密耦合（如HunyuanImage 3.0、BAGEL），但这种方式大幅增加参数规模和优化复杂度。SCB的独特之处在于：它从VLM的6个均匀分布层（跨越低、中、高层）提取隐藏状态，注入可学习的思考令牌作为隐式思维链，然后沿通道维度拼接后通过轻量级MLP和Transformer编码器融合。这种设计既避免了单层信息损失，又避免了深层融合的高成本，实现了高效且全面的特征传递。
方法步骤详情
DeepGen 1.0的方法分为以下步骤：第一步是视觉编码的双分支策略。输入图像同时通过SigLIP视觉编码器提取高层语义特征供VLM使用，以及VAE编码器提取压缩潜在特征供DiT使用。文本指令通过VLM的文本编码器处理。第二步是思考令牌注入。将128个可学习的思考令牌插入VLM输入序列，这些令牌通过自注意力机制与文本和视觉输入在所有层中交互，逐步累积推理信息。第三步是多层特征选择。从VLM的6个均匀分布层（跨越低、中、高层）提取隐藏状态，其中序列长度包含思考令牌位置。第四步是通道维度拼接与融合。将多层隐藏状态沿通道维度拼接，通过两层MLP投影到DiT输入宽度，然后输入Transformer编码器连接器进行深层融合，生成最终条件输入。第五步是DiT生成。将融合后的多模态条件与目标图像的噪声令牌拼接形成单一序列输入DiT，通过自注意力同时处理条件信号和生成信号。第六步是三阶段训练：对齐预训练（200K迭代，仅训练连接器和思考令牌）、联合监督微调（400K迭代，解冻DiT并对VLM应用LoRA）、强化学习（1.5K步骤，使用MR-GRPO框架）。
技术新颖性
DeepGen 1.0的技术新颖性体现在多个维度。首先，SCB的设计理念是全新的——它不是简单地选择一层或多层特征，而是通过通道维度拼接实现层次化特征融合，这是一种轻量级且高效的替代方案。思考令牌的引入更是创新性地为生成模型注入了隐式推理能力，实验表明移除思考令牌会导致WISE基准下降5.6%、RISE下降12%。其次，MR-GRPO框架在多个方面突破了现有强化学习方法：解耦优势归一化解决了多奖励信号粒度不一致的问题，辅助监督扩散损失解决了KL正则化不足导致的能力退化问题，噪声保持随机采样策略解决了标准Flow-SDE注入噪声过大的问题。第三，三阶段训练策略的递进式设计——从对齐到微调再到强化学习——体现了对紧凑模型训练动态的深刻理解，每一步都有明确的目标和针对性的技术设计。最后，整个框架在仅约5000万训练样本下实现了与使用12亿至50亿样本的大模型相当的性能，这本身就是数据效率上的重大突破。
实验结果
DeepGen 1.0在多个维度的实验中展现了令人瞩目的结果，证明了轻量级模型同样可以实现全面的多模态能力。在通用生成方面，DeepGen 1.0（RL版本）在GenEval上达到0.87，与Qwen-Image（7B+20B）和LongCat-Image（7B+6B）持平，但参数量仅为它们的约四分之一到六分之一；在DPG-Bench上达到87.90，排名第二，超越了80B HunyuanImage 3.0（86.10）；在UniGenBench上达到75.74，同样排名第二，超越了众多大型开源基线。在推理能力方面，DeepGen 1.0在WISE基准上达到0.73，是开源模型中的最佳成绩，超越了使用显式思维链的14B BAGEL（0.70）和80B HunyuanImage 3.0（0.57），相比后者提升了28%。在T2I-CoREBench上达到46.5，与Qwen-Image（46.3）和HunyuanImage 3.0（46.0）相当。在编辑能力方面，DeepGen 1.0在UniREditBench上达到77.5（SFT版本），大幅超越27B Qwen-Image-Edit（56.5），提升幅度达37%。在RISE基准上达到13.3，排名第一。在文本渲染方面，RL训练将CVTG-2K的Word Accuracy从0.6605提升至0.7533，同时保持了开源模型中最高的CLIPScore（0.8278）。消融实验进一步验证了各组件的有效性：移除SCB导致DPG-Bench下降1.50、GEdit下降0.37；移除思考令牌导致WISE下降0.04、RISE下降1.6；移除VLM激活导致GenEval下降0.01、GEdit下降0.19。RL消融实验表明，移除辅助SFT损失会导致性能在约300步后开始退化，最终低于初始检查点；移除KL正则化导致UniGenBench下降0.62、DPG-Bench下降0.43。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 通用文本到图像生成（语义对齐） | GenEval | 0.87 | Qwen-Image 0.87, HunyuanImage 3.0 0.72 | 与7B+20B Qwen-Image持平，超越80B HunyuanImage 20.8% |
| 通用文本到图像生成（长指令跟随） | DPG-Bench | 87.90 | Qwen-Image 88.32, HunyuanImage 3.0 86.10 | 排名第二，超越80B HunyuanImage 2.1% |
| 通用生成综合评估 | UniGenBench Overall | 75.74 | Qwen-Image 78.81 | 排名第二，超越众多大型开源基线 |
| 世界知识推理生成 | WISE Overall | 0.73 | BAGEL* 0.70, HunyuanImage 3.0 0.57 | 开源最佳，超越80B HunyuanImage 28% |
| 哲学框架推理生成 | T2I-CoREBench Overall | 46.5 | Qwen-Image 46.3, HunyuanImage 3.0 46.0 | 与27B Qwen-Image和80B HunyuanImage相当 |
| 通用图像编辑 | ImgEdit | 4.14 | LongCat-Image-Edit 4.50, Qwen-Image-Edit 4.35 | 排名第三，超越BAGEL（3.20）和OmniGen2（3.43） |
| 通用图像编辑 | GEdit-EN | 7.17 | Seedream 4.0 7.68, Qwen-Image-Edit 7.54 | 排名第三，超越BAGEL（6.52）和OmniGen2（6.41） |
| 世界知识推理编辑 | UniREditBench Overall | 77.5 (SFT) | GPT-Image-1 73.4, Qwen-Image-Edit 56.5 | 超越27B Qwen-Image-Edit 37%，超越闭源GPT-Image-1 5.6% |
| 世界知识推理编辑 | RISE Overall | 13.3 (SFT) | LongCat-Image 52.2, BAGEL* 11.9 | 排名第一，超越14B BAGEL 11.8% |
| 文本渲染 | CVTG-2K Word Accuracy | 0.7533 | LongCat-Image 0.8658, GLM-Image 0.9116 | RL提升Word Accuracy 14%，CLIPScore保持开源最高0.8278 |
局限与改进
尽管DeepGen 1.0取得了令人瞩目的成绩，但仍存在一些局限性。首先，在某些特定基准上，DeepGen 1.0与最大规模的开源模型仍有差距：在DPG-Bench上（87.90）略低于Qwen-Image（88.32），在UniGenBench上（75.74）明显低于Qwen-Image（78.81），在ImgEdit（4.14）和GEdit-EN（7.17）上分别低于LongCat-Image-Edit（4.50）和Qwen-Image-Edit（7.54）。其次，文本渲染能力虽然通过RL大幅提升，但在CVTG-2K的Word Accuracy（0.7533）上仍显著低于GLM-Image（0.9116）和LongCat-Image（0.8658），表明5B模型在精细文本生成方面仍有提升空间。第三，模型在推理编辑任务上的RL版本反而出现性能下降（RISE从13.3降至10.8，UniREditBench从77.5降至75.7），暗示当前RL训练可能在推理能力与其他能力之间存在权衡。第四，训练数据虽然相对高效（约5000万样本），但仍依赖大量内部数据（1000万内部生成样本和110万内部编辑样本），这些数据的获取成本和可复现性可能影响其他研究团队的复现。第五，论文主要在512x512分辨率下评估，对于更高分辨率的生成质量和编辑精度未做充分验证。
独立分析的弱点
DeepGen 1.0虽然在整体性能上表现出色，但仍存在几个值得深入分析的弱点。第一，文本渲染能力是明显的短板：在CVTG-2K上，Word Accuracy仅为0.7533，而GLM-Image达到0.9116，LongCat-Image达到0.8658。改进方向可以包括：增加更多高质量文本渲染数据，设计专门的文本渲染损失函数，或者在RL阶段进一步提升OCR奖励的权重和精度。第二，RL训练在推理编辑任务上出现性能退化（RISE从13.3降至10.8），表明当前的奖励函数设计可能未能充分覆盖推理场景。改进方向包括：为推理任务设计专门的奖励函数，或者在RL阶段采用更精细的任务采样策略。第三，模型在通用编辑基准上与专用编辑模型仍有差距（ImgEdit 4.14 vs LongCat-Image-Edit 4.50），可能是因为统一模型需要在生成和编辑之间平衡。改进方向可以探索编辑特定的微调策略或更精细的数据配比。第四，辅助SFT损失的混合系数使用固定值，可能不是最优的。改进方向可以探索自适应调度策略，根据训练进度动态调整系数。第五，SCB选择了固定的6层均匀分布，但最优层选择可能因任务而异。改进方向可以探索自适应层选择机制或可学习的层权重。
未来方向
基于DeepGen 1.0的成果，未来研究可以在多个方向上延伸。作者提出的未来方向包括：探索更高效的架构设计以进一步降低参数量和计算成本，研究如何在不依赖大量内部数据的情况下实现同等性能，以及将框架扩展到视频生成和编辑等更复杂的多模态任务。基于本文成果可延伸的方向包括：第一，将SCB框架应用于其他VLM-DiT组合，验证其通用性，例如结合更大的VLM（如Qwen-2.5-VL-7B）或更强的DiT（如FLUX）；第二，探索SCB在视频生成中的应用，利用时序信息的层次化特征融合；第三，研究思考令牌的可解释性，理解它们如何编码推理信息，以及如何设计更有效的推理令牌；第四，将MR-GRPO框架应用于其他生成任务（如文本生成、音频生成），验证多奖励强化学习的通用性；第五，探索模型压缩技术（如知识蒸馏、剪枝、量化），将5B模型进一步压缩到可在消费级硬件上运行；第六，研究如何在RL阶段更好地保持推理能力，可能通过设计专门的推理保护损失或更精细的奖励函数。
复现评估
DeepGen 1.0在开源方面做得相当出色，为复现提供了良好的基础。作者公开发布了完整的框架，包括模型权重（HuggingFace: DeepGenTeam/DeepGen-1.0）、训练代码（GitHub: DeepGenTeam/DeepGen）和关键数据组件（HuggingFace: DeepGenTeam/DeepGen-1.0数据集）。这大大降低了复现门槛。然而，复现仍面临一些挑战：第一，训练需要64张H200 GPU，这对大多数研究团队来说是相当高的硬件要求；第二，虽然公开了部分数据，但论文中提到的大量内部数据（1000万内部生成样本和110万内部编辑样本）的具体来源和构建方法未完全公开，可能影响完全复现；第三，三阶段训练的超参数较多（包括对齐预训练200K迭代、SFT 400K迭代、RL 1.5K步骤，以及各阶段的学习率、批次大小等），完整复现需要仔细调整；第四，MR-GRPO框架涉及多个奖励函数的设计和权重配置，这些细节虽然在附录中提供，但实际实现可能需要针对不同数据分布进行调优。总体而言，DeepGen 1.0的开源程度在同类工作中处于较高水平，但完整的复现仍需要相当的工程能力和计算资源。
论文图表
该图展示了DeepGen 1.0在多种场景下的视觉生成和编辑能力，包括通用生成、文本渲染、推理生成、通用编辑和推理编辑五个维度。每个维度展示了多个实际生成样例，直观呈现了模型的综合能力。
这是论文的开篇图，为读者提供了模型能力的整体印象，帮助理解DeepGen 1.0的定位和核心卖点——在紧凑架构下实现全面能力。
该图以气泡图形式展示了不同模型在DPG-Bench（图像生成）和UniREditBench（图像编辑）两个基准上的性能对比。气泡大小与模型参数量成正比，虚线外圈表示参数量未公开的模型。DeepGen 1.0（5B）位于右上区域，表明其在两个维度上都达到了优异性能。
这张图直观地证明了本文的核心论点：模型性能不随规模单调增长，5B的DeepGen 1.0可以超越80B的大模型。这是理解本文动机和贡献的关键可视化。