InternVL-U：面向理解、推理、生成与编辑的统一多模态模型 InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing
提出 4B 参数统一模型，在多模态理解与高保真生成/编辑之间取得优越平衡。
前置知识
Multimodal Large Language Model (MLLM)
MLLM 指把视觉编码器与大语言模型连接起来，使模型能够在一个统一空间里处理图像与文本的推理任务。典型做法是先用 ViT 提取视觉特征，再映射到语言模型的隐藏状态空间，从而支持 captioning、VQA、图表理解等任务。InternVL-U 的理解骨干就沿用这类 MLLM，先继承 InternVL3.5 的视觉语言能力，再在其上叠加生成模块，形成“理解-生成”一体化架构。
本文的方法建立在一个强理解骨干之上，如果不清楚 MLLM 如何共享语义空间，就难以理解本文为何能在不牺牲理解能力的前提下加入生成能力。
Flow Matching / Diffusion Model
Flow Matching 是一种连续概率生成框架，模型学习从噪声到数据的瞬时速度场 $v_\theta(z_t,t,c)$，通过积分将先验分布变换为目标分布。相比传统扩散模型预测噪声 $\epsilon$，Flow Matching 可以直接回归速度，并常与最优传输路径结合，提高训练稳定性与采样效率。InternVL-U 的视觉生成头就采用线性插值路径 $z_t = t z_1 + (1-t) z_0$，在连续潜空间里生成图像。
本文的关键设计是用 Flow Matching 生成图像、用 AR 生成文本，若不了解其训练目标 $\mathcal{L}_{FM}$ 与推理采样流程，就很难把握统一模型的多模态损失如何权衡。
Chain-of-Thought (CoT) for Generation
传统生成模型通常直接从指令映射到像素，而 CoT 生成范式要求模型先输出“思考过程”，将抽象意图拆解为约束、步骤或知识，再据此生成图像。这样的显式推理有助于对齐模糊指令与复杂视觉细节，尤其在科学图、梗图、文本渲染等场景，可将高层语义转化为可执行计划。InternVL-U 在训练数据合成和推理阶段都引入 CoT，以桥接理解模型的世界知识与生成模型的像素质量。
论文把 CoT 视为提升知识密集型生成和逻辑编辑的关键，如果缺乏对 CoT 的认识，很难理解为什么相同模型在“w/ CoT”设置下会显著提升 GenExam、WISE、RISEBench 等任务分数。
Decoupled Visual Representations
该思路指对理解任务与生成任务使用不同的视觉表示：理解侧依赖 ViT 的高层语义特征，生成侧依赖 VAE 的压缩潜码。这样可避免单一编码器在高层语义与低层像素之间的权衡，既能保留强大理解能力，又能让生成模块在连续潜空间中获得更高保真度。InternVL-U 用独立的投影层分别映射 MLLM hidden states 与 VAE latent，并在 VLM 分支前加入归一化层，稳定双流训练。
本文强调“解耦表示”是其保持理解能力的同时提升生成质量的基石，若不了解该设计，容易误以为统一模型必须牺牲理解能力。
研究动机
现有多模态统一模型要么从零训练（fully-native UMM），要么在外挂生成器上做后对齐（fully-ensemble UMM），两者都面临明显瓶颈。Fully-native 方案需要同时学习理解与生成，训练代价高，且往往无法复用社区已有的 SOTA MLLM，导致在理解任务上性能下降或算力浪费。Fully-ensemble 方案虽然可以接入大模型生成器，但生成器参数巨大（如 Qwen-Image 20B、Hunyuan Image 3.0），部署成本高；如果保持小生成头，又必须引入复杂的多编码器条件管线（如 SD3、Z-Image），难以与 MLLM 的隐藏状态对齐。更重要的是，现有生成模型偏重美学质量，训练数据以自然图像为主，缺乏高语义密度的文本、科学图、空间结构等场景，导致统一模型在需要知识推理或精确文字渲染的任务上表现不佳。论文指出，下一代商业模型已开始强调 typographic precision 与 knowledge-faithful 生成，但开源 UMM 仍停留在“会生成好看图但写不好字、画不好科学图”的阶段。
本文的目标是InternVL-U 的目标是用一个 4B 参数的轻量框架，同时保持 InternVL3.5 的强大理解与推理能力，并获得专业级生成与编辑能力。作者希望在统一语义空间里，既不损失 MLLM 原有的 OCR、ChartQA、MMMU 等指标，又能显著提升 GenEval、DPG-Bench、TextEdit、RISEBench 等生成/编辑任务的分数，真正做到“理解-推理-生成-编辑”一体化。同时，论文提出要把 CoT 与数据合成结合，让模型学会从抽象意图到可执行视觉计划的映射，从而在知识密集型场景（科学图、梗图、空间变换）中也具备可解释的控制能力。
与已有工作不同的是，论文的独特切入点在于“Unified Contextual Modeling + Modality-Specific Modular Design + Decoupled Visual Representations”三条设计原则。作者不是简单地把图像 tokenize 成离散 token，也不是单纯给 MLLM 外挂大生成器，而是保留自回归文本目标，图像生成则用连续 Flow Matching，并在统一骨干上加一个 MMDiT 双流生成头。更重要的是，他们构建了覆盖文本渲染、科学推理、空间操纵、幽默创作等高语义密度场景的数据合成流水线，并在训练中引入 CoT 监督信号，让模型学会“先想后画”。这使得 InternVL-U 在理解与生成之间不再是对立关系，而是通过解耦表示和分阶段课程训练，让两者互相促进，形成真正面向 AGI 的统一模型。
核心方法
InternVL-U 的思路可概括为“强理解骨干 + 专用生成头 + 推理型数据”。作者继承 InternVL3.5-2B 的 ViT（0.3B）与语言骨干（2B），构建统一语义空间，并引入基于 MMDiT 的视觉生成头（1.7B），接收 MLLM 的隐藏状态作为条件，在 VAE 潜空间使用 Flow Matching 预测速度场 $v_\theta$。文本采用自回归 NTP 损失，图像采用连续 FM 损失，整体训练目标为 $\mathcal{L}_{Total} = \alpha \mathcal{L}_{NTP} + \beta \mathcal{L}_{FM}$。生成头采用双流注意力/FFN、门控机制 $O' = O \odot \sigma(X W_g)$、统一 3D MSRoPE 及分辨率插值，以对齐语义与像素。训练采用三阶段课程：Stage 1 冻结骨干只训生成头，Stage 2 提高分辨率并加入更多编辑数据，Stage 3 联合微调骨干与生成头并引入理解数据以恢复推理能力。数据层面，作者构建涵盖通用图像、文本渲染、科学图、空间变换、幽默梗图与 CoT 增强的合成流水线，使模型在高语义密度场景获得稳定监督。
本文的核心创新在于“解耦表示 + 双流生成头 + 推理型监督”。首先，理解侧只用 ViT 的语义特征，生成侧用 VAE 的压缩潜码，避免单编码器在高层抽象与低层像素之间的权衡。其次，MMDiT 生成头采用双流结构：一条处理 MLLM context embedding，一条处理 noisy image latent，两者通过联合自注意力交互，但 QKVO 和 FFN 参数解耦，并加入门控 $O' = O \odot \sigma(X W_g)$ 提高表达力。再次，作者在训练数据中加入 CoT 推理链，让模型先输出“思考”再生成图像，使抽象指令变成可执行计划。相比 BAGEL、Ovis-U1 等直接拼接生成器的做法，InternVL-U 通过这些设计把理解能力与生成质量解耦又耦合，形成更高效的统一模型。
方法步骤详情
方法可分为模型构建与数据构建两条主线。模型端：1) 以 InternVL3.5 的 ViT 与语言骨干初始化，得到统一语义 context；2) 在此基础上随机初始化 MMDiT 生成头，接收 context embedding 与 noisy VAE latent；3) 训练时同时计算 NTP 与 FM 损失，并在 Stage 1 冻结骨干，Stage 2 提升分辨率并增加编辑数据，Stage 3 联合微调骨干与生成头以恢复理解能力；4) 推理时采用 Flow-DPM-Solver 20 步采样，CFG 对文本条件与整体条件分别使用 1.5/3.5 的 scale。数据端：1) 收集开源理解与生成数据，统一过滤、去重、规范化；2) 针对文本渲染，构建 mask→渲染→校验流水线，覆盖中英文与标点；3) 针对科学图，利用 GeoGebra、SVG、学术图集生成物理、化学、计算机科学等高密度图；4) 针对空间与幽默场景，设计 CAD 多视图、3D 旋转、梗图模板等编辑数据；5) 引入 CoT 标注，将用户指令拆解为“思考+操作”，用于生成与编辑任务。
技术新颖性
InternVL-U 的技术新颖性主要体现在三个方面。第一，提出“Unified Contextual Modeling + Modality-Specific Modular Design + Decoupled Visual Representations”三条设计原则，明确回答了统一模型应在语义空间统一、在解码端保持模态特化。第二，首次在 MMDiT 中引入门控自注意力（$O' = O \odot \sigma(X W_g)$）与统一 3D MSRoPE，解决了高分辨率长上下文中的 attention-sink 问题，使生成头在 1024px 以上仍保持空间一致性。第三，构建覆盖文本、科学、空间、幽默等高语义密度场景的 CoT 数据流水线，并在训练目标中显式加入推理链监督，使模型从“指令跟随”升级为“意图对齐”，在 GenExam、WISE、RISEBench 等知识/逻辑任务上取得显著提升。
实验结果
InternVL-U 以 2B+1.7B 参数在理解与推理上保持强劲：MME-P 达到 1607.5，超过 Janus-Pro 1444.0 与 Ovis-U1 1508.0*，MMMU 54.7 与 BAGEL 55.3 仅差 0.6。在通用文生图上，GenEval Overall 0.85 超过 BAGEL 0.82 与 Janus-Pro 0.80，接近 Qwen-Image 0.87；DPG-Bench Overall 85.18 超过 BAGEL 85.07，在 Global/Entity 维度领先 1–2 分。文本渲染方面，LongText-Bench EN/ZH 分别为 0.738/0.860，远超 BAGEL 0.373/0.310，接近 Seedream 4.5 0.989/0.987；CVTG-2k 平均字准确率 0.623，比 Lumina-DiMOO 高 5.6%。知识生成方面，WISE Overall 0.46，CoT 提升至 0.58，超过 BAGEL 0.49；GenExam Overall 20.8，CoT 后 22.9，领先所有统一模型。图像编辑方面，TextEdit Real F1 达 0.71，与 Nano Banana Pro 持平，MLLM-based Real Avg 0.88 远超 BAGEL 0.53；RISEBench Overall 3.6，CoT 后跃升至 9.4，超过 Qwen-Image-Edit 8.9。整体看，InternVL-U 实现“小参数、高性能”，在文本渲染、知识生成与逻辑编辑上，CoT 策略带来约 2~6 倍的相对提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多模态理解与推理 | MME-P | 1607.5 | BAGEL 1687.0; Ovis-U1 1508.0* | 比 Ovis-U1 提升约 6.6%，接近 BAGEL 的理解水平 |
| 多模态推理 | MMMU | 54.7 | BAGEL 55.3; Ovis-U1 51.1 | 仅落后 BAGEL 0.6，领先 Ovis-U1 约 7% |
| 通用文生图 | GenEval Overall | 0.85 | BAGEL 0.82; Janus-Pro 0.80; Qwen-Image 0.87 | 在统一模型中最高，接近 20B 级别的 Qwen-Image |
| 通用文生图 | DPG-Bench Overall | 85.18 | BAGEL 85.07; Ovis-U1 83.72 | 略超 BAGEL，在 Global/Entity 维度领先约 1-2 分 |
| 文本渲染 | LongText-Bench EN | 0.738 | BAGEL 0.373; Lumina-DiMOO 0.437; Seedream 4.5 0.989 | 比 BAGEL 提升 98%，接近商业模型 |
| 文本渲染 | LongText-Bench ZH | 0.860 | BAGEL 0.310; Lumina-DiMOO 0.047; Seedream 4.5 0.987 | 比 BAGEL 提升 177%，在统一模型中遥遥领先 |
| 文本渲染 | CVTG-2k Avg Word Acc | 0.623 | Lumina-DiMOO 0.590; BAGEL 0.356 | 比 Lumina-DiMOO 提升 5.6% |
| 知识生成 | WISE Overall | 0.46 (0.58 w/ CoT) | BAGEL 0.49; UniWorld-V1 0.55 | CoT 使性能提升 26%，超过 UniWorld-V1 |
| 知识生成 | GenExam Overall | 20.8 (22.9 w/ CoT) | BAGEL 11.9; Ovis-U1 11.4; Qwen-Image 27.5 | 在统一模型中最高，CoT 后提升 10% |
| 文本编辑 | TextEdit Real F1 | 0.71 | BAGEL 0.55; Ovis-U1 0.35; Nano Banana Pro 0.71 | 与商用 Nano Banana Pro 持平，比 BAGEL 提升 29% |
| 文本编辑 | TextEdit Real MLLM Avg | 0.88 | BAGEL 0.53; Ovis-U1 0.18 | 比 BAGEL 提升 66%，接近 GPT-Image-1.5 0.90 |
| 推理编辑 | RISEBench Overall | 3.6 (9.4 w/ CoT) | BAGEL 6.1; Qwen-Image-Edit 8.9 | CoT 使性能提升 161%，超过专用编辑模型 |
局限与改进
尽管 InternVL-U 在理解与生成之间取得了良好平衡，但仍存在明显局限。首先，其参数规模虽小，却依赖多阶段课程训练与大规模合成数据，训练流程并不轻量；如果直接迁移至资源受限的团队，仍需大量数据工程。其次，在需要极长文本渲染、超高分辨率或复杂物理仿真等场景，模型仍会出现字符错位或纹理崩坏，尤其在 5 区域以上的 CVTG-2k 任务，准确率从 2 区域的 0.729 下降到 0.549。再次，RISEBench 的 Temporal/Causal/Logical 子任务分数仍低于 Nano Banana Pro 等商业模型，说明在时间推理、因果推理与算法逻辑上，CoT 数据虽有帮助，但尚未完全弥补模型容量不足带来的推理深度瓶颈。最后，论文对编辑任务的评估多停留在 F1、CLIPScore、MLLM 分数等自动指标，缺乏大规模人工评测，难以全面衡量视觉审美、用户体验等主观因素。
独立分析的弱点
本文的主要弱点集中在数据合成与推理深度上。首先，文本渲染流水线虽覆盖中英文，但在艺术字体、复杂排版、极长段落等情况下仍会出现字符粘连或笔画断裂，尤其在 Real 场景的 NED 只有 0.72，说明模型对复杂背景的鲁棒性不足。改进方向可引入自适应 mask 生成、字形纠偏模块，或在训练中加入更多真实海报、手写体样本。其次，科学图与空间编辑数据多依赖 GeoGebra、SVG 等程序化工具，生成的图像虽精确，但缺乏真实拍摄的光影与材质变化，导致模型在真实科学照片上的泛化能力有限。可结合真实科研论文图、3D 扫描数据或物理模拟器来丰富域外样本。再次，CoT 推理链虽能提升逻辑编辑，但当前模板较为固定，面对跨学科或多步组合指令时，模型仍会出现“思考”与“执行”不一致的问题。建议在数据合成阶段引入更复杂的约束求解器或多智能体对话，形成更丰富的推理轨迹。
未来方向
论文已明确提出要在统一框架中进一步提升推理深度与可控性。未来可沿三条方向展开：1) 将 CoT 推理与强化学习或自监督奖励结合，让模型在生成后自我评估并迭代改进，从而在长文本渲染和复杂逻辑编辑上获得更高一致性；2) 探索更大规模的统一骨干（如 7B+7B 或更高），在保持解耦表示的前提下，通过混合专家或稀疏激活进一步提升容量；3) 将视频生成、3D 场景重建等时序或空间维度纳入统一模型，利用已有的 MSRoPE 与双流结构，扩展至动态内容创作。结合作者提供的 GenEditEvalKit 与 TextEdit Benchmark，社区可以系统评估这些扩展，推动 UMM 向更完整的 AGI 能力迈进。
复现评估
InternVL-U 的代码、权重与评测工具均已开源，GitHub 仓库（OpenGVLab/InternVL-U）提供模型实现与训练脚本，HuggingFace 页面提供 4B 参数权重，GenEditEvalKit 与 TextEdit Benchmark 也公开可用。论文给出详细的三阶段训练超参数（学习率、batch size、分辨率、损失权重等），并说明使用 Flow-DPM-Solver 20 步推理、CFG scale 3.5/1.5，方便复现实验。然而，完整的数据合成流水线需要调用 OCR、GeoGebra、SVG 渲染器以及大规模内部数据集，部分中间产物未全部公开，若要在不同领域复现，需自行重建这些工具链。总体而言，复现门槛中等：对熟悉 MLLM 与 Diffusion 训练的团队，可在提供的权重基础上进行微调；若希望从零训练，需要投入相当的数据工程与算力（约数百 GPU 时）。
论文图表
