VINO：具有交错全模态上下文的统一视觉生成器 VINO: A Unified Visual Generator with Interleaved OmniModal Context
单一框架统一图像视频生成编辑的多模态扩散模型
前置知识
Diffusion Models（扩散模型）
扩散模型是一类生成模型，通过逐渐向数据添加噪声（前向过程）然后学习逆向去噪过程来生成新样本。训练目标是最小化预测噪声与真实噪声之间的差异，通常使用均方误差损失。推理时从随机噪声出发，通过迭代去噪逐步生成高质量图像或视频。扩散模型已成为高保真视觉生成的主流范式。
VINO的核心是Multimodal Diffusion Transformer，理解扩散模型的基本原理对于理解MMDiT如何去噪生成图像视频至关重要。论文中提到了梯度裁剪、timestep shift等扩散训练技巧，这些都需要扩散模型基础。
Vision-Language Models（VLM，视觉语言模型）
VLM是融合视觉和语言理解的多模态模型，通常包含图像编码器、文本编码器和跨模态注意力机制。Qwen3-VL等先进VLM能够理解图像和视频内容，并执行视觉问答、推理等任务。VLM将视觉内容编码为token序列，与文本token一起输入Transformer，实现跨模态语义对齐和理解。
VINO使用冻结的Qwen3-VL作为前端编码器处理所有语言和视觉条件，包括文本指令、参考图像和视频。理解VLM如何编码多模态信息是理解VINO条件控制机制的基础。
Classifier-Free Guidance（CFG，无分类器引导）
CFG是一种提高扩散模型条件生成质量的技术。在训练时随机丢弃条件信息，推理时同时计算有条件预测和无条件预测，然后按比例融合：x = x_uncond + w * (x_cond - x_uncond)。引导强度w越大，生成结果越严格遵循条件，但可能降低多样性。文本到图像任务常用w=7。
VINO在推理中使用CFG，文本条件生成使用w_text=7，多模态条件生成使用w_text=5和w_image=1.5。论文的消融实验专门分析了Image CFG对保真度-运动平衡的影响，这是理解VINO可控性的关键。
MMDiT（Multimodal Diffusion Transformer）
MMDiT是HunyuanVideo等视频生成模型采用的核心架构，基于Transformer的token化扩散框架。它使用全注意力机制直接融合视觉和多模态输入，而非传统的U-Net结构。MMDiT将图像/视频的VAE潜在表示编码为token序列，与条件token一起输入Transformer，通过注意力交互实现条件引导的去噪。
VINO的核心创新是将VLM的输出嵌入与MMDiT耦合，实现统一的条件控制。理解MMDiT的token序列处理和注意力机制对于理解VINO如何融合VLM语义和VAE细节至关重要。
Rotary Positional Embedding（RoPE，旋转位置编码）
RoPE是一种相对位置编码方法，通过旋转复数编码位置信息。对于序列中的两个位置m和n，query和key的内积会包含它们的相对距离m-n。3D RoPE扩展到时空场景，沿着时间轴应用旋转编码，帮助模型区分不同时间步的内容，同时保持空间位置的相对关系。
VINO在VAE分支使用3D RoPE策略，将不同视觉模态（参考图像、参考视频、目标latents）放在共享的时间线上，用特殊token分隔。这是实现交错多模态上下文的关键技术，理解RoPE有助于理解VINO如何区分异构视觉源。
研究动机
当前视觉生成领域面临严重的架构碎片化问题。文本到图像（如DALL·E 3、FLUX.1）、文本到视频（如Sora、Kling）和视觉编辑（如ControlNet、InstructPix2Pix）等任务各自开发独立的模型和流水线，缺乏统一的框架。这种分散带来两个根本挑战：第一，不同任务对文本条件的需求差异巨大——生成任务需要丰富描述性字幕，而编辑任务使用简短的指令性提示，这导致训练分布不匹配。第二，当文本、图像、视频等多种指导信号同时提供时，现有模型缺乏可靠解耦和优先级排序机制，造成语义冲突或条件效果不一致。例如在参考图像驱动的视频生成中，模型可能混淆静态参考和动态目标，导致身份混淆或属性泄漏。此外，多模态大语言模型虽然提供统一感知，但仍然依赖外部扩散骨干或解码器进行高分辨率视觉生成，无法真正做到端到端统一。
本文的目标是本文目标是构建一个统一的视觉生成框架VINO，能够在单一模型内处理图像和视频的生成与编辑任务。具体而言，VINO应支持文本到图像、文本到视频、基于指令的图像编辑、参考驱动的视频生成以及基于指令的视频编辑等多样化任务。模型需要能够灵活接受异构控制信号——包括文本指令、参考图像、参考视频和可学习token——并将它们有效融合以指导扩散过程。统一架构应避免为不同任务或模态设计特定模块，通过共享扩散骨干和条件处理机制实现真正的通用性。此外，训练策略应确保模型在获取新能力的同时不损失原有生成质量，实现能力渐进扩展而非替代。
与已有工作不同的是，本文的独特切入角度是提出了交错全模态上下文（Interleaved OmniModal Context）的设计理念。与现有工作不同，VINO不将不同模态视为独立分支或串接模块，而是将系统提示、文本指令、参考图像/视频和可学习token统一编码为交错的token序列，同时注入VLM语义特征和VAE潜在细节。这种设计使模型能够联合处理多模态线索并推理它们的交互关系，而非简单叠加。另一个关键创新是复用VLM的特殊边界标记（vision_start和vision_end）来包裹相同视觉源的VLM特征和VAE潜在，确保两种表示的一致关联。此外，VINO采用渐进式训练策略，从预训练视频模型出发，通过三阶段课程逐步扩展为多任务生成器，这与从零开始训练统一模型的方法形成对比。这种在途升级的方式既保留了基础模型的生成先验，又高效获取了新能力。
核心方法
VINO的整体架构采用双层设计：前端是冻结的视觉语言模型（VLM），负责编码所有控制信号；后端是多模态扩散Transformer（MMDiT），作为基于token的扩散生成骨干。模型接受异构输入——包括文本指令、参考图像、参考视频和一组可学习的查询token。VLM将所有输入统一处理为token序列，使用特殊标记分隔不同模态和不同视觉源。例如，当提供图像和视频参考时，系统提示会依次列出Image 1和Video 1，用户可以在文本指令中通过这些标识符指定特定视觉条件。VLM输出的隐藏状态经过两层MLP投影后与可学习token合并，然后输入MMDiT。为了补偿VLM压缩视觉信息导致的细节丢失，VINO还将所有视觉模态的VAE编码潜在与VLM特征一同注入MMDiT。关键创新是复用VLM输出的边界标记嵌入来包裹对应视觉源的VAE潜在块，确保语义表示和细节表示的一致关联。MMDiT执行条件去噪，从随机噪声逐步生成目标图像或视频。
VINO的核心创新点是实现了真正的统一多模态条件控制，通过三个关键技术突破现有方法限制。首先，引入可学习查询token作为高级指令与低级扩散特征的灵活接口。这些token与VLM输出一同处理，使用因果掩码而非双向注意力，与生成器联合优化。实验表明可学习token显著稳定训练过程，降低梯度方差，改善多模态条件保真度。其次，提出token边界机制，将VLM的特殊标记嵌入通过MLP投影到MMDiT维度后，用于标记每个视觉潜在块的边界。这种显式边界标记提供强位置线索，使注意力机制能够正确区分和解释不同的视觉条件输入。第三，采用渐进式训练策略，从预训练的HunyuanVideo视频模型出发，通过三阶段课程逐步扩展为多任务生成器：第一阶段仅训练MLP连接器对齐VLM输出与原始文本编码器；第二阶段混合长短提示开始训练MMDiT；第三阶段全任务混合训练。这种在途升级的方式既保留了基础模型的强大生成先验，又高效获取了新能力。
方法步骤详情
VINO的完整处理流程包含四个主要步骤。第一步是多模态条件编码与系统提示构建。当没有视觉输入时，系统提示仅包含用户文本，用于纯文本到图像或文本到视频生成。当有视觉输入时，系统首先按类型排序（先图像后视频），将它们放置在提示开头并分配唯一标识符如Image 1或Video 1。用户可以在文本指令中引用这些标识符指定不同视觉条件。最后在提示末尾附加一组可学习查询token。第二步是VLM特征提取。冻结的Qwen3-VL处理构建好的系统提示，输出多模态嵌入序列。VINO使用倒数第二层的隐藏状态作为编码条件，应用两层MLP进行特征投影。视觉输入限制为最多8帧，帧率设置为1 FPS。第三步是交错全模态上下文构建。VLM输出的特征与可学习token合并，使用特殊的vision_start和vision标记分隔不同模态和不同视觉源。这些标记嵌入经过MLP投影到MMDiT维度后，用于包裹对应视觉源的VAE潜在块。VAE潜在按照与VLM相同的顺序排列，目标图像/视频的噪声潜在放在最后。在VAE分支应用统一的3D RoPE策略，沿着时间轴交错不同视觉模态，每个模态用特殊token分隔。第四步是MMDiT条件去噪生成。MMDiT接收VLM特征和VAE潜在两条token流，通过注意力交互实现条件引导的去噪。推理时使用classifier-free guidance，文本条件生成设置w_text=7，多模态条件生成设置w_text=5和w_image=1.5。训练时随机丢弃条件，每个模态的丢弃概率为0.1且独立。
技术新颖性
VINO的技术新颖性体现在多个方面。架构层面，这是首个将VLM与MMDiT深度耦合的统一视觉生成框架，避免了为不同任务设计特定模块。VLM不仅提供高级语义理解，其输出结构（特殊标记、token序列）还被直接复用于MMDiT的潜在流组织，实现了前所未有的跨模块一致性。训练层面，渐进式三阶段策略提供了一种高效升级预训练模型的范式，而非从零开始训练统一模型。这种方法特别适合大规模视觉生成，能够保留基础模型在数百万样本上学到的强大先验，同时快速获取新能力——实验显示仅1k步训练就能在图像编辑任务上超越多个开源基线。机制层面，token边界机制解决了一个长期存在的技术难题：如何将压缩的语义表示和详细的潜在表示一致关联。通过复用相同边界标记包裹两种表示，MMDiT能够准确识别来自同一视觉源的特征，减少身份混淆和属性泄漏。可学习token的引入也具有创新性，它们提供了高级指令与低级扩散特征的桥梁，同时通过因果掩码的约束确保了优化稳定性。消融实验显示移除这些token会导致训练曲线更嘈杂、收敛更不稳定。
实验结果
VINO在多个基准测试中展现了卓越的性能，同时验证了统一架构和渐进训练策略的有效性。在Geneval文本到图像评估中，VINO达到0.59的总体评分，与基础模型HunyuanVideo的0.61接近，表明Stage 3仅使用少量T2I样本就保持了强大的生成能力。当使用LLM重写器优化提示（标记为VINO†）时，分数提升至0.75，显著优于Playground v3（0.76）等开源模型。在VBench文本到视频评估中，VINO总体得分82.80，与HunyuanVideo的83.24相当；使用LLM重写后达到83.17，语义评分从78.01提升至81.08，验证了更强VLM带来的多模态条件增强。最显著的优势出现在OpenS2V参考驱动的视频生成基准上，VINO得分57.85，超越了多个闭源系统包括Pika 2.1（51.88）、Vidu 2.0（51.95）和Kling 1.6（56.23），在动作平滑度、运动幅度、人脸相似度等子任务上表现均衡。图像编辑方面，VINO在ImgEdit基准上达到4.18平均分，特别是仅训练1k步后就达到3.82分，已经超越了Bagel（3.20）、UniWorld-V1（3.26）和OmniGen2（3.44）等开源基线。完整训练后进一步改善，接近甚至超越某些闭源系统。视频编辑方面，在OpenVE-Bench上，VINO使用Gemini 2.5 Pro评估得到3.18总体分，使用Qwen3VL评估得到4.34分，显著优于所有开源基线。消融实验验证了三个关键技术组件的贡献：可学习token显著稳定训练过程，降低梯度方差和梯度范数；Image CFG提供保真度-运动平衡，过高会抑制运动多样性；特殊token分离VAE潜在避免了结构扭曲，特别是在第一帧。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本到图像生成 | Geneval Overall | 0.59 (VINO) / 0.75 (VINO†) | 0.61 (HunyuanVideo) / 0.76 (Playground v3) | 使用LLM重写后接近Playground v3水平 |
| 文本到视频生成 | VBench Total | 82.80 (VINO) / 83.17 (VINO†) | 83.24 (HunyuanVideo) | 保持基础模型性能，语义分数显著提升 |
| 参考驱动视频生成 | OpenS2V Total | 57.85 | 56.23 (Kling 1.6) / 51.88 (Pika 2.1) | 超越多个闭源系统，动作平滑度和人脸一致性优秀 |
| 图像编辑 | ImgEdit Average | 4.18 (VINO) / 3.82 (仅1k步) | 4.18 (Gemini 2.5) / 4.09 (Flux-Kontext-Dev) | 快速超越开源基线，接近闭源系统 |
| 视频编辑 | OpenVE-Bench Overall (Qwen3VL) | 4.34 | 3.89 (OpenVE-Edit) / 3.77 (Lucy-Edit) | 显著优于所有开源基线，在多个子任务领先 |
局限与改进
作者承认了VINO的几个主要局限性。首先，基础模型HunyuanVideo缺乏文本渲染能力，导致VINO在明确评估文本编辑或文本生成的基准上处于劣势，这限制了模型在需要生成文字内容的应用场景。其次，现有的基于指令的编辑数据集质量普遍低于大规模生成数据集，这些编辑样本通常运动有限、视觉结构更简单，可能使目标分布产生偏差。因此，在引入指令编辑任务后，模型可能在视觉保真度或运动丰富度上相比原始基础生成器略有下降。这表明需要更高质量的编辑数据集和更平衡的训练策略。第三，在MMDiT内部全注意力机制的复杂度呈二次方增长，当同时提供参考视频和大量参考图像时，推理延迟会显著增加。作者建议探索更高效的视觉生成骨干作为未来方向。最后，VINO支持的模态最终受到VLM的限制。虽然某些模态可以转换为其他形式（如将音频转换为文本，或使用视频表示运动），但训练流水线仅考虑了最通用的模态——文本、图像和视频。探索更强大和更全面的VLM是未来的研究方向。
独立分析的弱点
VINO存在几个可以改进的弱点。第一，文本渲染能力的缺失限制了许多实际应用，如生成带有文字的图像或视频。改进方向可以是集成专门的文本渲染模块，或者采用支持文本生成的更强基础模型。第二，编辑数据集质量不足可能导致模型在编辑任务上学习到的先验相对较弱，特别是在复杂动态场景的编辑上。改进方向包括构建更高质量、更多样化的编辑数据集，或者设计数据增强策略提升编辑样本的质量和复杂性。第三，参考图像和视频数量增加时的推理延迟问题限制了实际应用的可扩展性。改进方向包括探索更高效的注意力机制（如稀疏注意力、线性注意力）、对长序列进行分层处理，或者采用更轻量的骨干架构。第四，当前训练策略虽然渐进但仍然较为复杂，需要精心设计阶段划分和数据配比。改进方向可以是开发更自动化的课程学习算法，或者探索端到端的统一训练方法。第五，模态支持受限于VLM，无法直接处理音频、深度图等其他模态。改进方向包括集成支持更多模态的多模态大模型，或者设计模态特定的编码器和解码器。
未来方向
基于VINO的成果，未来有多个值得探索的方向。首先，探索更强大的VLM作为前端编码器。论文已经验证了更强VLM带来的语义增强，未来可以尝试支持更多模态（如音频、3D、触觉）的多模态大模型，实现真正全方位的视觉生成控制。其次，研究更高效的视觉生成骨干。当前MMDiT的全注意力机制在长序列上存在计算瓶颈，可以探索线性注意力、稀疏注意力、分块注意力等高效变体，或者采用混合架构结合CNN的局部感受野和Transformer的长程依赖。第三，开发更高质量的编辑数据集。当前编辑数据集的局限性限制了编辑能力的进一步提升，未来可以构建包含更复杂运动、更精细操作的编辑对，或者利用先进VLM生成高质量编辑合成数据。第四，探索更细粒度的控制机制。VINO已经支持多参考和指令控制，未来可以扩展到更细粒度的属性控制（如精确颜色、光照、相机参数），或者支持交互式编辑（如笔刷引导、区域选择）。第五，研究统一模型的理解-生成能力平衡。VINO继承了Qwen3-VL的强大理解能力，未来可以探索在统一框架内同时优化理解和生成任务，实现真正的通用视觉智能。
复现评估
VINO的复现难度为中等偏上。作者提供了项目页面（https://sotamak1r.github.io/VINO-web/）和GitHub代码仓库（https://github.com/SOTAMak1r/VINO-code/），但论文提交时代码可能尚未完全公开。模型训练依赖大规模数据集和大量计算资源，完全复现训练过程具有挑战性。训练使用了DeepSpeed ZeRO-2进行分布式训练，应用了梯度检查点以降低显存消耗，每个GPU的本地批处理大小为1，根据任务动态调整视频帧数和参考图像数量。这种精细化配置要求较强的工程能力。数据方面，论文提到结合了大规模开源图像视频收集（包括多个数据集）和高质量蒸馏数据，确保了广泛的视觉生成和编辑覆盖。超参数方面，三阶段训练的学习率分别为1 × 10^-4、4 × 10^-5和2 × 10^-5，使用恒定学习率调度器，权重衰减0.01，梯度范数裁剪1.0，AdamW优化器的beta参数从(0.9, 0.99)逐渐调整为(0.9, 0.95)。Stage 2和Stage 3使用EMA，衰减率0.9999。这些细节提供了较好的复现指导。然而，基础模型HunyuanVideo和VLM Qwen3-VL的访问可能受限，完全复现需要获取这些预训练模型。总体而言，代码和配置的提供使得方法复现成为可能，但需要相当的计算资源和工程经验。
论文图表
这张图展示了VINO针对不同条件任务使用的系统提示模板。左图是仅基于文本条件的任务，包含系统提示定义助手角色和用户文本输入。右图是基于视觉模态和指令的任务，系统提示先列出所有视觉输入（Image 1到Image n，Video 1），每个分配唯一标识符，然后是用户文本。用户可以在文本中引用这些标识符指定不同视觉条件。图中省略了vision_start和vision_end标记以简化展示。
这张图对于理解VINO如何处理多模态输入至关重要。它展示了系统提示的动态构建机制，以及如何通过标识符实现复杂的多模态控制。这种设计使得用户可以精确指定使用哪些参考图像或视频，是VINO灵活条件控制的基础。
这个表格提供了GEdit基准上的详细定量结果，包含VINO在10个子任务上的语义一致性（SC）和感知质量（PQ）得分，以及总体分数（O）。子任务包括背景改变、颜色、材质、运动改变、PS人类、风格变化、主体添加、主体移除、主体替换、色调转移。总体平均SC为7.26、PQ为7.71、O为6.88，展示了在不同编辑类型上的均衡表现。
这个表格提供了GEdit评估的完整细节，与Table 11共同构成了对VINO图像编辑能力的全面评估。它展示了方法在更细粒度编辑任务上的性能。