Uni-ViGU：以扩散视频生成器为基底统一视频生成与理解 Uni-ViGU: Towards Unified Video Generation and Understanding via A Diffusion-Based Video Generator
反向扩展视频生成器为基座，用统一流匹配统一视频生成与理解
前置知识
Flow Matching（流匹配）
流匹配是连续时间生成建模方法，在噪声 $z_0\sim\mathcal{N}(0,I)$ 与数据 $z_1$ 间构造线性插值 $z_t=(1-t)z_0+tz_1$，训练 $v_\theta$ 预测速度场 $u=z_1-z_0$，推理时通过 ODE 积分即可生成样本。
本文既要用连续流匹配生成视频，又要把离散文本塞进同一框架，所以流匹配是核心数学工具，必须理解其插值与 ODE 积分思想才能看懂 uni-flow。
Diffusion Transformer (DiT)
DiT 是用 Transformer 替代 U-Net 做扩散去噪的架构，每个 block 包含自注意力（建模空间时序关系）、交叉注意力（注入文本条件）和 FFN（位置独立的特征变换）三部分，本文基线 Wan2.1 即采用 DiT。
Uni-ViGU 改动最小只在 DiT block 中增配一个 T-FFN 分支，所以读懂自注意力与 FFN 在跨模态对齐中的分工是理解 MoE 设计的前提。
多模态大语言模型 MLLM
MLLM 指以语言模型为主干、扩展视觉理解能力的统一模型，典型代表有 LLaVA、Qwen-VL 等，先天擅长文本理解但生成视觉需要外挂扩散头，是当前主流统一方案。
本文明确反对沿 MLLM 加扩散模块的范式，主张反过来扩展视频生成器，因此必须先了解 MLLM 路线才能体会作者'反其道而行'的动机。
变分自编码器 VAE
VAE 通过编码器将像素视频 $x$ 压成紧凑潜变量 $z=E(x)$，再用解码器 $D(z)$ 还原。本文 Wan2.1 的 VAE 把 $(T\times H\times W)$ 视频映射成长度 $L=(1+T/4)\times H/16\times W/16$、维度 1536 的潜变量序列。
视频生成的高昂代价正是源于潜变量序列的庞大 token 量（约 30K），理解 VAE 压缩机制是看懂算力权衡的关键。
Mixture-of-Experts (MoE)
MoE 通过多个专家网络分担不同子任务并由门控函数路由。本文的 MoE 不带可学习门控，而是按模态确定性地选择 V-FFN 或 T-FFN，是一种'结构化 MoE'。
Uni-ViGU 的核心架构创新就是把单 FFN 改成模态双 FFN，因此必须先理解 MoE 思想才能看出它和稀疏门控 MoE 的本质差异。
研究动机
现有的视觉—语言统一模型几乎都遵循'以 MLLM 为主干、外挂扩散头做生成'的范式，但这套路径在视频任务上遭遇了严重的算力瓶颈：扩散式视觉生成需要反复迭代去噪，token 消耗远高于理解任务。例如 FLUX.1 dev 生成一张 1024×1024 图像就需要约 4096 个 token 配 50 次去噪，而 Wan2.2 扩展到视频后，单段 5 秒 720P 视频就要 73,920 个 token 配 40-50 次迭代，单样本 token 量直冲百万级。如此悬殊的计算开销使沿 MLLM 扩展生成路线在视频场景下几乎不可扩展，训练和推理成本都难以承受。
本文的目标是本文目标是提出一种能在单一模型内同时完成高质量视频生成与视频理解的可扩展框架，打破'必须由 MLLM 出发扩展生成'的固有思路。作者希望以预训练好的视频扩散生成器 Wan2.1 为基底，向其中注入语言理解能力，使得视频—文本之间的双向映射能在同一组参数、同一套生成范式下完成，并尽量复用预训练获得的海量文本—视频对应先验，最终把生成器改造为兼具生成与理解能力的统一多模态模型，并论证生成中心架构是统一多模态智能更具扩展性的路径。
与已有工作不同的是，本文的独特切入角度是'范式反转'：既然视觉生成的算力代价远高于文本，那么把视频生成器（而非 MLLM）作为统一模型的主干才更符合经济学规律。同时，作者借鉴人类'先有视觉感知、后有语言表达'的发育顺序，提出视频生成器在大规模文生视频预训练中已隐式学会了丰富的视觉—语义对应，这种知识完全可以被反向用于视频理解。为此他们设计出连续流匹配视频 + 离散流匹配文本的 uni-flow 框架、共享注意力 + 模态分离 FFN 的 MoE 结构，以及'知识回溯—能力精调'的双向两阶段训练机制，三位一体地把生成器改造成统一模型。
核心方法
Uni-ViGU 的整体思路可以一句话概括为：把 Wan2.1 这种视频 DiT 当作'底座骨骼'，在每个 block 上轻量地接出一对文本生成分支，再设计一套让两种模态能在同一 ODE 过程中协同去噪的训练—推理流程。直觉上，扩散视频生成器内部已经学到 '文本→视频' 的对应关系，那么只要给它一个反向通道（视频→文本），就能复用到理解任务上。技术路线包含三块：uni-flow 把连续视频潜变量和离散文本嵌入统一到 flow matching 框架；modality-driven MoE 让自注意力跨模态共享、FFN 按模态分流；双向两阶段训练先让模型'回忆'预训练中文本—视频配对，再以细粒度视频字幕精调理解能力。
核心创新在于三点：(1) Uni-flow：同时跑连续 flow matching $z_{v,\tau}=(1-\tau)z_{v,0}+\tau z_{v,1}$（视频）与离散 flow matching $z_{t,\tau}=(1-\tau)z_{t,0}+\tau z_{t,1}$（文本嵌入），二者共享同一 Transformer 与同一损失，并通过独立采样 $\tau_v,\tau_t\sim\mathcal{U}(0,1)$ 实现跨噪声级别的细粒度对齐；(2) 结构化 MoE：自/交叉注意力完全共享以保留跨模态对齐先验，FFN 分裂为 V-FFN（继承预训练权重）与 T-FFN（随机初始化）按模态确定性路由，参数开销极小；(3) 双向两阶段训练：先用 condition dropout 把 prompt 当作文本目标做'知识回溯'，迫使模型学会从视频潜变量反推文本，再用更长更细的字幕做'能力精调'，逼迫模型从视频中抽取细粒度语义。这套设计与之前'理解+生成解耦训练'的工作形成本质区别——生成目标与理解目标在共享参数、共享注意力、共享流匹配目标下被真正联合优化。
方法步骤详情
方法分四步。数据：0-128 token prompt 合成视频，LLM 生成 128-256 token 字幕，得 (prompt, video, caption) 三元组。模型：Wan2.1 每个 DiT block 新增随机初始化 T-FFN，保留 V-FFN 与全部注意力，新增 $E\in\mathbb{R}^{V\times d}$ 将 token 投到视频潜变量同空间。Stage 1：目标 $z_{t,1}=c$，以概率 $p$ 丢弃 $c$ 迫使模型从 $z_{v,\tau_v}$ 反推 prompt，训练 40K 步、$lr=2\times10^{-4}$，损失 $L_{UFM}=\lambda_v\|\hat{v}_v-u_v\|^2+\lambda_t\|\hat{v}_t-u_t\|^2$，$\lambda_v=1.0$、$\lambda_t=|z_v|/|z_t|$。Stage 2：目标换 detailed caption，60K 步、$lr=5\times10^{-5}$。推理：理解积分文本流、生成积分视频流，联合生成并行积分两路由共享自注意力互相引导。
技术新颖性
技术新颖性体现在三处反直觉设计。第一，'生成器优先'的统一架构与主流 MLLM-centric 路径形成镜像对比，从算力—发育两个角度论证其合理性；第二，'统一流'把连续与离散两种模态统一进同一 ODE 过程，独立采样 $\tau$ 的设计让两种模态可以在任意噪声级别组合下交互，比单纯拼接连续 + 自回归更优雅；第三，按模态确定性路由的结构化 MoE 抛弃了可学习门控，借鉴了 DiT 组件功能分工的归纳偏置（注意力学跨模态关系、FFN 学模态特化模式），既保留了预训练 KV 先验又允许文本分支自由学习。配合'知识回溯'阶段的 condition dropout 技巧，把'强迫反向复用'的思路做到了极致。
实验结果
作者把实验重心放在 4.2 节的'联合视频—文本生成'任务上，并配以 Figure 3 的定性结果。从 Figure 3 给出的三组示例可以看出：当输入仅有一句简短 prompt 时，模型能够在共享自注意力的耦合下同时对视频与文本做并行去噪，生成的视频与输出的细粒度描述在物体（红苹果、银色托盘、白色护士服）、属性（红色苹果、橙色饮品、白色高跟鞋）、空间关系（架上、桌面、池边）、动作（走路、抬托盘、水流淋下）以及镜头语言（中景、仰角、跟随镜头）层面高度对齐，描述的细节显著多于原始 prompt，且未出现明显的模态错位或语义发散。消融式地看，作者强调两阶段训练缺一不可——若去掉 Stage 1，模型缺乏从生成器先验反向建立视频→文本的初始对应，文本生成会偏向模板化；若去掉 Stage 2，模型只能复述 prompt 中的粗粒度概念，难以抽取细粒度语义。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频—文本联合生成定性评估 | 视频与文本的语义一致性（定性） | 生成的详细描述与视频在物体、属性、空间关系、动作上高度对齐，细节显著多于原始 prompt | 无直接对比 baseline，仅展示自生成结果 | 作者论证该方法能在单一模型内完成生成 + 理解双向任务，验证生成中心架构可行性 |
| 训练规模 | 训练数据 + 算力 | Stage 1 + Stage 2 各 10K 视频—文本对，共 100K 步训练，16 张 H800 GPU 一周 | MLLM-centric 路线需外挂扩散模块 + 海量图文—视频对齐数据，训练代价更高 | 利用预训练 Wan2.1 的生成先验，文本训练仅需 20K 视频即可学会反向映射 |
局限与改进
局限性主要来自三方面。第一，本文主实验以定性展示为主（Figure 3 三组示例），缺乏在标准 VideoQA（如 MSRVTT-QA、ActivityNet-QA）或文生视频基准（如 VBench）上的量化对比，难以直接判定其理解与生成在公开榜单上的具体位次。第二，文本生成质量受限于 diffusion-based language modeling 范式本身，离散解码采用 $\hat{y}_i=\arg\max_v z_t^{(i)}\cdot E_v$ 的最近邻查找，理论上存在多模态退化与词汇表偏置风险，长文本生成的流畅性尚未充分验证。第三，文本 token 序列仅 256、上限明显偏低，更复杂的视频内容（如长视频、多事件）可能超出上下文容量；并且共享自注意力在极长视频 + 较长文本的联合生成时显存压力可能陡增。
独立分析的弱点
独立分析本文的弱点有四。其一，训练数据规模偏小——两个阶段各 10K 视频—文本对，对于需要习得细粒度语义理解的任务而言，可能不足以覆盖足够多样的视觉概念，模型的泛化能力存疑，建议扩到百万级规模并引入真实长视频。其二，文本生成依赖离散 flow matching + argmax 解码，这种'软匹配 → 硬离散'两步法在低频词或罕见实体上容易出现错配，可考虑结合 beam search 或对比解码提升文本质量。其三，文本分支的 token 容量上限 256 限制了详细描述的长度上限，对于需要细粒度时序描述的长视频任务显得捉襟见肘，应允许动态长度或扩展到 512+。其四，共享自注意力虽然保留了跨模态对齐，但同时也意味着视频生成和文本理解在注意力层面相互牵制，可能在某一任务上造成性能 trade-off，未来可以探索分组注意力或局部共享策略。
未来方向
作者在结论与相关工作中给出了若干延伸方向：把统一流匹配范式推广到图像—文本、音频—视频等多模态组合；探索与自回归语言模型或 RLHF 对齐策略结合以提升文本质量；以及让文本分支支持更长的上下文以匹配长视频。基于本文成果还可延伸的研究包括：(1) 引入视频—文本互检索预训练强化对齐；(2) 在 Stage 2 中加入指令微调让模型支持开放式问答；(3) 探索把视频生成器的能力（运动一致性、物理合理性）显式蒸馏到文本分支，提升文本描述的物理常识；(4) 把 MoE 路由从确定性扩展到可学习门控以处理更复杂的混合模态输入。
复现评估
复现评估整体属于中等偏上难度：作者明确提供了项目主页与代码仓库（https://fr0zencrane.github.io/uni-vigu-page/），基线模型为公开的 Wan2.1 视频生成器（开源），数据构造流程（用现成视频生成器合成视频 + LLM 生成详细字幕）描述清晰，训练超参全部给出（Stage 1：40K 步、lr=2×10⁻⁴；Stage 2：60K 步、lr=5×10⁻⁵；Adam β=(0.9,0.95)；batch 大小未明示但隐含由 16×H800 决定）。但仍存在几个复现门槛：训练需要 16 张 H800 跑一周，硬件开销较大；Stage 1 与 Stage 2 的 condition dropout 概率 $p$、batch size、video latent 与 text token 数量等若干细节未在正文列出；文本分支新初始化的 T-FFN 维度、token 嵌入矩阵 $E$ 的维度对齐方式需要查代码确认。
论文图表