UniVidX：通过扩散先验实现多功能视频生成的统一多模态框架 UniVidX: A Unified Multimodal Framework for Versatile Video Generation via Diffusion Priors

完整训练-推理流水线如下。（A）输入编码：每种模态的帧序列先经过 Wan2.1 自带的 3D VAE 编码为 latent（Alpha 单通道则三通道复制以保持兼容），文本经 T5 编码器得到 $c_{txt}$。（B）SCM 分组：在每一个训练 batch 里，把多模态 latent 集合 $Z$ 随机二分为目标子集 $Z_{tgt}$ 与条件子集 $Z_{cond}$；$Z_{tgt}$ 内的 latent 在时间步 $t$ 处做 $\epsilon \sim \mathcal{N}(0,I)$ 与 $x_T$ 的线性插值得到 $z_t^T$，$Z_{cond}$ 内的 latent 保持在 $t=1$ 的干净状态 $z_1^C$。（C）DGL-增强的 DiT 前向：把冻结的预训练权重 $W$ 与对应模态的 LoRA 增广 $\Delta W_k = B_k A_k$ 通过 $W'_k = W + m_k \cdot \Delta W_k$ 组合，$m_k=1$ 表示该模态是目标、$m_k=0$ 表示该模态是条件；在 DiT 块内部使用 CMSA 替换 self-attention（见下文）。（D）损失与优化：损失函数为 $\mathcal{L}_{uni} = \mathbb{E}_{t,x_T,\epsilon}\|v_\theta(z_t^T|z_1^C, c_{txt}) - (x_T-\epsilon)\|_2^2$，优化器 AdamW ($\beta_1=0.9, \beta_2=0.999$, weight decay=$10^{-2}$)、Cosine Annealing 学习率 $1\times 10^{-4} \to 1\times 10^{-6}$、4×H100 GPU、BF16 混合精度、batch=1/GPU、视频长 21 帧、UniVid-Intrinsic 训练 6000 步、UniVid-Alpha 训练 5000 步。（E）推理时根据任务设定 SCM 分组：Text→X 时 $Z_{cond}=\emptyset$，只有文本条件；X→X 时部分模态为条件、部分加噪初始化；Text&X→X 时把文本与指定模态作为条件，剩下模态加噪。CMSA 的具体操作：把所有模态的 $k_i, v_i$ 拼接为共享的 $k_{shared}=[k_1, k_2,\dots,k_n]$、$v_{shared}=[v_1, v_2,\dots,v_n]$，第 $i$ 个模态的注意力 $\text{Attention}(q_i, k_{shared}, v_{shared}) = \text{Softmax}(\frac{q_i k_{shared}^T}{\sqrt{d_k}}) v_{shared}$，从而所有模态都能'看见'彼此的语义。

技术新颖性体现在三个层面。（1）将 SCM 引入多模态扩散训练：通过时间步操控让一个 flow matching 目标覆盖了'纯文本、纯视觉、文本+视觉'三种输入模式，与以往的多任务扩散方法（如 SwitchDiffusion、Uni-Control）相比，SCM 把任务差异完全编码在时间步一个标量中，不引入任何新的网络模块或损失项，是更轻量的统一方案。（2）DGL 的'门控'思想：现有 LoRA 微调视觉扩散模型的工作（如 Uni-ControlNet、CtrLoRA）通常每个任务/模态共享一个 LoRA，而 DGL 的关键创新是'按模态分配 LoRA + 按角色门控'，让 LoRA 仅在对应模态作为目标时才介入；这等价于在冻结的 DiT 内做了稀疏模态路由，与 Mixture-of-Experts 在精神上相通但实现更简单（纯二值门）。（3）CMSA 的非对称 K/V 共享：与 OmniVDiff、Geo4D 等的 cross-attention 跨模态融合不同，CMSA 在 self-attention 层内部做'partial sharing'，既保留了 DiT 块对每种模态独立的 query 处理（保持模态特异性），又通过共享 K/V 让一个模态直接 attend 到所有其他模态（保证跨模态一致性）。三者叠加带来的实证优势是：在仅有 900 段训练视频（UniVid-Intrinsic）/484 段训练视频（UniVid-Alpha）的小数据规模下，仍能匹配或超过在 350K–860K 视频上训练的最强专用模型。

从独立视角看，本文至少有以下可改进之处。（1）依赖单一大规模 VDM 骨干：UniVidX 以 Wan2.1-14B 为基座，其训练、推理、显存占用都被这一定位锁定；将框架移植到更小（如 Wan2.1-1.3B）或更大骨干时，SCM/DGL/CMSA 的超参（LoRA rank 32、训练步数 5000–6000）需要重新调优；论文没有给出在小模型下的可移植性分析。（2）'最多 4 个模态'的硬性限制：当前实现受限于 DiT 块序列长度，多模态拼接会迅速推高显存；处理更多模态（如同时引入 depth、specular、roughness、metallic）需要更激进的稀疏注意力或模态分组训练策略，论文未讨论。（3）时序一致性虽然优于图像级方法（T-Flickering >0.98），但评估仅限于 21 短片段、480p，对长视频的连贯性、目标运动剧烈场景的稳定性没有定量结果。（4）SCM 的随机划分没有引入 curriculum 学习：训练早期可能大量遇到'空条件集'或'全条件集'的极端情形，作者没有分析不同划分比例对收敛的影响，也没有显式的难度调度。（5）评测可重复性问题：用户研究是用 Gemini 3 Pro 设计的 221 个 prompt 上由人类打分，论文给出具体数字但 prompt 集未公开，质量评价的可重复性受限。（6）SG-I 失败案例揭示的物理理解深度不够：Alpha 在冰块上的错误表明模型能'看见'透明性但无法预测 alpha——这是因为训练分布缺乏半透明样本；如果引入半透明 alpha 数据但保持视频数量不变，对 VDM 先验的污染风险需要被进一步研究。

作者提出的方向主要包括：（1）构造同时标注 intrinsic 与 alpha 的多任务数据集，从而将 UniVid-Intrinsic 与 UniVid-Alpha 合并为单一统一模型；（2）通过补全半透明、镜面、复杂几何等 'corner case' 训练样本缓解已知失败案例；（3）将框架扩展到'更广泛的 V2V 设置'（即视频到视频的任意模态对翻译）。从成果可延伸的角度看，未来研究还可以走以下几条路径：第一，把 UniVidX 与现有 4D 重建（如 Geo4D、Ouroboros）结合，把'分解 + 重建'做进同一个端到端模型；第二，将 CMSA 思想推广到 3D/4D 场景（例如多视角视频、多时间尺度 latent），实现真正的'时空统一多模态'；第三，结合 agent / planner，让 UniVidX 接受自然语言指令级联完成'先做 inverse rendering、再做 relighting、再做 material editing'等编辑工作流；第四，尝试把 LoRA 数量与任务解耦，做到'加新模态不重训'——例如为新增的 depth 模态分配新 LoRA、只在 CMSA 里追加一组 K/V；第五，把本文的'小数据 + 强先验'范式推广到其他科学领域（如医学多模态、跨卫星成像），验证 VDM 先验的通用性。

复现评估总体上偏中等偏难，主要资源披露在论文 Sec. 3.5 中。（1）代码与模型：论文给出项目页 https://houyuanchen111.github.io/UniVidX.github.io/ 与 Wan2.1-14B 模型下载链接 (huggingface.co/Wan-AI/Wan2.1-T2V-14B)，但论文写作时尚未明确说明完整代码与 checkpoint 的开源情况，仅在论文中给出关键超参。（2）数据集：UniVid-Intrinsic 使用的 InteriorVid 是作者用 Blender+Cycles path-tracing（128 samples）+ Blender Compositor node tree + SuperHiveMarket2 公开场景构建的 924 个 21-帧视频（480×640），其中 900 段训练、24 段测试；构建过程需要 Blender 渲染、OpenEXR 16-bit 浮点存储、Qwen3-VL 自动标注；UniVid-Alpha 使用的 VideoMatte240K 是公开数据集（484 段被采样用于训练）。（3）算力需求：训练本身需要 4×H100 GPU、BF16 混合精度、batch size 1/GPU，UniVid-Intrinsic 训练 6000 步、UniVid-Alpha 训练 5000 步；推理也需要至少 1×H100 才能稳定，14B VDM 骨干的显存占用对个人研究者门槛较高。（4）复现难度：困难点主要在 14B 模型的部署与显存优化、InteriorVid 的渲染管线搭建，以及 SCM 中随机划分的具体实现细节。综合看，对有大型 GPU 集群的实验室可以复现，对个人研究者则需借助量化或更小的骨干变体。