让MLLM隐变量真正生效：面向电影级视频生成的因子感知预测学习 Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation
三阶段训练让MLLM隐变量真正驱动视频DiT，实现稀疏输入时序推理与因子感知控制
前置知识
Flow Matching（流匹配）
一类生成模型训练范式：把数据潜变量 $z_0$ 与高斯噪声 $\epsilon$ 用 $z_t=\alpha_t z_0+\sigma_t\epsilon$ 插值，训练网络预测速度 $v^*=\partial z_t/\partial t$，损失为 $\mathcal{L}_{FM}=\mathbb{E}_{t,\epsilon}\|G_\phi(z_t,t|C)-v^*\|^2$，推理时迭代去噪后经 VAE 解码成视频。
FAPL 三个阶段的损失函数全部建立在流匹配目标之上，理解它是读懂方法设计与消融实验的前提。
Video DiT（视频扩散 Transformer）
用 Transformer 在 VAE 潜空间做视频去噪的骨干网络（如 HunyuanVideo、UniVideo 的 13B DiT）。它接收拼接的条件 token 序列 $C=[C_{text};C_{mllm};C_{ref}]$（文本编码器、MLLM、VAE 参考三类特征），逐步把噪声转化为视频潜变量。
论文的全部训练都围绕 DiT 能否真正使用 MLLM 条件展开，DiT 是被训练（Stage I/II）或被冻结当解码器（Stage III）的核心组件。
MLLM 与连接器（Connector）
多模态大语言模型（如 Qwen 系列）能同时处理文本与视觉输入，其隐状态 $H_\theta(u)$ 携带视觉先验与语义推理能力。连接器 $P_\eta$ 是轻量投影网络，把隐状态映射到 DiT 条件空间：$C_{mllm}=Z_{\theta,\eta}(u)=P_\eta H_\theta(u)$。
FAPL 的因子干预（跨度替换）与 Stage III 的微调对象都作用在这条 MLLM→连接器→DiT 通路上，是最优化的核心参数。
特征旁路（Feature Bypass）
当 DiT 同时接入文本编码器、MLLM、VAE 参考多条条件通路时，训练会倾向依赖信号更强、更熟悉的通路（文本与稠密视觉参考），使 MLLM 隐变量的实际贡献趋近于零；普通视频级监督无法约束各条件的贡献比例。
这是论文诊断出的核心瓶颈（Fig. 2 展示仅 MLLM 条件时基线退化为噪声或语义忽视），也是 Stage I 用 MLLM-only 条件化训练要解决的问题。
预测式表征学习
I-JEPA/V-JEPA 一类方法：从部分观察预测目标特征而非重建像素，避免在不可预测的低层细节上浪费容量；生成式版本则把预测的表征解码为视觉输出，但通常需要单独训练高保真解码器。
Stage III 把冻结的预训练 DiT 当作现成的可微解码器，通过视频重建监督训练 MLLM 的预测能力，是该思想在视频生成中的新用法。
研究动机
电影级视频生成要求模型从剧本加少量视觉参考这类稀疏输入中推断完整的动作序列与运镜（而非逐帧指定），同时保证角色、场景、动作、相机四个因子各自服从指令且互不干扰。现有 MLLM 条件化的视频 DiT（如 Omni-Video 2、UniVideo）虽然接入了多模态大模型的隐变量，但论文实验揭示一个被忽视的瓶颈：原生文本编码器和 VAE 参考通路会让生成器"绕过"MLLM 隐变量——DiT 靠熟悉的文本与稠密视觉通路就能降低生成损失，无需真正依赖 MLLM 特征。Fig. 2 显示，仅用 MLLM 条件时 Omni-Video 2 (1.3B DiT) 直接退化为噪声，14B 版本和 UniVideo 出现语义忽视（把一个人的连续动作画成两个人各自活动）。在角色条件冲突实验中 VAE 参考还会主导输出。此外，普通视频级监督不显式建立"某因子干预→对应输出变化"的因果联系，配对编辑数据也只被当作普通监督样本消费。
本文的目标是本文的目标是让 MLLM 隐变量在电影级视频生成中真正"可行动"（actionable），同时支撑两大能力：(1) 从有限输入进行时间维推理——仅凭文本和稀疏参考推断动作时序、外观细节与相机运动；(2) 因子感知控制——修改某一因子的指令时只改变对应内容而保持其他因子不变。作者希望在不引入任何新架构、不加新表示网络的前提下，纯粹通过训练信号的设计让生成器学会使用 MLLM 表征，也让 MLLM 学会为生成产出合适表征。量化目标是在稀疏到视频生成、因子感知编辑、多镜头生成三个任务上全面超越 UniVideo 与 Omni-Video 2，例如把因子编辑双通过率 $\cap$-Acc 从 UniVideo 的 42% 提升到 58%。
与已有工作不同的是，已有工作把 MLLM 隐状态与文本编码器、VAE 参考特征一起拼接送入 DiT 并做视频级端到端监督，但从不控制各条件的贡献，也不利用配对编辑数据指明"该变什么、该保什么"。FAPL 的独特切入有三点：第一，把"MLLM 隐变量被绕过"诊断为两大能力的共同瓶颈，先用 MLLM-only 条件化（禁用其他内容通路）逼 DiT 依赖这些隐变量；第二，在投影隐变量层面做因子跨度替换（factor-span replacement），把配对编辑转化为定位明确的结构化监督，而不假设表征完全解耦；第三，反转适配方向——冻结训练好的 DiT，反向联合优化 MLLM 与连接器，通过固定生成器回传梯度实现预测式表征学习，呼应 I-JEPA/V-JEPA 的思想但直接复用预训练 DiT 作解码器。
核心方法
FAPL 建立在 UniVideo（13B DiT）之上，是三阶段课程式训练：Stage I 解决"DiT 会不会用 MLLM 隐变量"，Stage II 解决"能否因子感知"，Stage III 解决"MLLM 能否从稀疏输入产出对生成有用的表征"。流程不改变架构：MLLM $F_\theta$ 的隐状态经连接器 $P_\eta$ 投影为条件序列 $C_{mllm}=Z_{\theta,\eta}(u)$，DiT $G_\phi$ 以流匹配目标 $\mathcal{L}_{FM}(x|C;\phi)=\mathbb{E}_{t,\epsilon}\|G_\phi(z_t,t|C)-v^*\|^2$ 训练，$z_t=\alpha_t z_0+\sigma_t\epsilon$。三阶段共享 100K 配对视频（每因子 25K，源自 CoinVE-200K 与 OmniVBench），分别训练 10K、15K、10K 步，全部以 MLLM 隐变量为唯一内容条件，在纯文本 $u_t=p$ 与文本+完整视频 $u_{tv}=(p,x)$ 两种观察模式间 1:1 采样。
核心创新是两个监督设计。其一是因子跨度替换：结构化提示词把描述拆成角色、场景、动作、相机四个有序字段，字段标签与边界在 MLLM 隐状态和投影隐变量中定位出对应 token 跨度；对只改一个因子 $k$ 的配对样本 $(x_a,p_a,x_b,p_b,k)$，把 A 投影序列中该因子跨度替换为 B 的，得到增强条件 $Z_{a\leftarrow b}^k=R_k(Z_a,Z_b)$，用视频 $x_b$ 监督——替换的跨度被显式关联到"目标因子变化+其余保持"，跨度长度跟随文本无需对齐，也不要求表征完全解耦。其二是共享目标的预测学习：文本观察 $u_t=p$ 与文本+完整视频观察 $u_{tv}=(p,x)$ 共享同一视频目标 $x$，冻结的 DiT $\phi^*$ 把梯度回传给 MLLM 与连接器，使 MLLM 学会产出"生成兼容"的表征——区别于 JEPA 类方法需单独训练解码器，这里直接复用预训练 DiT 作为冻结解码器，保留解码通路的同时训练推断能力。
方法步骤详情
Stage I（生成器奠基，10K 步）：冻结 MLLM $\theta_0$ 与连接器 $\eta_0$，禁用文本编码器和 VAE 参考通路，只训练 DiT $\phi$，按 $\rho_t+\rho_{tv}=1$ 采样观察模式，最小化 $\mathcal{L}_{ground}(\phi)$。Stage II（因子感知控制，15K 步）：MLLM 与连接器仍冻结，输入纯文本；对配对样本做因子跨度替换 $Z_{a\leftarrow b}^k=R_k(Z_a,Z_b)$，按 $\mathcal{L}_{edit}(\phi)$ 双向监督，替换后更新序列长度与掩码；结束保存并冻结 $\phi^*$。Stage III（有限输入预测，10K 步）：从 $\theta_0,\eta_0$ 初始化联合微调 MLLM 与连接器，最小化 $\mathcal{L}_{obs}(\theta,\eta)$，梯度穿过冻结 DiT。三阶段均用 AdamW（学习率 $1\times10^{-5}$、权重衰减 0、梯度裁剪 1.0）、BF16 与梯度检查点；推理 50 步、CFG 5.0。
技术新颖性
技术新颖性体现在三点。第一，诊断并修复"特征旁路"：此前 MLLM-DiT 工作从未显式验证生成器是否真正依赖 MLLM 隐变量，FAPL 用 MLLM-only 条件化把它变成可训练对象，且 Fig. 7 显示该做法在 Omni-Video 2 1.3B/14B 与 UniVideo 三个不同模型上都通用（修复前退化为噪声或语义忽视，修复后能正确生成）。第二，隐变量层面的因子干预：与 VACE 等在像素/参考层面做编辑控制不同，替换发生在连接器之后、DiT 之前的投影序列上，用生成损失而非特征解耦损失学习因子关系——消融显示因子替换使 $\cap$-Acc 从同预算对照的 48% 提升到 57%，而不用替换训练只能到 48%。第三，固定生成器式预测学习：把冻结 DiT 当作"可微解码器"训练 MLLM 从文本推断动作时序与运镜，Stage III 消融中混合观察训练把 Motion Order 从 57% 提到 61%、旋转误差从 1.26 降到 1.02 弧度，纯文本训练无法达到。
实验结果
主实验（Table 1，基于 UniVideo 13B）显示 FAPL 三任务全面领先。稀疏到视频生成：Motion Order 从 UniVideo 的 48% 升至 61%，平移误差 0.0763→0.0586，旋转误差 1.54→1.02 弧度（Omni-Video 2 14B 为 43%/0.0817/1.49，1.3B 为 33%/0.1084/1.87）。因子感知编辑：$\cap$-Acc 达 58%，比 UniVideo 的 42% 高 16 个百分点。多镜头一致性（100 序列）：Subject 0.516、Scene 0.471、FaceSim-Arc 0.523，均优于基线（UniVideo 0.462/0.427/0.451）。消融（Table 2）逐项验证：Stage I 把 Motion Order 从 48% 提到 54%；Stage II 因子替换使 $\cap$-Acc 从对照的 48% 跃至 57%；Stage III 混合观察再提升 Motion Order 4 个百分点（57%→61%）、平移误差 0.0629→0.0586、旋转误差 1.26→1.02，编辑精度保持 58%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 稀疏到视频生成（5K 纯文本用例） | Motion Order (%) | 61 | UniVideo (13B) 48；Omni-Video 2 (14B) 43；Omni-Video 2 (1.3B) 33 | 比最强基线 +13 个百分点 |
| 稀疏到视频生成 | 平移误差（越低越好） | 0.0586 | UniVideo 0.0763；Omni-Video 2 (14B) 0.0817 | 相对最强基线降低 23% |
| 稀疏到视频生成 | 旋转误差 (rad，越低越好) | 1.02 | UniVideo 1.54；Omni-Video 2 (14B) 1.49 | 降低约 1/3 |
| 因子感知编辑（5K 用例，每因子 1.25K） | ∩-Acc (%)（FiVE 双通过率） | 58 | UniVideo 42；Omni-Video 2 (14B) 37 | +16 个百分点 |
| 多镜头一致性（ShotVerse-Bench 100 序列） | Subject Consistency | 0.516 | UniVideo 0.462；Omni-Video 2 (14B) 0.476 | 优于全部基线 |
| 多镜头一致性 | FaceSim-Arc（人脸身份） | 0.523 | UniVideo 0.451；Omni-Video 2 (14B) 0.468 | 相对最强基线 +0.055 |
局限与改进
作者明确承认两局限：当前 MLLM 难以解读 3D 布局遮挡（blockout）或推理复杂运镜，预训练 DiT 本身也限制了视觉保真度和复杂因子实现（如真实表演）。我的补充观察：第一，评测集 CineFactor-10K 全部由 CoinVE-200K 与 OmniVBench 的 held-out 源视频自建，训练配对也是"因子特定选择+生成"构造的，因子边界清晰度可能高于真实用户 prompt 的混乱表达；第二，$\cap$-Acc 58% 意味着仍有约四成编辑未通过 yes/no 与选择题双检验，因子感知远未解决；第三，Stage III 会更新 MLLM 权重，可能损害其通用理解能力，论文未报告对 MLLM 原任务的回退评估；第四，多镜头一致性仅在 100 个序列上评测，样本量偏小；第五，与基线的对比都基于自家任务定义与指标，缺乏第三方基准交叉验证。
独立分析的弱点
弱点一：因子跨度替换依赖结构化提示词的四字段边界定位，真实用户不会按"角色/场景/动作/相机"格式写作，需要先做解析重写，解析错误的传播链路未讨论；改进方向是引入软性注意力掩码或可学习的跨度定位头。弱点二：四因子是人工定义的离散集合，覆盖不了光影、风格、物理交互、群体行为等更细粒度控制；可扩展为开放词汇的因子抽取与替换。弱点三：三阶段串行共 35K 步、13B DiT 训练成本高，且 Stage II 期间 MLLM 完全冻结，因子定位质量完全受限于原始 MLLM 的文本-隐状态对齐能力；可在 Stage II 后期联合微调。弱点四：替换跨度隐含假设"上下文化后该跨度仍主要编码对应因子"，论文自己承认不假设完全解耦，但替换造成的跨因子信息泄漏程度没有被量化——可加探针实验测量非目标因子的意外变化率，并分析泄漏与 $\cap$-Acc 失败案例的相关性。弱点五：动作/相机误差依赖冻结 $\pi\_3$ 做轨迹恢复，轨迹估计本身有误差，可能影响 0.0586/1.02 这类精细数值的可信度。
未来方向
作者提出的方向：引入更强的 MLLM（更好的 3D 与运镜推理）和更强的视频生成器（更高的保真度与复杂表演实现）。基于本文成果可延伸的研究：(1) 把固定生成器的预测学习推广到音频-视频联合扩散或多模态输出；(2) 因子感知干预与奖励模型/RL 结合，用偏好信号代替配对监督学习因子控制，摆脱对结构化配对数据的依赖；(3) 把结构化跨度替换扩展为推理时任意开放指令的组合干预接口；(4) 研究 MLLM 微调后的通用能力保持，如 LoRA 限制更新幅度或加入理解任务正则；(5) 把预测目标从单镜头重建扩展到未来帧与跨镜头叙事预测，直接服务长视频生成；(6) 建立因子级归因可视化工具，量化各跨度对输出的贡献，验证表征解耦程度并指导跨度划分。
复现评估
复现难度较高。论文未声明代码开源，仅给出项目主页 https://shotverse.github.io/fapl/（通常为展示页）；依赖 UniVideo（13B DiT）、Omni-Video 2 权重以及 CoinVE-200K、OmniVBench 发布的训练数据，100K 训练对还需"因子特定选择+生成"的构造流水线。算力上，13B DiT 加 MLLM 在 BF16+梯度检查点下训练 35K 步（10K+15K+10K）需要多卡 A100/H100 级资源。有利因素是方法完全不修改架构、全部为训练策略，且超参披露完整：AdamW、学习率 $1\times10^{-5}$、权重衰减 0、梯度范数裁剪 1.0、观察模式 1:1 采样、推理 50 步、CFG 5.0；评测指标 Motion Order、$\pi\_3$ 轨迹恢复、FiVE $\cap$-Acc、VBench 一致性、FaceSim-Arc 均有公开实现。若拿到基模型与数据，复现路径清晰，但完整复现的工程与算力门槛对普通团队偏高。
论文图表
通过两个失败案例定义论文要解决的两大能力：(i) 仅给文本提示时模型无法推断出"转身、把手放在箱子上、左手扶住竹竿"的动作序列，而观察到完整视频后同一模型能复现，说明有限输入下的时间推理缺失；(ii) 保持其他因子描述不变、只替换角色描述时，非角色因子（服装外其他内容）也跟着变了，说明因子控制缺失。
用直观的定性失败案例界定了"时间推理"与"因子感知"两条需求，是理解全文动机与研究问题的入口。
两组诊断实验：(i) 仅用 MLLM 条件生成时，Omni-Video 2 (1.3B DiT) 输出退化为噪声，Omni-Video 2 (14B) 与 UniVideo 出现语义忽视（把一个人的连续动作画成两个人）；(ii) 文本条件与 VAE 参考关键帧冲突时，三个基线的输出都被 VAE 参考主导。证明 MLLM 隐变量在现有架构中实际贡献趋近于零。
这是论文最关键的证据图，直接支撑"特征旁路是共同瓶颈"这一核心诊断，也是 Stage I 设计的依据。
三阶段训练的伪代码：初始化 $\theta,\eta,\phi$ 后，Stage I 在固定 $\theta_0,\eta_0$ 下按观察模式采样更新 $\phi$；Stage II 采样配对编辑样本、定位因子 $k$ 跨度并按式(4)替换后用 $\mathcal{L}_{edit}$ 更新 $\phi$；保存并冻结 $\phi^*$ 后，Stage III 按 $\pi$ 采样观察模式、构造 $u_t$ 或 $u_{tv}$，用 $\mathcal{L}_{FM}(x|Z_{\theta,\eta}(u_m);\phi^*)$ 更新 $\theta,\eta$。
给出方法的最精确形式化描述，配合 Figure 3 能完整还原训练流程与损失切换时机。
在 Omni-Video 2 (1.3B)、Omni-Video 2 (14B)、UniVideo (13B) 三个模型上对比 Stage I（MLLM 隐变量增强）前后 MLLM-only 条件下的生成质量：修复前分别退化为噪声、语义忽视与伪影，修复后三个模型都能正确生成目标内容（武术动作与背景）。
证明"MLLM-only 生成器奠基"不是 UniVideo 特有的技巧，而是跨模型规模的通用修复手段，支撑方法的普适性主张。