Bernini：面向视频扩散的潜空间语义规划 Bernini: Latent Semantic Planning for Video Diffusion
用MLLM在自身ViT嵌入空间做语义规划，解耦理解与扩散渲染，统一视频生成与编辑。
前置知识
多模态大语言模型 (MLLM)
在大型语言模型基础上接入视觉等模态编码器（如 ViT），使模型既能处理文本又能理解图像/视频，并对异构多模态输入做推理与 grounding 的模型，本文用 Qwen2.5-VL-7B 作为 planner。
Bernini 的核心就是把 MLLM 当作语义规划的大脑，理解这一点才能明白为何选择 ViT 嵌入作为接口。
扩散 Transformer (DiT) 与 flow matching
DiT 是把 Transformer 用作扩散模型去噪主干的架构；flow matching 是一种通过回归速度场来训练连续归一化流的范式，相比传统 DDPM 训练更稳、采样轨迹更直。本文 DiT 渲染器基于 Wan2.2-A14B，在 VAE 潜空间做 flow-matching 去噪。
渲染器是 Bernini 的画笔，理解 DiT+flow matching 才能看懂两阶段损失 $\mathcal{L}_{visual}$ 与 $\mathcal{L}_{dit}$ 的设计。
ViT 嵌入空间
Vision Transformer 把图像/视频切成 patch 后编码得到的连续向量表征空间，是 MLLM 内部表示视觉内容的母语空间。Bernini 不另造桥接表征，直接让 MLLM 在这个原生空间里预测目标 token。
它是 planner 与 renderer 之间的语义接口，是本文区别于隐藏态接口方案（SEED-X、VINO）的根本所在。
掩码生成式建模 (MAR)
受 BEiT/MAR 启发的范式：随机遮住一部分 token，用双向上下文预测被遮内容，推理时从全 mask 出发分 K 步逐步揭开。本文用 MLP+ResNet 头配合 flow-matching 还原被掩码的 ViT 嵌入。
planner 的规划机制完全建立在这个范式上，mask 比例 $r\sim\text{Beta}(\alpha,\beta)$ 的任务相关配置是关键技巧。
旋转位置编码与 3D RoPE
RoPE 通过对 query/key 做复数旋转注入相对位置；3D RoPE 把时间、垂直、水平三组坐标编码进三个旋转子空间再拼接成 $r_{t,h,w}$。视频 DiT 常用它编码时空位置。
理解 3D RoPE 才能看懂本文创新 SA-3D RoPE 如何用段索引相位调制 $\tilde{r}_{t,h,w,i}=r_{t,h,w}\odot r_{seg_i}$ 解决多段歧义。
分类器无关引导 (CFG) 与 projected guidance
CFG 用条件与无条件预测之差放大引导信号；本文把其分解为源视频、源图、文本、目标语义四个增量项 $\Delta_{vid},\Delta_{img},\Delta_{txt},\Delta_{tgt}$，并用 adaptive projected guidance 抑制过饱和。
推理时各条件权重的调节（如 $\omega_{txt}=4.0$、$\omega_{tgt}=0.5$）直接决定不同任务的效果。
研究动机
多模态大模型（MLLM）和扩散模型沿几乎独立的路径走向成熟：MLLM 擅长阅读长指令、在多张参考图上做语义推理与视觉 grounding，而扩散模型已成为高分辨率、长时长照片级图像/视频合成的事实标准。然而把它们融进一个既能理解意图、又能生成与编辑的统一系统仍是开放问题。现有统一方案要么把理解与生成塞进同一离散词表做自回归（如 Emu3、Janus），语义被离散 token 瓶颈压缩；要么让 MLLM 直接输出隐藏态喂给扩散解码器（如 UniVideo、VINO、SEED-X），接口表征与扩散渲染所需的语义先验不在同一空间，迁移效率低。视频编辑场景里问题更尖锐：现有基准（OpenVE-Bench、EditVerse）几乎只覆盖视频到视频编辑，忽视「视频+参考图到视频」，编辑类型与视频内容多样性都有限；且当前视频编辑数据集噪声大、构建流水线不成熟，难以支撑通用视频编辑训练。
本文的目标是本文目标是设计统一框架 Bernini，在单一系统内同时支持文本生成视频（T2V）、主体生成视频（S2V）、参考图引导编辑（RV2V）和视频到视频编辑（V2V），并让 MLLM 预训练得到的多模态理解能力能直接迁移到生成与编辑任务，而非被重新学习抹掉。为此作者希望找到一个轻量的语义接口，使 planner 与 renderer 能分开预训练、再轻度联合微调，既保留各自预训练优势又让训练高效。同时要构造大规模、多任务、高保真的训练语料，并设计能定量评估多样化编辑能力的新基准 Bernini-Bench（300 个测试用例、22 个编辑类别），以验证该统一框架在多个公开榜单上达到 SOTA。
与已有工作不同的是，独特的切入点在于把语义接口锚定在 MLLM 自身的 ViT 嵌入空间。作者观察到两点：第一，MLLM 天生就在 ViT 嵌入空间里推理与表征视觉内容；第二，扩散生成本质上可分解为高层语义引导加底层细节保持，而语义信号并不需要高分辨率——少量语义 token 就能规定整个场景。于是他们不另造桥接表征，而是让 MLLM 直接在它原生 ViT 空间里规划目标，再用 DiT 渲染像素。这区别于把 MLLM 输出隐藏态或可学习 query token 作为接口的做法，能让预训练视觉语义以母语直接传递给渲染器，迁移成本最低，从而带来更强的跨任务泛化（如因果推理编辑、训练分布外的指令）。
核心方法
整体直觉是分工：MLLM 当大脑负责语义规划，扩散模型当画师负责像素合成，两者用 MLLM 原生 ViT 嵌入作为共同语言。技术路线上，所有任务（T2V、T2I、S2V、编辑）都被序列化成同一条由文本 token 与视觉 token（源输入加目标输出）组成的统一序列，送入 MLLM 编码得到上下文隐藏态 $z=\text{MLLM}(t, v_{src_1},\ldots,v_{src_N},v_{tgt})$。目标视觉 token 训练时随机 mask、推理时全 mask，由 MLLM 做掩码生成式建模（类 MAR）逐步预测出目标 ViT 嵌入，再经一个 MLP+ResNet 的 ViT 嵌入解码器用 flow-matching 还原。这些语义嵌入经 MLP 连接器与 T5 文本特征拼接，作为 DiT 渲染器的 cross-attention 条件；编辑任务还额外注入源 VAE 特征保细节一致。这样 planner 与 renderer 可分别预训练，只在第三阶段轻度联合训练。
核心创新是以 MLLM 自身 ViT 嵌入空间作为 planner 与 renderer 之间的语义桥梁，而非沿用输出隐藏态或可学习 query token。这一选择让语义接口天然对齐 MLLM 预训练表征，迁移代价最小。围绕该核心，作者提出两个关键技术：第一是 Segment-Aware 3D RoPE（SA-3D RoPE）——当多个视觉段（多张参考图、源视频、目标）拼成同一序列时会共享相同 $(t,h,w)$ 坐标导致身份歧义，SA-3D RoPE 为每段引入段索引 $i$，构造全维旋转频率向量 $r_{seg_i}$，通过复数乘法 $\tilde{r}_{t,h,w,i}=r_{t,h,w}\odot r_{seg_i}$ 叠加段依赖的全局相位调制，既区分不同段又保留原始时空建模。第二是潜空间链式思维（CoT），planner 生成最终嵌入前先做隐式推理，含 self-text 与 self-vision-text 两种模式。
方法步骤详情
训练目标 $\mathcal{L}$ 为三损失加权（NTP 加两个 flow-matching，权重 $0.2,1,1$），保留 $\mathcal{L}_{ntp}$ 维持理解能力。三阶段流水线：Stage I 在 256P/2fps 训练 planner 加 ViT 解码器，先 T2I 再扩到 T2V/I2I/V2V，mask 比例 $r\sim\text{Beta}(\alpha,\beta)$ 按任务配置（如 V2V 用 $\alpha=12,\beta=0.9$，输入越丰富掩码率越高以防泄漏）；Stage II 在 480P/16fps 训练 DiT 渲染器，配对数据线性衰减采样；Stage III 轻度联合训练并加 CoT 数据。推理时目标 token 全 mask，做 25 次迭代规划、每步解码器 5 次 flow-matching 去噪，掩码率按余弦曲线从粗到细逐步揭开；随后 DiT 做 40（编辑/主体）或 60（T2V）步去噪，用四路（源视频/源图/文本/目标语义）增量式 CFG 控制贡献并抑制过饱和。
技术新颖性
技术新颖性体现在三点。第一，语义接口选择上打破用 MLLM 输出隐藏态作条件的惯例（SEED-X、UniVideo、VINO），改用其原生 ViT 嵌入空间，使预训练视觉语义以母语迁移，这是 Bernini 泛化能力强（能处理训练分布外的因果推理、视角变换编辑）的根本原因。第二，SA-3D RoPE 是对标准 3D RoPE 的优雅扩展，用相位调制而非加性段嵌入解决段歧义——消融显示加性段嵌入仍会导致参考泄漏（背景泄漏、鸭子头串到错误区域），而 SA-3D RoPE 能干净隔离特征。第三，把链式思维引入潜空间规划（而非只在文本空间），self-vision-text 引入先图级推理生成中间帧、再视频级传播的视觉中间态，把空间推理与时间生成桥接起来。此外数据侧的传播式数据增强、双分支运动感知合成、参考图/视频引导数据流水线也填补了视频编辑数据空白。
实验结果
核心发现在多个榜单全面领先。视频编辑人工偏好榜（Figure 1）Bernini BT 分 1044 排第二，仅次于 HappyHorse-1.0 的 1080，击败 Wan2.7 的 1034、Grok 的 964、Kling_v3_omni 的 878，且在 480p 对抗 720p 下取得。Bernini-Bench（Table 6）V2V 总分 3.49 较 Wan2.7 的 3.30 提升，视频一致性 VC 3.51 领先最明显。公开 OpenVE 总分 4.04 大幅超过 VINO 的 3.18；EditVerse 编辑质量 8.02 创新高；FiVE 准确率 78.16 最佳。VBench（Table 11）总分 84.64 几乎持平底座 Wan2.2-A14B 的 84.79，证明多任务扩展未损害 T2V；主体生成 OpenS2V 总分 62.94 登顶，人脸 FaceSim 78.20 较次优高 20+ 分。推理增强消融（Table 10）显示 self-vision-text 把 OS 从 3.12 推到 3.52。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 开放视频编辑人工偏好 | Bradley-Terry 分数（几何均值锚定 1000） | 1044（榜单第 2） | Wan2.7 1034 / Kling_v3_omni 878 | 较 Wan2.7 +10；仅次于 HappyHorse-1.0 的 1080，且在 480p 对抗 720p 下取得 |
| Bernini-V2V（自建基准） | Overall Score (OS) | 3.49 | Wan2.7 3.30 / Kling O3 3.05 | +0.19 vs Wan2.7；视频一致性 VC 3.51 领先最明显 |
| OpenVE-Bench（Gemini 2.5 pro 评测） | Overall | 4.04 | VINO 3.18 / OpenVE-Edit 2.49 | +0.86 vs 最强基线 VINO |
| EditVerse | Editing Quality | 8.02 | EditVerse 7.65 / Lucy-Edit 5.89 | +0.37，列全部方法第一 |
| FiVE Benchmark | FiVE-Acc（编辑准确率） | 78.16 | Omni 72.41 / Wan-Edit 46.97 | +5.75；背景 SSIM 0.8438、结构保真也接近最优 |
| OpenS2V-Eval（主体生成视频） | Total | 62.94（登顶） | RefAlign-14B 60.42 / Kling O3 59.19 | +2.52，超越全部开源与闭源对手 |
| OpenS2V-Eval（人脸一致性） | FaceSim | 78.20 | Kling O3 57.20 / Phantom-14B 33.42 | +21.00，大幅刷新人脸身份保持 |
| VBench（文生视频） | Total | 84.64 | Wan2.2-A14B 84.79 / Veo3 85.06 | 较底座 -0.15，基本持平，证明多任务扩展未损害 T2V |
局限与改进
作者明确承认三点局限。第一，Bernini 受限于所选基础模型（Qwen2.5-VL-7B 作 planner、Wan2.2-A14B 作 renderer），复杂编辑场景下仍依赖强 LLM 重写器提供足够详细结构化的指令，说明其原生推理能力对挑战性编辑尚不充分——即 self-text/self-vision-text CoT 还没完全替代外部 GPT-5.4 重写，Table 10 里加 PE(GPT-5.4) 仍带来明显增益可佐证。第二，虽然主体生成视频一致性已达 SOTA，但视觉质量仍弱于 Wan2.7 等更强闭源系统。我自己的观察补充：论文未公开模型权重与代码，复现门槛高；Bernini-Bench 是自建基准存在评估者偏差风险，且 GQ 生成质量指标作者自己也说 MLLM 难以准确判断小尺度畸变仅供参考；480p 输出在对抗 720p 对手时虽胜出但分辨率劣势客观存在；视频时长被限制在 2–10 秒数据范围内，长视频能力未验证。
独立分析的弱点
弱点一：强依赖外部 prompt 重写器。复杂编辑需要 GPT-5.4 这类强模型先重写指令才能发挥最佳效果，说明 planner 的端到端推理尚未成熟；改进方向是把更强推理能力（更大 MLLM、强化学习训练 CoT）内化进 planner，减少对外部模型耦合。弱点二：分辨率与时长的天花板。受数据与算力限制只到 480p、2–10 秒，对比闭源 720p 长视频仍有差距；改进方向是引入更高分辨率与更长时长的训练数据，并用更长上下文的序列并行（论文已做到 440K token）进一步扩容。弱点三：评估的可信度。Bernini-Bench 自建且 GQ 指标作者自承不可靠，易被质疑偏向自家方法；改进方向是开放基准与评测脚本，引入更多独立人工评估。弱点四：planner 迭代步数（25 步规划加解码器 5 步）虽作者称开销可忽略，但未给出具体延迟数字，端到端延迟对实时编辑仍是隐患，可结合 CFG/ReFlow 蒸馏（论文已做到 4 NFE）进一步压缩。
未来方向
作者提出的方向：用更强的 MLLM 和 DiT 基础模型实例化，以提升复杂编辑的原生推理与视觉质量；继续缩小与 Wan2.7 等闭源系统在画质上的差距。基于成果可延伸的方向：第一，把 Bernini 的 ViT 嵌充当语义接口范式推广到音频、3D 等更多模态统一生成；第二，把潜空间 CoT 与强化学习结合，让 planner 通过反馈自进化推理链；第三，探索更长视频与故事板级规划，让 MLLM 真正做导演级分镜语义规划；第四，把 SA-3D RoPE 思想推广到任意多段视觉输入的统一注意力；第五，研究 planner 与 renderer 的更深层联合训练或共享参数，进一步压缩推理成本。
复现评估
复现评估偏困难。论文提供了较详尽的工程细节：三阶段训练课程、各任务 Beta mask 参数（V2V 用 $\alpha=12,\beta=0.9$）、噪声调度（Table 4）、推理 CFG 引导尺度（T2V 的 $\omega_{txt}=4.0$、$\omega_{img}=\omega_{tgt}=1.0$）、25 步规划加 5 步解码加 40/60 步 DiT 去噪、4 NFE 蒸馏，对复现有帮助。但关键障碍在于：其一，模型权重、代码、训练数据均未开源，仅项目主页；其二，训练数据规模极大（2000 万视频对加 3000 万图像对加 1000 万交错图文），且依赖内部高质量 T2V/T2I 语料，外部研究者无法获取；其三，联合训练需大量算力（FSDP 加 Ulysses 序列并行、440K token 序列、单卡内存从 72GB 优化到 40GB、约 4.5 倍吞吐提升），普通团队难以负担。因此总体复现难度高，更适合作为方法论参考。
论文图表
