OmniXRef：多模态多参考视频编辑的统一框架 OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing
用参考库接口统一文本/图像/视频参考，单模型完成多参考视频编辑
前置知识
Diffusion Transformer (DiT)
用 Transformer 替代 U-Net 作为扩散模型去噪骨干的生成架构：把带噪 latent 切成 token，通过自注意力预测噪声。视频 DiT 在时间、高度、宽度轴上做全注意力，token 数量随分辨率和帧数快速增长。
OmniXRef-Model 的生成端是一个预训练单流视频 DiT，所有参考信息最终都以 token 形式注入去噪过程，理解 DiT 才能理解 token 开销与注意力的设计动机。
RoPE 与 4D RoPE
旋转位置编码把位置信息作为复数旋转注入注意力的 Q/K 内积，天然表达相对位置。视频版的 4D RoPE 给每个 token 分配 $(y,x,\tau,\rho)$ 四个坐标：高度、宽度、时间，以及它所属资产（源视频、参考、噪声）的顺序索引 $\rho_s$。
本文的 R2-RoPE 正是对第四轴 $\rho$ 的修改，不懂默认顺序索引的局限就无法理解为什么模型泛化不了更多参考。
MLLM 条件化
多模态大语言模型（如 Qwen3-VL）能把文本、图像、视频交错的序列统一编码成语义 token，充当生成模型的语义理解前端。生成端不再自己解析原始多模态输入，而是消费 MLLM 输出的上下文。
OmniXRef-Model 用冻结的 Qwen3-VL-8B-Instruct 读入参考库序列并产出语义上下文 $X$，这是多参考指令能被组合理解的关键。
VAE latent 与 patchify
视频先经 VAE 压缩到低维 latent，再把 latent 切成 $p=(p_t,p_h,p_w)$ 的不重叠 patch，每个 patch 经 MLP 映射为一个 DiT token。patch 越粗 token 越少、计算越省，但空间细节损失越大。
Mix-Patchify 的全部操作对象就是 patch 粒度：源/目标保持细粒度、参考按任务选粗粒度，是效率与性能权衡的核心旋钮。
Classifier-Free Guidance (CFG)
扩散模型训练时以一定概率丢弃条件输入让模型同时学条件与无条件生成，推理时用 $\epsilon = \epsilon_u + w(\epsilon_c - \epsilon_u)$ 外推条件方向，放大条件影响。
本文的关键细节是 CFG 只丢弃编辑指令 $\mathcal{T}^{edit}_i$ 而保留视觉参考，使引导只放大指令指定的属性提取、避免参考泄漏，消融显示丢整个参考库会让 Score 从 3.77 掉到 2.83。
课程学习
由易到难安排训练任务的策略：先在小分辨率、简单任务上建立基础能力，再逐步引入更难的任务组合和更高分辨率，加速收敛并稳定优化。
OmniXRef-Model 的三阶段训练（单参考 272P → 双参考 272P → 全任务 480P）是课程学习的直接应用，消融显示去掉它 Score 从 3.77 降到 3.13。
研究动机
视频编辑中的创意意图往往无法只用文字说清楚：让镜头沿某条轨道环绕、给画面加上流动的火焰特效、把参考视频里的人物动作迁移到源角色——这些随时间动态变化的属性（相机轨迹、动态光照、视觉特效）很难用文本甚至静态图像精确指定，用户真正需要的是“拿一段参考视频照着做”。然而现有研究被参考模态割裂：EditVerse、VIVA、InstructX、Kiwi-Edit 只支持文本或单图参考；ReBind、TIDE 支持多图；CamCloneMaster 和 RefVFX 分别只研究相机控制、VFX 转移这单个 V'V2V 任务。商用系统（Seedance、MiniMax H3 等）虽开始支持多模态参考，但大多面向生成而非编辑。更根本的瓶颈在数据：覆盖多种编辑任务的大规模“源视频–参考–目标视频”三元组极其稀缺，导致多模态多参考视频编辑长期缺乏系统性 formulation。
本文的目标是本文的目标是建立多模态多参考视频编辑的统一框架 OmniXRef，从四个维度完整刻画该任务：参考数量（1 到 $K$ 个）、参考模态（文本/图像/视频）、参考属性（相机 Camera、运动 Motion、内容 Content、风格 Style、视觉特效 VFX 五类）、组合方式（文-图、文-视频、图-视频、文-图-视频）。在此 formulation 下训练单一模型 OmniXRef-Model：用户通过“参考库”接口为每个参考指定编辑任务与指令，模型将多个请求的编辑融合为一段连贯输出，同时保留源视频其余内容。配套目标还包括构建约 1000 万量级的训练数据 OmniXRef-Data、建立系统评测基准 OmniXRef-Bench（125 个样本、五类属性），推动“视频作为控制模态”的研究。
与已有工作不同的是，本文的独特切入在三个层面。第一，用统一的参考库接口 $\mathcal{B}_i=(\mathcal{T}^{task}_i, \mathcal{T}^{edit}_i, \mathcal{V}_i)$ 把文本、图像、视频参考放进同一输入表示，“参考+任务+指令”成为一等公民，而非为每种模态设计独立分支或只做多图。第二，作者诊断出默认 4D RoPE 顺序资产索引存在训练-推理鸿沟：第四轴索引 $\rho_s$ 的范围被训练样本的最大资产数限制，推理时参考一多就落入分布外位置索引，并提出 R2-RoPE——为参考保留槽位池、训练时随机分配——从根上解决对更多参考数量的泛化。第三，针对三元组数据稀缺，设计了五类单视频参考编辑任务各自的合成流水线加两视觉参考组合数据，并首次提出系统评测视频参考属性迁移的 OmniXRef-Bench。
核心方法
整体直觉是：把“要改什么”全部交给 MLLM 编码成语义上下文，把“怎么改”交给扩散 Transformer 去噪完成。OmniXRef-Model 由两部分组成：一个冻结的 MLLM（Qwen3-VL-8B-Instruct）负责理解，一个预训练单流视频 DiT（架构类似 EditVerse）负责生成。MLLM 读入交错序列——系统提示、源视频标记与 ViT 编码的源视频、$K$ 个参考库、输出标记——产出语义上下文 $X = G(T_{sys}, T_{src}, E_{ViT}(V_{src}), \{\mathcal{B}_i\}_{i=1}^{K}, T_{out})$；随后把 $X$ 中的视觉 token 替换为 VAE 编码得到 $X'$，DiT 在完整自注意力下联合处理 $X'$、源/参考 VAE token 与带噪目标视频 token，直接输出去噪后的编辑视频。三项关键技术支撑这套设计：Mix-Patchify 按任务选 patch 粒度，把多视频参考的 token 开销最多压低 $p_t p_h p_w$ 倍；R2-RoPE 保留 8 个参考槽位，支持超出训练分布的参考数量；课程学习三阶段渐进（272P 单参考 → 272P 双参考 → 480P 全任务）加速收敛。
核心创新是与已有方法的三个本质区别。其一，reference-bank 统一接口：不同于 ReBind/TIDE 只处理多图、CamCloneMaster 只处理相机，每个参考被封装为（任务定义、编辑指令、可选视觉参考）三元组，一条序列内可任意组合数量与模态，编辑属性由任务定义显式声明，纯文本参考时后两项为空。其二，R2-RoPE：默认 4D RoPE 第四轴是资产顺序索引 $\rho_s$，其范围被训练数据的参考数上限卡死；R2-RoPE 为系统提示、源视频、噪声保留固定槽位，另设 8 个参考槽位池，训练时随机抽取不重叠槽位，使每个槽位在训练中被无偏激活，推理时任意参考数都落在训练见过的索引范围内，且同时消除了顺序索引下噪声 token 位置随参考数漂移导致的信号冲突。其三，Mix-Patchify：源和目标保持 $p=(1,1,1)$ 细粒度以保留细节条件，参考按任务用更粗的空间粒度（相机/运动/VFX 属性偏全局或动态），但始终保持 $p_t=1$ 不损失时间分辨率，把 patch 粒度变成任务相关的空间先验而非单纯压缩手段。
方法步骤详情
完整流程分五步。第一步，构建参考库：每个编辑请求写成 $\mathcal{B}_i=(\mathcal{T}^{task}_i, \mathcal{T}^{edit}_i, \mathcal{V}_i)$，分别指定任务范围、具体指令和可选参考图像/视频。第二步，语义编码：冻结的 Qwen3-VL-8B-Instruct 读入交错序列，图像与视频参考经 $E_{ViT}$ 编码，输出语义上下文 $X$。第三步，视觉替换与切块：把 $X$ 里的 ViT token 换成 VAE 编码 $E_{VAE}(V)$ 得 $X'$，经 Mix-Patchify 按任务粒度切块（源/目标 $(1,1,1)$，参考按 Content 细、Camera/Motion/Style/VFX 粗），各自经任务专属 MLP 投影成 DiT token。第四步，去噪生成：DiT 对带噪目标视频 token 做全自注意力去噪；CFG 只丢弃编辑指令 $\mathcal{T}^{edit}_i$，无条件分支仍基于同一视觉参考。第五步，三阶段课程训练：Stage 1 在 272P 混合 T'V2V/I'V2V/V'V2V 单参考任务，学习率 $1.5\times10^{-5}$ 前 5000 步衰减至 $1\times10^{-5}$；Stage 2 在 272P 引入 I'V'V2V、V'V'V2V 双视觉参考；Stage 3 全部升至 480P。数据合成上，VFX/Style 共享管线：MLLM 从约 200 万候选视频筛目标，GPT Image 2 抹除首帧属性，视频传播模型扩散至全片得源视频，Wan2.2-TI2V-5B 生成异场景同属性参考；Camera 用 Vista4D 按同一轨迹重拍两条视频互为源/参考；Motion 基于 MotionPair-60K 做角色交换；Content 复用 RefVIE 与视频协调三元组。
技术新颖性
技术新颖性体现在三处。R2-RoPE 是对 4D RoPE 第四轴的干净修改：消融显示去掉它整体 Score 从 3.77 掉到 3.18，且作者指出了顺序索引的内在冲突——噪声 token 的第四轴索引随参考数漂移，同一索引在不同样本中含义不同（有时是输出、有时是参考），随机槽位分配同时解决了推理泛化与训练信号冲突两个问题。Mix-Patchify 把 patch 粒度当作任务级归纳偏置而非纯压缩：去掉后 Score 降到 2.86 且同等步数内收敛明显变慢，说明任务相关的空间先验切实降低了“从信息密集的参考 token 序列中抽取目标属性”的学习难度。数据侧，五条合成流水线（共享的 VFX/Style 管线、Vista4D 相机重拍、MotionPair 角色交换、RefVIE 内容复用）再叠加相机管线生成组合数据的做法，系统性绕开了真实三元组稀缺的障碍。据作者所述，这是首个对多模态多参考视频编辑给出统一 formulation 并解决参考数量泛化的工作。
实验结果
在自建 OmniXRef-Bench（125 个样本、5 类属性，Gemini 3.8 Flash 做 VLM 评审）上，OmniXRef-Model 五类平均分最高：RA 3.67 / VQ 3.68 / SP 4.68 / 综合分 Score 3.78，超过任务专用开源基线与商用系统（Seedance 2.0 得 3.12、Seedance 2.5 得 2.73、MiniMax-H3 仅 1.45）。分属性看，它在 Motion（3.30 vs MotionFollower 2.14）、Content（4.49 vs RefVFX 1.98）、Style（3.75 vs RefVFX 2.24）领先，VFX 得 3.55 也高于 RefVFX 的 2.49。相机几何评测用 VGGT 在 32 个对齐帧上估计轨迹：RotErr 0.874、TransErr 3.961、CamMC 4.437，全面优于 CamCloneMaster（2.086 / 9.329 / 10.332）和 Seedance（约 4.4 / 22.5 / 24.0）。消融证实每个组件都有效：完整模型 3.77，去 Mix-Patchify 降至 2.86，参考库整体 dropout 2.83，去 R2-RoPE 3.18，去课程学习 3.13。可移植性方面，用同一套数据微调 MiniMax-H3（不改架构）得 OmniXRef(MiniMax-H3)，五类全部超过原版（1.45→3.59），并在 Camera（3.99）、VFX（3.83）反超自有模型。效率上，480P、121 帧下单步 DiT 推理 30.5 秒、6.616 PFLOP；4 个参考若全用 $(1,1,1)$ patchify 延迟和 FLOPs 涨到约 3.7-3.8 倍，改用 $(1,2,2)$ 降到约 2.7 倍，Mix-Patchify 按任务混合粒度后开销进一步下降且参考越多优势越大。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多模态多参考视频编辑（五类平均） | VLM 综合分 Score（RA/VQ/SP 复合，满分 5） | 3.78（RA 3.67 / VQ 3.68 / SP 4.68） | Seedance 2.0：3.12；Seedance 2.5：2.73；MiniMax-H3：1.45 | 较最强商用基线 Seedance 2.0 高 0.66 分（约 +21%） |
| 视频参考相机控制（Camera） | RotErr 旋转误差（弧度，越低越好） | 0.874 | CamCloneMaster：2.086；Seedance 2.0：4.443 | 较最佳基线降低 58.1% |
| 视频参考相机控制（Camera） | TransErr / CamMC（越低越好） | 3.961 / 4.437 | CamCloneMaster：9.329 / 10.332 | 分别降低 57.6% / 57.1% |
| 视频参考内容编辑（Content） | Score | 4.49 | RefVFX：1.98；Seedance 2.5：4.04 | 较 RefVFX 高 2.51 分 |
| 视频参考风格迁移（Style） | Score | 3.75 | RefVFX：2.24；Seedance 2.5：2.30 | 较 RefVFX 高 1.51 分 |
| 视频参考运动迁移（Motion） | Score | 3.30 | MotionFollower：2.14；Seedance 2.0：2.45 | 较 MotionFollower 高 1.16 分 |
| 视频参考视觉特效（VFX） | Score | 3.55 | RefVFX：2.49；Seedance 2.5：2.22 | 较 RefVFX 高 1.06 分 |
| 可移植性验证：MiniMax-H3 用 OmniXRef-Data 微调 | 五类平均 Score | 3.59（Camera 3.99、VFX 3.83 超过自有模型） | 原始 MiniMax-H3：1.45 | 提升 2.14 分（1.45→3.59） |
| 消融实验（去掉单一组件） | 五类平均 Score | 完整 3.77；去 Mix-Patchify 2.86；参考库 dropout 2.83；去 R2-RoPE 3.18；去课程学习 3.13 | 完整模型自身 3.77 | 各组件贡献约 0.6-0.9 分 |
局限与改进
作者承认的主要局限是视觉质量（VQ）仍落后商用系统：平均 VQ 3.68 低于 Seedance 2.0 的 3.83 和 MiniMax-H3 的 3.84，归因于预训练骨干容量差距。我自己还观察到几点：第一，Motion 是明显短板，RA 只有 2.92（Camera 3.48、Content 4.69），说明从参考视频抽取人体/物体运动仍是最难的属性，且该类数据仅 10 万条，远少于 Camera 的 150 万；第二，训练样本最多含 2 个视觉参考，3 个以上完全依赖 R2-RoPE 外推，外推的能力上限与饱和点未被系统量化；第三，评测依赖 Gemini 3.8 Flash 的 VLM 主观打分，RA/SP 与人类感知的一致性未经人评校验，且基准仅 125 个样本，统计功效有限；第四，合成数据依赖 GPT Image 2、Wan2.2、Vista4D 等生成工具，可能引入生成痕迹与分布偏移；第五，输出分辨率止步 480P，长时序与高分辨率场景未探索；第六，代码与权重未开源，仅项目页展示效果。
独立分析的弱点
独立分析几点弱点。一是运动迁移的语义鸿沟：Motion RA 仅 2.92，参考视频中的动作需解耦为角色无关的位姿序列再绑定到源角色，当前隐式条件难以保证时序对齐，改进方向是引入显式中间表示（骨架、光流或深度序列）作为桥接监督。二是对外部商业工具的依赖：数据合成用了 GPT Image 2 与内部 Vista4D，复现者无法重建相同的数据分布，可用开源 inpainting 加传播模型替代并量化分布差异。三是 VQ 瓶颈受骨干容量限制：文中 MiniMax-H3 微调版在 Camera（3.99）与 VFX（3.83）反超自有模型，说明骨干质量很关键，可探索更大 DiT 或与商用底座联合训练。四是参考泄漏风险：定性对比显示 Seedance 2.5 会把参考中的盆栽搬进输出，OmniXRef 靠“CFG 只丢指令”缓解，但 VFX 类 SP 仅 4.52，极端场景仍可能被参考内容污染，可加入泄漏检测正则或对比去泄漏训练。五是推理成本仍随参考数近线性增长（4 参考全细粒度延迟 3.7 倍），可探索参考 token 蒸馏、跨步缓存或稀疏注意力。
未来方向
作者提出的方向是把视频确立为标准控制模态、推广 reference-bank 接口到更多任务组合。基于本文成果可延伸：其一，把保留槽位机制扩展到音频、深度、轨迹等更多模态参考，迈向真正的全模态 omni 编辑；其二，利用 R2-RoPE 的外推能力系统研究参考数量的缩放律——多少参考开始饱和、槽位池大小如何随任务复杂度设定；其三，深化商用骨干适配（LoRA、注意力层微调、以参考遵循度为奖励的对齐训练），文中 MiniMax-H3 从 1.45 提到 3.59 只是起点；其四，交互式增量编辑：编辑请求逐步追加时利用槽位机制保留已编辑内容，实现多轮会话式创作；其五，把五类合成流水线推广到新属性（材质、物理交互、人物身份），并建设带人评的大规模基准弥补 VLM 评审主观性；其六，探索 720P 以上分辨率与更长时序的课程设置，以及 Mix-Patchify 粒度的可学习化而非人工指定。
复现评估
复现难度：高。论文未放出代码与权重，项目页只有效果展示。有利条件是关键组件大多开源可得：MLLM 用公开的 Qwen3-VL-8B-Instruct；DiT 架构参考 EditVerse；Content 数据源 RefVIE 与 MotionPair-60K 公开；Wan2.2-TI2V-5B 开源，可作为参考视频生成器的替代；训练配方（三阶段课程、学习率 $1.5\times10^{-5}$→$1\times10^{-5}$、各任务采样权重、R2-RoPE 的 8 个槽位、Mix-Patchify 的粒度分配原则、CFG 只丢指令）在正文与附录中描述得相当具体。障碍在于：约 1000 万训练样本中 700 万文本对是 Adobe 内部数据；VFX/Style 与 Camera 流水线依赖 GPT Image 2 和内部 Vista4D；全流程 MLLM 质量过滤成本高昂；预训练 DiT 底座没有指明完全开源的等价物。推理实测虽只需单张 A100（480P、121 帧，单步 30.5 秒），但训练总算力未披露，估计需数十张 A100 级别持续数周。评测侧附录 C 给出了 Gemini 3.8 Flash 的评审 prompt 设计，OmniXRef-Bench 的 125 例是否公开未知。总体而言，小规模复现验证 R2-RoPE 与 Mix-Patchify 两个核心机制可行，完整复现基本不现实。
论文图表
开篇示例图：左侧为源视频（雪地上的北极熊场景），中间是参考库面板，包含视频参考（运动、特效、相机）与图像参考（内容），以及三条文本指令（如“给右侧北极熊加巫师帽”“应用日落光照”“应用相机运动”），右侧为融合所有编辑的输出视频。
一图看懂任务定义：多种模态、多个参考如何同时指定一段输出视频的不同属性，是理解全文 formulation 的入口。