DomainShuttle：自由形式的开放领域主体驱动文本到视频生成 DomainShuttle: Freeform Open Domain Subject-driven Text-to-video Generation
提出DomainShuttle框架实现高保真且灵活的开放领域视频个性化生成，跨域分数提升18.7%
前置知识
DiT (Diffusion Transformer)
基于Transformer架构的扩散模型，使用自注意力机制替代传统UNet架构，能够更好地处理序列数据并支持更大规模模型。DiT通过patch embedding将图像或视频转换为token序列，在潜空间中进行去噪过程。
本文基于Wan2.1-14B和Wan2.2-14B等DiT架构的文本到视频模型进行微调，理解DiT的工作原理对于理解DomainShuttle的架构设计至关重要。
RoPE (Rotary Positional Encoding)
旋转位置编码，通过旋转向量的方式将位置信息注入到token表示中。RoPE通过相对位置旋转矩阵实现位置感知，能够保持距离关系不变性，是Transformer模型中常用的位置编码方法。
本文提出的Video-Reference DualRoPE是对RoPE机制的关键改进，将参考图像token分配到独立的RoPE空间，这是实现精确主体级别空间控制的核心技术。
S2V (Subject-driven Text-to-Video)
主体驱动文本到视频生成，给定参考图像（如人物、物体、幻想角色等）和文本提示，生成保留参考主体特征的视频。包含in-domain（保持原有属性）和cross-domain（跨域转换）两种场景。
这是本文要解决的核心任务，理解S2V的两种场景定义以及现有方法的局限性是理解本文动机的基础。
AdaLN (Adaptive Layer Normalization)
自适应层归一化，通过条件信息动态调整层归一化的缩放和平移参数，实现对特征的条件调制。AdaLN通过gamma(t)和LN(x)加上beta(t)的形式，将时间或文本等条件信息注入到网络中。
本文提出的Domain-aware AdaLN是对传统AdaLN的扩展，通过引入域属性信息实现参考特征的域感知调制，这是解耦内容和域属性的关键机制。
Flow-matching Loss
流匹配损失，一种训练连续时间生成模型的损失函数，通过学习从噪声分布到数据分布的向量场。损失函数计算预测向量场与真实向量场的L2距离，其中G_theta是可学习的向量场参数。
本文使用flow-matching损失对DiT模型进行优化，理解该损失函数有助于理解模型的训练目标和优化过程。
研究动机
现有主体驱动文本到视频生成（S2V）方法主要关注in-domain场景，即尽可能保留参考主体的特征而不改变其属性或风格。然而，这些方法在更复杂多样的cross-domain场景中表现不足。Cross-domain场景包括：将现实世界主体转换到幻想域（如将真人转换为水彩画风格、3D动画风格）、将幻想域主体映射到各种现实世界物体、以及构建现实世界主体和幻想角色之间的复杂交互。现有方法将建模限制在in-domain场景，牺牲了复杂场景中的编辑能力和灵活性，使得模型难以同时保持主体一致性并灵活适应新风格、语义组合和域属性。具体数据显示，在跨域评估中，现有最优方法Kling 1.6的CD-Score仅为0.725，而in-domain的CLIP-I可以达到0.672，表明cross-domain场景确实更具挑战性。
本文的目标是本文的目标是提出一个理想的S2V方法，能够灵活地在不同域之间穿梭，实现开放领域场景中参考主体高保真和生成灵活性的双重优化。具体而言，参考图像的主体特征应该只影响生成视频中的内在主体属性（如发型、肤色和服装），而与主体无关的特征（如光照、风格和域属性）应该根据文本指令灵活适应。这使得模型能够在in-domain场景中利用域先验知识提高生成质量，在cross-domain场景中通过替换注入的域属性实现更好的跨域生成结果。量化目标是在跨域分数上相比现有SOTA方法取得显著提升，同时保持或提升in-domain性能。
与已有工作不同的是，本文的独特切入角度是首次明确提出并解决了开放领域S2V的双目标优化问题：主体一致性和生成灵活性。现有方法要么只关注in-domain的主体保真度，要么无法有效解耦内在主体特征与域特定属性。本文的创新性在于认识到理想S2V应该具备域穿梭能力，通过架构设计实现内容特征和域特征的解耦。这种切入点与现有方法形成鲜明对比：Phantom、VACE等方法主要改进参考特征注入方案，MAGREF、HuMo等方法利用I2V模型的主体保真先验，BindWeave等方法引入多模态大语言模型增强语义理解，但都忽视了保持基础模型固有的灵活跨域能力。
核心方法
DomainShuttle的整体思路是通过设计独立的信息处理路径来解耦视频和参考分支，并在参考图像分支中引入额外的域感知建模。该方法包含三个核心模块：Domain-MoT用于解耦视频和参考特征，促进域感知的参考建模；Video-Reference DualRoPE将参考图像token和视频token分配到独立的RoPE空间，实现精确的主体级别空间距离关系；Cross-Pair Consistent Loss用于提取不受无关特征影响的内在主体特征。技术路线上，基于DiT架构的文本到视频模型，通过两阶段训练流程：第一阶段在200K图像个性化数据集上微调2000步，第二阶段在750K视频个性化数据集上微调12000步。训练过程中冻结文本交叉注意力模块以维持文本跟随能力，使用Adam优化器，学习率为1e-5，总训练成本约30000 GPU-hours。
DomainShuttle的核心创新点在于三个方面：首先，Domain-MoT引入了独立的注意力映射路径，在context self-attention中为参考图像特征提供专门的处理通道，并通过domain-aware AdaLN在参考特征空间中区分不同域，这解决了视频潜变量和参考特征之间的纠缠问题。其次，Video-Reference DualRoPE将参考图像token分配到与视频token完全解耦的RoPE空间，通过显式分离潜在空间中的不同主体同时拉近同一主体的表示，实现了精确的主体级别控制。第三，Cross-Pair Consistent Loss将对应同一视频的两套参考图像进行对齐，鼓励模型学习共享特征（如形状、纹理风格和主体身份），抑制对单帧中冗余特征的过拟合。这三个核心创新共同实现了主体一致性和生成灵活性的联合优化，与现有方法的本质区别在于从架构层面解耦了内容和域特征，而非仅仅改进特征注入或损失函数设计。
方法步骤详情
DomainShuttle的方法步骤包括三个主要阶段：第一阶段是特征编码和patch embedding，文本编码器将文本编码为文本特征，3D VAE编码器将视频和N张参考图像编码为视频潜变量和参考图像特征。然后分别进行patchification提取patch embedding，便于后续in-context self-attention和domain-aware AdaLN的集成。第二阶段是Domain-MoT处理，采用独立的QKV投影和独立RoPE进行视频潜变量和参考特征的in-context self-attention，计算公式通过softmax操作连接视频和参考分支的查询、键、值向量。然后通过domain-aware AdaLN进行调制，视频潜变量由时间特征调制，参考图像特征由时间特征和域属性共同调制，其中t表示时间特征，a表示K个域属性之一。第三阶段是优化训练，使用flow-matching损失进行优化，其中连续时间t在0到1之间，z0是从先验分布采样的样本，z1是由3D VAE编码的视频潜变量。同时引入Cross-Pair Consistent Loss，将两套不同的参考图像特征生成的视频潜变量噪声进行对齐，其中一个分支被冻结，另一个分支可训练，CCL损失的权重系数设置为0.1。
技术新颖性
DomainShuttle的技术新颖性体现在三个方面：首先，domain-aware AdaLN是首次在S2V任务中结构化解耦噪声AdaLN和参考AdaLN，参考AdaLN由参考域属性和时间特征共同调制，而噪声AdaLN仅由时间特征调制，这种显式的参考域属性注入机制在结构上解耦了内容和域特征。其次，Video-Reference DualRoPE创新性地为参考图像token分配了完全独立于视频的RoPE空间，视频噪声RoPE从时间索引1开始，参考图像RoPE的时间索引设为0，显式分离了参考RoPE空间和视频RoPE空间。第三，Cross-Pair Consistent Loss的训练策略是新颖的，它在相同的噪声级别和时间步对齐两套参考图像生成的视频潜变量噪声，相比在不同时间步随机采样单个参考集，这种策略实现了更精确的一致性对齐，从而更有效地提取参考图像中的精确主体特征。这些技术创新共同构成了DomainShuttle在开放领域视频个性化任务中的新颖性。
实验结果
DomainShuttle在视频质量、文本可控性和主体一致性三个方面都取得了显著提升。在定量实验中，基于Wan2.2-14B的DomainShuttle在运动平滑度（MS）上达到0.987，文本可控性GMEScore达到0.705，均优于所有基线方法。在跨域主体一致性方面，CD-Score达到0.861，相比最优基线Kling 1.6的0.725提升了18.7%，Qwen-Score达到0.829，相比VACE-Wan2.1-14B的0.769也有显著提升。在in-domain场景中，DINO-I达到0.400，CLIP-I达到0.690，与最优基线相当或略有提升。消融实验表明，Domain-MoT将CD-Score从0.697提升到0.783，VR-DualRoPE进一步提升到0.813，加入CCL后最终达到0.861。值得注意的是，CCL主要改善cross-domain场景的可控性，对fidelity的提升较小（CLIP仅提升0.3%，DINO提升1.5%），但显著提升了5.9%的CD-Score。人类偏好评估中，40名志愿者对视频质量、文本可控性和开放领域主体一致性三个指标进行打分，DomainShuttle在所有指标上都优于基线方法，特别是在开放领域主体一致性上表现出显著优势。在不含Ditto-1M数据的情况下，CD-Score仍达到0.823，相比基线提升13.5%，说明方法的有效性不依赖于特定数据集。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 跨域主体一致性 | CD-Score | 0.861 | Kling 1.6: 0.725 | 18.7% |
| 文本可控性 | GMEScore | 0.705 | VACE-Wan2.2-14B: 0.685 | 2.9% |
| 运动平滑度 | MS | 0.987 | VACE-Wan2.1-14B: 0.985 | 0.2% |
| 跨域CLIP相似度 | Qwen-CLIP | 0.658 | Kling 1.6: 0.640 | 2.8% |
| 域内主体一致性 | DINO-I | 0.400 | Kling 1.6: 0.401 | -0.2% |
局限与改进
作者在论文中承认了一些局限性。首先是计算成本，总训练成本约30000 GPU-hours，这对于资源受限的研究机构来说是一个相当大的开销。其次是域属性的依赖，训练和测试集都使用MLLM标注域属性，用户在推理时也需要提供相应的域属性，这可能增加了使用门槛。第三，训练数据中3.3%来自视频编辑数据集Ditto-1M，虽然作者声称这些数据仅用于cross-domain场景的数据增强而非主要监督，但这种混合数据的使用可能影响模型的纯粹性。从我的观察来看，还有一些潜在的局限性：一是方法假设参考图像和目标视频之间存在清晰的特征对应关系，但在实际应用中，当参考图像质量较低、包含遮挡或运动模糊时，特征提取可能不够准确；二是跨域生成仍然受到域属性数量的限制，训练中使用的K=4个域属性（现实人类、现实物体、背景、幻想主体）可能无法覆盖所有应用场景；三是评估指标虽然全面，但仍可能无法完全捕捉生成视频的动态质量和时间一致性，特别是在复杂交互场景中。
独立分析的弱点
从独立分析的角度来看，DomainShuttle存在几个可以改进的弱点。首先，域属性的设计相对固定，仅支持4个预定义的域属性，这限制了模型在更细粒度或更广泛的域转换任务中的适用性，改进方向可以是学习隐式的域表示或支持用户自定义的域属性描述。其次，Cross-Pair Consistent Loss在训练时需要为每个视频维护多套参考图像，这增加了数据收集和存储的复杂性，改进方向可以是设计更高效的一致性约束机制，减少对多参考集的依赖。第三，Video-Reference DualRoPE的偏移策略是固定的，对于不同尺寸的参考图像可能不够灵活，改进方向可以是学习自适应的RoPE偏移策略。第四，模型推理时需要用户提供域属性标签，这增加了使用门槛，改进方向可以是自动推断域属性或支持自然语言描述的域转换指令。第五，虽然视频质量指标有所提升，但在复杂交互场景中的物理合理性和因果关系仍有改进空间，可以引入更精细的运动建模和物理约束。
未来方向
作者在结论中提到可以扩展模型到更多生成任务，基于研究成果可以延伸的几个方向：一是将DomainShuttle的架构设计应用到文本到图像生成，探索跨域图像个性化的可能性；二是结合音频生成，实现音视频联合的个性化生成；三是扩展到更复杂的编辑任务，如局部编辑、风格迁移等；四是研究更高效的训练和推理策略，降低计算成本；五是探索更丰富的跨域应用场景，如现实到医学影像域、艺术风格迁移等；六是改进评估方法，开发更全面的跨域生成质量评估指标，包括动态一致性、物理合理性等方面；七是研究少样本甚至零样本的跨域生成，减少对大量参考图像的依赖；八是探索多模态的域控制，如通过草图、深度图等辅助信息实现更精确的跨域控制。
复现评估
DomainShuttle的复现性评估如下：代码方面，论文提供了GitHub链接，但截至论文发表时代码可能尚未完全开源，需要关注仓库的更新状态。数据方面，训练数据完全使用开源数据集，包括图像个性化数据集（UNO、Echo-4o、MUSAR、Nano-Consistent-150K）和视频个性化数据集（Phantom-Data、OpenS2V、Ditto-1M），总数据量为950K（200K图像加750K视频），数据处理流程包括基于美感和运动指标的过滤、Grounding-DINO对象检测、SAM2多帧分割、MLLM视觉语义对齐等步骤，这些步骤的实现细节会影响复现效果。算力方面，总训练成本约30000 GPU-hours，假设使用A100 GPU，需要约12000 GPU小时，对于大多数研究机构来说这是一个相当大的开销。实现难度方面，模型基于开源的Wan2.1-14B-T2V和Wan2.2-14B-T2V，但需要实现Domain-MoT、Video-Reference DualRoPE、Domain-aware AdaLN等自定义模块，以及Cross-Pair Consistent Loss的训练策略，这需要对DiT架构和扩散模型有深入理解。评估方面，测试集包括110个in-domain样本和110个cross-domain样本，评估指标包括AES、MS、GMEScore、NANO-CLIP、Qwen-CLIP、CD-Score、Qwen-Score、DINO-I、CLIP-I等，其中CD-Score和Qwen-Score需要使用GPT-5.2和Qwen3-VL-8B-Instruct等MLLM，这增加了评估的复杂性和成本。总体而言，虽然数据和基模型是开源的，但由于训练成本高、实现复杂度大、评估依赖商业API，完全复现的难度较大。
论文图表
这张图展示了DomainShuttle在in-domain和cross-domain两种场景下的性能对比。左侧展示了in-domain场景，模型能够保留参考主体的原始外观；右侧展示了cross-domain场景，模型能够将参考主体灵活转换为目标风格（如3D风格、水彩风格等）同时保留其内在特征。图中还对比了现有S2V方法的局限性，它们通常专注于in-domain场景，在cross-domain场景中效果有限。
这张图对理解论文至关重要，因为它直观地展示了本文要解决的核心问题以及DomainShuttle的预期效果，帮助读者快速建立对open-domain S2V任务和本文贡献的直观认识。
这个表格展示了用于Cross-Domain Score和Qwen-Score评估的MLLM提示词模板。提示词包含了评估指南、任务描述、评分规则（1-5分，从几乎完全复制粘贴到保留大部分特征并实现良好跨域转换）和严格的输出要求（只返回数字分数）。
这个表格提供了评估指标的详细定义，有助于理解如何使用MLLM评估cross-domain场景下的主体一致性，是理解实验评估的重要依据。
这个表格展示了人类偏好评估的指导原则，包括任务定义（开放领域主体驱动视频个性化）、三个评估指标（整体视频质量、文本可控性、开放领域主体一致性）的详细描述，以及每个指标的具体评估标准。
这个表格提供了人类偏好评估的详细定义，有助于理解如何从人类角度评估生成视频的质量，是理解实验设计的重要参考。