DreamVideo-Omni：基于潜在身份强化学习的全方位运动控制多主体视频定制 DreamVideo-Omni: Omni-Motion Controlled Multi-Subject Video Customization with Latent Identity Reinforcement Learning
统一框架实现多主体身份保持与全方位运动控制，通过潜在空间强化学习优化身份保真度
前置知识
扩散变换器（DiT）
DiT是将Transformer架构与扩散模型结合的视频生成骨干网络。它通过迭代去噪过程从噪声生成视频，利用Transformer的注意力机制处理时空依赖关系。相比传统U-Net架构，DiT能更好地建模长程时空关系，是当前视频生成的主流架构。
本文基于Wan2.1-1.3B T2V DiT进行改造，理解DiT架构是理解本文方法的基础
3D旋转位置编码（RoPE）
RoPE是一种位置编码方法，通过旋转矩阵将位置信息编码到查询和键向量中。3D RoPE扩展到时空维度，为每个token分配三维坐标（时间、高度、宽度）。本文创新性地设计条件感知3D RoPE，为不同类型的输入（视频帧、参考图像、轨迹token）分配不同的时间索引，使模型能区分异构输入。
条件感知3D RoPE是本文处理异构输入的核心技术，不理解它就无法理解如何统一处理多种条件信号
奖励反馈学习（ReFL）
ReFL是将强化学习思想应用于扩散模型的训练范式。不同于标准的监督学习损失，ReFL通过训练奖励模型评估生成质量，并将奖励信号反向传播到生成模型。这使得模型能对齐人类偏好，优化难以用简单损失函数衡量的指标（如身份一致性）。
本文提出LIReFL在潜在空间进行奖励反馈，绕过昂贵的VAE解码，是解决身份退化的关键创新
运动控制信号
视频生成中的运动控制信号包括全局边界框（bounding box）指示物体位置和尺度，局部轨迹（trajectory）指示精细运动（如肢体动作），以及相机运动。这些信号通常以结构化形式（坐标、轨迹点）提供，需要有效注入到生成模型中。
本文统一处理多种运动控制信号，理解这些信号的特性对理解方法设计至关重要
研究动机
在视频生成领域，用户经常需要生成同时保持多个主体身份并遵循复杂运动控制的视频。现有方法存在三个核心问题：第一，运动控制粒度有限，大多数方法仅依赖单一类型的运动信号（如边界框或深度图或稀疏轨迹），无法同时控制全局物体放置、精细局部动态和相机运动，导致生成视频的灵活性和真实感受限。第二，运动控制存在模糊性，当前方法通常将所有条件信号不加区分地注入，缺乏显式绑定机制，在多主体场景下模型无法判断哪个运动模式对应哪个参考主体，当整合多粒度运动控制时这种混淆进一步加剧。第三，身份退化问题严重，与独立主体定制相比，引入运动控制往往损害身份保真度，因为身份保留要求与静态参考图像的像素级一致性，而运动控制需要动态像素变化和时间演化，标准扩散重建损失无法调和这种冲突，导致在合成大幅度运动时出现精细身份细节退化。
本文的目标是本文旨在构建一个统一框架DreamVideo-Omni，实现多主体定制与全方位运动控制的和谐统一。具体目标包括：在单一DiT架构中同时支持单主体和多主体定制、全局和局部物体运动控制、以及相机运动控制；在保持精确运动控制的同时实现高保真身份保持；通过潜在空间强化学习对齐人类偏好，而非依赖低层重建指标；构建大规模数据集和综合评估基准，推动该领域发展。
与已有工作不同的是，本文的独特切入角度在于三个关键洞察：第一，认识到运动控制信号必须显式绑定到对应参考主体以解决模糊性，提出组和角色嵌入机制明确锚定运动信号到身份；第二，认识到身份保真评估应优先对齐人类感知而非像素级对应，因为主体视觉外观会随视角和姿态变化而身份保持不变，因此设计潜在身份奖励模型在运动动态中评估身份一致性；第三，发现可以在潜在空间直接进行强化学习，绕过昂贵的VAE解码，实现任意时间步的密集奖励反馈，这比仅在最终去噪步骤反馈的方法更充分利用了强化学习潜力。
核心方法
DreamVideo-Omni采用渐进式两阶段训练范式，就像先教会模型'如何控制'（第一阶段），再教会它'如何保持身份'（第二阶段）。第一阶段是全方位运动和身份监督微调，将多种控制信号整合到单一DiT架构中，通过专门设计的架构组件确保精确可控性。第二阶段是潜在身份强化学习，训练一个潜在身份奖励模型在潜在空间评估运动感知的身份保持，并通过奖励反馈学习进一步优化身份保真度。这种设计的直觉是：标准扩散损失（如MSE）只能优化像素级重建，无法衡量'这个视频是否真的保持了参考主体的身份'，而人类判断身份一致性时考虑的是感知层面的相似性，因此需要引入对齐人类偏好的奖励信号。技术路线基于Wan2.1-1.3B T2V模型，通过结构化三元组⟨参考主体, 全局框, 局部轨迹⟩统一表示控制条件，实现灵活的组合式视频生成。
本文最核心的创新是潜在身份奖励反馈学习（LIReFL）范式，其本质区别在于将强化学习从像素空间转移到潜在空间。现有方法如Identity-GRPO和IPRO需要将潜在表示解码到像素空间计算奖励，这带来两个严重问题：计算开销巨大（VAE解码昂贵），且奖励反馈仅限于最终去噪步骤，忽略了早期扩散阶段建立的结构信息。本文提出的LIReFL直接在潜在空间操作，利用预训练视频扩散模型作为骨干构建潜在身份奖励模型（LIRM），该模型通过交叉注意力机制让干净的参考图像特征作为查询去关注含噪视频特征，计算运动感知的身份奖励。这种设计的优势是：LIRM天然具备时空先验，能评估整合运动动态的视频级身份一致性，惩罚静态'复制粘贴'伪影；同时绕过VAE解码实现计算高效训练，支持直接梯度反向传播和任意时间步的密集奖励反馈。
方法步骤详情
方法分为两个主要阶段。第一阶段：全方位运动和身份监督微调。步骤1：构建控制信号，将每个控制单元表示为结构化三元组⟨参考主体, 全局框, 局部轨迹⟩，参考图像从时间不相交的帧中采样并进行数据增强，边界框用场景锚定表示全局运动，稀疏点轨迹表示局部动态和相机运动。步骤2：注入条件信号，参考图像通过3D VAE编码后与视频潜表示拼接，边界框潜表示通过分层运动注入策略添加到输入和每个DiT块输出，轨迹token通过正弦位置编码散射到特征图中。步骤3：设计专门架构组件，条件感知3D RoPE为视频帧、参考图像、填充和轨迹token分配不同的时间索引；组嵌入为每个三元组分配唯一标识，确保运动信号绑定到正确主体；角色嵌入区分视觉外观资产和运动控制引导。第二阶段：潜在身份强化学习。步骤4：训练LIRM，基于Wan2.1-1.3B前8层构建，输入视频对和参考图像，通过身份交叉注意力层计算对齐特征，用MLP头预测身份奖励，用二元交叉熵损失在约27,500个偏好视频对上优化。步骤5：LIReFL训练，从高斯噪声采样中间时间步，先执行无梯度去噪，再执行单步有梯度去噪得到预测潜表示，用冻结的LIRM评估身份奖励，将强化损失与SFT损失加权组合作为最终目标。
技术新颖性
本文的技术新颖性体现在多个层面。在架构层面，条件感知3D RoPE创新性地为不同类型输入设计专门的时间索引策略：视频帧用顺序索引确保时间一致性，参考图像用共享的独立索引显式解耦，填充token用'无效'索引让模型忽略，轨迹token继承视频帧索引确保严格时空对齐。组和角色嵌入首次在视频生成中实现显式的运动-身份绑定机制，解决多主体场景的控制模糊性。在训练范式层面，LIReFL是首个在潜在空间进行身份驱动强化学习的方法，相比PRFL（关注通用运动质量），本文专门设计了处理生成视频和参考图像的并行处理机制，以干净参考潜表示作为查询关注含噪视频潜表示，在完整时间步范围内计算身份奖励。在数据层面，构建了首个支持多主体定制与全方位运动控制的大规模数据集（约212万视频），包含分割掩码、边界框和轨迹的综合标注。
实验结果
实验结果表明DreamVideo-Omni在多个维度显著优于现有方法。在DreamOmni Bench上与DreamVideo-2对比，R-DINO从0.429提升到0.499（提升16.3%），Face-S从0.157大幅提升到0.301（提升91.7%），mIoU从0.212提升到0.558（提升163.2%），EPE从24.05降低到9.31（降低61.3%），这些指标表明在身份保持和运动控制精度上都有质的飞跃。在MSRVTT-Personalization Bench上，Subject Mode的EPE为11.21（Tora2为17.43，降低35.7%），Face Mode的EPE为8.50（Tora2为13.52，降低37.1%），在更严格的基准上同样验证了方法的鲁棒性。值得注意的是，尽管DreamVideo-Omni仅有1.3B参数，却全面超越了14B参数的Wan-Move，在单主体模式下mIoU为0.558（Wan-Move为0.507），EPE为9.31（Wan-Move为14.43），展示了显著的参数效率。用户研究进一步验证了感知质量：在联合身份与运动定制任务中获得77.6%的主体保真度投票和89.2%的整体质量投票；在纯运动控制任务中获得70.3%的运动一致性投票。消融实验证明了各组件的不可或缺性：移除条件感知3D RoPE导致性能灾难性下降（R-DINO降至0.139），移除组和角色嵌入降低运动控制精度（EPE从9.31恶化到26.24），移除分层边界框注入导致mIoU在多主体模式下降至0.289。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DreamOmni Bench - 单主体定制 | R-DINO | 0.499 | 0.429 (DreamVideo-2) | +16.3% |
| DreamOmni Bench - 单主体定制 | Face-S | 0.301 | 0.157 (DreamVideo-2) | +91.7% |
| DreamOmni Bench - 单主体运动控制 | mIoU | 0.558 | 0.212 (DreamVideo-2) | +163.2% |
| DreamOmni Bench - 单主体运动控制 | EPE | 9.31 | 24.05 (DreamVideo-2) | -61.3% |
| MSRVTT-Personalization - Subject Mode | EPE | 11.21 | 17.43 (Tora2) | -35.7% |
| MSRVTT-Personalization - Face Mode | EPE | 8.50 | 13.52 (Tora2) | -37.1% |
| 参数效率对比 | mIoU (单主体) | 0.558 (1.3B) | 0.507 (Wan-Move 14B) | +10.1% 且参数少10倍 |
局限与改进
尽管DreamVideo-Omni取得了显著进展，仍存在多个局限性。首先，模型依赖Wan2.1-1.3B T2V基础模型的质量，基础模型的能力上限直接制约了最终生成质量，且该基础模型本身可能对某些场景（如复杂物理交互）存在固有限制。其次，LIRM训练需要大量高质量偏好数据（约27,500个训练视频和500个测试视频），这些数据来自内部数据集，外部研究者难以复现完整的训练流程。第三，两阶段训练增加了系统复杂度，第一阶段需要64个A100 GPU训练40,000迭代，第二阶段LIRM和LIReFL各需16个A100 GPU，总训练成本相当可观。第四，推理时需要50步UniPC调度器和5.0的分类器自由引导尺度，生成速度可能受到限制。第五，数据集构建涉及复杂的四阶段自动化流程（运动滤波、主体发现、时空标注、参考图像构建），依赖多个外部模型（RAFT、RAM++、GroundingDINO、SAM2、CoTracker3），流程的鲁棒性和泛化性有待验证。最后，论文未充分讨论在极端场景下的表现，如超大幅度运动、密集遮挡、或主体外观高度相似的情况。
独立分析的弱点
基于独立分析，本文存在几个值得关注的弱点。第一，奖励模型设计存在信息瓶颈：LIRM仅使用Wan2.1-1.3B的前8层作为骨干，这可能丢失高层语义信息；同时参考图像作为查询关注含噪视频的交叉注意力机制，可能在高噪声水平下（早期时间步）难以有效提取身份特征。改进方向是探索更深层的骨干网络或多尺度特征融合策略。第二，组嵌入机制的扩展性存疑：当主体数量增加时，组嵌入的区分能力可能下降，且论文未讨论超过训练时最大主体数的泛化能力。改进方向是设计更具扩展性的绑定机制，如基于图神经网络的关系建模。第三，轨迹控制的鲁棒性：混合采样策略（随机网格采样和物体感知采样）在复杂场景下可能采样不足，且随机丢弃轨迹子集的训练策略可能导致对稀疏轨迹的过拟合。改进方向是引入自适应采样密度和更精细的轨迹增强策略。第四，缺乏对生成多样性的控制：LIReFL优化身份一致性可能牺牲生成多样性，论文中的λ2消融实验（表X）显示过大权重导致性能下降，但未提供多样性指标的量化分析。
未来方向
未来研究可从多个方向延伸。第一，探索更高效的训练范式：当前两阶段训练成本高昂，可研究单阶段联合训练或课程学习策略，逐步引入运动控制和身份约束。第二，扩展到4D视频生成：当前框架处理固定时长视频，可探索将全方位运动控制扩展到更长视频或4D场景表示。第三，改进奖励模型架构：可探索对比学习或自监督预训练构建更强大的身份编码器，或引入多模态大语言模型提供更语义化的身份评估。第四，实时生成优化：当前推理需要50步去噪，可研究蒸馏技术或一致性模型加速生成。第五，交互式控制界面：当前控制信号需要预定义，可探索自然语言驱动的运动控制或交互式编辑界面。第六，跨模态迁移：将全方位运动控制思想迁移到3D场景生成、音频驱动视频等领域。
复现评估
复现评估显示该工作存在一定的复现挑战。开源情况方面，论文提供了项目主页（https://dreamvideo-omni.github.io），但代码和预训练模型的开源状态未明确说明，论文中提到Tora2等基线方法代码未公开，暗示本文代码可能也未完全开源。数据集方面，训练数据来自内部数据集，包含约212万视频，虽然论文详细描述了数据构建流程（四阶段自动化pipeline），但依赖的外部模型（RAFT、RAM++、GroundingDINO、SAM2、CoTracker3）和数据源需要自行获取。算力需求方面，第一阶段需要64个A100 GPU，第二阶段需要16个A100 GPU，对大多数研究机构来说门槛较高。复现难度方面，基础模型Wan2.1-1.3B是公开可用的，LIRM训练数据的构建流程有详细描述，但完整的数据处理pipeline涉及多个模型和复杂的标注生成，复现工作量较大。总体而言，核心方法论有充分的技术细节支持复现，但完全复现训练流程需要显著的工程投入和计算资源。
论文图表