DreamActor-M2：通过时空上下文学习实现通用角色图像动画 DreamActor-M2: Universal Character Image Animation via Spatiotemporal In-Context Learning
基于时空上下文学习的通用角色动画框架
前置知识
扩散模型
扩散模型是一类生成模型，通过逐步向数据添加噪声然后学习逆向去噪过程来生成新样本。在潜在扩散模型中，首先使用变分自编码器将图像压缩到低维潜在空间，然后在这个空间中执行扩散过程。去噪网络的训练目标是期望最小化预测噪声与真实噪声之间的均方误差，其中zt是时间步t的噪声潜在表示，c是条件输入，epsilon是添加的高斯噪声。推理时，从纯噪声开始迭代去噪，最后通过VAE解码器重建图像。
本文的DreamActor-M2框架建立在Seedance 1.0视频扩散模型之上，理解扩散模型的去噪过程、条件注入机制和时间步调度是理解本文方法的技术基础。
上下文学习
上下文学习是指模型直接从输入示例中学习任务模式，而不需要显式的梯度更新或参数修改。在大语言模型中，这表现为在prompt中提供示例，模型就能理解任务并迁移到新样本。在视觉任务中，上下文学习通过将参考信息和目标输入拼接成统一的序列表示，让模型利用其内在的归纳偏置和生成先验来完成跨模态推理。例如，将参考图像和驱动视频帧在空间和时间维度上拼接，形成一个包含外观上下文和运动上下文的完整输入序列。
本文的核心创新就是将运动条件重新构建为上下文学习问题，通过时空拼接策略让预训练视频骨干网络自然解释运动信号，这是理解本文与现有方法本质区别的关键。
LoRA微调
LoRA是一种参数高效的微调技术，通过在预训练模型的权重矩阵上添加低秩分解矩阵来适应新任务。具体来说，对于权重矩阵，LoRA引入两个低秩矩阵A和B，其中r远小于矩阵维度，使得微调后的权重为原始权重加上BA的乘积。训练时只更新A和B，冻结原始权重。本文中LoRA rank设置为256，仅插入到前馈层中，文本分支不参与微调，实现了高效的模型适配。
本文采用LoRA微调策略来实现对Seedance 1.0骨干网络的高效适配，理解LoRA的工作原理和参数配置有助于理解本文如何在保持模型生成先验的同时实现定制化。
多模态大语言模型
多模态大语言模型是能够理解和生成多种模态内容的AI系统，如Gemini 2.5。这些模型通过在大量多模态数据上预训练，学习跨模态的语义对齐和联合表示。在本文中，多模态大语言模型用于解析驱动视频获得运动语义，分析参考图像获得外观语义，然后由大语言模型将这些描述融合成目标导向的提示词。这种机制补偿了姿态增强导致的语义弱化问题，提升了运动可控性和表现力。
本文的目标导向文本引导机制依赖多模态大语言模型来捕获精细的运动语义，理解多模态大语言模型在本文中的作用有助于理解作者如何解决姿态增强导致的语义弱化问题。
研究动机
现有角色图像动画方法面临两个根本性挑战。首先是运动注入策略存在本质缺陷，导致身份保持和运动一致性之间存在难以调和的权衡。基于对齐的通道注入方法会遭受形状泄露问题，即驱动信号中嵌入的结构先验会扭曲参考身份；而基于交叉注意力的方法则过度压缩运动表示，导致精细时间动态信息的丢失和运动连贯性下降。这种跷跷板效应使得现有框架无法同时实现高保真动画和稳定的身份保持。其次是过度依赖显式姿态先验，这形成了表示瓶颈，限制了模型的灵活性和泛化能力。姿态估计器在复杂的人体动态中本身容易出错，更重要的是，它本质上无法泛化到任意的非人形角色，包括卡通人物和动物。虽然在视频动画领域，研究人员已经探索了隐式运动表示来缓解这种依赖，但这些方法要么仍然在训练期间依赖于姿态衍生的监督，要么需要针对每个视频进行昂贵的微调来捕获特定运动的细节。
本文的目标是本文提出DreamActor-M2，一个通用的角色动画框架，旨在解决现有方法的两个核心问题。具体目标包括：第一，通过将运动条件重新构建为上下文学习问题，设计一种新的运动注入策略，能够有效平衡身份保持和运动一致性，避免现有方法中的跷跷板效应；第二，消除对外部姿态估计器的依赖，实现从姿态依赖控制到直接端到端RGB驱动动画的平滑过渡；第三，显著提升模型在多样化角色和运动场景中的跨域泛化能力，支持人类、动物、卡通角色等多种角色类型，以及一对一、一对多、多对多等多种驱动模式。通过这些目标的实现，DreamActor-M2旨在成为一个真正通用的角色动画系统，能够在真实世界的复杂场景中广泛应用。
与已有工作不同的是，本文的独特切入角度在于将角色动画中的运动条件问题重新构建为上下文学习问题，这与传统方法形成鲜明对比。传统方法主要关注如何设计复杂的运动注入模块来将运动信号融合到生成过程中，而本文则采用了一个简单但有效的设计：将运动控制信号与参考图像在时空维度上拼接成一个统一的输入表示。通过这种设计，预训练的视频骨干网络可以自然地将运动线索解释为视觉上下文，从而有效地弥合外观和运动之间的模态差距。这种表述不仅保持了原始模型架构，还充分利用了基础视频模型的内在生成先验，能够在不损害其内在能力的情况下实现高保真动画。另一个独特的角度是本文提出的自举式数据合成管线，利用姿态基础的模型变体来生成大规模的伪配对数据集，然后在这些合成数据上训练端到端模型，从而实现从显式姿态监督到纯RGB驱动的平滑过渡。
核心方法
DreamActor-M2的整体思路是将角色动画任务重新构建为时空上下文学习问题。作者设计了一个两阶段的渐进式训练范式。第一阶段是基于姿态的DreamActor-M2，使用增强的2D骨骼作为初始的运动上下文形式。为了缓解基于姿态的条件语义不足问题，作者引入了一个由多模态大语言模型驱动的目标导向运动语义引导模块，该模块将视觉线索与精细的语义描述对齐，使模型能够同时保持身份保真度和运动一致性。第二阶段是端到端的DreamActor-M2，目标是消除对外部姿态估计器的依赖。为此，作者提出了一个自举式数据合成管线，利用基于姿态的变体来生成高质量的伪配对数据集。在这些合成的跨身份对上训练端到端模型，使其能够直接从原始RGB序列中提取运动，而不需要任何显式的姿态监督。整个框架的核心创新在于时空上下文运动条件策略，该策略将运动和参考信号整合成一个统一的表示。
DreamActor-M2的核心创新点是时空上下文运动条件策略，这与现有方法形成本质区别。传统方法通常采用复杂的运动注入模块，而本文则采用了一个简单但有效的设计：将运动控制信号与参考图像在时空维度上拼接成一个统一的输入表示。具体来说，作者通过三个步骤构建统一的序列：首先在空间上拼接参考图像和第一个运动帧，形成一个混合锚点；然后将后续运动帧与参考大小的空白掩码对齐；最后在时间上堆叠所有帧。这种方法避免了损失性的压缩，弥合了模态差距，释放了预训练模型的身份和运动保真度潜力。另一个核心创新点是自举式数据合成管线，利用基于姿态的模型生成大规模的伪配对数据集，实现了从姿态依赖到端到端RGB驱动的平滑过渡。
方法步骤详情
DreamActor-M2的方法步骤分为两个主要阶段。第一阶段是基于姿态的DreamActor-M2，给定一个视频，提取其姿态序列作为驱动信号，并将第一帧指定为参考图像。为了缓解2D骨骼固有的身体形状线索导致的身份泄露问题，作者应用了两种互补的姿态增强策略：随机骨骼长度缩放和基于边界框的归一化。其次，为了补偿姿态增强可能导致的精细运动语义弱化，作者引入了目标导向文本引导机制。使用多模态大语言模型将驱动视频解析为运动语义，分析参考图像获得外观语义，然后由大语言模型将这些描述融合成目标导向的提示词。最后，采用轻量级LoRA微调，冻结骨干参数，仅在前馈层中插入LoRA模块。第二阶段是端到端DreamActor-M2，训练过程涉及两个步骤：数据合成与质量过滤、模型优化。在数据合成步骤中，给定一个驱动视频，提取其姿态序列作为运动信号，结合参考图像，将姿态序列输入到基于姿态的DreamActor-M2中来合成一个新视频。为了确保生成监督的可靠性，作者采用了两阶段质量过滤策略。在模型优化步骤中，将合成视频作为驱动视频，原始视频的第一帧作为参考图像，形成数据集。每个三元组监督模型从合成视频和参考图像重建原始视频，从而学习直接从原始RGB序列中传输运动模式。
技术新颖性
DreamActor-M2的技术新颖性体现在多个方面。首先是时空上下文运动条件策略，这是首次将上下文学习概念系统地应用到角色图像动画领域。作者构建复合输入序列，其中第一帧是参考图像和驱动帧的空间拼接，后续帧是空白掩码和驱动帧的空间拼接。为了指导模型，作者构造运动掩码用于运动区域高亮，以及参考掩码用于区分身份来源。复合视频通过3D VAE投影到潜在序列，最后将潜在序列、噪声潜在和掩码通道拼接作为扩散变换器的综合输入。其次是自举式数据合成管线，这是首次提出利用姿态基础模型生成大规模伪配对监督数据集，实现从姿态依赖到端到端RGB驱动的平滑过渡。第三是目标导向文本引导机制，这是首次将多模态大语言模型用于补偿姿态增强导致的语义弱化问题。最后是AW Bench基准测试集，这是首个涵盖广泛角色类型和运动场景的综合基准。
实验结果
本文在AW Bench上进行了全面的实验评估，取得了显著的成果。在自动评估方面，DreamActor-M2的两个变体在四个关键感知维度上都超越了所有竞争对手。具体来说，在成像质量方面，基于姿态的DreamActor-M2达到4.68分，端到端DreamActor-M2达到4.72分，而最佳基线DreamActor-M1只有4.17分；在运动平滑度方面，基于姿态的变体达到4.53分，端到端变体达到4.56分，基线Wan2.2-Animate只有4.06分；在时间一致性方面，基于姿态的变体达到4.61分，端到端变体达到4.69分，基线MTVCrafter只有4.02分；在外观一致性方面，基于姿态的变体达到4.28分，端到端变体达到4.35分，基线Animate-X++只有3.21分。人工评估的结果与自动评估高度一致，基于姿态的DreamActor-M2在成像质量上达到4.23加减0.19分，运动一致性达到4.18加减0.24分，外观一致性达到4.12加减0.28分。在GSB主观评估中，DreamActor-M2与主流平台级产品进行比较，结果显示DreamActor-M2与Kling 2.6整体性能相当，GSB领先9.66百分比，并显著优于其他产品。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 角色图像动画跨身份 | 成像质量Video-Bench五分制 | 4.72端到端 | 4.17 DreamActor-M1 | 提升13.2百分比 |
| 角色图像动画跨身份 | 运动平滑度Video-Bench五分制 | 4.56端到端 | 4.06 Wan2.2-Animate | 提升12.3百分比 |
| 角色图像动画跨身份 | 时间一致性Video-Bench五分制 | 4.69端到端 | 4.21 DreamActor-M1 | 提升11.4百分比 |
| 角色图像动画跨身份 | 外观一致性Video-Bench五分制 | 4.35端到端 | 4.06 DreamActor-M1 | 提升7.1百分比 |
局限与改进
作者承认的主要局限性是DreamActor-M2在处理复杂交互场景时偶尔会遇到困难，例如两个角色围绕彼此旋转的情况。这主要归因于训练数据中缺乏包含运动轨迹交叉的场景。作者计划在未来的工作中收集更多具有复杂多人物交互的多样化数据集，以进一步扩展模型的适用性。除了作者承认的局限性外，我还观察到一些其他潜在的局限性。首先，该方法依赖于强大的预训练基础模型，这可能限制了一些研究团体的可访问性。其次，虽然该方法消除了对姿态估计器的依赖，但在训练阶段仍然需要姿态估计来生成合成数据，这可能在姿态估计本身具有挑战性的场景中产生瓶颈。第三，该方法的评估主要依赖于Video-Bench等自动指标，虽然作者进行了人工评估，但可能需要更多样化的评估指标来全面捕捉动画质量的各个方面。
独立分析的弱点
虽然DreamActor-M2取得了显著的成果，但仍存在一些可以改进的弱点。首先，在复杂交互场景中性能下降，这是一个具体的弱点。改进方向可以是专门设计包含复杂多人物交互的合成数据管线，或者引入交互感知的运动表示机制来捕获角色间的动态关系。其次，该方法在训练阶段仍然依赖姿态估计来生成合成数据，这在姿态估计具有挑战性的场景中可能产生瓶颈。改进方向可以是开发更鲁棒的伪标注策略，或者探索完全不依赖姿态估计的数据合成方法。第三，虽然该方法支持各种角色类型，但在处理极端外观变化时可能仍有改进空间。改进方向可以是引入外观解耦机制，或者设计更精细的身份保持约束来处理极端的外观变化。第四，该方法的计算开销可能较高，因为它依赖于强大的预训练基础模型和两阶段训练过程。改进方向可以是开发更高效的模型压缩技术，或者设计单阶段训练范式来减少计算开销。
未来方向
作者提出的未来工作方向是收集更多具有复杂多人物交互的多样化数据集，以进一步扩展模型的适用性。基于本文的成果，可以延伸出多个有趣的研究方向。首先，可以探索更高效的运动表示方法，减少计算开销同时保持运动保真度，这对于实时应用非常重要。其次，可以研究更轻量化的模型架构，或者开发模型压缩技术，使该方法能够在资源受限的设备上运行。第三，可以探索更复杂的交互建模，如学习角色间的交互语义和动态关系，以处理更复杂的多人物场景。第四，可以研究更全面的质量评估指标，包括行为保真度、动作语义匹配等，以提供更全面的性能评估。第五，可以探索该方法在其他领域的应用，如虚拟试衣、舞蹈教学、体育训练等。第六，可以研究如何将该方法与其他生成技术结合，实现更自然的多模态交互体验。
复现评估
根据论文中提供的信息，DreamActor-M2的复现具有一定的挑战性。在开源情况方面，论文提到项目页面，但没有明确说明代码和模型权重是否开源。在数据方面，作者提到了使用十万个人类视频进行基于姿态的DreamActor-M2训练，以及六万个高质量视频三元组进行端到端训练。这些数据集的规模很大，如果这些数据集不公开，那么复现的难度会很高。作者还介绍了AW Bench基准测试集，包含一百个驱动视频和二百个参考图像，如果这个基准测试集公开，那么至少可以复现评估部分。在算力方面，论文提到训练所有阶段五万步，批量大小为二，LoRA rank设置为二百五十六，使用AdamW优化器，学习率为五乘十的负五次方，权重衰减为零点零一。综合来看，根据论文中提供的信息，DreamActor-M2的复现难度至少是中等偏高，这主要是因为数据集规模很大且可能不公开，以及依赖强大的预训练基础模型。
论文图表
