SCAIL-2：统一端到端上下文条件控制的角色动画框架

提出端到端角色动画范式，统一多种子任务，通过MotionPair-60K数据集和Bias-Aware DPO实现业界领先性能

前置知识

视频扩散模型（VDM）

视频扩散模型是扩展到视频领域的扩散生成模型，通过在潜空间中逐步添加高斯噪声来破坏输入，然后训练去噪模型来反转这个过程。给定输入视频 $x$，VAE编码器将其编码为潜表示 $z_0 = E(x)$，前向扩散过程在 $T$ 个时间步中逐步破坏 $z_0$：$q(z_t|z_{t-1}) = \mathcal{N}(z_t; \sqrt{1-\beta_t}z_{t-1}, \beta_t I)$，其中 $\beta_t$ 是噪声调度。去噪模型 $\varepsilon_\theta(z_t, t, c)$ 在辅助输入 $c$（如姿态、文本）的条件下学习恢复添加的噪声，目标函数为 $\mathcal{L} = \mathbb{E}_{z_t, \varepsilon \sim \mathcal{N}(0,I)} \|\varepsilon - \varepsilon_\theta(z_t, t, c)\|_2^2$。这种框架使得模型能够根据条件信息生成高质量的视频内容。

SCAIL-2基于14B参数的Wan2.1-I2V视频扩散模型作为骨干网络，理解VDM的基础原理（如潜空间编码、去噪过程、条件注入机制）对于理解论文如何构建端到端动画系统至关重要。

RoPE（旋转位置编码）

旋转位置编码（Rotary Position Embedding）是一种位置编码方法，通过在特征空间中应用旋转变换来编码相对位置信息。对于查询和键向量，RoPE将它们与旋转矩阵相乘，使得注意力机制能够自然地捕获token之间的相对位置关系。在2D情况下，$(x,y)$ 坐标被转换为旋转变换；在3D视频情况下，SCAIL-2扩展为 $(t,h,w)$ 三维RoPE，其中 $t$ 是时间维度，$h$ 是高度，$w$ 是宽度。论文中利用RoPE来区分不同模式：Animation Mode设置 $z_{ref}$ 和 $z_t$ 的时间差（$T=0$ 和 $T=1$），Replacement Mode则对 $z_{ref}$ 应用额外的空间偏移 $\Delta_{refH}$。这种设计使得模型能够从位置编码中感知当前的任务模式，而不需要额外的显式标记。

论文中创新性地使用了Mode-Specific Shifted RoPE来统一Animation Mode和Replacement Mode，理解RoPE的工作原理有助于理解论文如何通过位置编码的差异来区分不同任务，实现任务解耦和统一。

DPO（直接偏好优化）

直接偏好优化是一种对齐方法，通过在偏好数据上训练来优化模型输出。给定偏好数据集 $\mathcal{D} = \{(x^+_0, x^-_0)\}$ 包含偏好样本和次优样本，DPO优化可训练流匹配模型 $v_\theta$ 相对于冻结参考模型 $v_{ref}$ 的相对质量。DPO目标函数为 $\mathcal{L}_{DPO} = -\mathbb{E}_{(x^+_0,x^-_0)\sim\mathcal{D},x_1\sim\mathcal{N}(0,I),t} [\sigma(\beta(\Delta(x^+_0, x_1, t) - \Delta(x^-_0, x_1, t)))]$，其中 $\Delta(\cdot, \cdot, \cdot)$ 测量可训练模型和冻结参考模型之间的相对流匹配误差：$\Delta(x_0, x_1, t) = \|v_\theta(x_t, t) - v\|_2^2 - \|v_{ref}(x_t, t) - v\|_2^2$，$x_t = tx_1 + (1-t)x_0$，$v = x_1 - x_0$。SCAIL-2扩展了DPO，提出了Regional DPO，仅在手部区域应用DPO目标，以突出姿态估计器误差最显著的区域差异。

论文提出的Bias-Aware DPO是解决端到端训练中手指细节不准确问题的关键创新，理解DPO原理有助于理解论文如何通过偏好对齐来纠正合成数据引入的偏差。

研究动机

现有角色动画方法严重依赖中间表示，这不可避免地导致信息丢失。对于运动表示，当前工作通常使用现成的姿态估计器提取骨架图，或应用自监督瓶颈设计获得运动嵌入。骨架图在复杂场景下存在固有歧义，例如当深度模糊的骨架重叠时会导致交互误解释；而瓶颈设计编码器会丢失多角色交互所需的空间信息。对于环境表示，角色替换任务通常使用裁剪的背景或物体作为中间，但这种方法从设计上就是次优的，因为改变角色也可能影响交互的物体和背景。此外，角色mask限制了身体形状，阻碍了跨体型替换。例如，现有的多角色动画方法在处理角色间遮挡和复杂交互时经常失败，因为骨架信息无法充分表达深度关系和物理约束。

本文的目标是本文的目标是提出一个绕过这些中间表示的端到端角色动画框架SCAIL-2，实现统一的端到端驱动范式。具体而言，通过直接将驱动视频拼接序列连接，模型可以从输入视频中获得所有所需的视觉信息，包括遮挡和环境细节。为了解决端到端数据的缺乏问题，本文统一了角色动画的子任务，并通过解耦的条件合成一个管道来构建MotionPair-60K数据集，包含60K对异构的角色动画任务数据。最终目标是实现跨身份运动跟随、环境集成和多角色交互的业界领先性能，解锁新兴应用场景。

与已有工作不同的是，本文的独特切入角度是从反向驱动训练范式下统一任务。与之前依赖显式骨架或mask的工作不同，SCAIL-2通过反向驱动直接训练：将真实视频中指定角色通过姿态传递或逐个替换重新合成，得到合成视频 $\tilde{y}$，然后让 $\tilde{y}$ 作为驱动输入，而原始真实视频 $y$ 作为去噪目标。这种设计消除了渲染器偏差（如MoCha中不准确的纹理和物理上不可能的物体交互），因为驱动输入仅用于传达运动，而监督目标保持 faithful、物理一致的交互。此外，本文提出了In-Context Mask Conditioning和Mode-Specific RoPE作为软指导来统一Animation Mode和Replacement Mode，以及Bias-Aware DPO来解决端到端训练中手指细节的偏差问题。这种端到端统一的方法不仅在跨身份推理设置中表现优异，还能够组合不同的子任务来完成难以构建专用数据的组合任务。

核心方法

SCAIL-2的整体思路是从端到端驱动范式统一角色动画的不同子任务，通过提供完整视觉信息而非中间表示来实现更准确的运动转移。直觉上，与其用骨架图作为条件（会丢失深度、遮挡、环境等信息），不如直接把驱动视频喂给模型，让它自己学习从视觉上下文中提取运动信息。技术路线上，论文首先设计了一个代理合成循环来生成MotionPair-60K数据集，包含59,376对端到端运动转移数据，覆盖角色图像动画和角色替换两种模式。然后提出了统一的模型架构，包含In-Context Mask Conditioning（环境切换+K个绑定槽）和Mode-Specific Shifted RoPE来区分Animation Mode和Replacement Mode。最后针对端到端训练中手指细节不准确的问题，提出了Bias-Aware DPO后训练方案。整个框架在14B参数的Wan2.1-I2V骨干网络上全量微调3500步，学习率1e-5，批量大小128，使用64张NVIDIA H100 GPU约一周时间，然后进行400步DPO后训练。

核心创新点有三个：1）端到端统一范式：通过反向驱动训练统一Animation Mode和Replacement Mode，避免中间表示的信息丢失；2）In-Context Conditioning设计：使用环境切换mask（1通道）和角色绑定槽（K=6通道，共28个额外通道堆叠到上下文）来建模子任务间的差异和增强原始视觉输入，同时保持端到端性质；3）Bias-Aware DPO：针对姿态估计器和动画生成器引入的误差，特别是手指区域的偏差，通过Regional DPO仅在手部区域优化，同时联合SFT目标稳定训练。与已有方法的本质区别在于，SCAIL-2不是用显式骨架或mask来驱动模型，而是让模型直接从视觉上下文中学习运动提取和转换，同时通过条件化设计来区分不同任务和提供额外的指导信息。

方法步骤详情

方法分为三个主要步骤：1）数据合成：使用代理编辑循环生成MotionPair-60K数据集。对于Animation Mode，使用SCAIL作为主要动画生成器（优化跨体型场景和复杂运动，占60%），Wan-Animate作为补充生成器（用于特写镜头和慢动作，占20%）。对于Replacement Mode，使用MoCha作为替换生成器（20%）。循环包含Candidate Selector（选择最佳角色候选）、Prompt Weaver（预规划期望的角色、背景和姿态）、Quality Checker（监督下多轮编辑）和Nano Banana Pro图像生成模型M。为了改善数据多样性，约5%的运动对不使用反向驱动模式，直接使用合成 $\tilde{y}$ 作为去噪目标。数据集包含59,376对，Animation Mode与Replacement Mode比例约3:1。2）模型训练：采用In-Context Driving设计，条件被拼接而不是通过通道concat或pose-guider注入。I2V骨干网络接收输入 $[z_{ref}; z_t; z_{driv}]$，其中 $z_{driv}$ 沿w轴保持固定空间偏移 $\Delta W$。In-Context Mask Conditioning提供4(K+1)个通道：1个环境切换通道（指示环境应来自参考图像还是视频）和K个绑定槽通道（描述运动-字符绑定）。Mode-Specific Shifted RoPE区分Animation Mode（$z_{ref}$ 和 $z_t$ 的时间差）和Replacement Mode（$z_{ref}$ 的额外空间偏移 $\Delta_{refH}$）。3）Bias-Aware DPO后训练：构建偏好数据集，给定运动视频 $y$、姿态估计器 $P$ 和动画生成器 $G$，提取姿态 $p = P(y)$ 并在两个不同参考图像 $R$ 和 $S$ 下合成两个视频：$r = G(p, R)$ 和 $s = G(p, S)$。偏好对为 $(s, R_1, r, r^-)$，其中 $R_1$ 是从 $r$ 中随机采样的一帧作为参考图像，$r^- = G(P'(P(r)), R)$ 继承额外一轮误差。Regional DPO仅在手部区域应用，联合SFT目标稳定训练，使用LoRA适配器优化，rank 128，学习率1e-4，批量大小24，DPO温度参数 $\beta = 5000$。

技术新颖性

技术新颖性体现在多个方面：1）反向驱动训练范式：这是首个大规模应用反向驱动来统一角色动画子任务的工作，通过让真实视频始终作为忠实监督，优化被引导到以合理方式组合这些能力，从而超越数据生成器本身；2）统一端到端条件化：通过In-Context Mask Conditioning和Mode-Specific RoPE，在单一模型中统一了Animation Mode和Replacement Mode，使得不同子任务可以组合，超越原始生成器的性能；3）Regional DPO：首次在角色动画领域应用DPO来解决特定区域的偏差问题，仅在手部区域优化，同时获得全局改进；4）异构数据合成：MotionPair-60K是首个大规模异构端到端运动转移数据集，覆盖多种任务和数据源（3D动画33%、2D动画57%、真实人类9%）。与SCAIL（使用3D骨架表示）相比，SCAIL-2完全端到端，无需显式姿态估计；与DreamActor-M2（闭源端到端对齐）相比，SCAIL-2通过异构合成数据统一了更广泛的子任务包括复杂交互；与MoCha（基于Unreal Engine 5渲染的端到端角色替换）相比，SCAIL-2通过端到端统一克服了在身体形状差距大或复杂物体交互时的泛化限制。

**Figure 3**: The overview of our synthetic pipeline for curating diverse high-quality cross-identity motion pairs.

**Figure 4**: Overview of our model architecture and the context mask signal.

**Figure 11**: Distribution of data source.

实验结果

实验表明SCAIL-2在多种角色动画任务中显著优于现有最先进方法。在Studio-Bench上的单角色动画人工评估中（图5），SCAIL-2在运动一致性方面战胜SCAIL（68.3% vs 28.3%）、Wan-Animate（65.0% vs 28.3%）和Kling 3.0（36.7% vs 40.0%），在物理合理性方面战胜SCAIL（68.3% vs 25.0%）、Wan-Animate（78.3% vs 16.7%）和Kling 3.0（46.7% vs 36.7%），在身份一致性方面战胜SCAIL（46.7% vs 35.0%）、Wan-Animate（68.3% vs 20.0%）和Kling 3.0（53.3% vs 38.3%）。在多角色动画评估中（图6），SCAIL-2在身份隔离方面显著优于SCAIL（56.7% vs 36.7%）、Wan-Animate（90.0% vs 10.0%）和MultiAnimate（93.3% vs 6.7%），值得注意的是这些结果是零样本的，验证了数据构建和训练策略的合理性。在角色替换评估中（图7），SCAIL-2在运动一致性方面战胜MoCha（57.1% vs 14.3%）和Wan-Animate（71.4% vs 25.0%），在环境集成方面战胜MoCha（67.9% vs 25.0%）和Wan-Animate（67.9% vs 28.6%），在身份一致性方面战胜MoCha（66.7% vs 26.7%）和Wan-Animate（73.3% vs 23.3%）。在X-Dance Benchmark的Video-Bench自动评估中（表3），SCAIL-2在成像质量（4.43 vs 4.27）、运动平滑度（3.89 vs 3.90）、时间一致性（4.18 vs 4.21）和外观一致性（4.38 vs 4.25）方面均优于SCAIL。在姿态驱动结果中（表2），即使在具有复杂旋转和剧烈运动的Studio-Bench上，使用SAM3D-Body人体网格作为条件时，SCAIL-2在SSIM（0.6453 vs 0.6407）和PSNR（19.09 vs 19.08）上优于SCAIL，尽管模型在训练中从未见过这种表示，这展示了端到端动画从驱动序列中提取更丰富信息的优势。消融研究（图9）表明环境切换和Mode-Specific RoPE对于统一Animation Mode和Replacement Mode是必不可少的；Binding Slots在训练中没有时，模型在行人通过时无法保持身份；没有Replacement Data时，模型在角色重叠时无法提取正确的运动；没有Animation Data时，模型在身体形状剧烈变化时难以保持运动一致性。Bias-Aware DPO消融（图10）显示，与SFT变体和基础模型相比，Bias-Aware DPO能够捕获更精细的手部细节。

**Table 1**: 3D RoPE coordinates assigned to $z_{ref}$, $z_t$ and $z_{driv}$.

**Table 2**: Single-character animation metrics on the single-character split of Studio-Bench's pose-driven partition.

**Table 3**: Automatic evaluation of video quality on X-dance using Video-Bench.

**Table 4**: Composition of MotionPair-60K, along with the additional pose-driven dataset, and their corresponding sampling ratios used during training.

**Table 5**: Quantitative ablations on multi-character animation.

**Figure 5**: Single-character human evaluation on Studio-Bench.

**Figure 6**: Multi-character human evaluation on Studio-Bench.

**Figure 7**: Human evaluation on Studio-Bench for character replacement.

**Figure 8**: Qualitative comparison against baselines under cross-identity inputs.

**Figure 9**: Ablation studies on network modules and data.

**Figure 10**: Qualitative comparison of our Bias-Aware DPO against the SFT variant and the base model.

**Figure 12**: Examples of complex cross-body-shape character image animation.

**Figure 13**: Examples requiring fine-grained HOI.

**Figure 14**: Examples of complex multi-character interactions.

查看结构化数据

任务	指标	本文	基线	提升
单角色动画-Studio-Bench人工评估	运动一致性获胜率	68.3% vs SCAIL, 65.0% vs Wan-Animate	SCAIL: 28.3%, Wan-Animate: 28.3%, Kling 3.0: 40.0%	相比SCAIL提升40个百分点，相比Wan-Animate提升36.7个百分点
单角色动画-Studio-Bench人工评估	物理合理性获胜率	68.3% vs SCAIL, 78.3% vs Wan-Animate	SCAIL: 25.0%, Wan-Animate: 16.7%, Kling 3.0: 36.7%	相比SCAIL提升43.3个百分点，相比Wan-Animate提升61.6个百分点
多角色动画-Studio-Bench人工评估	身份隔离获胜率	93.3% vs MultiAnimate	SCAIL: 36.7%, Wan-Animate: 10.0%, MultiAnimate: 6.7%	相比MultiAnimate提升86.6个百分点
角色替换-Studio-Bench人工评估	环境集成获胜率	67.9% vs Mocha, 67.9% vs Wan-Animate	Mocha: 25.0%, Wan-Animate: 28.6%	相比Mocha提升42.9个百分点，相比Wan-Animate提升39.3个百分点
姿态驱动-X-Dance Benchmark	FVD (Fréchet Video Distance)	282.85 (NLF-Pose Skeleton)	SCAIL: 312.79, Wan-Animate: 305.31	相比SCAIL降低29.94，相比Wan-Animate降低22.46
Video-Bench自动评估	成像质量 (1-5分)	4.43	Wan-Animate: 3.80, Onetoall-Animation: 3.98, SteadyDancer: 4.41, SCAIL: 4.27	相比SCAIL提升0.16分，相比SteadyDancer提升0.02分

局限与改进

作者承认的局限性包括：1）对大规模高质量配对训练数据的严格依赖。虽然合成管道很大程度上解决了数据稀缺问题，但构建数据的保真度仍然取决于这些生成器的能力。2）细粒度区域的可靠正样本仍然难以获得，例如手指关节的精细运动和面部区域的详细表情。论文使用Bias-Aware DPO来建模对抗偏差，但可能无法完全消除所有偏差。作者自身的观察：1）在极端跨体型场景下（如从人类到动物），运动一致性可能仍然受限，因为训练数据主要覆盖人类角色；2）在极度复杂的多人交互场景（如超过5人同时交互），模型可能会出现身份混淆，因为绑定槽数量K=6可能不足以覆盖所有情况；3）在需要精确物理模拟的场景（如布料模拟、流体交互），端到端模型可能难以学习到准确的物理约束，因为这些行为在合成数据中可能不够真实；4）长视频生成的一致性问题仍然存在，论文通过随机替换前2个潜在为条件历史潜在来处理，但对于超过100帧的视频，一致性可能会下降。

独立分析的弱点

独立分析的弱点包括：1）数据合成管道的计算成本高昂。MotionPair-60K的构建需要运行多个生成器和VLM检查器，时间成本显著，这限制了数据规模的快速扩展。改进方向可以是开发更高效的生成-验证循环，或采用更轻量的质量检查模型。2）Binding Slots数量K=6可能不足以支持更多角色的场景。在极端多人场景（如10人以上的群体活动），模型可能需要更多的绑定槽。改进方向可以是设计动态绑定槽机制，根据场景中的角色数量自适应调整槽位数量，或使用分层绑定策略。3）Regional DPO仅针对手部区域优化，可能忽略了其他关键区域（如面部表情、脚部接地等）的偏差。改进方向可以是扩展到多区域DPO，或学习自动检测高误差区域进行针对性优化。4）模型在极端跨物种场景下的泛化能力有限。虽然论文提到了支持动物驱动源，但训练数据中3D动画和2D动画占主导（90%），真实人类仅占9%，可能不足以学习到所有物种的运动模式。改进方向可以是增加更多样化的物种数据，或采用跨物种迁移学习。5）长视频生成的一致性约束较弱。虽然论文遵循Wan-Animate的方法，但对于长视频中的细节一致性（如服装纹理、光照变化）可能仍然不足。改进方向可以是引入更强的时序一致性模块，或在训练中引入长视频监督信号。

未来方向

作者提出的未来方向：1）采用更先进的模型或更高效的管道来合成更高质量的数据，以扩展框架到更多任务，如唇同步和面部区域的详细表情。基于成果可延伸的方向：2）动态绑定槽机制：根据场景中的角色数量自适应调整绑定槽数量，支持更多角色的复杂交互场景。3）多区域DPO：扩展Regional DPO到多个关键区域（手部、面部、脚部等），全面提升细粒度运动转移的准确性。4）物理感知优化：在端到端训练中引入物理约束，例如通过物理引擎生成监督信号或设计物理一致性损失，改进布料模拟、流体交互等物理敏感场景。5）跨模态统一：将SCAIL-2扩展到音频驱动、文本驱动等其他模态，实现真正的多模态角色动画统一框架。6）实时推理优化：当前模型需要14B参数，推理成本高。未来可以通过模型蒸馏、量化或架构搜索来开发更轻量的实时版本。7）个性化微调：为特定角色风格或运动风格开发个性化微调方法，使用户能够快速定制自己的动画风格。

复现评估

论文声称代码、数据以及模型权重将在项目页面发布（https://teal024.github.io/SCAIL-2/），但目前（截至论文提交时间）尚未发布。训练细节相对完整：使用了14B参数的Wan2.1-I2V骨干网络，全量微调3500步，学习率1e-5，批量大小128，使用64张NVIDIA H100 GPU约一周时间，使用FSDP-2进行分布式训练。后训练阶段使用400步，冻结骨干参数，仅优化rank 128的LoRA适配器，学习率1e-4，批量大小24。数据合成管道使用了LightX2V加速生成，最终得到59,376对数据，具体分布为：SCAIL单角色动画31,895对（60%采样），Wan-Animate单角色动画13,847对（20%采样），MoCha单角色替换9,249对，MoCha多角色替换4,385对（20%采样），以及约100,000对姿态驱动提取数据（20%采样）。评估基准使用公开的Studio-Bench和X-Dance Benchmark，人工评估协议详细描述了5个维度（运动准确性、物理合理性、身份一致性、身份隔离、环境集成）的评估标准。总体而言，论文提供了足够的实现细节来复现结果，但需要大量计算资源（64张H100 GPU约一周）和数据合成成本。如果代码和数据按计划发布，复现难度应为中等偏上，主要挑战在于计算资源和数据管道的实现。

SCAIL-2：统一端到端上下文条件控制的角色动画框架 SCAIL-2: Unifying Controlled Character Animation with End-to-end In-Context Conditioning