Kling-MotionControl：编排异构运动的自适应全身角色动画框架 Kling-MotionControl Technical Report
统一DiT框架编排身体/面部/手部异构运动，实现高保真跨身份角色动画
前置知识
Diffusion Transformer (DiT)
DiT 是将 Transformer 架构与扩散模型结合的视频生成骨干网络。它通过 3D VAE 将视频压缩为时空 token，再利用 Transformer 的可扩展注意力机制捕捉长程时间动态。与早期基于 U-Net 的视频扩散模型相比，DiT 在分辨率和序列长度上具有更好的可扩展性，能够支持稳定的高分辨率、长视频生成。DiT 的核心优势在于其内部蕴含了丰富的人体结构和运动动态先验知识，使其成为角色动画任务的理想骨干。
本文的整个框架建立在 DiT 骨干之上，利用其强大的生成能力和人体运动先验来实现精确的角色动画。理解 DiT 的工作原理是理解本文方法如何处理多粒度运动表示和条件生成的基础。
角色动画 (Character Animation)
角色动画是指通过将驱动视频中的运动动态迁移到参考图像上，生成逼真动画视频的技术。其核心挑战在于准确建模驱动序列的运动动态，并将其无缝适配到新角色上，同时忠实保持参考图像的视觉外观。该任务可分为全身动画（body animation）、面部动画（facial animation）和手部动画（hand animation）三个粒度层次，每个层次对运动表示和控制精度有不同要求。
这是本文要解决的核心任务。理解角色动画的目标和挑战（如身份漂移、运动精度、计算效率等）是理解本文技术创新动机的关键前提。
Classifier-Free Guidance (CFG)
CFG 是扩散模型中常用的引导技术，通过同时运行条件和无条件生成分支，将两者的差值作为引导信号来增强生成结果对条件的遵循程度。在多条件场景下（如同时有运动控制、文本提示、身份保持等），标准 CFG 需要运行多个推理分支，导致计算成本成倍增长。CFG 的强度通常用缩放因子控制，过强会导致过度饱和，过弱则条件遵循不足。
本文提出双分支采样策略来高效处理多条件 CFG，避免了多次推理的计算负担，是推理加速框架的关键组成部分。理解 CFG 的工作原理有助于理解本文的加速技术创新。
知识蒸馏 (Knowledge Distillation)
知识蒸馏是一种模型压缩技术，通过训练一个较小的「学生模型」来模仿较大的「教师模型」的行为。在扩散模型中，蒸馏通常用于减少采样步数（NFE, Number of Function Evaluations），将需要多步迭代的生成过程压缩为更少的步骤，从而大幅提升推理速度。多阶段蒸馏通过逐步压缩来保持生成质量。
本文采用多阶段蒸馏策略将教师模型压缩为少步学生模型，并通过将条件梯度合并到学生模型中来绕过 CFG 的采样开销，最终实现超过 10 倍的端到端加速。这是理解推理效率提升的关键。
身份保持 (Identity Preservation)
身份保持是指在运动迁移过程中，生成视频能够忠实维持参考图像中角色的可识别特征和外观细节。这包括面部特征、身体比例、服装纹理等视觉属性。身份保持的核心挑战在于跨身份迁移时，模型需要将驱动视频的运动动态与参考图像的身份特征解耦，避免身份漂移（identity drift）现象。
本文通过专门的身份编码和融合机制以及主题库（subject library）机制来实现身份保持，这是评估角色动画质量的关键维度之一。理解身份保持的挑战有助于理解本文的设计决策。
异构运动表示 (Heterogeneous Motion Representations)
异构运动表示是指针对身体不同部位（全身、面部、手部）的运动特征，设计不同的表示方式。全身运动需要关注大尺度的肢体稳定性和姿态轨迹；面部运动需要捕捉微表情和唇部动作等精细动态；手部运动则需要处理复杂的指关节交互。每种表示需要在不同粒度上平衡结构稳定性和细节表达力。
异构运动表示的编排是本文最核心的技术创新。「分而治之」的策略使得模型能够在一个统一框架中协调处理多粒度运动，这是理解本文方法区别于已有工作的关键。
研究动机
现有角色动画方法在平衡视觉质量与跨运动粒度的可控性方面存在严重局限。具体而言，早期方法主要专注于面部重演或身体运动控制的单一任务，如 LivePortrait 主要处理面部动画、Animate Anyone 主要处理身体动画，无法在一个统一框架中同时处理全身、面部和手部的精细动画。近期的全身动画方法（如 Dreamina、Runway Act-Two、Wan-Animate）虽然开始探索全身动画，但在协调不同粒度的运动时面临显著困难：它们在平衡大尺度肢体稳定性与精细细节（如面部微表情和手指关节）方面表现不佳，在跨身份迁移时（尤其是面对动漫、动物等多样化形态时）容易出现身份漂移，并且在优先考虑运动约束时往往会失去对其他视觉属性（如背景、摄像机运动）的控制。此外，视频生成的高昂计算成本和有限的推理效率仍然是阻碍这些高保真模型实际部署的关键瓶颈。
本文的目标是本文的目标是构建一个统一的基于 DiT 的框架 Kling-MotionControl，实现鲁棒、精确、富有表现力且高效的全身角色动画。具体而言，该框架需要：(1) 在一个统一模型中协调处理身体、面部和手部的异构运动表示，实现从特写肖像到全身动态场景的多尺度运动迁移；(2) 支持从真实人类到风格化卡通乃至动物等多样化角色的鲁棒跨身份泛化，无需手动校准；(3) 在运动迁移过程中严格保持参考角色的身份特征；(4) 通过 3D 感知支持灵活的电影级摄像机控制；(5) 实现超过 10 倍的推理加速以确保实际部署的可行性。
与已有工作不同的是，本文的独特切入角度是采用「分而治之」的异构运动编排策略。与现有方法试图用统一的运动表示处理所有身体部位不同，本文认识到身体、面部和手部的运动具有本质不同的特征——身体运动需要大尺度的结构稳定性，面部运动需要精细的表达力，手部运动需要复杂的关节交互能力。通过为每个部位设计专门的运动表示，然后在渐进式多阶段训练策略中进行协调，实现了结构稳定性与细节表达力的有效统一。此外，本文引入身份无关的运动学习范式，在几何层面将运动动态与驱动主体的物理属性解耦，同时结合语义运动建模模块捕捉动作的高层意图，从根本上解决了跨身份迁移中的身份漂移问题。这种几何抽象与语义理解的结合是前所未有的创新。
核心方法
Kling-MotionControl 的整体思路可以分两个层面理解。直觉上，角色动画面临的核心矛盾是「既要动起来，又要像原来」——需要准确迁移驱动视频的运动动态，同时忠实保持参考图像的身份外观。本文的解决方案是将这个复杂问题分解为三个子问题：身体运动、面部运动和手部运动，每个子问题用最适合的表示方式来处理，然后在一个统一的 DiT 框架中协调这些表示。技术路线包括：首先设计异构运动表示（body/face/hand），通过渐进式多阶段训练策略进行协调；然后引入身份无关的运动学习范式实现跨身份迁移，结合语义运动建模捕捉动作意图；通过专门的身份编码和融合机制（含主题库）保持身份一致性；为运动表示添加 3D 感知能力以支持自由视角控制；引入 Prompt Enhancer 模块桥接运动控制与文本引导；最后通过多阶段蒸馏和双分支采样策略实现超过 10 倍的推理加速。
本文的核心创新点在于「异构运动编排」的思想，这与已有方法有本质区别。现有方法如 Wan-Animate、Dreamina 等倾向于用单一的运动表示来处理全身所有部位，这导致在不同运动粒度之间难以平衡——大尺度运动的稳定性需求与精细运动的表达力需求存在内在矛盾。本文的关键洞察是：身体、面部和手部的运动具有本质不同的特征（空间尺度、时间频率、语义层次），因此应该用不同的表示方式分别建模，然后通过「分而治之」的策略在统一框架中协调。具体而言，全身运动侧重于姿态轨迹的全局稳定性，面部运动侧重于微表情和唇部动态的精细捕捉，手部运动侧重于指关节交互的复杂建模。这种异构表示通过渐进式多阶段训练策略进行协调，使得大尺度结构稳定性和精细关节表达力能够共存于同一个统一模型中。此外，身份无关的运动学习范式（在几何层面解耦运动与身份）与语义运动建模（捕捉动作的高层意图）的结合，是实现鲁棒跨身份迁移的另一核心创新。
方法步骤详情
Kling-MotionControl 的方法分为训练和推理两个阶段，包含以下关键步骤：(1) 异构运动建模：为身体、面部和手部分别设计专门的运动表示，捕捉各部位的独特运动特征。全身运动表示关注大尺度姿态轨迹，面部运动表示捕捉微表情和唇部动态，手部运动表示建模复杂指关节交互。(2) 多阶段身份无关训练：采用渐进式训练策略，首先在几何层面将运动动态与驱动主体的物理属性解耦，实现身份无关的运动学习。这确保了模型能够将运动本质从特定角色中抽象出来。(3) 语义运动建模：引入语义运动建模模块捕捉动作的高层意图（如「拍手」、「捂脸」等），确保生成的动画不仅在几何上对齐，而且在语义上忠于驱动表演。(4) 身份编码与融合：通过专门的身份编码机制提取和整合身份嵌入，确保参考角色的特征在迁移过程中被严格维持。支持主题库机制，允许用户提供多视角图像或视频片段等额外参考材料来构建更鲁棒的身份表示。(5) 3D 感知增强：通过大规模多视角监督为运动表示赋予 3D 感知能力，支持角色朝向的灵活指定和电影级摄像机控制（如平移、变焦），可通过文本描述直接控制。(6) Prompt Enhancer：引入智能提示增强器模块桥接运动控制与文本引导，使模型在保持精确运动遵循的同时对用户文本提示高度响应。(7) 推理加速：首先引入高效双分支采样策略处理多条件 CFG，避免多次推理的计算负担；然后通过多阶段蒸馏优化少步学生模型，大幅减少函数评估次数（NFE）；最后将条件梯度合并到学生模型中绕过 CFG 的采样开销，最终实现超过 10 倍的端到端加速。
技术新颖性
Kling-MotionControl 的技术新颖性体现在多个层面。首先，异构运动编排的思想是前所未有的——现有方法要么专注于单一运动粒度（如面部或身体），要么用统一表示处理所有部位，本文首次认识到不同身体部位需要不同的运动表示，并通过「分而治之」的策略在一个统一框架中协调，这从根本上解决了多粒度运动控制的平衡问题。其次，身份无关的运动学习范式在几何层面解耦运动与身份，同时结合语义运动建模捕捉动作意图，这种双重解耦机制在跨身份迁移任务中是全新的，能够处理成人到儿童、人类到动物等显著形态差异，无需手动校准。第三，主题库机制超越了传统的单图参考方法，通过多视角图像或视频片段构建更鲁棒的身份表示，在极端姿态或长视频生成中保持身份一致性。第四，3D 感知的运动表示通过多视角监督实现，支持角色朝向的灵活指定和电影级摄像机控制，这在角色动画领域是少见的。最后，推理加速框架将双分支采样、多阶段蒸馏和条件梯度合并三种技术有机结合，实现了超过 10 倍的加速同时保持性能，这在实际部署中具有重要价值。
实验结果
本文在 150 个高质量测试用例上进行了全面的人类偏好评估，每个用例包含一个参考图像和一个来自不同主体的驱动视频。评估采用 GSB（Good/Same/Bad）协议，参与者对生成结果进行成对比较，最终以 (G+S)/(B+S) 作为评估指标。在与 Dreamina 的比较中，Kling-MotionControl 在所有维度上均表现更优：总体偏好得分 3.44，视觉质量 3.33，动态质量 1.92，身份保持 1.56，运动精度 1.05，表情精度 1.20。具体而言，72.0% 的用户偏好本文方法（vs 3.7% 偏好 Dreamina），在视觉质量上 70.7% vs 2.4%，在动态质量上 53.7% vs 11.0%。在与 Runway Act-Two 的比较中，优势更为显著：总体偏好得分高达 16.25，视觉质量 8.00，动态质量 4.64，身份保持 2.95，运动精度 3.32，表情精度 4.50。93.8% 的用户偏好本文方法，在视觉质量上 87.7% vs 1.5%，在运动精度上 70.8% vs 3.1%。在与开源 SOTA Wan-Animate 的比较中，总体偏好得分 4.00，视觉质量 6.43，动态质量 1.77，身份保持 3.07，运动精度 1.34，表情精度 1.16。75.8% 的用户偏好本文方法（vs 3.3% 偏好 Wan-Animate），在视觉质量上 84.6% vs 1.1%。定性比较进一步验证了这些发现：在极端情绪状态下（如极度悲伤），Dreamina 表现有限；在复杂手势上，Dreamina 和 Wan-Animate 频繁产生错误的手部运动和伪影；Runway Act-Two 在精细手部姿态和面部动态上鲁棒性差，甚至在某些案例中完全失败。相比之下，Kling-MotionControl 能够精确复制极端和细微的表情以及复杂的手部交互。在快速、大振幅运动场景下，Dreamina 存在空间深度歧义和肢体结构不完整的伪影，Runway 面对此类挑战性任务时容易发生灾难性失败，Wan-Animate 则完全无法再现快速动态并伴有严重的外观退化和全局色彩漂移。而本文方法能有效处理这些极端条件，生成精确且物理上合理的运动，不会出现结构扭曲或外观漂移。推理加速方面，通过多阶段蒸馏和双分支采样策略实现了超过 10 倍的端到端加速，显著降低了部署成本。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 总体偏好 (Ours vs Dreamina) | GSB (G+S)/(B+S) | 3.44 | 1.00 (基线) | +244% |
| 视觉质量 (Ours vs Dreamina) | GSB (G+S)/(B+S) | 3.33 | 1.00 (基线) | +233% |
| 总体偏好 (Ours vs Runway Act-Two) | GSB (G+S)/(B+S) | 16.25 | 1.00 (基线) | +1525% |
| 总体偏好 (Ours vs Wan-Animate) | GSB (G+S)/(B+S) | 4.00 | 1.00 (基线) | +300% |
| 视觉质量 (Ours vs Wan-Animate) | GSB (G+S)/(B+S) | 6.43 | 1.00 (基线) | +543% |
| 身份保持 (Ours vs Wan-Animate) | GSB (G+S)/(B+S) | 3.07 | 1.00 (基线) | +207% |
| 推理加速 | 端到端加速倍数 | 10x+ | 1x (原始) | 10x+ |
局限与改进
作者承认的局限性主要包括评估方面的不足：目前主要依赖人类偏好的主观评估协议，虽然全面覆盖了视觉质量、动态质量、身份保持、运动精度和表情精度五个维度，但缺乏客观量化指标（如 FID、FVD、LPIPS 等）的补充验证。作者表示将在未来工作中引入更多客观指标来扩展定量评估。此外，该系统作为一个商业级系统（可通过 app.klingai.com 访问），其训练数据、模型参数和代码均未公开，这在一定程度上限制了学术界的可复现性和可验证性。从技术角度分析，异构运动表示的「分而治之」策略虽然有效，但也引入了额外的设计复杂性——需要为每个身体部位精心设计专门的表示方式，并在训练中协调它们之间的交互，这增加了超参数调优的难度。主题库机制虽然增强了身份保持，但需要用户提供额外的参考材料，增加了使用门槛。3D 感知的运动表示依赖大规模多视角监督数据，数据获取成本较高。推理加速虽然实现了 10 倍以上的提升，但具体的 NFE 数量、模型大小和推理延迟等细节未在论文中明确给出，难以与同类方法进行精确的效率对比。评估基准仅包含 150 个测试用例，样本量相对有限，可能无法充分覆盖所有边缘情况。
独立分析的弱点
独立分析的弱点包括：(1) 评估客观性不足——论文主要依赖人类偏好的主观评估，缺乏 FID、FVD、CLIPSIM 等标准客观指标，这使得结果难以与其他方法进行公平的数值对比，因为不同论文使用不同的主观评估协议。改进方向是补充全面的客观评估指标，并在标准化基准上进行对比。(2) 评估样本量有限——150 个测试用例虽然涵盖了多样化场景，但对于评估一个通用的角色动画系统来说样本量偏小，统计显著性可能不够强。改进方向是扩大评估规模，增加边缘案例（如极端光照、遮挡、低质量输入等）的覆盖。(3) 缺乏与最新开源方法的深度对比——虽然与 Wan-Animate 进行了对比，但未涵盖 UniAnimate、Animate Anyone 等其他重要开源方法，且未与 MagicAnimate、Champ 等使用 3D 先验的方法进行比较。改进方向是扩展基线对比范围。(4) 计算效率细节不充分——虽然声称实现了 10 倍以上的推理加速，但未给出具体的模型大小、推理延迟（秒/帧）、GPU 内存占用等关键效率指标，难以评估实际部署的可行性。改进方向是补充详细的效率对比表。(5) 跨身份迁移的边界条件未充分探索——虽然展示了从人类到动漫、卡通的迁移效果，但对于更极端的形态差异（如人类到非人物体、动物到人类）的表现未充分讨论。改进方向是系统性地评估形态差异程度与迁移质量的关系。
未来方向
作者提出和可延伸的未来研究方向包括：(1) 引入更多客观评估指标（如 FID、FVD、LPIPS、CLIPSIM 等）来补充和扩展现有的人类偏好评估，建立更全面的评估体系。(2) 探索更精细的运动粒度控制——当前框架主要处理身体、面部和手部三个粒度，未来可以进一步细分为更多层次（如眼神、头发、衣物褶皱等），实现更精细的动画控制。(3) 增强文本控制的语义深度——当前的 Prompt Enhancer 主要处理场景元素、服装风格和摄像机运动等属性，未来可以探索更复杂的语义控制（如情感风格、动画节奏、角色性格等）。(4) 探索实时交互式动画——当前系统虽然实现了 10 倍以上的推理加速，但距离实时交互（如直播中的虚拟形象驱动）仍有差距，需要进一步的架构优化和硬件适配。(5) 扩展到视频编辑和视频修复任务——异构运动编排的思想可以应用于视频编辑（如替换视频中的角色动作）和视频修复（如补全缺失的手部动作）等更广泛的任务。(6) 研究运动表示的可解释性——理解模型如何编码和解耦不同粒度的运动信息，有助于设计更好的控制接口和调试工具。(7) 探索少样本和零样本的角色动画——当前方法虽然支持跨身份迁移，但仍需要参考图像，未来可以探索无需任何参考的角色动画生成。
复现评估
该论文的复现评估显示复现难度极高。首先，论文未公开源代码、预训练模型或训练数据，所有实验均在 Kuaishou Technology 的内部基础设施上完成。论文提到使用了大规模数据集，包含广泛的角色类型和多样化的运动动态，并通过严格的质量过滤、多视角渲染数据和高速摄像机拍摄的素材进行补充，但具体数据规模和处理细节未披露。模型基于 DiT 骨干网络，但具体的模型架构参数（如层数、隐藏维度、注意力头数等）未在论文中详细给出。训练采用渐进式多阶段策略，具体的超参数（如学习率、批次大小、训练步数等）也未公开。推理加速部分涉及双分支采样、多阶段蒸馏和条件梯度合并等技术，其实现细节依赖于特定的硬件和软件环境。评估方面，虽然描述了 GSB 评估协议，但具体的评估界面、参与者数量、评估流程等细节不够详细。总体而言，完全复现该工作需要大量的计算资源、专业数据和工程投入，对于学术团队来说挑战极大。不过，论文中描述的方法论思想（异构运动编排、身份无关学习、语义运动建模等）具有重要的参考价值，可以在较小规模上进行概念验证。
论文图表
Figure 1 展示了 Kling-MotionControl 在多样化场景下的生成效果。图中分为三个主要部分：(1) 细粒度表情与手势模仿——展示了参考角色精确复制驱动视频中的面部表情和手部动作；(2) 复杂运动迁移的鲁棒性——展示了在快速、大振幅运动场景下模型的稳定表现；(3) 多样化角色的泛化与身份保持——展示了从真实人类到动漫、卡通、风格化艺术作品等不同角色类型的跨身份迁移效果，同时严格保持了参考身份的外观特征。每组示例都包含参考图像、驱动视频和生成结果的对比。
这张图是理解论文全局贡献的最直观入口，它用可视化的方式展示了 Kling-MotionControl 的三大核心能力：精细运动控制、鲁棒性、跨身份泛化。读者可以从图中快速理解本文方法在实际效果上与现有方法的差异，是理解后续技术细节的感性基础。