Motion4Motion：推理时的跨主体动作迁移 Motion4Motion: Motion Transfer Across Subjects at Inference
首个无需训练、无需骨架先验的跨物种视频动作迁移框架
前置知识
扩散Transformer（DiT）与流匹配（Flow Matching）
扩散Transformer用一系列transformer块替代U-Net作为去噪骨干。本文基于WAN-14B-T2V，它采用流匹配范式：输入视频先用3D因果VAE压缩成潜在 $z\in R^{(1+\lfloor F/4\rfloor)\times H/8\times W/8\times C}$，DiT预测速度 $v_t$，通过线性插值 $z_t=tz_1+(1-t)z_0$ 将噪声 $z_0$ 变换到目标 $z_1$。每个DiT块包含多头自注意力（SA）、文本交叉注意力和前馈网络（FFN）。
本文不修改模型权重，而是在去噪推理过程中干预WAN的SA计算。理解DiT/流匹配的去噪循环和潜在空间结构，才能理解TransPE在哪一步、对哪些张量动手脚。
旋转位置编码（RoPE, 3D Rotary Positional Embedding）
RoPE通过对Q、K张量按其时空坐标 $(f,h,w)$ 旋转成对的维度来注入相对位置信息，注意力权重变成 $\text{Softmax}(\text{RoPE}(Q)\cdot\text{RoPE}(K)^\top/\sqrt{d})V$。WAN用的是3D RoPE，覆盖时间、高、宽三个轴。关键特性（Fig. 2揭示）：自注意力对'时空近邻'比对'语义相似'的点更敏感，即位置先验主导了注意力分配。
TransPE的核心洞见正来自此——既然注意力主要由位置驱动，那么只要把目标主体的特征'搬运'到新的时空坐标（用RoPE重新编码），就能在生成时把主体放到指定位置。不读懂RoPE就无法理解TransPE为何有效。
自注意力中的KV注入与拼接（KV injection/concatenation）
注意力控制指在去噪时修改Q、K、V来引导生成。KV拼接是把额外的外观/参考键值拼接到原始K、V后面：$K_{new}=[K,\hat K]$，$V_{new}=[V,\hat V]$，而查询Q不变，于是注意力会把参考特征混合进输出。早期方法多用于U-Net的图像/视频编辑、风格迁移、外观迁移。
TransPE本质上是一种带位置重编码的KV拼接。理解KV拼接这条技术脉络，才能看出本文的新意：以往拼接不改变键的位置编码，而TransPE把拼接进的键用运动流坐标重新做RoPE，从而同时实现了'外观注入'和'位置重定位'。
动作迁移与动作重定向（Motion Transfer / Retargeting）
动作迁移把一个主体的运动搬到另一个主体上。3D社区称之为重定向，传统方法靠运动学优化满足空间约束，现代方法用神经网络解耦姿态与结构，但都依赖3D骨架拓扑且常需人工指定关节对应。视频动作迁移基于预训练视频扩散模型，主流路线要么依赖大规模骨架条件训练（如WAN-animate依赖人体姿态检测器），要么逐视频微调（如FlexiAct），灵活性受限。
本文的全部动机就是跳出'骨架'这条技术路线。理解传统骨架方法的优势与局限，才能体会Motion4Motion用'像素级运动流'替代'骨架'的颠覆性，以及它为何能跨物种。
扩散反演（Diffusion Inversion）
扩散反演指给定一段真实/生成视频，沿确定性的去噪路径反向求出对应的初始噪声潜在 $z_0$，使得从该 $z_0$ 出发的去噪能重建原视频。本文用确定性反演（参考Jiao等2025）把目标主体生成的视频 $V_{gen}$ 反演成 $z_0$ 作为编辑起点，并缓存每一层的 $K_1^{tgt},V_1^{tgt}$ 作为目标主体外观特征。
TransPE需要目标主体的外观K/V特征，这些正是通过反演缓存得到的；真实图像迁移时也需要先I2V生成再反演得到起点。理解反演是理解方法第二、三阶段流程的前提。
语义点匹配与点跟踪（Semantic Point Matching / Point Tracking）
语义点匹配指在两张图像之间找到语义对应的像素点，本文用扩散特征（DIFT，Tang等2023）配合Grounded SAM-2（Liu等2024a；Ravi等2024）做分割与匹配。点跟踪指在视频时间轴上跟踪若干锚点形成轨迹 $M^{src}=\{P_f\}_{f=1}^F$，本文用基于DIFT特征的跟踪框架。二者在 $1/8$ 倍下采样的潜在坐标系下进行。
本文的两大'对应关系'——跨图像对应 $C:P_1^{src}\to P^{tgt}$ 与源视频运动流 $\mathcal{I}:P_1^{src}\to M^{src}$——分别由这两项技术建立，并复合成 $\mathcal{M}=\mathcal{I}\circ C^{-1}$。它们的质量直接决定迁移效果。
研究动机
现有动作迁移工作几乎被'人→人型角色'场景统治，其主流范式被预定义的人体骨架'硬编码'：先抽取结构化姿态，再用骨架条件模型训练来弥合几何差异。这套范式在迁移到形态差异巨大的角色（如不同物种的动物）时严重失效，因为缺乏共享的骨架模板会让空间对齐变得定义不清。作者指出两个根本挑战：第一是高质量配对运动数据极度稀缺——与人型研究拥有海量视频数据集和成熟姿态估计工具不同，为多样拓扑获取同步运动序列既费时又不现实，迫使数据驱动模型只能依赖狭窄分布，遇到未见物种就产生严重伪影；第二是没有骨架时语义对应关系存在歧义，例如椅子的腿和四足动物的腿之间如何建立一致映射极难定义。即便是当时最相关的尝试FlexiAct（Zhang等2025b）也不令人满意，它依赖逐案例优化导致过拟合并引发信息泄漏。
本文的目标是本文的目标是彻底跳出骨架框架，构建一个名为Motion4Motion的全新框架，实现推理阶段的、跨一般性主体的动作迁移。具体而言，它要同时满足几个严苛条件：不依赖任何预定义的骨架先验，无需大规模模型训练，无需逐视频微调，无需额外的驱动信号，却能把源视频的运动（如人跑步、人跳舞）高保真地迁移到形态迥异的目标主体（如狮子、熊猫、鹅，甚至桌子）上。作者希望在自注意力层内通过一种名为TransPE的模块，把源视频抽取的运动流注入到预训练WAN-14B-T2V的去噪过程，从而在迁移质量与外观保真度上全面超越现有SOTA基线。
与已有工作不同的是，本文的独特切入角度在于把表征运动的基元从'骨架'换成'像素级密集运动流（motion flow）'：不再追关节，而是追踪视频中主体的像素点轨迹，从而把运动与主体解耦，得到一种与拓扑无关（topology-agnostic）的动力学表征。在此基础上，作者敏锐地捕捉到一个被忽视的现象（Fig. 2）：自注意力更'认位置'而非'认语义'，于是提出通过重新编码位置（TransPE）来'搬运'目标主体特征到运动流指定的坐标。技术路线层面，以往注意力控制大多针对MM-DiT（统一自注意力）架构，而WAN采用解耦的自注意力+交叉注意力，其上的注意力控制一直未被充分探索，本文填补了这一空白，实现了首个面向WAN解耦架构的、训练自由的运动迁移。
核心方法
整体思路是'先直觉再技术'。直觉是：与其对齐两套不同的骨架，不如直接观察源视频里像素是怎么动的（运动流），然后告诉生成模型'把目标主体画到这条轨迹指定的坐标上'。技术路线建立在WAN-14B-T2V（480p）之上，该模型用3D因果VAE把视频压成潜在 $z\in R^{(1+\lfloor F/4\rfloor)\times H/8\times W/8\times C}$，DiT预测流匹配速度 $v_t$ 经 $z_t=tz_1+(1-t)z_0$ 去噪，自注意力为 $X\leftarrow\text{Softmax}(\text{RoPE}(Q)\cdot\text{RoPE}(K)^\top/\sqrt d)V$。整个方法分三阶段：先抽取运动流与跨图像对应，再用反演初始化潜在并缓存目标外观特征，最后在去噪时用TransPE操控自注意力。全程在一块NVIDIA H-800上完成，无需训练。
核心创新点是TransPE（Transferring Positional Encoding）模块，它与已有方法的本质区别在于'以位置重编码驱动外观搬运'。以往动作迁移要么改训练、要么逐视频微调、要么靠全局运动表征；而TransPE保持查询Q不变，把目标主体的外观键 $K^{\star}_{tgt}=K_1^{tgt}[P^{tgt}]$ 与值 $V$ 特征复制 $F$ 份后，用源视频导出的目标运动流坐标 $M^{tgt}$ 对这些拼接键重新做RoPE，得到 $K_{new}=[\text{RoPE}(K),\text{RoPE}(\hat K,M^{tgt})]$、$V_{new}=[V,\hat V]$，于是 $X\leftarrow\text{Softmax}(\text{RoPE}(Q)\cdot K_{new}^\top/\sqrt d)V_{new}$。其有效性根植于Fig. 2的发现——注意力对时空近邻比对语义相似点更敏感，因此只要'挪动位置'就能迫使去噪过程在指定坐标合成目标主体。这使得方法具备良好可解释性且完全在推理时实现。
方法步骤详情
方法分三阶段。阶段一抽取运动流：用Grounded SAM-2在源首帧采样锚点 $P_1^{src}$，用扩散特征DIFT语义匹配到目标得 $P^{tgt}$（对应 $C$）；用DIFT点跟踪得源运动流 $M^{src}$，再由复合函数 $\mathcal{M}=\mathcal{I}\circ C^{-1}$ 得目标运动流 $M^{tgt}=M^{src}$（$1/8$ 下采样坐标下进行）。阶段二初始化：用T2V/I2V由 $I^{tgt}$ 生成 $V_{gen}$，确定性反演得 $z_0$，每层缓存 $K_1^{tgt},V_1^{tgt}$ 作目标外观。阶段三TransPE去噪：当 $t<s_e$ 且 $l_b\le l<l_e$ 时，切片 $K^{\star}_{tgt}=K_1^{tgt}[P^{tgt}]$ 重复 $F$ 次得 $\hat K,\hat V$，构造 $K_{new}=[\text{RoPE}(K),\text{RoPE}(\hat K,M^{tgt})]$、$V_{new}=[V,\hat V]$ 算注意力，否则走标准自注意力，默认层 $[0,40]$、第35步前（共50步）施加。
技术新颖性
技术新颖性体现在多个层面。其一，它是首个无需训练、不依赖骨架先验、能在一般性主体间迁移运动的框架，把运动表征从骨架升级为密集像素级运动流，天然与拓扑无关。其二，TransPE简单却关键：通过'位置重编码+外观拼接'一举同时解决外观注入与位置重定位，不同于传统KV拼接不改位置编码的做法。其三，首次针对WAN的解耦自注意力/交叉注意力架构设计注意力控制——此前相关工作几乎都聚焦于MM-DiT的统一自注意力，WAN这类架构上的运动迁移潜力未被研究。其四，用复合映射 $\mathcal{M}=\mathcal{I}\circ C^{-1}$ 把'跨图像语义对应'与'时序运动流'优雅地统一，实现点到像素级的细粒度控制，区别于全局/整体表征的范式。其五，'教桌子走路'这类跨形态应用通过SAM-2掩码'骨骼绑定'把语义匹配约束在区域内，展示了框架的泛化边界。
实验结果
核心发现是Motion4Motion在所有指标全面领先。Table 1中'Ours'列TS=0.285、MF=0.448、TC=0.952、AC=0.967、PS=0.543；对比最强基线FlexiAct（MF=0.384、PS=0.415），PS相对提升约30.8%、MF相对提升约16.7%；人类子集MF=0.452 vs 0.391，动物子集MF=0.441，均最优。用户研究（Table 2，50案例盲测）印证：相对基础模型（带TransPE K-V拼接的WAN-I2V-14B），运动一致性92.5 vs 7.5、外观一致性87.8 vs 12.2胜出，而FlexiAct仅78.4/21.6、MotionClone仅71.7/28.3。真实图像评估（Fig. 6）零样本迁移复杂舞蹈到不同肖像并保留身份纹理。应用部分让桌子走路需借助SAM-2'骨骼绑定'。指标含CLIP文本相似度TS、Co-tracker的运动保真度MF、帧间CLIP的TC、目标图与帧的AC，以及作者新增50对跨物种对的PS。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 跨物种姿态对齐（综合'Ours'集，50对跨物种图像-视频） | PS（Pose Similarity，越高越好） | 0.543 | FlexiAct 0.415（MotionClone 0.408，RoPECraft 0.355） | 相对FlexiAct提升约30.8% |
| 运动保真度（综合'Ours'集） | MF（Motion Fidelity，越高越好） | 0.448 | FlexiAct 0.384 | 相对FlexiAct提升约16.7% |
| 外观一致性（综合'Ours'集） | AC（Appearance Consistency，越高越好） | 0.967 | FlexiAct 0.938 | 相对提升约3.1%，且所有指标全面领先 |
| 人类子集运动迁移 | MF / TS（越高越好） | MF 0.452 / TS 0.288 | FlexiAct MF 0.391 / TS 0.269 | MF相对提升约15.6% |
| 用户盲测偏好（vs 基础模型） | 运动一致性偏好比例 | 92.5 vs 7.5 | FlexiAct 78.4 vs 21.6；MotionClone 71.7 vs 28.3 | 相对FlexiAct大幅领先 |
局限与改进
作者承认的局限主要在概念组合上：基础视频模型对'奔跑的桌子'这类新颖组合想象不足，会生成静止或滑动的桌子，必须借助外部源运动和SAM-2掩码'骨骼绑定'才可解，这暗示TransPE不能凭空创造训练分布外的基础结构。作者也提到最近的MotionV2V（Burgert等2025a）与MotionShot（Liu等2025）在投稿前未公开，未能直接比较。我的额外观察：方法强依赖前置模块质量——SAM-2分割与DIFT语义匹配若不准会直接污染对应关系 $C$，对形态极度迥异的主体（椅腿vs兽腿）语义对应本就歧义，作者自己用手工掩码绕过恰好暴露了这一点；反演步骤对真实图像增加了开销与误差累积；TransPE只在层 $[0,40]$、第35步之前生效，这种超参对结果敏感但论文未给出消融；整体未讨论推理速度，且与基础模型WAN的能力强绑定。
独立分析的弱点
独立分析的弱点及改进方向如下。第一，跨形态语义对应的脆弱性：DIFT点匹配对'椅子腿vs四足兽腿'这类无共享语义的极端组合不可靠，作者靠手工SAM-2绑定补救——改进方向是学习更强的、可跨形态的对应网络（如基于几何或部件图的对应），或让匹配在多尺度潜在上自适应。第二，对前置分割/跟踪的级联依赖：$C$ 与 $\mathcal{I}$ 的误差会经 $\mathcal{M}=\mathcal{I}\circ C^{-1}$ 放大，长视频跟踪漂移会让运动流失真——可引入轻量联合优化或不确定性感知的鲁棒跟踪。第三，TransPE生效范围（层 $[0,40]$、第35步前）靠经验设定、缺乏消融——改进方向是给出层/步选择的可解释准则或自适应调度。第四，未评估推理延迟与显存：拼接K/V增大了注意力规模，对长视频可能成本陡增——可做稀疏/分块注意力。第五，仅在WAN-14B-T2V上验证，未跨基础模型（CogVideo-X、MM-DiT）——泛化性待证。第六，每主体需反演缓存特征，批量场景效率受限。
未来方向
作者明确提出的方向是扩展创意动画工作流与跨形态迁移（如让桌子走路），强调为视频生成提供灵活高效的方案。基于成果可延伸的方向包括：把TransPE推广到更多基础架构（MM-DiT统一自注意力、CogVideo-X），验证位置重编码在不同注意力机制下的普适性；将语义对应网络从手工SAM-2升级为端到端可学习的跨形态对应模块，摆脱对'骨骼绑定'的依赖；结合音频驱动、文本条件实现多模态可控动画；面向长视频引入抗漂移的鲁棒点跟踪与分段式运动流；探索多主体同时迁移与场景交互；以及把训练自由的思路与轨迹控制（Diffusion-As-Shader、WAN-Move）结合，做实时交互式生成。
复现评估
复现评估整体中上。基础模型WAN-14B-T2V（480p）公开可得，所用Grounded SAM-2、DIFT特征、Co-tracker、SAM-2均为开源组件，Alg. 1给出了完整伪代码，关键超参明确（层 $[0,40]$、第35步/共50步、潜在 $1/8$ 下采样、因子4/8/8）。复合映射 $\mathcal{M}=\mathcal{I}\circ C^{-1}$ 与TransPE的张量运算（切片 $K_1^{tgt}[P^{tgt}]$、重复 $F$ 次、拼接并按 $M^{tgt}$ 重做RoPE）描述清楚。作者提供了项目主页 lhchen.top/Motion4Motion，但论文未明确承诺代码与权重开源，且实验仅需一块H-800，算力门槛对学术组可接受。主要不确定性在于：逐案例的SAM-2/DIFT调参经验未详述，步骤/层范围的消融缺失，以及'骨骼绑定'这类半手工环节的具体阈值未给出，这些会使精确复现数字存在一定难度，但核心算法本身可复现。
论文图表
论文的'题图/teaser'。展示Motion4Motion实现跨物种动作迁移：例如把人的动作迁移到熊猫、或迁移到鹅，且全部在推理时完成、不依赖统一的骨架结构。它直观呈现了框架的核心卖点——打破'只有人型角色才能迁移'的枷锁。
这张图一图概括了论文的核心贡献与最大卖点（跨物种、推理时、无骨架），是读者建立第一印象、理解研究问题为何重要的关键。