跨形态运动迁移：基于抽象运动表示自举的两阶段视频运动迁移框架 Motion Beyond Morphology: Bootstrapping Cross-Category Motion Transfer from Abstract Motion Representations

完整步骤如下。Step 1 构建抽象运动视图：对参考视频按抽取可靠性选用五种互补视图（骨架、深度圆轨迹、稠密点轨迹、6-DoF 轴、前景边缘），扰动后统一为视频形态，得 $D_{abs}=(M_i^k,c_i,V_i)$，覆盖 100+ 类别、每段采样一种。Step 2 Stage I 落地：$c_i$ 取 $V_i$ 首帧及 VLM 字幕，运动视图与首帧经 3D VAE 编码、字幕经文本编码器，注入带噪隐变量 $z_\tau$，按流匹配最小化 $\mathcal{L}_{S1}=\mathbb{E}[\|u_\tau-u_{\theta_1}(z_\tau,\tau,z_m,c_i)\|_2^2]$ 重建 $V_i$（$z_m=E(M_i^k)$）。Step 3 跨类别自举：抽 $M_r^k=\Phi_k(V_r)$，配不同类别目标条件 $c_t$，生成 $\tilde{V}_t=G_{\theta_1}(M_r^k,c_t)$，得三元组 $(V_r,c_t,\tilde{V}_t)$。Step 4 按运动/目标保真、参考泄漏、视频质量四项质控过滤得 Dboot。Step 5 Stage II 内化：$\theta_2\leftarrow\theta_1$，把抽象条件换成原始参考视频 $z_r=E(V_r)$，对 $D_{boot}$ 优化 $\mathcal{L}_{S2}=\mathbb{E}[\|\tilde{u}_\tau-u_{\theta_2}(\tilde{z}_\tau,\tau,z_r,c_t)\|_2^2]$。Step 6 推理 $\hat{V}_t=G_{\theta_2}(V_r,c_t)$，从高斯噪声迭代去噪，全程无需运动抽取或测试时优化。

新颖性体现在五点。其一，把异构运动抽象统一为“视频化条件”，借助 MMDiT 原生接口让单一生成器学习 5 种视图，无需表征特定控制分支，区别于 VideoComposer 等为每种条件单独建模的混合方法。其二，提出“抽象作监督而非推理”的范式，Stage I 建监督、Stage II 内化掉抽象，使推理端干净（不依赖任何运动抽取器），与 MotionClone/DiTFlow/DisMo 形成根本路线差异。其三，跨类别配对构造本身是创新：通过“抽运动视图→换类别目标条件→生成→四项质控”得到 10K 对运动等价样本，这是首个开放类别、实例级运动等价的训练数据。其四，自适应耦合的思想被显式化为训练信号——同类别时姿态/拓扑/轨迹都有用，类别间距增大时可迁移信息转向轨迹/节律/局部形变，模型从数据中学会这种切换。其五，配套 OpenVMT-Bench 用 Same/Near/Far 渐进分裂系统量化“类别鸿沟”这一此前难以度量的维度，填补了 MotionBench/MT-Bench 缺乏结构鸿沟控制与目标图像策划的空白。

弱点一：跨类别配对的覆盖率受抽取器限制。Stage I 的五种视图分别针对铰接/全局平移/局部形变/刚体/结构，但当参考运动是流体、烟雾、爆炸这类既无关键点又难以稳定追踪的非刚性现象时，可能没有任何视图可靠适用，导致该类运动在 Dboot 中欠采样。改进方向是引入光流场或频域/谱运动视图，或用自监督学习从视频直接学一种不依赖手工抽取器的抽象。弱点二：推理端缺乏显式可控性。模型自适应决定耦合/解耦，但用户无法干预——例如“只迁移节律不迁移姿态”。改进方向是在 Stage II 引入条件化的耦合权重或指令化的耦合控制（如文本提示“保留节奏、忽略结构”）。弱点三：自动指标与人类偏好仍有差距，HMF 侧重轨迹与局部动态一致性，对“运动语义/意图”的迁移（如“挥手告别”的语义而非手部轨迹）不敏感。改进方向是引入语义运动度量。弱点四：与商业系统仅定性比较，缺乏公平量化基准；建议补充在统一分辨率/帧率/时长下的量化指标。弱点五：训练成本较高（两阶段、约 1.6M 视频、Stage I 15K + Stage II 4K 步、batch 128），对学术复现不友好，可探索蒸馏或单阶段简化。

作者提出的方向：在论文被接收后正式发布 OpenVMT-Dataset 与 OpenVMT-Bench，推动开放类别运动迁移的社区研究；扩充 Same/Near/Far 三级鸿沟划分，提供更细粒度的类别拓扑度量。基于本文成果可延伸的方向：(1) 把“抽象作监督、内化掉抽象”的两阶段范式推广到其他需要跨域等价监督的任务（如跨域风格迁移、跨物种行为迁移、跨模态动作到音乐生成）；(2) 引入显式的耦合控制接口，让用户通过文本/滑块指定保留哪些运动因子（节律/轨迹/形变），实现可控自适应耦合；(3) 探索流体、烟雾等极端非刚性场景，开发不依赖关键点/轨迹的新抽象视图（频谱运动、物理参数）；(4) 与物理引擎或可微仿真结合，为运动等价提供更硬的物理监督；(5) 用本文 Dboot 数据微调通用视频扩散模型，提升其跨类别运动理解能力，作为基础模型增强。

复现中等偏难。有利因素：骨干（MMDiT 图像到视频扩散+因果 3D VAE）、超参（Adam、全局 batch 128、Stage I 15K 步、Stage II 4K 步、121 帧、480×854 像素）、五个视图抽取器（ViTPose++、TAPNext++、SpaTrackerV2、Canny、前景掩码）、损失 $\mathcal{L}_{S1}$/$\mathcal{L}_{S2}$、四项配对质控标准均已写明，且有项目页 https://miniz233.github.io/MotionBeyondMorphology/。不利因素：关键训练数据（约 1.6M 互联网视频、10K 对 OpenVMT-Dataset）目前未公开，后者明确要等接收后才发布；OpenVMT-Bench 的 Same/Near/Far 划分与 123+166 测试案例尚未释出；第三方抽取器（如 TAPNext++、SpaTrackerV2）部分是 2026 年新作需自行复现或获取权重；跨类别配对过滤启发式细节仅指向补充材料。整体看方法路线可复现，但完整复现 SOTA 数字需相当算力与数据工程投入。