面向高效运动学生成的长时运动嵌入学习 Learning Long-term Motion Embeddings for Efficient Kinematics Generation

训练分两阶段。第一阶段（VAE）：(a) 输入：TAPNext 在每个视频片段提取 1024 条随机采样轨迹，每条 64 帧坐标，归一化到 $[-1, 1]$；起始帧用冻结的 DINOv2 ViT-B/14 提取 $224\times 224$ 的 patch token 作为 $\mathbf{f}_0$。(b) 编码器 $E_\theta$：每条轨迹的 $(x_t, y_t)$ 用 Fourier feature + MLP 映射为 token，再用 3D RoPE 编码起点 $(x_0, y_0)$、时间 $t$ 和轨迹身份；与潜网格的可学习 embedding 一起做 12 层全局自注意力，并在每层插入与 $\mathbf{f}_0$ 的交叉注意力；最终输出潜网格 $\mathbf{z} \in \mathbb{R}^{H\times W\times D}$ 的均值与对数方差。(c) 解码器 $D_\theta$：查询点 $\mathbf{x}_{j,0}$ 也 Fourier 嵌入后通过 RoPE 编码起点的 $(x_q, y_q)$ 与查询时间 $t_q$，再用交叉注意力从 $\mathbf{z}$ 和 $\mathbf{f}_0$ 读取信息，经小 MLP 投影回 $(x, y)$ 坐标，从而在任意时空位置重建轨迹。(d) 损失：$\mathcal{L} = \underbrace{\frac{1}{|\mathcal{I}|}\sum_{i\in\mathcal{I}}\|D_\theta(\mathbf{x}_{i,0}; \mathbf{z}, \mathbf{f}_0) - \mathbf{x}_i\|_1}_{\text{autoencoding}} + \underbrace{\frac{1}{|\mathcal{J}_{mae}|}\sum_{j\in\mathcal{J}_{mae}}\|D_\theta - \mathbf{x}_j\|_1}_{\text{masked MAE}} + \beta\underbrace{D_{KL}[q_\theta(\mathbf{z}|\cdot)\|p(\mathbf{z})]}_{\text{KL}}$，其中 $\beta=1.0\times 10^{-7}$、重建损失为 L1。第二阶段（Motion Planner）：(a) 编码后的真实运动网格 $\mathbf{z}_1 \sim p_1$ 与噪声 $\mathbf{z}_0 \sim \mathcal{N}(0, I)$ 沿 $z_t = (1-t)z_0 + tz_1$ 线性插值。(b) 24 层 Transformer 预测向量场 $v_\phi(\mathbf{z}_t, c, t)$，条件 $c$ 通过交叉注意力注入——pokes 用 Fourier + RoPE 编码，文本用 BERT 嵌入。(c) 损失 $\mathcal{L}_{FM}=\mathbb{E}_{t, z_0, z_1}\|v_\phi(\mathbf{z}_t, c, t) - (z_1 - z_0)\|_2^2$。(d) 推理时只需 10 步 ODE 求解即可从 $c$ 采样得到潜网格，再经 VAE 解码得到任意查询点的轨迹。

技术新颖性体现在三个层面。第一，表征层面：提出 $H\times W\times D$ 的规则化运动潜网格——把稀疏、长度不均、空间不规则的追踪轨迹映射成结构化、可全局自注意力处理的二维栅格，从而既保留「逐位置」的精细运动又聚合场景级上下文，这一点是 ATM/Traj-MoE 这类逐轨迹预测模型做不到的。第二，压缩与语义化的权衡：通过实验明确证明强时间压缩（如 64×）不仅不损质量，反而提升运动质量与训练效率（图 4 显示 $t_c=64$ 的生成质量与 kNN 检索精度均单调上升），并把这一现象归因于「更少 token + 更语义化的潜空间」，这是一个少有人系统研究的发现。第三，生成范式层面：让运动本身成为生成域而非视频的中间变量，因此可以脱离任何图像渲染自由探索多模态未来（一次生成可采样上千条不同轨迹），同时与任意下游视频模型解耦——ZipMo 输出的运动可独立用于机器人动作预测或 Pexels 视频评估，体现了「运动学即通用接口」的设计哲学。

独立分析可发现三个可改进的弱点。(1) KL 正则化权重过小：$\beta=1.0\times 10^{-7}$ 几乎不施加正则化，可能导致潜空间结构不够「先验可采样」，从而流匹配时需要更多采样步数。建议在保持重建质量前提下增大 $\beta$ 或采用更结构化的先验（如离散潜码），以进一步压缩表征和加速推理。(2) 缺乏显式物理约束：模型纯粹从数据中学习运动合理性，但在 PhysicsIQ 上仍有提升空间。建议在损失中加入物理守恒律（如速度平滑、加速度有界）或用物理仿真器做后处理。(3) 长程一致性未显式建模：尽管时间压缩 64× 让模型天然聚焦长程结构，但解码器是逐查询点独立输出，可能在远距离时序上出现抖动。可引入轨迹级别的平滑正则（如对相邻帧差分加 L1 惩罚）或在潜空间加时间自回归约束。(4) 条件融合方式简单：文本和 pokes 都通过交叉注意力注入，没有显式校验它们之间的一致性；当用户给出「物理上不可能」的组合（pokes 自相矛盾）时，模型仍可能产出不合理轨迹，建议加入一致性校验头。

作者提出的方向是评估视频模型条件子集可能的数据污染以及扩展到更长视频。基于成果可延伸的方向有四点。(1) 把运动潜空间用作通用世界模型接口：与 DINO-WM 类似，可把本文潜网格接到 VLA 模型上做零样本机器人规划，已在 LIBERO 验证，但推广到真实机器人是自然下一步。(2) 多视角与 3D 一致性：当前潜网格是 2D 像素空间，未来可加入相机位姿约束扩展到 3D 场景运动场。(3) 与视频模型双向耦合：ZipMo 可输出运动先验指导视频模型，反过来视频模型可提供外观监督细化运动，形成「运动—外观」协同训练闭环。(4) 交互式编辑：利用潜网格的稠密可查询性，开发「画一条轨迹作为提示」的人机协作编辑工具，把 motion inpainting（已在图 L 中演示）做成产品级功能。(5) 离散化潜空间以适配自回归生成或语言模型融合，探索「运动 token」作为新的多模态接口。

复现评估总体较好但有一定门槛。开源方面，论文明确提供了项目页（compvis.github.io/long-term-motion）和代码，附录表 G 列出了完整超参数（VAE 340M、Planner 530M、学习率 $1.0\times 10^{-4}$、WSD 调度、bfloat16 精度等）。数据集：开放域使用 KOALA-36M 的 10M 视频片段加 TAPNext 追踪轨迹，封闭域使用 LIBERO+CoTracker3，评估用 68 段精选 Pexels 视频——这些数据均为公开。算力需求较高：完整训练需 16–64 块 NVIDIA H200 各跑 3 天（VAE 与 Planner 各 3 天），消融实验也需 4×H200×24 小时，这超出了多数实验室的可承受范围。复现难度中等偏上：作者提供了端到端的训练与评估脚本，但 (a) H200 大集群门槛、(b) TAPNext 追踪 10M 视频片段的预处理耗时、(c) Wan 14B 模型本地推理也是难点。建议先用 4×H200 跑小规模消融验证方法有效性，再决定是否投入完整训练。