TrajLoom：从视频中生成密集的未来轨迹

从视频历史轨迹预测未来密集运动轨迹的生成框架

前置知识

密集点轨迹跟踪

现代视频分析中的核心运动表示技术，能够从视频中提取每个像素点在时间序列上的位置变化。与稀疏特征点跟踪不同，密集跟踪覆盖图像中的所有或大部分像素，提供更完整的运动场信息。像 AllTracker 这样的现代方法可以处理大幅度运动和遮挡情况，为每个点提供位置和可见性信息

本文的核心就是预测这些密集轨迹的未来走向，不理解密集轨迹的含义和提取方法，就无法理解输入数据和模型的目标

变分自编码器（VAE）

生成式深度学习模型，包含编码器和解码器两个部分。编码器将输入数据映射到潜在空间的概率分布，解码器从潜在采样重建原始数据。训练时优化重建损失和KL散度，使潜在空间具有良好的结构。VAE通过潜在压缩降低了数据维度，同时保留了生成能力

TrajLoom-VAE是本文的核心组件之一，用于将高维密集轨迹场压缩到紧凑的潜在空间，为生成建模提供基础

流匹配（Flow Matching）

一种新型的生成模型训练方法，通过学习从简单分布到目标分布的速度场来生成样本。与扩散模型逐步去噪不同，流匹配直接学习从噪声到数据的线性插值路径的梯度场。推理时通过ODE（常微分方程）积分沿速度场移动来生成样本。Rectified Flow是流匹配的改进版本，使路径更接近直线，提高采样效率

TrajLoom-Flow使用流匹配在潜在空间生成未来轨迹，理解流匹配原理对于理解生成过程至关重要

研究动机

现有的密集轨迹预测方法存在显著局限性。传统回归方法在轨迹空间直接预测未来运动，通过平均化多种可能的未来来生成单一预测，这种确定性方法在长期预测中会累积漂移，产生保守和不准确的结果。现有的生成方法如 WHN（What Happens Next?）主要依赖外观线索（如图像或文本提示）来采样密集未来轨迹，但忽略了显式的运动历史约束。然而，已观察到的轨迹已经编码了当前的动力学信息，并强烈约束了合理的未来。在复杂真实世界视频中保持预测窗口内的时间稳定性和局部相干性是一个关键挑战

本文的目标是本文的目标是开发一个基于观察到的轨迹和视频历史生成密集未来轨迹的框架，能够保持长期预测的时间稳定性和局部相干性，并将预测范围从现有的24帧扩展到81帧，同时改善跨数据集的运动真实性和稳定性。生成的轨迹应该能够直接支持下游的视频生成和编辑任务

与已有工作不同的是，本文的独特切入角度在于将轨迹预测从回归任务重新定义为生成任务，并且以观察到的运动历史为条件，而不仅仅是外观线索。大多数方法使用绝对图像坐标，这会将运动与全局位置耦合并引入位置相关的统计特性。本文提出了 Grid-Anchor Offset Encoding 来解决这个问题，将每个轨迹表示为相对于固定像素中心锚点的偏移，强调运动而非位置。此外，本文结合了VAE的潜在空间表示和流匹配的生成能力，在紧凑的潜在空间中进行生成，同时保持与观察历史的连续性

核心方法

TrajLoom 的整体思路是一个三阶段管道：首先通过 Grid-Anchor Offset Encoding 将稀疏轨迹密集化为网格锚点偏移，然后使用 TrajLoom-VAE 将密集场压缩为紧凑的时空潜在表示，最后使用 TrajLoom-Flow 在潜在空间中通过历史条件化的流匹配生成未来轨迹。这种设计的直觉是：偏移编码消除了位置偏差，VAE降低了生成维度并保持了运动结构，流匹配提供了生成多模态未来的能力。整个管道从观察到的历史轨迹和视频出发，最终输出未来81帧的密集轨迹预测

核心创新点在于三个方面：Grid-Anchor Offset Encoding 将轨迹从绝对坐标转换为相对于固定网格锚点的偏移，大幅降低了位置相关的统计偏差，使模型更关注局部运动而非全局位置；TrajLoom-VAE 使用掩码重建和时空一致性正则化器来学习紧凑的结构化潜在表示，其中时空一致性正则化器匹配重建与目标之间的时间速度和多尺度空间邻居关系；TrajLoom-Flow 在潜在空间中使用修正流模型生成未来轨迹，通过边界提示保持与观察历史的连续性，并使用在线K步微调来减少训练-推理不匹配

方法步骤详情

方法的第一步是 Grid-Anchor Offset Encoding：从步长为 s 的网格中提取轨迹，栅格化产生密集的绝对坐标场 D 和可见性掩码 M。对于每个像素位置 p，定义其归一化的像素中心锚点 G(p)。偏移编码的轨迹场为 X(t, p) = D(t, p) - G(p)。第二步是 TrajLoom-VAE 训练：编码器定义近似后验，解码器重建。损失函数包括重建损失、KL散度和时空一致性正则化器，其中时空一致性正则化器匹配帧间速度和多尺度邻居的运动关系。第三步是 TrajLoom-Flow 生成：给定历史段和未来段，通过冻结的VAE编码器获得潜在表示。流模型学习条件速度场，边界提示通过锚点初始化和token对齐融合注入历史潜在。训练使用可见性加权的流匹配损失，并在推理时通过ODE积分获得未来潜在，最后用VAE解码器解码为未来轨迹

技术新颖性

技术新颖性体现在几个方面：偏移编码的表示方式与传统绝对坐标有本质区别，将问题从预测全局位置转变为预测局部偏移，降低了数据分布的复杂度；VAE中的时空一致性正则化器是针对轨迹数据特性的设计，直接优化时间平滑性和空间相干性，而不是仅仅依赖重建损失；边界提示机制通过两种轻量级方式（锚点初始化和token对齐融合）将历史信息直接注入生成过程，确保未来预测与观察历史的连续性；在线K步微调通过在模型自己访问的ODE状态上微调来减少训练-推理不匹配，这是流模型中的常见问题。这些技术组合在一起，实现了长时间、稳定的轨迹生成

**Figure 2**: Overview of our pipeline. Given observed trajectories T p, we rasterize and encode them with Grid-Anchor Offset Encoding into a dense offset field, then compress with TrajLoom-VAE into history latents zp. Conditioned on zp and video features, TrajLoom-Flow generates future latents via rectified-flow integration with boundary hints, which are decoded by TrajLoom-VAE into future trajectories ˆT f.

**Figure 3**: Grid-Anchor Offset Encoding converts absolute trajectories into offset space, reducing the bias of absolute coordinates.

实验结果

实验结果表明 TrajLoom 在多个数据集上显著优于现有方法。在轨迹生成方面，与 WHN (L) 相比，TrajLoom 将 FVMD 降低了 2.5-3.6 倍：在 Kinetics 上从 8999 降至 3626，在 RoboTAP 上从 7587 降至 2467，在 Kubric 上从 4872 降至 1338，在 MagicData (E) 上从 10383 降至 2968。FlowTV 和 DivCurlE 也显著降低，表明空间不连续性和运动不稳定性减少：在 Kinetics 上 FlowTV 从 24.71 降至 7.53，DivCurlE 从 34.69 降至 3.97。这些定量指标表明生成的轨迹更平滑、更相干。在轨迹VAE重建方面，TrajLoom-VAE 在所有数据集上大幅优于 WHN (L)-VAE，24帧重建的 VEPE 在 Kinetics 上从 63.09 降至 1.99，81帧重建从 63.31 降至 2.04，表明潜在表示能够很好地保留长期时间窗口而不累积漂移。消融研究表明 Grid-Anchor Offset Encoding 对长时域运动至关重要，去除偏移编码会显著增加 FVMD-Long 并恶化 FlowTV 和 DivCurlE。定性结果显示 TrajLoom 生成的轨迹更平滑、更相干，而 WHN (L) 经常出现漂移和空间撕裂。下游应用实验表明生成的轨迹可以有效地引导运动控制的视频生成和编辑

**Table 1**: Comparison of trajectory generation with WHN (L). FVMD and flow diagnostics (FlowTV ×10², DivCurlE ×10³; ↓) on Kinetics, RoboTAP, Kubric (MOVi-A; same config as WHN), and MagicData (E).

**Table 2**: Fidelity of trajectory VAE reconstruction. Visibility masked endpoint error (VEPE, (↓)) for reconstructing 24 and 81 frame trajectory segments.

**Table 3**: Ablation study with Grid-Anchor Offset Encoding on future 81 frames.

**Figure 1**: For each sequence, the model observes an 81-frame history (left) and predicts future trajectories for the next 81 frames (right). Predicted trajectories are shown at three times: early, middle, and final. Colors show the spatial order of query points.

**Figure 5**: Comparison with WHN (L). Each row shows a dataset: Kinetics, RoboTAP, Kubric, and MagicData (E). Our method yields smoother and more coherent motion.

**Figure 6**: Trajectory-guided video generation with Wan-Move. We use the observed history to generate a trajectory. Wan-Move then uses this trajectory, along with the condition image, to generate 81 frames, as shown in the third and fourth rows.

查看结构化数据

任务	指标	本文	基线	提升
密集轨迹生成	FVMD (↓)	3626 (Kinetics)	8999 (WHN (L))	59.7%
密集轨迹生成	FVMD (↓)	2467 (RoboTAP)	7587 (WHN (L))	67.5%
密集轨迹生成	FVMD (↓)	1338 (Kubric)	4872 (WHN (L))	72.5%
密集轨迹生成	FlowTV (×10², ↓)	7.53 (Kinetics)	24.71 (WHN (L))	69.5%
轨迹VAE重建	VEPE (24帧, ↓)	1.99 (Kinetics)	63.09 (WHN (L)-VAE)	96.8%
轨迹VAE重建	VEPE (81帧, ↓)	2.04 (Kinetics)	63.31 (WHN (L)-VAE)	96.8%

局限与改进

作者在结论中提到了一些局限性：目前的轨迹可控性有限，未来需要改进用户驱动的轨迹编辑功能。基于对论文的分析，可以观察到以下局限性：方法依赖于高质量的密集轨迹提取，如果输入视频中的跟踪质量较差（如严重遮挡、快速运动或纹理缺失区域），可能会影响生成质量。模型目前的输入是固定长度的时间窗口（81帧历史+81帧未来），对于更长或更短的序列需要重新调整或微调。方法主要关注轨迹生成本身，对于轨迹语义理解（如理解不同物体的运动模式）没有深入探讨。计算开销较大，需要VAE编码解码和流匹配ODE积分，实时应用可能面临挑战。模型主要在标准数据集上评估，对于极端场景（如极端天气、复杂交互）的性能尚未充分验证

独立分析的弱点

独立分析来看，该方法存在一些可以改进的弱点。在严重遮挡场景下，模型可能难以预测准确的未来轨迹，因为历史信息不完整。改进方向可以包括引入更复杂的遮挡推理机制，或者利用上下文信息推断被遮挡区域的运动。对于交互式运动预测（如多物体交互、人机交互），目前的单轨迹场表示可能不够，可以考虑引入层次化或结构化的轨迹表示。模型目前的生成是条件化的，但对于多模态未来的探索能力有限，可以改进流匹配的采样策略来更好地探索多种可能未来。计算效率方面，可以研究更轻量级的VAE架构或更高效的流匹配方法，以支持实时应用。对于复杂场景（如群体运动、复杂动态背景），可以考虑引入场景理解的先验知识来辅助轨迹预测

未来方向

作者提出的未来工作方向包括：改进轨迹可控性（如用户驱动的轨迹编辑），进一步将模型与运动引导的生成和编辑方法集成以提高多功能性和准确性。基于论文的成果，可以延伸的研究方向包括：将轨迹生成与其他运动表示（如光流、姿态）结合，构建更统一的运动理解框架。探索跨视频的迁移学习，使模型能够适应新的视频域而无需大量重新训练。研究轨迹生成在长期视频理解、动作预测和规划中的应用。开发交互式编辑工具，让用户可以通过编辑历史轨迹来影响未来轨迹的生成。探索多尺度、多分辨率的轨迹生成，以适应不同应用场景的需求。研究轨迹生成的可解释性，理解模型如何利用历史信息和视频上下文来预测未来运动

复现评估

论文提供了良好的复现支持。作者发布了代码、模型检查点和数据集在 https://trajloom.github.io/。训练数据使用 MagicData，这是一个包含约23k视频-字幕对的运动聚焦文本-视频数据集，经过标准过滤（纵横比、分辨率、片段长度）后剩余16k视频用于训练。所有视频处理在480p分辨率下进行，使用AllTracker提取密集长程轨迹，步长为32网格。评估使用 TrajLoomBench，这是本文引入的统一基准，包括真实和合成视频。模型架构使用DiT骨干（Latte），TrajLoom-VAE使用16块、8个注意力头、512个隐藏维度和16个潜在通道，TrajLoom-Flow使用16块、12个头和768个隐藏维度。训练使用AdamW优化器，学习率为 6×10⁻⁵，在线微调使用 1×10⁻⁵。实验需要在GPU上运行，具体的硬件要求没有明确说明，但考虑到模型规模和数据量，需要中等以上的GPU资源。实现难度中等，作者提供了详细的实现细节和超参数设置

TrajLoom：从视频中生成密集的未来轨迹 TrajLoom: Dense Future Trajectory Generation from Video