← 返回 2026-06-23

基于点跟踪的视频合成与运动控制 Go-with-the-Track: Video Compositing and Motion Control with Point Tracking

Koichi Namekata, Yash Kant, Zhizheng Liu, Ryan D Burgert, Yuancheng Xu, Kuan Heng Lin, Emmett Steven, Julien Philip, Li Ma, Andrea Vedaldi, Paul Debevec, Ning Yu 📅 2026-06-18 👍 3 2026-07-13 08:37
扩散模型 点跟踪 视频合成 视频生成 运动控制
arXiv HuggingFace PDF

通过参考图像锚定的点跟踪统一实现视频外观和运动控制

前置知识

点跟踪

点跟踪是指在视频序列中追踪特定像素点在时间维度上的运动轨迹的技术。给定视频中某帧的像素位置，点跟踪器会输出该点在所有其他帧中的对应位置。这可以看作是光流的一种稀疏表示，但不同于光流场为每个像素提供运动向量，点跟踪只关注选定的关键点。常用的点跟踪器包括 CoTracker、DELTA 等，它们通过利用时间一致性和空间相关性来处理遮挡、移出画面等挑战。在视频生成任务中，点跟踪可以作为一种精确的运动控制信号，指定生成视频中各元素应该如何移动和变化。

本文的核心创新点之一就是将点跟踪从传统的视频内部运动定义扩展为参考锚定的点跟踪。如果不理解点跟踪的基本概念，就无法理解本文如何将多个参考图像与生成视频之间的时空对应关系显式地联系起来。

视频扩散模型

视频扩散模型是扩散生成技术在视频领域的扩展。类似于图像扩散模型，视频扩散模型通过逐步添加噪声将视频转换为纯噪声分布，然后学习逆向扩散过程来从噪声中重建出真实的视频。主流的视频扩散模型如 CogVideoX、Wan 等基于 Transformer 架构（DiT），将视频在时空维度上划分为 patches，通过自注意力机制建模时空依赖关系。训练通常采用预测噪声或预测速度的框架。为了生成高质量视频，现代视频扩散模型通常在高度压缩的潜在空间（通过 VAE 编码）中工作，实现 4 倍时间下采样和 16 乘 16 空间下采样，这显著降低了计算成本但保留了足够的视觉细节。

本文的方法建立在预训练的视频扩散模型（Wan 2.1/2.2）之上，通过引入轻量级适配器来注入点跟踪条件。理解视频扩散模型的工作原理，特别是其潜在空间的 patch 表示，对于理解本文设计的点跟踪适配器如何解决像素到 patch 分辨率不匹配的问题至关重要。

变分自编码器（VAE）

变分自编码器是一种生成模型，由编码器和解码器组成。编码器将输入数据（如图像或视频帧）压缩到低维的潜在表示空间，解码器则从这个潜在表示重建出原始数据。训练时，VAE 最大化证据下界（ELBO），使潜在空间具有平滑和连续的性质。在视频扩散模型中，VAE 被用于将高分辨率的视频帧压缩到紧凑的潜在空间（例如 480 乘 832 的视频帧被压缩到 30 乘 52 的潜在 token 网格），然后扩散过程在这个潜在空间中进行。这种压缩大幅降低了计算开销，同时保持了足够的视觉质量。解码器最终将生成的潜在表示转换回像素空间的视频。

本文中参考图像和目标视频都需要通过 VAE 编码到潜在空间，才能与扩散模型交互。此外，点跟踪适配器的一个重要设计目标就是将像素空间的点跟踪嵌入映射到 VAE 压缩后的 patch 空间，理解 VAE 的工作原理有助于理解为什么需要这种适配器设计。

扩散 Transformer

扩散 Transformer 是将 Transformer 架构应用于扩散模型的框架。在 DiT 中，输入的潜在 token（可能来自 VAE 编码）通过一系列 Transformer 块进行处理，每个块包含自注意力、交叉注意力和前馈网络。自注意力机制允许模型捕获 token 之间的全局依赖关系，交叉注意力用于注入外部条件（如文本提示、参考图像）。时间步嵌入也被注入以控制扩散过程。DiT 架构因其良好的扩展性和强大的表达能力，已成为大规模视频生成模型的主流选择，如 CogVideoX 和 Wan 系列。

本文基于 Wan 2.1/2.2-T2V 模型，它是一个 DiT 架构的视频扩散模型。作者通过部分微调 DiT 块中的自注意力和前馈网络层来适应点跟踪条件，而保持交叉注意力层冻结。这种设计选择体现了对预训练知识的有效利用。

参考锚定的点跟踪

这是本文提出的核心概念，扩展了传统点跟踪的定义。传统点跟踪仅定义一个点在视频序列内部各帧中的 2D 流运动。参考锚定的点跟踪则进一步将每个点跟踪与多个参考图像中的对应坐标显式地链接起来。形式上，每个点跟踪存储了在生成视频各帧中的 2D 像素坐标以及在参考图像中的 2D 坐标。当点在参考图像或生成帧中不可见（如被遮挡或移出画面）时，其坐标被标记为未定义。这种设计建立了生成视频帧与参考图像之间的点对应关系，使得每个轨迹不仅告诉元素在生成帧中如何移动，还精确指定了该运动对应参考图像中的哪个元素。

理解这个概念是理解本文方法独特性的关键。正是通过这种参考锚定的设计，本文才能在单一框架中统一运动控制和多参考图像合成，解决了现有方法无法自然地在不同帧插入和移动元素的问题。

研究动机

现有的视频生成方法将运动控制和参考图像合成这两个电影制作中的核心需求分开处理。点跟踪条件化的图像到视频模型将内容插入限制在第一帧，这意味着所有可控制的元素必须出现在初始帧中，无法处理元素在视频中途进入或离开的场景。另一方面，参考图像到视频模型虽然可以注入多个参考图像的外观，但缺乏对参考内容如何在各帧中整合的细粒度时空控制能力。在实际电影制作工作流中，角色、道具和环境需要保持一致的视觉身份，同时在选定的时刻和位置进入、移动、交互和离开，这要求外观控制和运动控制必须以统一的方式协同工作。

本文的目标是本文的目标是提出一个统一的框架，能够同时控制多个参考图像的外观以及它们在视频中的时空位置和运动。具体而言，给定一组参考图像和用户指定的 2D 点跟踪，目标是合成一个视频，其中参考图像中的视觉元素按照点跟踪指定的时空条件出现并随时间一致地演化。这个框架应该支持稀疏和密集的点跟踪，处理元素在不同帧进入和离开的情况，并且能够精确控制参考内容被放置在生成视频的哪些区域以及如何移动。

与已有工作不同的是，本文的独特切入角度是提出将点跟踪作为时空锚点来统一运动控制和参考图像插入。传统的点跟踪仅定义为点在视频序列内部的 2D 流运动，而本文将其扩展为多参考锚定的点跟踪，通过显式链接每个点跟踪与对应参考图像上的坐标，建立生成视频帧与参考图像之间的点对应关系。这种设计使得每个轨迹不仅指导元素在生成帧中如何移动，还精确指定了该运动对应参考图像中的哪个元素。这个关键创新使得运动控制和参考图像合成分离的两个能力能够在单一框架中协同工作，满足实际电影制作中对外观和运动精确控制的需求。

核心方法

Go-with-the-Track 的整体思路是将点跟踪作为连接多个参考图像和生成视频的时空桥梁。首先，用户输入多个参考图像和点跟踪条件，这些点跟踪同时在参考图像和目标生成帧中指定 2D 坐标，建立了它们之间的对应关系。然后，系统将这些点跟踪编码为空间感知的嵌入向量，通过轻量级适配器注入到预训练的视频扩散 Transformer 中。编码过程将每个点跟踪的坐标序列通过坐标级的 MLP 编码并执行时间池化，得到既作为唯一标识符又编码空间特征的嵌入向量。适配器将像素空间的点跟踪嵌入聚合到 VAE 压缩后的 patch 化潜在空间（4 倍时间下采样，16 乘 16 空间下采样），每个 4 乘 16 乘 16 的时空块内的所有点跟踪嵌入被收集、与相对位置信息拼接、通过 MLP 处理后进行最大池化，得到单个压缩的点跟踪嵌入。这些嵌入在通道维度上与噪声视频 token 和参考图像 token 拼接，通过部分微调的 DiT 块处理，最终解码生成目标视频。训练采用混合数据集策略，结合真实视频、静态场景和合成动态场景数据集，以提升运动可控性。

核心创新点在于提出了空间感知的点跟踪嵌入和相应的轻量级适配器设计。与现有方法使用随机向量或正弦嵌入来区分点跟踪不同，本文通过坐标级的 MLP 编码每个点跟踪的坐标序列（包括帧索引和像素坐标），然后进行时间池化，得到既作为唯一标识符又内在表示其空间特征的嵌入向量。关键的是，这确保了嵌入相似性与空间邻近性直接相关，为模型提供了自然链接参考和生成帧中属于同一点跟踪的点的能力。轻量级适配器则通过精心设计的聚合策略，在避免朴素的点跟踪下采样方法固有的显著运动细节损失的同时，以最小的计算开销将像素空间的点跟踪嵌入映射到压缩的 patch 化潜在空间。这两个设计的结合使得模型能够有效地区分和关联大量（最多 15000 个）条件点跟踪，即使在生成帧和参考图像之间的时空不连续情况下也是如此。

方法步骤详情

方法的主要步骤如下：(1) 输入处理：用户提供多个参考图像和 2D 点跟踪，每个点跟踪存储在生成视频各帧和参考图像中的 2D 像素坐标，不可见的点坐标被标记为未定义。(2) 点跟踪嵌入编码：对于每个点跟踪，首先将其坐标与帧索引通过正弦位置编码编码，然后通过共享的坐标级 MLP 处理，得到每个坐标的嵌入，然后对所有可用坐标的嵌入执行最大池化得到统一的每轨迹嵌入。(3) 点跟踪适配：将像素空间视频体积（F 乘 H 乘 W）划分为不重叠的 4 乘 16 乘 16 时空块，每个块对应一个 patch 化的潜在 token。对于每个块，收集所有坐标落在该块内的点跟踪嵌入，记录每个点在块内的相对坐标，将它们与对应的轨迹嵌入拼接后通过 MLP 处理，最后执行最大池化得到单个压缩的点跟踪嵌入。(4) 条件注入：将压缩的点跟踪嵌入在通道维度上与 VAE 编码的噪声视频和参考图像 token 拼接，通过一个线性投影层恢复原始通道维度，然后输入到部分微调的 DiT 块中处理。(5) 视频生成：通过 VAE 解码器将处理后的潜在表示解码为最终的视频。

技术新颖性

技术新颖性体现在多个方面。首先，提出了参考锚定的点跟踪概念，将传统点跟踪从视频内部运动定义扩展为连接参考图像和生成视频的时空锚点，这是概念层面的创新。其次，设计了空间感知的点跟踪嵌入编码器，通过坐标级 MLP 和时间池化的组合，生成既保持空间相关性又作为唯一标识符的嵌入，解决了随机嵌入在时空不连续情况下的局限性。第三，设计了轻量级的点跟踪适配器，通过相对位置编码和最大池化的组合，在避免运动细节损失的同时高效地将像素空间的点跟踪映射到压缩的潜在空间。第四，提出了迭代点跟踪密集化算法，通过检测和填充稀疏跟踪区域确保全场景的点跟踪覆盖。最后，采用了混合训练数据策略，结合真实视频、静态场景和合成动态场景数据集，利用合成和静态场景数据集提供的精确点跟踪标注来弥补真实视频数据集点跟踪标签噪声大的问题。这些设计的组合使得模型能够在处理大量点跟踪时保持精确的运动可控性和视觉质量。

Go-with-the-Track overview. Top: Go-with-the-Track conditions on multiple reference images and point-track annotations spatially aligned with both reference and generated frames. Bottom: The resulting video after denoising.
Fig. 2: Go-with-the-Track overview. Top: Go-with-the-Track conditions on multiple reference images and point-track annotations spatially aligned with both reference and generated frames. Bottom: The resulting video after denoising.
Design details of Go-with-the-Track. (Left): Point-Track Embedder: For each point-track, we encode its coordinate sequence using a shared coordinate-wise MLP, followed by temporal max-pooling. (Middle) Point-Track Adapter: To downsample pixel-space point-track embeddings into a compressed patchified latent space, our lightweight adapter aggregates embeddings that fall within each 4x16x16 spatiotemporal block. (Right) Video Diffusion Transformer: The compressed point-track embeddings are channel-wise concatenated with the noisy latent video and VAE-encoded reference images.
Fig. 3: Design details of Go-with-the-Track. (Left): Point-Track Embedder: For each point-track, we encode its coordinate sequence using a shared coordinate-wise MLP, followed by temporal max-pooling. (Middle) Point-Track Adapter: To downsample pixel-space point-track embeddings into a compressed patchified latent space, our lightweight adapter aggregates embeddings that fall within each 4x16x16 spatiotemporal block. (Right) Video Diffusion Transformer: The compressed point-track embeddings are channel-wise concatenated with the noisy latent video and VAE-encoded reference images.
Iterative point-track resampling vs. random uniform sampling. Visual comparison of detected point-tracks obtained using our iterative resampling strategy (algorithm 1) and uniform random sampling of point queries over the video frames.
Fig. 6: Iterative point-track resampling vs. random uniform sampling. Visual comparison of detected point-tracks obtained using our iterative resampling strategy (algorithm 1) and uniform random sampling of point queries over the video frames.
Details of the Go-with-the-Track pipeline. Go-with-the-Track is built upon the pre-trained video diffusion models Wan2.1/2.2-T2V [Wan 2025].
Fig. 8: Details of the Go-with-the-Track pipeline. Go-with-the-Track is built upon the pre-trained video diffusion models Wan2.1/2.2-T2V [Wan 2025].

实验结果

实验结果表明 Go-with-the-Track 在所有评估设置下都优于基线方法。在 DAVIS 2017 数据集上，对于密集跟踪设置（3K 点跟踪，可在任意帧开始和结束），使用 Wan2.2-14B 主干的模型在 FID 指标上达到 28.00，显著优于次优的 Wan-Move（40.47）和 Go-with-the-Flow（44.53）；在运动保真度指标 EPE 上达到 7.709，远优于 Wan-Move（12.27）和 Go-with-the-Flow（14.71）。对于中等密集跟踪设置（512 点跟踪，全部从第一帧开始），FID 为 29.64，优于 Wan-Move 的 34.89；EPE 为 3.932，显著优于 Wan-Move 的 6.834。对于稀疏跟踪设置（32 点跟踪，全部从第一帧开始），FID 为 34.03，略优于 Wan-Move 的 38.49；EPE 为 5.173，优于 Wan-Move 的 8.316。在更困难的 TAPVid3D-ADT 数据集上，性能差距更大，密集跟踪设置下 FID 为 41.00，显著优于 Wan-Move 的 61.37；EPE 为 4.429，远优于 Wan-Move 的 11.18。消融研究表明，空间感知点跟踪嵌入相比随机嵌入在 FID 和 EPE 上都有明显改善，点跟踪适配器中相对位置编码的加入对运动保真度至关重要，混合训练数据策略相比仅使用真实视频在 EPE 指标上显著提升。用户研究（45 名参与者，每人评估 30 个样本，共 90 个问题）显示，在运动跟随、主体保持和整体质量三个问题上，Go-with-the-Track 的偏好率分别为 46.2%、43.5% 和 44.3%，至少是第二名方法的两倍。

Comparisons to baselines on DAVIS [Pont-Tuset et al. 2018]. We compare against SOTA baselines. Bold indicates best results. The horizontal lines distinguish the different task settings.
Table 1: Comparisons to baselines on DAVIS [Pont-Tuset et al. 2018]. We compare against SOTA baselines. Bold indicates best results. The horizontal lines distinguish the different task settings.
Ablation study of key design choices: spatially-aware point-track embeddings, point-track adapter, and hybrid training strategy. Results are reported on DAVIS2017 and TAPVid3D-ADT, with the best performance highlighted in bold.
Table 2: Ablation study of key design choices: spatially-aware point-track embeddings, point-track adapter, and hybrid training strategy. Results are reported on DAVIS2017 and TAPVid3D-ADT, with the best performance highlighted in bold.
Ablation on varying numbers of reference images. We report video quality, reconstruction quality, and motion accuracy for different reference-image settings. A keyframe means that the reference image appears exactly in the generated frames, whereas non-keyframe images do not match any target video frame.
Table 3: Ablation on varying numbers of reference images. We report video quality, reconstruction quality, and motion accuracy for different reference-image settings. A keyframe means that the reference image appears exactly in the generated frames, whereas non-keyframe images do not match any target video frame.
User Study. We show preference (%) per question for all methods across 45 participants who answered 90 questions each.
Table 4: User Study. We show preference (%) per question for all methods across 45 participants who answered 90 questions each.
Comparisons to baselines on TapVid3D-ADT [Koppula et al. 2024]. We compare against SOTA baselines. Bold indicates best results.
Table 5: Comparisons to baselines on TapVid3D-ADT [Koppula et al. 2024]. We compare against SOTA baselines. Bold indicates best results.
CFG-guidance strategy We observe that applying classifier-free guidance (CFG) solely to the text prompt yields suboptimal performance. In our experiments, we instead apply CFG jointly to both the reference images and text prompts, using a guidance scale of 3.0.
Table 6: CFG-guidance strategy We observe that applying classifier-free guidance (CFG) solely to the text prompt yields suboptimal performance. In our experiments, we instead apply CFG jointly to both the reference images and text prompts, using a guidance scale of 3.0.
Qualitative ablation analysis. Although the task is simply to generate zoomed-in videos of the TV given reference images of a zoomed-out conference room, removing our spatially-aware point-track embeddings, point-track adapter, relative position injection, or hybrid training data strategy results in geometric distortions and severe motion-following failures.
Fig. 4: Qualitative ablation analysis. Although the task is simply to generate zoomed-in videos of the TV given reference images of a zoomed-out conference room, removing our spatially-aware point-track embeddings, point-track adapter, relative position injection, or hybrid training data strategy results in geometric distortions and severe motion-following failures.
Qualitative comparisons to baselines on video reconstruction and video restylization. (Left) Given the first frame and point-tracks extracted from the source video, each method attempts to reconstruct the source video. (Right) Given the stylized first frame and point-tracks, each method generates motion-preserved restylized videos.
Fig. 5: Qualitative comparisons to baselines on video reconstruction and video restylization. (Left) Given the first frame and point-tracks extracted from the source video, each method attempts to reconstruct the source video. (Right) Given the stylized first frame and point-tracks, each method generates motion-preserved restylized videos.
PCA visualization of point-track embeddings. We visualize both random embeddings and our spatially-aware point-track embeddings using PCA and project the resulting components onto the pixel space.
Fig. 11: PCA visualization of point-track embeddings. We visualize both random embeddings and our spatially-aware point-track embeddings using PCA and project the resulting components onto the pixel space.
查看结构化数据
任务指标本文基线提升
密集跟踪视频生成 FID（越低越好） 28.00 (Wan2.2-14B) 40.47 (Wan-Move) 提升 30.8%
密集跟踪视频生成 EPE（端点误差，越低越好） 7.709 (Wan2.2-14B) 12.27 (Wan-Move) 降低 37.2%
中等密集跟踪视频生成 FID 29.64 (Wan2.2-14B) 34.89 (Wan-Move) 提升 15.0%
中等密集跟踪视频生成 EPE 3.932 (Wan2.2-14B) 6.834 (Wan-Move) 降低 42.5%
TAPVid3D-ADT 密集跟踪 FID 41.00 (Wan2.2-14B) 61.37 (Wan-Move) 提升 33.2%
TAPVid3D-ADT 密集跟踪 EPE 4.429 (Wan2.2-14B) 11.18 (Wan-Move) 降低 60.4%

局限与改进

作者指出了几个局限性。首先，性能依赖于点跟踪的质量，快速运动或不正确的可见性估计可能引入时间伪影。其次，点跟踪的空间分辨率限制了对精细接触或细微运动的细粒度精度控制。第三，输出质量依赖于底层的视频扩散模型。除此之外，我还观察到一些潜在局限性。方法需要用户提供或自动提取点跟踪，这对于复杂场景可能是一个繁琐的过程。虽然方法支持稀疏和密集跟踪，但不同跟踪密度下的性能可能有所不同，极稀疏跟踪（如少于 10 个点）可能无法提供足够的约束。方法对参考图像的空间对齐有依赖，尽管作者通过参考图像增强（随机变换）来避免模型学习简单的复制粘贴捷径，但在极端视角变化或尺度差异下，参考内容的外观传递可能受到影响。训练混合数据集的策略虽然有效，但需要仔细平衡合成数据和真实数据的比例，否则可能导致对合成分布的过拟合。此外，方法在处理长时间视频（超过 49 帧）时的性能尚未充分评估，这可能是未来工作的方向。

独立分析的弱点

一个主要弱点是点跟踪提取和密集化过程的计算开销。虽然迭代密集化算法相比逐帧重新采样更高效，但在大规模数据集上仍可能成为瓶颈。改进方向可以是开发更快速的近似算法或利用现有的光流场作为初始化。另一个弱点是方法对点跟踪错误的鲁棒性有限。虽然通过数据增强（可见性丢弃、空间丢弃、前景叠加）提高了鲁棒性，但在实际应用中，点跟踪器可能在复杂场景（如严重遮挡、快速运动、重复纹理）中失败，导致伪影。改进方向可以是集成更鲁棒的点跟踪器或开发端到端的可微分跟踪方法。第三个弱点是参考图像选择和对应的自动化问题。当前方法假设用户能够提供合适的参考图像和点跟踪，但对于复杂的视频编辑任务，自动选择最优参考帧和建立点对应关系仍然是一个开放问题。改进方向可以开发基于注意力或相似度的自动参考帧选择算法。第四，方法在处理极端形变或拓扑变化（如物体分裂、合并）时可能受限，因为点跟踪假设像素到像素的对应关系。改进方向可以探索结合语义分割或实例跟踪来处理更复杂的结构变化。

未来方向

作者提出了几个未来研究方向。一个方向是进一步优化点跟踪嵌入和适配器的架构设计，探索其他池化策略（如注意力池化）或编码方法（如图神经网络）。另一个方向是扩展到更长时间的视频（超过 49 帧），这可能需要改进时间建模或开发多段生成和拼接的策略。第三个方向是探索与其他控制信号（如文本、音频、3D 几何）的联合条件化，以实现更丰富和精确的控制。第四个方向是开发自动化的点跟踪提取和优化工具，降低用户负担。第五个方向是应用于更广泛的视频编辑任务，如视频修复、视频超分辨率、风格迁移等。基于成果可延伸的方向包括：将参考锚定的点跟踪概念应用于图像生成和编辑任务，以实现跨图像的一致外观传递；探索在 3D 场景生成中的应用，结合神经渲染技术；开发实时交互式视频编辑工具，允许用户通过直观的界面指定点跟踪和参考图像；研究方法在医学影像、遥感等特定领域的应用，这些领域对精确的时空控制有特殊需求。

复现评估

论文的复现性评估如下。项目页面提供了补充材料和更多视觉结果。作者使用了公开可用的数据集，包括 DAVIS 2017、TAPVid3D-ADT、DL3DV、TartanAir、PointOdyssey、OpenVidHD、MiraData 和 OpenHumanVid。模型基于开源的 Wan 2.1/2.2-T2V 构建，实现在 DiffSynth-Studio 中。训练细节明确：使用 AdamW 优化器，学习率 1 乘 10 的负 5 次方，权重衰减 1 乘 10 的负 3 次方，1000 步线性预热，训练多达 24K 迭代。14B 480p 模型在单个节点上使用 8 个 A100 GPU 训练 7 天，720p 模型在单个节点上使用 8 个 H200 GPU 进一步训练 7 天。这些资源需求对于学术研究来说是可访问的。论文提供了详细的消融研究，验证了每个关键组件的贡献。数据预处理流程（数据集过滤、点跟踪、数据增强）和评估指标（FID、FVD、LPIPS、PSNR、SSIM、EPE）都有详细描述。用户研究的设计和实施也有详细说明。总体而言，论文提供了足够的信息和资源来复现主要结果，但完全复现可能需要显著的计算资源。未来工作可以发布代码和模型权重以进一步促进复现。

论文图表

Applications of Go-with-the-Track. We present a simple and flexible video generation framework conditioned on multiple reference images and point-tracks that anchor both the generated frames and the references.
Fig. 1: Applications of Go-with-the-Track. We present a simple and flexible video generation framework conditioned on multiple reference images and point-tracks that anchor both the generated frames and the references.

这张图展示了 Go-with-the-Track 的六种应用场景：多参考驱动的视频重新风格化、网格驱动的合成、关键点驱动的合成、静态场景中的相机运动控制、动态场景中的相机重定向。每个场景都展示了输入（源视频、参考图像、点跟踪）和输出生成的视频。图中的点跟踪用彩色线条表示，展示了元素在时间和空间中的运动轨迹。不同颜色代表不同的跟踪轨迹，清晰地显示了参考图像中的内容如何被映射到生成视频中的特定位置和运动。

这张图对理解论文的重要性在于它直观地展示了 Go-with-the-Track 框架的广泛应用能力和灵活性。通过展示从简单的视频重新风格化到复杂的相机控制等多种应用，读者可以快速理解该方法如何统一处理不同的视频生成和编辑任务。图中的点跟踪可视化帮助读者理解参考锚定的点跟踪概念如何在实际应用中工作，这是论文的核心创新点。这张图放在 motivation 部分最合适，因为它展示了方法解决的实际问题和达到的能力。