TokenDial：通过时空令牌偏移实现文本生成视频中的连续属性控制

在T2V模型token空间添加偏移向量实现连续属性控制

前置知识

Diffusion Transformer (DiT)

DiT是一种结合了扩散模型和Transformer架构的生成模型。它通过将图像或视频分解成多个patch，然后将这些patch作为序列输入到Transformer中进行处理。在扩散过程中，DiT学习如何从高斯噪声逐步恢复出清晰的视觉内容。与传统的UNet架构不同，DiT完全基于自注意力机制，能够更好地捕捉长程依赖关系。DiT在文本到图像和文本到视频生成任务中取得了state-of-the-art的性能。

TokenDial的核心是在DiT的中间patch-token空间中操作。理解DiT的工作原理对于理解为什么token偏移能够产生语义效果、token的时空对应关系如何保持，以及如何在不修改主干模型权重的情况下实现控制至关重要。

Spatiotemporal Patch Tokens

在视频DiT中，输入视频首先通过VAE编码器压缩到潜在空间，然后通过patchification操作将潜在视频分割成多个时空patch。每个patch对应视频中的特定空间区域和特定时间帧，形成一个序列的token表示。例如，一个32帧、320×176分辨率的视频可能被分割成L个patch，每个patch是一个d维向量。patchification保留了时空对应关系，即每个token索引i明确映射到视频中的特定区域和时间点。这种结构提供了显式的时空控制句柄。

TokenDial的直接操作对象就是这些spatiotemporal patch tokens。理解patch-token的结构和时空对应关系，是理解TokenDial如何实现精确的局部编辑（只在特定区域和时间应用偏移）、如何进行属性组合、以及如何在不同分辨率和长度之间泛化的基础。

Flow Matching

Flow Matching是一种新兴的生成模型训练范式，它将生成过程建模为学习一个向量场，该向量场将噪声分布平滑地变换为目标分布。与扩散模型不同，Flow Matching直接定义了一个连续时间变换，并通过匹配已知概率路径来学习向量场。在推理时，通过ODE积分（如欧拉方法）从噪声逐步采样出清晰的样本。Flow Matching在训练稳定性、采样效率和理论分析方面具有优势，被越来越多地应用于文本到视频生成任务中。

TokenDial的推理阶段通过组合流场来控制编辑强度。理解Flow Matching的向量场概念，有助于理解TokenDial的强度控制公式如何将文本一致的基础流和编辑诱导流进行组合，以及为什么这种方法能够在不破坏生成轨迹的前提下实现连续的滑块效果。

Optical Flow (Lucas-Kanade)

光流是描述视频中相邻帧之间像素运动的向量场。Lucas-Kanade方法是一种经典的光流估计算法，它基于亮度恒定假设和小运动假设，在局部窗口内通过最小化亮度差异的平方和来求解运动向量。具体来说，对于每个像素位置，该方法建立基于空间梯度和时间梯度的线性方程组，通过最小二乘法求解水平和垂直方向的运动速度。光流在视频分析、运动估计、目标跟踪等任务中有广泛应用。

TokenDial的运动控制模块使用DINOv2 patch特征上的Lucas-Kanade光流来量化运动幅度。理解光流的计算原理，有助于理解为什么TokenDial能够实现运动幅度的精确缩放，以及为什么要使用自监督目标而不是依赖外部参考。这是TokenDial突破现有视频滑块方法在运动动态控制上局限性的关键技术。

研究动机

现有的文本到视频生成模型虽然能够产生高质量的完整视频，但在精细控制方面存在显著不足。具体而言，创作者在真实创意工作流中不仅需要知道什么出现，更需要精确控制属性变化多少，如火强度、老化程度、运动幅度，同时不漂移身份、背景或时间一致性。现有视频滑块方法主要针对外观属性，而连续控制运动属性（如强度、节奏、感知速度）仍然困难。更关键的是，当前控制在空间和时间上大多是隐式的，即一个学习的编辑在特定区域或时刻生效，往往由模型决定而非用户指定。例如，只让左边的人物变老而不让右边变老，现有方法难以实现。这限制了方法在真实创作工作流中的实用性，因为创作者经常需要精确控制特定区域和特定时刻的属性变化。

本文的目标是本文的目标是实现一种连续、滑块式的语义标量控制框架，能够在保持视频其余部分（身份、背景、时间一致性）不变的前提下，精确调制特定属性的强度。具体包括五个方面：首先，同时支持外观和运动动力学属性的连续控制，填补现有方法在运动动态控制上的空白；其次，提供显式的时空接口来确定编辑在何处和何时应用，让用户能够精确控制编辑的范围；第三，能够组合多个属性而不互相干扰，实现复杂的多属性编辑；第四，在不同视频设置（长度、分辨率）和模型架构之间具有强泛化能力，提高方法的实用性；第五，不需要重新训练主干模型，保持其通用生成能力，降低使用门槛。

与已有工作不同的是，本文的独特切入角度是观察并利用了预训练T2V Diffusion Transformer模型中视觉patch token空间的语义结构。与现有方法在文本编码器中学习轻量级适配器（如LoRA）或直接修改主干权重不同，TokenDial在中间的时空视觉patch-token空间中引入可学习的加性偏移向量。这些偏移向量只依赖于隐藏维度，因此与视频分辨率和长度无关，天然支持跨设置泛化。更重要的是，每个token索引明确映射到特定空间区域和时间点，提供了显式的时空控制句柄。这一观察使得TokenDial能够在不修改主干权重的情况下，通过简单的向量加法操作实现精细的属性控制。这是现有方法难以实现的，因为它们要么缺乏显式的空间句柄，要么必须修改模型权重而影响通用能力。

核心方法

TokenDial的整体思路是在预训练T2V DiT的中间视觉patch-token空间中，学习一个属性特定的偏移向量。当这个偏移向量被添加到视觉token上时，它能够加强或减弱相关属性。通过调整偏移向量的幅度，可以实现线性的强度拨号。通过选择性地将偏移添加到特定token（使用时空掩码），可以精确控制编辑在何处和何时应用。这种方法直觉上类似于在GAN的潜在空间中寻找语义方向，但TokenDial在Diffusion Transformer的token空间中操作，具有更强的语义结构和时空对应关系。技术路线上，TokenDial保持主干模型冻结，只学习偏移向量，使用预训练的理解模型（InternVideo2用于外观，DINOv2用于运动）提供监督信号，通过多步后验细化和注意力导出的掩码来稳定训练和提高局部化精度。

TokenDial的核心创新点是在V+空间（偏移空间）中学习语义控制方向，并通过结构感知的时空调制和组合流指导实现连续控制。与已有方法的本质区别体现在多个方面。首先，LoRA-based方法修改模型权重，可能降低通用能力且难以局部化，因为权重更新被烘焙到模型中，使得精确定位编辑变得困难。其次，Text-token tuning影响整个序列，缺乏空间句柄，难以实现精确的局部编辑。第三，V+空间偏移只添加到视觉patch token，提供了显式的空间时间控制，每个token索引明确映射到特定区域和时间。第四，自监督运动目标不依赖外部参考，避免了视频之间错位导致的不一致对应问题。第五，组合流指导在向量场层面控制强度，而不是直接缩放偏移，避免了在大幅度时扭曲生成轨迹的问题。这些本质区别使TokenDial在保持内容的同时实现了更强的可编辑性。

方法步骤详情

TokenDial的方法步骤包含三个主要阶段。第一阶段是构建可学习token偏移。给定潜在视频x，通过Patchify获得视觉patch token序列。引入偏移空间，其元素是被添加到视觉patch token的加性偏移向量。应用偏移后得到新token序列，其中是时空掩码，可以通过选择s指定受影响的区域或帧，通过缩放获得强度拨号。进一步允许偏移是层依赖的，在第k个DiT block后应用。第二阶段是将语义嵌入到token偏移。外观控制使用InternVideo2语义方向匹配监督。定义预测属性方向，对齐目标方向，损失使用余弦距离，添加LPIPS感知正则化。运动控制使用DINOv2 patch特征上的Lucas-Kanade光流测量运动幅度，目标是将运动强度缩放因子，损失使用自监督目标，添加DINOv2首帧一致性正则化。训练时使用多步后验细化，从初始预测运行K个额外反向步骤获得细化估计，停止梯度通过细化展开，只通过初始预测反向传播。第三阶段是使用Token Offset进行推理。训练后，学习到的偏移作为token空间中的属性方向。结构感知时空调制通过从目标文本token到视觉patch token提取注意力并聚合成token级软掩码，将偏移限制在对象的轨迹上。强度控制通过组合流指导实现，调整缩放编辑诱导成分，实现连续滑块控制。

技术新颖性

TokenDial的技术新颖性体现在多个方面。首先，V+空间偏移引入。与修改权重的LoRA或影响全序列的text-token tuning不同，V+空间偏移只添加极少量参数（实验中仅为rank-64 LoRA的0.256%），提供直接的视觉patch token控制句柄，实现局部外观编辑同时更好保留背景内容。其次，多步后验细化。没有细化时，高噪声水平下理解模型监督不稳定，导致弱编辑。多步后验细化稳定训练并产生语义有意义的变化。第三，注意力导出的掩码。注意力导出的掩码进一步将编辑限制在跨空间和时间的目标概念，提高焦点并减少背景漂移。第四，自监督运动目标。使用自监督目标避免了外部参考错位问题，这是运动控制的关键创新，使得TokenDial能够实现现有方法难以达到的运动幅度精确控制。第五，组合流指导。在向量场层面组合基础流和编辑诱导流，而不是直接缩放偏移，避免了在大幅度时扭曲生成轨迹的问题。这些新颖性共同使TokenDial能够在不重新训练主干模型的情况下实现精细的连续控制，突破了现有方法的局限。

**Figure 2**: Explicit spatiotemporal masking.

实验结果

TokenDial在广泛的外观和运动属性上实现了强连续控制能力。定性比较显示，对于外观控制，Text Slider通常响应较弱，而FreeSliders和图像域滑块（Concept Sliders、SliderSpace）经常随着编辑强度增加引入身份漂移或背景变化。I2I+I2V流水线受限于首帧编辑，可能错过后期出现的对象。文本驱动V2V编辑不能通过提示词单独提供可靠的渐进强度控制。相比之下，TokenDial产生强连续外观编辑同时更好保持身份和上下文。对于运动动力学，竞争方法放大运动幅度的能力有限。TokenDial成功缩放动力学（如从走到跑），产生更大姿态、衣服和头发位移同时保持连贯结构。定量评估显示TokenDial在滑块可控性上达到最佳Overall Score 0.982，远高于保守基线（I2I+I2V为0.808，Text Slider为0.742），表明它在大语义范围同时保持平滑稳定过渡和强保持。VLM评估中TokenDial获得编辑质量4.165、身份保持4.988、背景保持4.959、连续性4.234、整体4.587的最高分数，同时保持相当的视频质量和文本对齐。

**Table 2**: Quantitative comparison on VLM metrics and video quality metrics.

**Table 3**: Quantitative evaluation of slider controllability.

**Table 4**: Ablation analysis of components for controllable editing.

**Figure 1**: TokenDial enables continuous slider control of both appearance and motion dynamics in text-to-video generation.

**Figure 7**: Qualitative comparison on appearance and motion sliders.

**Figure 4**: TokenDial learned token offsets transfers zero-shot across video resolutions and lengths.

查看结构化数据

任务	指标	本文	基线	提升
滑块可控性	Overall Score	0.982	FreeSlider 0.755	相比FreeSlider提升30%
滑块可控性	Overall Score	0.982	TextSlider 0.742	相比TextSlider提升32%
滑块可控性	Overall Score	0.982	ConceptSlider 0.416	相比ConceptSlider提升136%
VLM编辑质量	Edit Quality	4.165	FreeSlider 3.932	相比FreeSlider提升6%
VLM编辑质量	Edit Quality	4.165	TextSlider 2.771	相比TextSlider提升50%
VLM编辑质量	Edit Quality	4.165	UniVideo 3.032	相比UniVideo提升37%
VLM身份保持	ID Preserve	4.988	FreeSlider 4.830	优于FreeSlider 3.3%
VLM身份保持	ID Preserve	4.988	UniVideo 4.754	优于UniVideo 4.9%
VLM背景保持	BG Preserve	4.959	FreeSlider 4.775	优于FreeSlider 3.8%
VLM背景保持	BG Preserve	4.959	UniVideo 4.874	优于UniVideo 1.7%
VLM时间连续性	Continuity	4.234	FreeSlider 3.936	相比FreeSlider提升7.5%
VLM时间连续性	Continuity	4.234	TextSlider 2.833	相比TextSlider提升49%
VLM时间连续性	Continuity	4.234	UniVideo 2.786	相比UniVideo提升52%
概念范围	Conceptual Range	0.460	FreeSlider 0.378	优于FreeSlider 22%
概念范围	Conceptual Range	0.460	ConceptSlider 0.210	优于ConceptSlider 119%
概念平滑度	Conceptual Smoothness	0.386	UniVideo 1.154	相比UniVideo改善67%
概念平滑度	Conceptual Smoothness	0.386	ConceptSlider 0.735	相比ConceptSlider改善47%
概念平滑度	Conceptual Smoothness	0.386	FreeSlider 0.537	相比FreeSlider改善28%

局限与改进

作者承认的局限性包括：TokenDial依赖预训练视频理解模型（如InternVideo2）来定义外观控制的语义方向。虽然在许多情况下有效，但底层理解空间可能表现出难以完全解纠缠的纠缠和偏见。除了高层语义偏见（如年龄与体重相关），作者观察到某些低级属性（如颜色变化）可能在嵌入空间中与其他视觉因素纠缠。在这些情况下，简单的语义去偏倚（通过子空间投影）可能不足以在不影响相关属性的情况下隔离所需属性。作者自己的观察包括：首先，方法不能改变属性方向，即学习到的偏移向量只能沿着预定义的方向增强或减弱属性，不能实现反向编辑（如从冷到热和从热到冷需要分别学习）。其次，依赖主干模型能力，如果基础T2V模型本身不擅长生成某些内容（如复杂物理交互），TokenDial也无法改善。第三，训练需要一些配对数据，虽然训练数据需求很小（每个概念-属性对几百个样本），但仍需要概念在文本中提及且视觉居中的配对文本-视频对。第四，掩码的精度依赖注意力，注意力导出的掩码通常有效，但在某些情况下可能不准确（如对象被遮挡时），导致编辑泄漏到不相关区域。

独立分析的弱点

TokenDial存在几个独立的弱点。首先是语义纠缠问题，虽然作者使用去偏策略缓解，但某些属性（如颜色与亮度）在InternVideo2空间中仍然纠缠，导致编辑时意外改变相关属性。改进方向包括探索更精细的解纠缠方法，如使用多个理解模型的集成或引入对抗性学习强制独立属性空间。其次是掩码精度有限，注意力导出的软掩码虽然有效，但当对象被遮挡或场景复杂时可能不准确，导致编辑泄漏到不相关区域。改进方向包括引入对象分割模型提供更精确的空间掩码，或者学习可优化的时空掩码而不是依赖注意力。第三是属性方向固定，每个偏移向量只能沿着一个方向增强或减弱属性，双向控制需要学习两个偏移。改进方向包括探索如何学习双向属性向量或通过负缩放实现反向控制。第四是泛化到极端设置，虽然方法在测试分辨率和长度上泛化良好，但在极端设置（如非常长的视频或超高分辨率）上性能可能下降。改进方向包括研究如何使偏移更加鲁棒地适应极端设置，或采用自适应缩放策略。第五是计算开销，训练时需要运行模型两次并额外进行K个去噪步骤，虽然K=4很小，但仍增加计算成本。改进方向包括探索更高效的后验估计方法或减少需要的去噪步数。

未来方向

作者提出的未来研究方向包括探索更精细的语义解纠缠方法，特别是针对低级属性（如颜色、纹理）的纠缠问题。基于成果可延伸的方向包括多个方面。首先是扩展到更多属性类型，当前方法针对连续标量属性，未来可以扩展到离散或分类属性的控制。其次是跨模态控制，将TokenDial的思想扩展到其他模态，如音频生成（控制音量、音调）或3D生成（控制形状、材质）。第三是交互式编辑系统，将TokenDial集成到交互式视频编辑工具中，允许用户通过直观界面实时调整多个属性滑块。第四是自动属性发现，探索如何自动发现可控制的语义方向，而不需要手动指定目标属性方向。第五是端到端联合优化，联合学习多个属性偏移和主干模型，可能实现更强的控制能力而不损失生成质量。第六是理论分析，深入分析token空间的几何结构和语义方向的线性性假设，为方法提供理论保证。这些方向将进一步推动可控视频生成的发展。

复现评估

关于复现评估，作者计划开源代码和模型权重，但论文中未明确说明当前开源状态。数据方面，方法使用内部文本-视频集合（外观偏移训练）和几百个绿屏片段（运动偏移训练），数据集详情在补充材料中，但未公开发布。算力方面，训练在32帧、320×176分辨率的视频上进行，每个概念-属性对训练300步，使用AdamW优化器（学习率为10的负5次方），单个GPU在约2小时内完成整个训练过程。推理与标准采样复杂度相当，只是在token上添加偏移。难度方面，方法需要预训练的T2V DiT模型和几个预训练理解模型（InternVideo2、DINOv2），这些模型都是公开可用的。实现细节相对完整，包括Wan 2.1上的实现（在self-attention residual branch注入偏移）。总体而言，复现难度中等，主要挑战是获取预训练的T2V模型和准备训练数据，但方法本身的设计使其相对容易实现和调试。特别是，方法只学习极少量参数（0.256%的rank-64 LoRA），使得训练快速且稳定，这大大降低了复现的门槛。