Prompt Relay: 推理时间多事件视频生成的细粒度时间控制

提出推理时插拔式方法，通过交叉注意力路由实现多事件视频的精确时间控制，无需训练或架构修改

前置知识

交叉注意力机制

交叉注意力是扩散模型中用于融合外部条件信息（如文本提示）到生成过程的关键机制。它通过计算查询向量Q（来自潜在表示）、键向量K和值向量V（来自条件嵌入）的交互，决定每个潜在查询对条件令牌的注意力权重，从而将语义信息选择性地注入到生成过程中。公式为 $\text{Attn}(\phi(z_t), \psi(P)) = \text{Softmax}(\frac{QK^\top}{\sqrt{d}})V$。

本文的核心创新正是通过修改交叉注意力机制来实现时间路由，理解这一机制对于掌握方法原理至关重要。

视频扩散模型

视频扩散模型是扩展到视频生成的扩散模型，通过学习逐步去噪潜在空间中的噪声来生成高质量视频。模型通常采用3D卷积或时空注意力机制来捕捉时间一致性。Wan2.2、Sora、Kling等都是典型的视频扩散模型。

本文方法是基于现有预训练视频扩散模型的插拔式改进，需要理解其基本工作原理才能理解如何在推理阶段引入时间控制。

语义干扰

语义干扰是指当多个语义概念同时影响同一生成区域时，导致预期元素被其他概念的元素替代或混合的现象。在多事件视频生成中，由于交叉注意力允许每个像素关注所有提示令牌，不同时间段的语义概念会竞争对同一查询的影响力，造成时间错位和视觉混淆。

解决语义干扰是本文要解决的核心问题，理解这一现象有助于理解为什么需要时间路由机制。

研究动机

现有视频扩散模型在生成多事件视频时面临严重的时序结构理解困难。当使用单一段落式提示描述复杂事件序列时，模型缺乏明确的时间控制机制，无法指定事件发生的时间、持续时长以及多个事件的顺序。这导致模型将多事件提示视为全局上下文而非时间结构化序列，造成不同时间段的语义概念相互泄露，产生语义干扰。作者举例指出，在描述一个男人吃意大利面的场景后接一个穿红裙子的女人走过的场景时，硬masking会导致女人吃意大利面这样的语义冲突。现有的推理时间方法（如DiTCtrl）使用二值注意力mask在边界处引入硬切换，而基于训练的方法（如MinT）需要大量标注数据、额外的训练步骤和架构修改，MEVG的顺序生成设计会导致错误累积。

本文的目标是本文的具体目标是提出一种推理时的、插拔式的方法，在不进行架构修改和增加计算开销的情况下，实现多事件视频生成的细粒度时间控制。该方法应该能够将每个文本提示路由到其预定的时间段，确保每个语义概念只影响其指定的时空区域，从而改善时间提示对齐、减少语义干扰并增强视觉质量。方法需要支持用户显式定义事件边界和顺序，同时保持视频的全局连贯性。

与已有工作不同的是，本文的独特切入角度在于提出了一个推理时、无需训练的交叉注意力路由机制，通过在交叉注意力logits中引入软高斯惩罚来实现平滑的时间控制。与现有工作相比，这种方法不需要额外的架构修改（如MinT的可训练时间交叉注意力模块），不需要标注数据进行微调，也不使用硬masking造成的视觉不一致。作者特别强调了边界注意力衰减机制的重要性，它在边界附近平滑共激活相邻提示，为过渡提供了渐进的交接区域。

核心方法

Prompt Relay是一个推理时的交叉注意力路由机制，其核心思想是在交叉注意力机制中引入一个时间感知的惩罚项，使得每个时间段只关注其分配的文本提示。方法首先将视频分为多个时间段，每个时间段分配一个文本提示。然后，对于任何查询令牌索引i和属于提示ps的关键令牌j，计算惩罚项C(i,j)来惩罚查询和关键令牌不属于同一段时的情况。该惩罚从交叉注意力logits中减去，有效地将注意力权重重新分配给正确的提示。方法采用软高斯衰减函数在段边界附近实现平滑过渡，避免了硬masking造成的视觉不一致。

核心创新点是在交叉注意力logits中引入时间感知的软惩罚项，实现推理时的细粒度时间控制。与硬masking的二元开关不同，这种方法允许在边界附近平滑过渡，为模型提供渐进的交接区域来规划过渡。惩罚项的公式为 $C(i, j) = \frac{\text{ReLU}(|f(i) - m_s| - w)^2}{2\sigma^2}$，其中 $f(i)$ 是查询令牌i关联的潜在帧索引，$m_s = \frac{t_{start}^s + t_{end}^s}{2}$ 是对应时间段的中点，$w$ 定义了中点周围的自由注意力窗口，$\sigma$ 控制注意力在窗口外的衰减速率。通过选择衰减参数 $\sigma$ 使得先验在端点处达到小值 $\epsilon$：$\sigma = \frac{L - w}{\sqrt{2\ln(1/\epsilon)}}$，其中 $L = |f(i) - m_s|$ 是段中点到端点的距离。作者默认采用 $\epsilon = 0.1$，消融实验表明 $w = L - 2$ 在时间隔离和段内保真度之间达到最佳平衡。

方法步骤详情

方法的步骤完整描述如下：第一步，输入数据包括一系列时间约束的文本提示，每个提示ps都有一个预定的时间间隔，以及一个全局提示提供共享语境。第二步，对于扩散步骤t的潜在表示，计算查询向量Q和从条件嵌入派生的键值向量K、V。第三步，对于每个查询令牌索引i和属于提示ps的关键令牌j，计算惩罚项C(i,j)，其值取决于查询的帧索引f(i)和段中点ms之间的距离。第四步，将惩罚项从交叉注意力logits中减去，得到修改后的注意力计算：Atn = softmax(QK^T/sqrt(d) - C(Q,K))V。第五步，在时间段内，查询令牌可以自由关注其关联的提示令牌（惩罚为零），而在段边界附近，注意力逐渐衰减到相邻提示。第六步，输出是一个生成的视频，其中每个提示只影响其分配的时间区域，同时保持全局时间连贯性。方法还包括通过边界注意力衰减机制实现平滑过渡，在边界附近共激活相邻提示以提供渐进的交接区域。

技术新颖性

技术新颖性体现在多个方面：首先，这是首个完全在推理时工作的插拔式时间控制方法，不需要任何架构修改或额外训练，可以直接应用于现有的预训练视频扩散模型。其次，提出的边界注意力衰减机制使用软高斯惩罚而非硬masking，在边界附近实现了平滑过渡，避免了视觉不一致。第三，方法通过在交叉注意力空间中减少不必要的竞争，使模型能够更有效地分配注意力给活跃的语义概念，从而提高了视觉质量。第四，消融实验系统地研究了窗口参数w和衰减阈值epsilon对性能的影响，为参数选择提供了指导。第五，方法不仅支持局部提示路由到特定时间段，还支持全局提示提供持久性语境以锚定跨段共享的视觉元素。

**Figure 1**: Prompt Relay is an inference-time, training-free, plug-and-play method for enabling fine-grained temporal control by routing each textual prompt to its intended time segment, allowing multiple events to occur in the correct order without semantic interference.

**Figure 2**: Temporal Cross-Attention Routing. Each textual prompt is associated with a specific temporal segment of the video. The attention penalty varies smoothly across time, allowing video tokens to attend strongly to their corresponding prompt within the assigned interval while suppressing attention to temporally irrelevant prompts.

**Figure 3**: Ablation Study of the Temporal Penalty Function. The curves show the attention fraction retained between a query token and the prompt tokens of a given segment, as a function of the query's latent frame offset from that segment's midpoint ms, after applying the penalty exp(−C(i, j)).

**Figure 4**: Hard Masking vs Boundary-Attention Decay. Hard masking enforces an abrupt semantic switch in cross-attention at segment boundaries while self-attention remains continuous across the segments. This creates a discontinuity at the boundary, forcing the model to reconcile conflicting signals (Woman eats the pasta instead of the man). Boundary-attention decay avoids this conflict by smoothly co-activating both neighboring prompts near the boundary, giving the model a gradual handoff region in which the transition can be planned jointly before being committed to in the visual representation.

实验结果

实验结果展示了Prompt Relay在多事件视频生成任务上的显著优势。作者在20个多样化的多事件测试场景上进行了人工偏好研究，这些场景包括显式场景转换、多角色互动和复杂相机轨迹，随机生成并包含3-6个时间事件。30名参与者对每个视频按照三个维度（时间提示对齐、转换自然度、视觉质量）进行1-5分排名。结果显示，Wan 2.2 + Prompt Relay在时间提示对齐上得分1.10（最低表示最好），显著优于基线Wan 2.2的4.00、Veo 3.1的3.93、Kling 2.6的1.30和Sora Storyboard的4.67。在转换自然度上，Wan 2.2 + Prompt Relay得分1.17，优于Wan 2.2的3.50、Kling 2.6的4.43、Veo 3.1的1.30和Sora Storyboard的4.60。值得注意的是，Wan 2.2 + Prompt Relay在视觉质量上也超过了基线Wan 2.2（2.83 vs 4.00），这很可能是因为注意力路由机制减少了交叉注意力空间中的不必要竞争，使模型能够更有效地分配注意力给活跃的语义概念，从而产生更清晰的视觉结构、改进的时间对齐和更稳定的生成。然而，Kling 2.6和Veo 3.1在视觉质量上仍然最高，表明视觉保真度部分受到底层骨干模型能力的限制。作者还进行了消融实验，如图3所示，研究了窗口参数w和衰减阈值epsilon对注意力分数保留的影响，发现w = L - 2实现了时间隔离和段内保真度之间的最佳平衡，而epsilon的小值选择对感知影响可以忽略不计。

**Table 1**: Human preference scores for multi-event video generation. (lower values indicate better rankings)

**Figure 5**: Qualitative Comparison. Given a multi-event prompt describing a deliberate scene transition, Prompt Relay preserves correct temporal structure, ensuring that each semantic instruction influences only its intended segment while maintaining global visual coherence.

查看结构化数据

任务	指标	本文	基线	提升
多事件视频生成	时间提示对齐	Wan 2.2 + Prompt Relay: 1.10	Wan 2.2: 4.00, Veo 3.1: 3.93, Kling 2.6: 1.30, Sora Storyboard: 4.67	相比基线Wan 2.2提升72.5%，相比最佳基线Kling 2.6提升15.4%
多事件视频生成	转换自然度	Wan 2.2 + Prompt Relay: 1.17	Wan 2.2: 3.50, Kling 2.6: 4.43, Veo 3.1: 1.30, Sora Storyboard: 4.60	相比基线Wan 2.2提升66.6%，相比最佳基线Veo 3.1提升10.0%
多事件视频生成	视觉质量	Wan 2.2 + Prompt Relay: 2.83	Wan 2.2: 4.00, Kling 2.6: 2.50, Veo 3.1: 2.0, Sora Storyboard: 3.67	相比基线Wan 2.2提升29.3%，但不及Kling 2.6和Veo 3.1

局限与改进

作者在局限性部分承认了一个重要限制：由于每个时间段主要关注其对应的局部提示，持久性视觉元素（如角色、对象或场景风格）没有在段间显式共享。如果在局部提示中不一致地描述这些元素，它们的外观可能会随时间漂移。作者发现可以通过纳入提供共享语境和锚定多个段间持久性元素的全局提示来完全缓解这一问题。除了作者承认的限制外，我还观察到几个潜在局限性：首先，方法假设用户能够正确定义时间边界和描述，这可能不适用于所有使用场景。其次，方法主要关注文本条件生成，可能无法直接扩展到其他模态（如图像或视频）的时间控制。第三，虽然方法在短期转换上表现良好，但在非常长的视频（超过几个分钟）上保持连贯性的能力尚未被探索。第四，方法可能无法很好地处理需要精确时间同步的事件，如音乐节拍或语音口型同步。第五，边界附近的全局提示和局部提示之间的交互可能需要更精细的平衡策略。第六，方法的效果可能受到底层预训练模型能力的限制，在视觉保真度方面无法超过更强大的骨干模型。

独立分析的弱点

独立分析的弱点包括：第一，跨段共享视觉元素的一致性维护需要依赖全局提示，这增加了用户的提示工程负担。改进方向可以是自动检测和提取跨段共享的视觉元素，自动生成全局提示或显式地在段间共享这些元素的表示。第二，固定的高斯衰减函数可能不适合所有类型的事件转换，有些转换可能需要更快的衰减，有些则需要更慢的衰减。改进方向可以是学习自适应的衰减函数参数，或者根据事件类型自动选择合适的衰减策略。第三，自由注意力窗口参数w固定为L - 2可能不是所有场景的最佳选择，改进方向可以是根据段的长度或事件复杂度自适应地调整w值。第四，方法主要关注文本到视频的生成，可能无法直接应用于视频到视频的编辑或控制任务，改进方向可以是扩展方法以支持视频条件生成。第五，方法的评估主要依赖人工偏好研究，缺乏客观的量化指标，改进方向可以是开发专门针对时间对齐和转换质量的自动化评估指标。第六，方法假设时间边界是预定义的，没有探索如何自动学习或优化时间边界，改进方向可以是联合优化时间边界和生成质量。

未来方向

未来研究方向包括：作者提出的方向包括将方法扩展到更长、更复杂的视频生成场景，探索实时性能优化以支持交互式视频生成。基于成果可延伸的方向包括：开发更复杂的衰减函数以适应不同类型的转换，学习时间边界的自动检测和优化，扩展到跨模态的时间控制（如图像、音频、文本联合条件），研究3D空间一致性和时间一致性的联合控制，探索方法在交互式视频编辑和实时视频流生成中的应用，开发更全面的评估指标来量化时间对齐和转换质量，研究方法在不同骨干模型上的泛化能力，探索与其他时间控制方法的结合以获得更强的控制能力，研究方法在电影制作、虚拟现实和游戏开发中的实际应用。

复现评估

复现评估：论文提供了方法的技术细节和参数设置（如epsilon = 0.1，w = L - 2），实验基于公开可用的Wan2.2-T2V-A14B模型。然而，论文没有明确说明代码和训练数据是否开源，也没有提供生成的示例视频供公开评估。方法的实现难度适中，主要是修改交叉注意力计算，需要在推理阶段计算惩罚项并从logits中减去。方法不需要额外的训练或架构修改，理论上可以在任何基于交叉注意力的视频扩散模型上实现。主要挑战可能是精确调整衰减参数以在不同场景下获得最佳效果，以及确保计算效率（尽管论文声称没有额外的计算开销）。算力需求方面，由于方法在推理时工作，计算开销主要来自惩罚项的计算，但作者声称没有额外的计算开销，可能意味着惩罚项的计算与原始注意力计算相比可以忽略不计。总体而言，复现难度中等，主要挑战在于正确实现惩罚计算和参数调优。

Prompt Relay: 推理时间多事件视频生成的细粒度时间控制 Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation