时间上下文路由：面向脚本驱动的音视频联合生成 The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation
把脚本时间戳路由进音视频交叉注意力，镜头边界误差降96%
前置知识
联合音视频扩散 Transformer（AV-DiT 类架构）
用同一个扩散 Transformer 主干同时去噪视频与音频两种模态的生成架构：两个模态各有自己的 token 序列与时间坐标（均以秒表达），通过音视频交叉注意力交换信息以保证音画同步，文本条件则经各自独立的文本交叉注意力注入。LTX-2.3 即为此类 22B 参数双塔模型。
TCR 的全部改动只发生在视-文与音-文两个交叉注意力模块上，理解该架构才能明白路由偏置注入的位置，以及为什么一个偏置能同时控制两个模态。
加性注意力偏置
在 softmax 之前向注意力 logit 加偏置 $B$。由 $\exp(S+B)=\exp(S)\exp(B)$ 可知，其效果等价于按 $e^B$ 对注意力权重做乘性放大或抑制：$B=0$ 不影响，$B=-2.5$ 约抑制到 8%，且完全不修改 $q$、$k$、文本表示本身。
TCR 的路由分数正是这样一种偏置，这是理解它能精细控制时间却不损伤底座视觉质量与音画同步的机制关键。
LoRA 与流匹配
LoRA 在冻结权重旁挂低秩矩阵 $\Delta W=BA$，只训练极少量新增参数即可适配大模型；流匹配是扩散类生成模型的训练目标，学习从噪声到数据的速度场。TCR 本身零可学习参数，仅在原始流匹配目标下训练 LoRA 适配器，且训练与推理都施加路由。
它说明了本文的训练成本结构（22B 底座也只需 LoRA）以及路由机制与参数高效的配合方式，是复现和迁移的前提。
强制对齐与 WhisperX
强制对齐把已知转写文本与音频在时间轴上逐词对齐。WhisperX 结合 Whisper 语音识别与音素级对齐模型，可输出词级起止时间戳。本文用它把 Gemini 给出的粗略台词区间细化到词级精度并统一取整到 0.1 秒网格。
粗到细数据流水线是本文两大贡献之一，Dialogue Acc@0.5s 从 28.3% 提升到 84.1% 直接依赖词级对齐提供的细粒度监督。
RoPE 与时间条件化路线
旋转位置编码（RoPE）把相对位置旋入 query-key 内积，是 Transformer 编码时序的默认手段。已有工作把区间信息编成 Gaussian Interval RoPE 等变体，或用硬 mask 只在指定时段暴露 prompt token（接入式），对应不同的时间控制路线。
表 2 的受控对比中 Gaussian Interval RoPE 与硬区间 mask 正是 TCR 的同底座对手，理解这些路线才能读懂消融实验的设计与结论。
研究动机
现有联合音视频生成模型（LTX-2、OVI、JavisDiT、Harmony 等）已能把视频与音频表示对齐到同一条共享时间轴，实现彼此精确同步，但结构化脚本中明确规定的镜头切换时刻与台词发声时机却只以纯文本形式编码在 prompt 的文本表示里，与两个模态的时间坐标没有任何显式关联。后果是一种隐蔽的失败模式：视频和音频互相同步，却共同偏离脚本时间线，切镜与说话都发生在错误时刻。在短剧、广告等脚本驱动生产场景中，时间错误会直接破坏叙事连贯。作者在 200 条测试脚本上实测：最强开源基线 LTX-2.3 的镜头边界平均绝对误差（Shot Boundary MAE）高达 1.11 秒，镜头数完全准确率仅 36.0%，台词 0.5 秒内命中率（Dialogue Acc@0.5s）只有 28.3%，即超过七成台词偏离脚本超过半秒。
本文的目标是本文的目标是让脚本驱动生成严格遵循结构化脚本的时间线：每条镜头提示与台词提示只在被指定的时段内引导视频与音频两个模态，使镜头切换与台词时机误差接近人工剪辑精度。量化目标包括：把 Shot Boundary MAE 从 1.11 秒量级压到 0.1 秒以内、Shot IoU 提升到 0.95 附近、Dialogue Acc@0.5s 提到 80% 以上，同时不牺牲底座生成器的视觉质量（VBench IQ 0.70+、AES）与音画同步（Sync-C、WER、Offset Acc）。技术上有三个挑战：镜头与台词时段可能部分重叠（台词可跨镜头持续），两类提示不能共享同一时间分段；细粒度时间监督缺失，初始标注只有粗略时间；改进时间精度还不能触碰文本、query、key 表示，以免损伤生成质量。
与已有工作不同的是，本文的独特切入是把时间对齐的对象从『视频与音频互相对齐』扩展为『视频、音频与结构化脚本三方对齐』。此前视频侧的局部提示方法——Presto 的分段交叉注意力、ShotAdapter 的过渡 token 与局部注意力掩码、MultiShotMaster 的镜头感知 RoPE——只把局部文本接地到视觉流；MTSS 虽在脚本模式里给出显式时间链接，却没有把提示时间沿音视频两条条件通路路由的机制。作者的核心洞察是：时间信息不应只留在文本表示中，而应作为独立于语义的显式控制信号，绕过文本编码器、直接注入音视频两条交叉注意力通路，从而让重叠的镜头与台词提示各自独立地控制自己的时段。TCR 由此成为首个在训练与推理阶段同时把脚本时间映射到音视频共享时间轴的加性路由机制。
核心方法
方法构建在 LTX-2.3（22B 参数联合音视频生成器，视频塔与音频塔经音视频交叉注意力交换信息、各有独立文本交叉注意力）之上。直觉是：prompt 的时间区间本身就是一种『位置』，可以像位置编码一样以加性偏置进入注意力 logit。具体地，从结构化脚本抽取每条 prompt 的 time_range 并在序列化时删去这些字段，用字符到 token 的偏移把时间编译成 token 级时间映射；对时间坐标为 $t_i^m$ 的模态 $m\in\{v,a\}$ 的每个潜变量查询，计算时长归一化路由分数 $B_{ij}^m=-\beta\,(t_i^m-c_j)^2/(2r_j^2)$，其中 $c_j=(s_j+e_j)/2$ 为区间中心，$r_j=\max((e_j-s_j)/2,\epsilon)$ 为半径（$\epsilon=10^{-4}$ 秒），再把 $B_{ij}^m$ 加到视-文与音-文交叉注意力 logit 上。TCR 无可学习参数，训练时仅用原始流匹配目标优化 LoRA 适配器，推理时同样施加路由。配套的粗到细数据流水线产出 57,022 条训练样本。
核心创新是『时长归一化的加性时间路由』：$B_{ij}^m$ 在区间中心取 0，在区间两端取 $-\beta/2$（$\beta=5$ 时为 $-2.5$），随归一化时间距离平滑高斯衰减；除以半径 $r_j$ 使不同长短的区间具有相同的相对路由轮廓。由 $\exp(S_{ij}^m+B_{ij}^m)=\exp(S_{ij}^m)\exp(B_{ij}^m)$ 可知 TCR 等价于对语义注意力做乘性重加权，完全不修改文本表示、query 或 key，因此保住了底座的视觉质量与音画同步。与接入式方法（硬 mask 硬截断）相比，它是平滑软偏置，梯度友好且不产生边界伪影；与表示式方法（Gaussian Interval RoPE 把时间编入 query-key 交互）相比，它按 prompt 逐条独立建模、按模态时间坐标分别求值，使跨镜头持续的台词与镜头时段可以重叠且互不干扰——这是单一时间分段或全局 RoPE 无法做到的。
方法步骤详情
流程分三步。第一步，结构化脚本表示：沿用 MTSS 模式定义四类 prompt——Reference（复现的人/景/物，时间由其出现的镜头编译）、Shot（镜头内容与机位，用标注区间）、Event（聚焦台词，用标注区间）、Global（覆盖 $[0,T]$）；序列化时剥离 time_range 字段，并用字符偏移生成 token 级时间映射。第二步，TCR 路由：为每条 prompt 在音、视频两套时间坐标上分别计算路由分数，加到两个文本交叉注意力的 logit（式 3：$\mathcal{L}_{ij}^m=(q_i^m)^\top k_j^m/\sqrt{d_m}+B_{ij}^m+M_j$，$M_j$ 为填充掩码）；无区间 token 的 $B=0$；训练与推理均生效，仅训练 LoRA。第三步，粗到细数据构建：先用 FFmpeg silencedetect 在无语音区切出保留内部转场的多镜头片段；再由 Gemini 按预定义模式生成 Reference/Shot/Event/Global 标注与粗时间；最后用 PySceneDetect 的检测切点按序替换粗镜头边界、WhisperX 词级对齐修正台词区间，剔除不匹配条目，全部取整到 0.1 秒网格。
技术新颖性
技术新颖性体现在四点。其一，对齐对象创新：首次把结构化脚本的时间信息作为显式控制信号，与视频、音频一起对齐到共享时间轴，填补了『互相同步、共同漂移』的时间缺口。其二，机制创新：路由分数以加性偏置进入 logit，乘性重加权语义注意力，不触碰文本、query、key，也不引入任何可学习参数，训练只需 LoRA；这与接入式 mask、表示式 RoPE、推理期 score 引导三类已有路线都有本质区别。其三，独立控制能力：分数按 prompt 逐条计算、按音视频各自时间坐标分别求值，使部分重叠的镜头与台词区间可独立路由，解决了两类提示无法共享时间分段的难题；消融中分离 A/V prompt 变体的 Dialogue Acc@0.5s 从 84.1% 降到 82.1%、Sync-C 从 2.78 降到 2.71，反证双分支共享 prompt 的必要性。其四，监督数据创新：Gemini 定结构、PySceneDetect 与 WhisperX 定边界的细化流水线把标注精化到 0.1 秒网格，去掉细化后 B-MAE 从 0.042 秒恶化到 0.375 秒，证明机制与数据缺一不可。
实验结果
在 200 条测试脚本（640 条 Shot prompt、441 条台词）上端到端对比（表 1）：TCR 的 Shot Boundary MAE 仅 0.042 秒，较最强基线 LTX-2.3 的 1.11 秒降低 96%；Shot IoU 从 0.532 升至 0.957；镜头数准确率从 36.0% 升至 93.0%；Dialogue Acc@0.5s 从 28.3% 升至 84.1%。同时取得最高 IQ（0.7032）、最高 Sync-C（2.78）与最低 WER（8.48%），说明时间收益不以质量与同步为代价。受控对比（表 2，同底座同配方只换时间算子）：TCR 相对 Gaussian Interval RoPE（0.113 秒）与硬区间 mask（0.108 秒）把 B-MAE 再降约 61-63%，Dialogue Acc@0.5s 也高于两者的 82.8%/83.7%；辅助参考 Intervals as text 的 B-MAE 为 0.601 秒，凸显注意力级算子的必要性。消融：去掉时间细化后 B-MAE 恶化至 0.375 秒、Dialogue Acc@0.5s 跌至 37.6%，而 IQ/AES 基本不变，说明细化监督专门决定时间精度；分离 A/V prompt 变体各指标全面回落。28 人、16 例盲测（图 5）中 TCR 在全部五个维度胜出，综合偏好对 LTX-2.3 达 72.3%、对 JoyAI-Echo 达 83.9%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 脚本驱动音视频生成（镜头时间控制） | Shot Boundary MAE (s) | 0.042 | LTX-2.3: 1.11 | 降低 96% |
| 脚本驱动音视频生成（台词时间控制） | Dialogue Acc@0.5s (%) | 84.1 | LTX-2.3: 28.3 | +55.8 个百分点 |
| 脚本驱动音视频生成（镜头区间重叠） | Shot IoU | 0.957 | LTX-2.3: 0.532 | +0.425 |
| 脚本驱动音视频生成（镜头数量） | Shot Count Acc (%) | 93.0 | LTX-2.3: 36.0 | +57.0 个百分点 |
| 语音内容准确性 | WER (%) | 8.48 | OVI: 8.6 / LTX-2.3: 14.0 | 全场最低 |
| 音画同步 | Sync-C / Offset Acc (%) | 2.78 / 30.5 | JoyAI-Echo: 2.71 / LTX-2.3: 31.2 | Sync-C 全场最高；Offset Acc 略低于 LTX-2.3 |
| 时间算子受控对比（同底座） | Shot Boundary MAE (s) | 0.042 | Gaussian Interval RoPE: 0.113 / 硬区间 mask: 0.108 | 降低约 61-63% |
局限与改进
作者承认的局限包括：路由强度 $\beta=5$ 为经验选择（附录 F 讨论敏感性）；Reference 的区间由镜头编译而非独立标注；Global 固定覆盖 $[0,T]$；评测固定在 704×1280、24 fps、无首帧条件设置。我的补充观察：其一，数据过滤要求 Gemini 标注镜头数与独立检测器一致才保留，会系统性丢弃镜头检测困难的素材（动画、快速转场、无对白片段），带来对『清晰硬切+有对白』场景的偏置；其二，Event 仅覆盖台词，音效、环境声等时间定位未验证，多语言与旁白场景也未报告；其三，Offset Acc 30.5% 并非全场最高（表 2 中 Intervals as text 达 33.7%），唇形偏移层面的同步仍有空间；其四，方法隐含要求底座具备音、视独立的文本交叉注意力双塔结构，迁移到共享交叉注意力或单流架构需要重新设计注入点；其五，绝对秒级坐标假设音视频共享同一物理时间轴，对变速或非均匀采样场景未讨论。
独立分析的弱点
弱点一：粗到细流水线依赖『标注镜头数=独立检测镜头数』的硬过滤，会丢弃大量真实但检测不可靠的素材，并可能让模型只见过硬切风格；改进方向是引入软匹配（如按 IoU 贪心对齐）或学习式质量过滤。弱点二：路由轮廓是固定高斯形，假设 prompt 影响应在区间内均匀衰减，长镜头内部含多个语义事件时会过度平滑；可探索分段轮廓或可学习形状。弱点三：$\beta=5$ 与 $\epsilon=10^{-4}$ 为全局超参，未按 prompt 类型（镜头 vs 台词）或时长自适应，可按类型/模态学习各自的温度。弱点四：硬边界两端固定衰减到 $-\beta/2$ 而非 0，区间外的残余引导在密集相邻镜头时可能互相串扰，消融中未见对密集切镜场景的专项分析。弱点五：数据与底座依赖重——Gemini 标注有 API 成本与语言偏置，22B 底座的 LoRA 也非小工作室可负担；改进方向是蒸馏到小模型或发布开源数据子集。
未来方向
作者未列明确的未来工作，可延伸方向包括：把 TCR 推广到更丰富的 Event 类型（音效、动作节拍、字幕出现时机），实现全要素时间轴控制；让路由分数与可学习机制结合，如按 prompt 学习 $\beta$ 或非高斯轮廓，甚至推理期可调；将时间路由与长视频分块生成、多场景衔接结合，支持分钟级剧集的一致时间线；用自监督切点检测与跨语言对齐替代 PySceneDetect/WhisperX 组合，扩展到无对白与非英语素材；探索时间轴编辑能力——用户拖动镜头边界后局部重生成；以及在统一多模态底座上验证 TCR 与空间 grounding、角色一致性等结构化控制的叠加效果。评测侧，用户研究仅 16 例、28 名参与者，更大规模、引入专业剪辑师的纵向评测值得开展。
复现评估
复现评估：项目页托管于 GitHub（DAGroup-PKU/Temporal-Context-Routing），但正文未明确承诺代码、权重与数据的完整开源。主要障碍：底座 LTX-2.3 为 22B 参数模型，LoRA 训练仍需多卡高端 GPU 与相应许可；训练数据来自两个短剧集，存在版权与再分发限制；流水线依赖 Gemini 做语义标注（有 API 成本、结果不完全可复现），PySceneDetect 与 WhisperX 虽开源但版本差异会影响切点与对齐结果；200 条测试脚本及细粒度标注是否公开亦未说明。相对友好的一面是方法本身极简——不改模型结构，只在交叉注意力 logit 上加式 1-2 的偏置，配合 LoRA 即可训练——若能获得底座权重与脚本-时间标注数据，工程实现难度中等；但从零复现整套数据流水线（含 Gemini prompt 模式与过滤准则）难度较高，建议先以作者开源资产为起点做受控复现。
论文图表
(a) 展示 LLM 先把原始剧本在时间上落地为带时间戳的剧本，再结构化为包含 Reference、Global、Shots（S1-S4）与 Dialogue（D1-D3）及其精确时间区间的结构化 prompt。(b) 在同一 10 秒时间轴上对比：仅靠文本编码时间时，视频与音频各自漂移（0.505 秒误差），切镜与台词偏离请求时间线；TCR 将误差压到 0.016 秒，紧贴请求的切镜与台词时刻。
一图点明论文的核心问题（互相同步、共同漂移）与解法效果，是理解 motivation 与 headline 指标（B-MAE 1.11→0.042 秒的来源场景）的入口。