CausalCine：面向多镜头叙事的实时自回归视频生成 CausalCine: Real-Time Autoregressive Generation for Multi-Shot Video Narratives

方法分六步。（1）因果 chunk 化：视频潜变量切成 $N$ 个 chunk，每 chunk $L=3$ 个潜帧（约 12 视频帧），联合分布 $p_\theta(x^{(1:N)}\mid c_{1:N})=\prod_i p_\theta(x^{(i)}\mid x^{(<i)},c_i)$，文本 $c_i$ 按 shot boundary 切换。（2）2N 段并行 teacher forcing：每视频打包为 $[x^{(1:N)}_0, x^{(1:N)}_t]$，前段 timestep=0、后段共享 $t\sim p(\sigma)$，block-sparse 掩码分四象限（clean→clean 因果、noisy→clean 看历史 clean、noisy→noisy 对角、clean→noisy 屏蔽），损失 $\mathcal{L}_{tune}=\sum_i\|v_\theta[N+i]-(\epsilon^{(i)}-x^{(i)}_0)\|^2$。（3）per-shot cross-attention：每 chunk 仅挂自己 shot 的 prompt，shot 间不交叉。（4）CAMR：缓存帧描述子 $d_f=\tfrac{1}{P}\sum_p K_{f,p,:,:}$，当前 chunk 计算 $q_i$ 并打分 $s_{i,f}=\sum_{h,d}q_{i,h,d}\,d_{f,h,d}$，out-of-window 历史中 top-$k$ 选 $k=5$ 帧，与 $W=3$ 局部 chunk、当前 chunk 共同构成感受野。（5）Block-Relative RoPE：memory/window/current 位置重锚到 $[0,k-1]\cup[k,k+WL-1]\cup[k+WL,k+(W+1)L-1]$，使总跨度 $k+(W+1)L\le F_{train}$（$5+4\times3=17\ll 61$）。（6）4 步蒸馏：教师 PF-ODE 轨迹做 $\mathcal{L}_{init}=\mathbb{E}\|\hat{x}^0_\phi-z^{(i)}_0\|^2$ 初始化，再自强制 DMD $\nabla_\phi\mathcal{L}_{DMD}=\mathbb{E}_t[(s_{fake}-s_{real})\partial_\phi G_\phi]$，叠加 APT 风格 GAN 头 $D_\eta$。

技术新颖性体现在三点。第一，把「先学因果长结构再压缩步数」作为显式设计原则；Table 3 证明：去掉长多镜头因果微调时 Aesthetic 从 0.6261 降到 0.5967、SCA 从 0.6529 暴降到 0.5034、Inter-Shot 从 0.9732 降到 0.5042，几乎完全丧失多镜头能力，说明步数压缩无法替代长程结构学习。第二，KV 缓存从「位置定义」转向「内容定义」，CAMR 是首个把帧级 query/key 描述子用于自回归多镜头视频生成的机制，参数为零但能动态召回远距离信息；相对 first-frame sink 的 SCA 0.6106、Inter-Shot 0.9618，CAMR 提到 SCA 0.7530、Inter-Shot 0.9745。第三，Block-Relative RoPE 解决了关键问题：内容路由会检索到训练时未见过位置的帧，直接用 3D RoPE 会进入未见相位区间；通过把 memory/window/current 重新锚定到固定短区间，分钟级 rollout 仍保持稳定，与 LongLive 的 RoPE 扩展方法在动机上互补。

独立分析有几个可改进方向。第一，4 步蒸馏后 SCA 在 15 秒设置下仍比 HoloCine 低 3.1%，「何时切镜头」的时机精度上仍有空间；可引入显式 shot-boundary token 或可学习边界嵌入让切点更敏感。第二，Background Consistency 不及 Self-Forcing，可能源自 2N-segment 并行 teacher forcing 中 clean→clean 仍是因果的、缺少对纯背景连贯性的强监督；可借鉴视频修复的双向背景参考。第三，CAMR 的 top-k 不可微，与训练目标解耦；可尝试 Gumbel-top-k 或 REINFORCE 松弛让路由决策参与训练。第四，Block-Relative RoPE 把远距离帧「重置」回训练区间，丢失了「它来自很远」先验；可增加 distance embedding 或 frequency-aware 位置补偿。第五，100k 长多镜头数据未公开，复现门槛高；若能放出数据卡或微调版本对社区推动意义很大。

作者在论文结尾暗示了几个方向：(i) 把 CausalCine 扩展到 60 秒甚至更长电影片段；(ii) 在更长 rollout 中用内容路由 + 增量式摘要做层次化记忆。基于成果可延伸的方向还包括：第一，把多模态控制（音频、对白、镜头脚本）纳入 per-shot conditioning，使「在线导演」不仅能改文本还能插入对白；第二，把 CAMR 思想推广到角色库、场景库、道具库等显式资产记忆，让多镜头一致性从「相似度检索」升级为「资产 ID 引用」；第三，与 3D/4D 场景表示结合，使 CAMR 检索的不只是 KV，还可以是显式几何/外观 token；第四，研究如何在 8GB/16GB 单卡上做 4 步多镜头推理（例如 KV 量化 + 路由蒸馏 + 步数进一步压到 1~2 步），让真正的「口袋导演」成为可能；第五，引入 RLHF/RLAIF 让 SCA 与人类对「电影感」的偏好对齐，因为 VLM 自动评估并不总能反映人类审美。

复现评估较为困难。论文明确给出基座 Wan2.1-T2V-14B（HuggingFace 可下载）、分辨率 832×480、$L=3$、$W=3$、$k=5$、4 步采样。但 100k 长多镜头训练数据未公布，shot boundary 获取方式（疑似 TransNetV2 + Gemini 2.5 Pro 自动标注）也未充分披露，构成最大复现壁垒。算力门槛极高：训练 64 张 H800、推理 8 张 H200 才能达到 16 FPS，单卡/小集群无法直接跑通。DMD 的 $\lambda_{adv}$、APT GAN 头 schedule、memory 测试集 100 prompt 细节也未充分披露。截至撰写时未见官方仓库，第三方完整复现需较长时间；建议优先复现 CAMR 与 Block-Relative RoPE 这两个不依赖 14B 基座的独立模块，再做小规模验证。