ContextMaster：基于固定预算稀疏上下文路由的交互式多镜头视频创作 ContextMaster: Interactive Multi-Shot Video Creation via Fixed-Budget Sparse Context Routing

步骤分四层。第一层输入编码与角色标注：参考/历史/源经 VAE 编码、与带噪目标 $Z_{tar}^\sigma$ 拼接，patch embedding 得 $[C_0;X_0]$；为每个 token 赋帧坐标 $t_i$ 与角色码 $c_i$（参考 $c_i=-1,t_i=0$；第 $j$ 个历史镜头 $c_i=j$；源与目标用超出历史范围的码区分，目标 $c_i=n+1$，编辑中源/目标同帧 $t_i=f$ 但角色码不同），相位 $\phi_{i,\nu}=\omega_\nu t_i+\alpha c_i$。第二层非对称注意力与缓存：上下文分支 $Y_C=\text{Attn}(\tilde Q_C,\tilde K_C,V_C)$ 自包含且零时间步调制，目标分支 $Y_X=\text{Attn}(\tilde Q_X,[\tilde K_C;\tilde K_X],[V_C;V_X])$ 读缓存好的上下文。第三层固定预算路由：把两侧切成 $m$-token 块，按 $s_{qk}=\frac{1}{N_{head}}\sum_h\langle\tilde q_{q,h},\tilde k_{k,h}\rangle$ 算相关性；先构造强制集 $A_{sink}(q)=C_{ref}\cup\{k\in C_{src}:t_k=t_q\}$，残差预算 $B_{rem}^q=B-|A_{sink}(q)|$ 在源、历史两角色间工作守恒地分配，得 $M_B(q)=A_{sink}(q)\cup\text{TopK}_{K_{src}}(C_{src}\setminus A_{sink};s)\cup\text{TopK}_{K_{hist}}(C_{hist};s)$，满足 $|M_B(q)|\le B$。第四层两阶段蒸馏：PCD 用稠密教师 CFG 一步 $x_{\sigma'}^T=x_\sigma+(\sigma'-\sigma)v_T^{cfg}$，学生与 EMA 目标预测 $\hat x_0^\theta=x_\sigma-\sigma v_{S_\theta}$、$\hat x_0^{\bar\theta}=x_{\sigma'}^T-\sigma' v_{S_{\bar\theta}}$，最小化 $L_{CD}=\|\hat x_0^\theta-sg(\hat x_0^{\bar\theta})\|^2$ 把 CFG 烤进学生；DMD 用 $\Delta s_\gamma=s_{fake}(y_\gamma,\gamma,C_B,u)-s_{real}^{cfg}(y_\gamma,\gamma,C_{full},u)$ 在随机退出步上做分布级精修，且历史由学生自回归 rollout 生成以暴露累积误差。推理可由人直接操作或由工具增强 Director 自动调用。

技术新颖性体现在四个被既有方法忽略的耦合点。其一，首次把生成、参考条件、编辑统一成“在演化视觉历史上可组合的有状态操作”（IMVC 形式化），并配以覆盖参考+历史+源+目标四角色的角色感知 RoPE——此前不连续/分组 RoPE 只处理同质镜头身份。其二，把“可缓存”与“固定预算”绑定：非对称干净上下文拓扑使上下文 KV 与去噪步、CFG 分支无关，于是稀疏化只作用在延迟敏感的目标到上下文读取带上，上下文/目标自注意力保持稠密，这是达到 16.74 FPS 的关键工程取舍。其三，ConstraintSink 在同一预算里区分“必须可见的显式约束”与“可按内容检索的动态证据”，强制集与 Top-k 共享预算保证 $|M_B(q)|\le B$，消融显示去掉它后编辑/参考 TF 从 4.20/4.04 跌到 3.64/3.69。其四，特权上下文蒸馏把稀疏+少步这两个互补误差一起解决：教师读全上下文、学生读预算，PCD 迁移全上下文行为与跨时间步一致性，DMD 在部署 rollout 上恢复细节，消融证明 PCD→DMD 顺序组合在 AQ 0.565、Inter-Shot 0.836、TF 4.17 上全面优于任一单阶段。

独立来看有几个可改进点。第一，固定预算 $B=6$ FE 是对历史覆盖与延迟的硬折中：当叙事角色多、镜头数远超 5 时，6 帧等价预算可能不足以同时承载多个角色的身份与状态。改进方向是把预算做成与角色数/镜头数自适应的调度，或引入层次化记忆（角色级 sink + 镜头级摘要）。第二，DD 在 R2MV 落后于 Phantom，说明对参考条件的强一致性约束可能压制了运动多样性；可在 ConstraintSink 之外为运动/相机维度预留独立预算，或对参考与运动用解耦的 CFG。第三，PCD 把 CFG 烤进学生虽省掉无条件前向，但也损失了推理时调节引导强度的灵活性；可设计保留可调 guidance scale 的轻量化方案。第四，评测靠 Gemini 打 TF 且用户研究仅 10 人，证据强度不足；建议扩充基准规模、引入更多人工标注与盲评，并公布 baseline 复现以增强可比性。第五，源-目标角色码在 OCR 中疑似渲染异常（写作 $c_i=n+12$，疑为 $n+\tfrac12$），表明实现细节披露不够清晰，开源实现会显著降低复现门槛。

作者明确提及的延伸是把 IMVC 接口交由可选的工具增强 Director 自动驱动：它规划脚本与镜头序列、检索参考图、调用镜头边界检测与时间定位工具找出待编辑源段，再以 $(u_r,R_r,S_r)$ 形式喂给同一视频模型，把交互式创作升级为自动化工作流（附录 A 给出更多细节）。基于本成果可进一步延伸的方向包括：(1) 把固定预算稀疏上下文迁移到更长的长视频叙事与更高分辨率，验证 6 FE 预算的扩展极限；(2) 引入音频/语音作为新角色并入角色感知 RoPE，实现声画一致的多镜头生成；(3) 用更强的骨干（如更大参数 DiT）重做 PCD→DMD，看一致性-画质-速度三角是否进一步外推；(4) 把 ConstraintSink 思想推广到文本/多模态长上下文 LLM，研究“强制可见约束+动态检索共享预算”在长上下文推理中的价值；(5) 把 Director 工具链与强化学习结合，让模型从用户接受/拒绝的反馈中持续优化历史管理策略。

复现难度较高但部分可推断。已公开信息：骨干为 Wan2.1-T2V-1.3B（公开权重），生成规格 832×480、每镜头 81 帧、1 FPS 采样、4 步去噪、6 FE 固定预算；稀疏算子用块级零阶 Taylor kernel 在 TileLang 中实现（参照 LIVEditor），且训练与推理用同一算子与预算；评测指标明确（ViCLIP 算 TA、VBench 算 AQ/MS/DD、DINO/CLIP 算主体/背景一致性、ViCLIP 分组算 Inter-Shot、Gemini 2.5 Pro 算 TF、单 H200 测 FPS）。缺口也很明显：训练数据为 1M 私有多镜头视频加公开参考/编辑集，未公开；稠密教师/真实分数模型/伪分数模型的具体结构、PCD/DMD 的超参（$\mu$、$w(\gamma)$、$N_{step}$、块大小 $m$）、角色码 $c_i$ 的确切取值（OCR 疑误）均未详述；项目页给出但未见代码与权重公开承诺。整体看，架构思路清晰、工程可行性高，但缺乏代码/权重/数据意味着第三方几乎无法精确复现 Table 1/2 的数字，更多是“方向可借鉴、数字难复刻”。