上下文匹配蒸馏：面向自回归视频蒸馏的教师因果性 Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation
用因果教师与前缀评分对齐师生信息集，实现低延迟可控长视频生成
前置知识
分布匹配蒸馏（DMD）
一种少步蒸馏方法：同时维护学生分布 $p_{fake}$ 与教师分布 $p_{real}$，用两者得分函数之差 $s_{real}(x)-s_{fake}(x)$ 作为分布失配的代理，沿梯度 $\nabla_\theta\mathcal{L}_{DMD}=-\mathbb{E}_{x\sim p_{fake}}[(s_{real}-s_{fake})\,dG_\theta/d\theta]$ 更新学生，把多步去噪压缩为一两步前向。本文所有蒸馏损失都在该框架内。
CMD 的全部改动都发生在'教师如何打分'这一环，理解得分差梯度才能明白教师看到的信息如何影响学生更新方向。
自回归视频生成与块因果注意力
把视频 latent 按块分解，$p_\theta(B_{1:N}|\mathcal{I}_0,C_{1:N})=\prod_i p_\theta(B_i|\mathcal{I}_0,B_{<i},C_{\le i})$，块间因果、块内双向；$K=1$ 时退化为逐帧 AR。生成时可缓存历史支持流式推理，但每帧的小错误会被后续帧复用，随 rollout 复利式累积成外观、几何与运动的长期漂移。
CMD 的学生、教师与块因果打分掩码都建立在这个分解上，因果信息集 $h_t$ 的定义直接来自它。
Diffusion Forcing
训练因果序列模型的目标：对序列各帧独立施加不同强度的噪声，让每个目标帧都在'带噪历史'下去噪，而非只依赖干净上文。这样模型在训练时就见过不完美上下文，推理时把自己的生成结果当历史用时更鲁棒。本文用它把预训练双向模型微调成多步因果教师。
因果教师正是用该目标预训练的，其对带噪前缀的鲁棒性直接支撑了 Prefix Scoring 与 Prefix Corruption 的设计。
师生上下文失配（因果信息集）
因果学生生成第 $t$ 帧时只掌握信息集 $h_t=(x_{t}$ 与未来控制 $c_{>t}$，即教师评分所处的信息集与学生生成该帧时的信息集不一致，学生会学习拟合推理时根本拿不到的信息。
这是全文要解决的核心问题，CMD 的三个组件（因果教师、Prefix Scoring、Prefix Corruption）都围绕消除该失配展开。
Flow Matching
一类生成训练目标：学习速度场 $\eta_\varphi(x_{t,\tau},\tau,h_t)$ 去逼近从噪声到数据的路径速度 $v_t=(\epsilon-x_t)$，损失为 $\mathcal{L}=\mathbb{E}\|v_t-\eta_\varphi\|_2^2$。训练好的网络可按 DMD 的约定换算为得分函数 $s_{real}$ 用于蒸馏打分。
论文的教师预训练（式4）与因果打分公式均以 flow matching 语言书写，不懂它就读不懂方法部分的推导。
帧相对相机 ray map
把相机条件表示为相邻帧的相对位姿增量 $\Delta E_t=E_{t-1}^{-1}E_t$，对每个 latent 像素 $(u,v)$ 用内参 $K_t$ 反投影成光线并经 $\Delta E_t$ 变换，得到与视频 token 空间对齐的 ray map $c_t=\varphi(\Delta E_t,K_t,u,v)$，避免依赖任意全局坐标系，保留相机运动的局部几何。
这是相机控制实验的核心条件表示，消融表 6 显示它全面优于 PRoPE 相对位置编码。
研究动机
交互式自回归视频生成要求低延迟 rollout 和精确在线控制，主流做法是用分布匹配蒸馏（DMD）把多步双向教师压缩成少步因果学生，如 CausVid、Self-Forcing、LongLive 等。但这类流水线有个结构性缺陷：因果学生生成第 $t$ 帧时只能使用因果信息集 $h_t=(x_{t}$ 与未来控制 $c_{>t}$——作者称之为师生上下文失配。相机控制场景下尤其严重：教师能看到完整相机轨迹，学生却必须在线逐个执行位姿更新，未来的相机变化会污染当前帧的监督；长视频场景下，把局部片段当自包含样本打分，既丢弃了生成片段早期目标时所用的前文，又允许片段内目标看到未来帧。消融数据显示，用双向教师打分训练的 chunk-1 学生在 VBench-I2V 上相机运动分数只有 36.23、总分 82.65，而因果打分可分别提升到 63.64 与 88.46。
本文的目标是本文目标是构建因果 DMD 框架——上下文匹配蒸馏（CMD），让教师监督与学生在生成每个目标时可用的信息严格对齐。具体包含三点：一是训练一个多步因果教师，打分时不允许访问任何未来帧或未来控制，消除时间信息边界的不对齐；二是让同一个因果教师既负责学生初始化又负责蒸馏打分，统一教师训练、蒸馏、推理三阶段的因果形式，免去 ODE 匹配或一致性蒸馏等额外初始化阶段；三是通过 Prefix Scoring 把打分上下文设为学生真实生成的前缀（而非前面的带噪 DMD 目标），通过 Prefix Corruption 抑制训练早期不可靠前缀的干扰，并让同一形式自然扩展到逐帧/分块生成、有界上下文长视频和时变相机控制。
与已有工作不同的是，最接近的工作是 Causal Forcing 与 Causal Forcing++：它们意识到双向教师与因果学生的失配，但只在学生初始化阶段引入因果教师——前者用 ODE 匹配、后者用一致性蒸馏——之后的 DMD 打分仍回到原设定，且初始化本身开销不小。CMD 的独特切入是把因果性贯穿到底：直接把 Diffusion Forcing 预训练的多步因果教师同时用于打分与初始化。作者进一步指出，仅对齐时间边界还不够——朴素因果 DMD 的打分历史是前面的带噪 DMD 目标，而非学生真实 rollout 出来的前缀，于是提出 Prefix Scoring 把评分上下文精确匹配到'产生该目标的那个历史'，再用 Prefix Corruption 解决早期 rollout 漂移主导教师打分的问题。这是第一个在打分层面完整匹配学生因果信息状态的少步蒸馏框架。
核心方法
直觉上，监督信号所含的信息量不应超过学生生成该目标时能看到的量：如果教师能偷看未来，学生就会被误导去拟合推理时无法获得的信息。技术路线分四步：首先把预训练双向模型 Cosmos-Predict2.5-2B 用 Diffusion Forcing 目标微调为多步因果教师——每帧独立加噪、目标帧只能注意带噪历史，非相机控制任务训练约 8K 迭代（相机控制 11K）；其次学生直接从教师权重初始化，天然继承因果归纳偏置；训练时学生像推理时一样 on-policy 自回归 rollout，缓存每帧生成时所用的干净前缀与控制；最后冻结的因果教师与 fake score 网络在块因果注意力掩码下对全部加噪目标一趟前向并行打分，按 DMD 得分差更新学生。教师训练、学生初始化、打分、推理四个环节使用同一种因果架构与条件化方式，整体框架简洁且无任务特定组件。
核心创新是三个递进组件。Base CMD：把双向教师换成因果教师，打分历史为前面的带噪 DMD 目标 $\{\hat x^{DMD}_{i,\tau}\}_{i=1}^{t-1}$，保证时间信息边界对齐。Prefix Scoring：把打分上下文进一步换成缓存的学生真实生成前缀，即教师与 fake 网络在 $h_t=(\mathcal{I}_0,\hat x_{1:t-1},c_{1:t})$ 下评估 $s_{real}(\hat x^{DMD}_{t,\tau},\tau,h_t)$ 与 $s_{fake}$，让'评分时看到的历史'与'生成该目标时用的历史'完全一致，类似 Teacher Forcing。Prefix Corruption：训练早期学生 rollout 常带颜色、纹理类漂移伪影，直接喂给教师会污染打分，于是按 $\tilde h_t^{(\rho)}=(\mathcal{I}_0,\mathcal{C}_\rho(\hat x_{1:t-1}),c_{1:t})$、$\mathcal{C}_\rho(\hat x)=(1-\rho)\hat x+\rho\epsilon$ 腐蚀前缀，$\rho$ 由独立于 DMD 时间步的调度量 $t_{prefix}$ 控制，默认 256。与 Self-Forcing 的本质区别：后者允许目标分数依赖未来块，CMD 严格禁止任何未来信息进入打分。
方法步骤详情
第一步，因果教师预训练：输入真实视频 latent $x_{0:T}$（$x_0=\mathcal{I}_0$ 保持干净），每帧独立加随机噪声，块因果掩码限制目标帧 $t$ 只能访问 $h_t=(\mathcal{I}_0,\tilde x_{1:t-1},c_{1:t})$，以 flow matching 损失 $\mathcal{L}_{DF}=\mathbb{E}\|v_t-\eta_\varphi(x_{t,\tau},\tau,h_t)\|_2^2$ 训练约 8K 迭代。第二步，学生初始化与 rollout：学生 $G_\theta$ 从 $\eta_\varphi$ 权重初始化，自回归生成 $\hat x_{1:T}$，历史帧 detach 梯度。第三步，Prefix Scoring：缓存每帧生成时的干净前缀，目标帧加噪为 $\hat x^{DMD}_{t,\tau}$，教师与 fake 网络在同一前缀上下文下打分，块因果掩码使第 $t$ 个查询只能注意 $\hat x_{<t}$ 与 $c_{\le t}$，全部目标一趟前向并行完成。第四步，Prefix Corruption 后按式(6) 求 DMD 梯度。第五步，长视频：师生均用局部注意力窗口 $M$，上下文 $h^M_t=(\hat x_{t-M:t-1},c_{t-M:t})$，训练 $R$ 段连续 rollout，腐蚀强度随帧数用调度 $\rho_t$ 递增。第六步，相机控制：以帧相对增量 $\Delta E_t=E_{t-1}^{-1}E_t$ 构建 ray map $c_t=\varphi(\Delta E_t,K_t,u,v)$ 作为条件。
技术新颖性
技术新颖性有四点。其一，跳过 CausVid 的 ODE 匹配和 Causal Forcing++ 的一致性蒸馏初始化：多步因果教师本身就能初始化学生，管线更简单，且新增控制模态时只需适配一个因果模型，而非'双向教师+因果学生'两套。其二，块因果掩码把'每个目标单独打分'的朴素需求变成一趟并行前向：第 $t$ 个查询只注意自己的因果前缀，兼顾正确性与效率，长视频下教师注意力窗口不随目标数扩大即可扩展到任意长视频。其三，Prefix Corruption 是对 Prefix Scoring 的受控松弛——腐蚀只作用于上下文侧且使用独立噪声水平，不动 DMD 目标侧的随机时间步，把教师对早期伪影的敏感度与监督信号解耦。其四，相机条件在教师与学生两侧都采用帧相对 ray map，从表示层面杜绝教师利用未来位姿解释当前帧的可能。
实验结果
短视频 VBench-I2V（每图文对固定 5 个种子）：chunk-4 取得最佳 Total 88.47、I2V 96.54、相机运动 76.12，比最强基线 Causal Forcing（Total 87.63）分别提升 0.84、1.18、33.58 个百分点，chunk-1 以 88.46/96.44/63.64 三项均列第二。长视频 SANA-WM（501 帧、16 fps、约 30 秒、480×832）：chunk-1 在全部聚合指标最佳——Q 81.39、S 24.51、Total 70.02，分别比最强外部基线高 0.67、0.31、0.77；chunk-4 原始动态度 77.50 最高，而一致性更高的 LongLive/Rolling Forcing 动态度仅 8.75/3.75。相机控制 SANA-WM Simple/Hard（每场景 8 个 125 帧窗口、每 split 640 视频）：chunk-1 的 Semantic 0.2413/0.2423 与 Total 0.7091/0.7032 均最佳；chunk-4 的旋转/平移/CamMC 误差最低（Simple: 0.8601/0.0981/0.1027）。消融显示各组件贡献：短视频 Total 从双向教师 82.65 → Base CMD 88.33（+5.68）→ Full CMD 88.46，相机运动 36.23→60.66→63.64；长视频 Total 65.98→69.37→70.02；前缀腐蚀 $t_{prefix}$ 取 256 最优（128/512 时 CM 降至 56 上下）。LLM 盲评（Gemini 3.1 Pro，每对 100 次）：chunk-4 对六个基线胜率 82%、76%、64%、72%、88%、74%，chunk-1 为 75%、64%、62%、66%、85%、60%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 短视频图像到视频生成（VBench-I2V） | Total 总分 | 88.47（chunk-4） | Causal Forcing 87.63（最强基线） | +0.84 |
| 短视频相机运动服从（VBench-I2V CM） | Camera Motion 分数 | 76.12（chunk-4） | LingBot-World 42.54 | +33.58 |
| 长视频生成（SANA-WM，501 帧/约 30 秒） | Total 总分 | 70.02（chunk-1） | Context Forcing 69.25 | +0.77 |
| 相机控制生成（SANA-WM Simple split） | 旋转误差 Rot.（度，越低越好） | 0.8601（chunk-4） | SANA-WM 1.2104 | 降低 0.3503（约 29%） |
| 人类感知偏好（LLM 盲评，Gemini 3.1 Pro） | 对 Context Forcing 的胜率 | 88%（chunk-4） | Context Forcing 12% | +76 个百分点 |
局限与改进
数据可见的局限：为换取动态性与相机服从，一致性指标有所牺牲——长视频 chunk-1 的 SC/BC 仅 88.59/91.93，明显低于 Rolling Forcing 的 96.09/95.41，时序闪烁 96.24 也略低；短视频审美质量 AQ 60.62 处于下游。我的观察：其一，Prefix Corruption 的 $t_{prefix}$ 相当敏感（128 与 512 都使 CM 分数降到 56 上下），长视频还需帧依赖调度 $\rho_t$，调参成本不低；其二，相机控制 Hard split 上 Base CMD 的旋转误差 2.1606 反而低于 Full CMD 的 2.5607，说明前缀匹配在更难分布上并非单调有益；其三，方法绑定 DMD 与 fake score 网络，分布匹配本身的 mode seeking/covering 问题未被讨论；其四，训练依赖 Cosmos-Predict2.5-2B 基座与 DL3DV 数据，向其他基座迁移未验证；评估重度依赖 VBench 与 LLM-as-judge，感知结论可能带评分器偏差。
独立分析的弱点
独立分析几点弱点。第一，一致性-动态性权衡：长视频上 SC/BC 明显下降（chunk-1 为 88.59/91.93，对比 Rolling Forcing 的 96.09/95.41），因果前缀匹配可能放大 rollout 漂移，可引入 sink token、缓存压缩或 WorldMem 式显式记忆约束长期一致性。第二，超参敏感：$t_{prefix}=256$ 显著优于 128/512，未来可按学生-教师得分差或漂移度量自适应设置 $\rho_t$，形成自动课程。第三，Prefix Scoring 在 Hard 相机样本上优势收窄甚至被 Base CMD 反超，可对高不确定性目标回退到带噪 DMD 前缀做混合打分。第四，打分与生成共享前缀意味着教师仍部分继承学生早期错误，可补充轻量对抗损失或 self-resampling 提升前缀多样性。第五，论文未报告推理延迟与显存的绝对数值，chunk-1 与 chunk-4 的实时交互部署成本不透明，工程落地前需补测。第六，fake score 网络的训练细节与稳定性在正文着墨很少。
未来方向
作者指出的延伸：同一因果形式可自然扩展到更多设定，逐帧/分块、有界长视频、时变相机控制已在文中验证，进一步可走向离散动作控制的交互式世界模型、6-DoF 场景探索与多智能体世界模拟。基于本文成果可延伸的方向：把 Prefix Corruption 调度与在线漂移检测结合，实现训练中自动调节的课程学习；将因果教师打分与奖励模型结合做 RL 后训练以优化特定属性；迁移到流式音视频联合生成或可编辑世界状态；在教师侧引入可学习长期记忆以超越学生固定窗口 $M$；从理论上刻画信息集失配对 DMD 梯度偏差的影响，给出更原则性的匹配准则；以及把帧相对 ray map 与 Infinity-RoPE 类位置编码结合，冲击分钟级 rollout 与实时动作响应。
复现评估
复现要点：基座为 NVIDIA Cosmos-Predict2.5-2B，训练量级已公开——非相机控制教师约 8K 迭代，chunk-1/chunk-4 短视频学生约 3.2K/5.1K 迭代，长视频学生再微调约 0.8K/0.9K 迭代；相机控制教师约 11K/8K、学生约 3K/0.9K 迭代。数据为生成+精选视频与 DL3DV，caption 由 Qwen3-VL-8B-Instruct 生成。论文未声明开源代码或权重，仅有项目页 hmrishavbandy.github.io/cmd-site/ 展示视频，这是复现的最大障碍。评估需搭建 VBench-I2V 与 SANA-WM 基准，相机误差需用 $\pi^3$ 恢复位姿并做 Umeyama Sim(3) 对齐，LLM 盲评依赖 Gemini 3.1 Pro Preview。训练 2B 级 DiT 需要多卡 GPU 且 rollout 缓存带来额外显存开销，整体复现难度高，适合有大规模训练资源的团队；但若基座与数据可得，方法本身没有私有组件。
论文图表
展示从单张条件图像出发，Frame AR 与 Chunk AR 两种模型自回归扩展场景：上排为 0 秒到 32 秒的长视频 rollout 采样，下排为用 W/A/S/D 平移与视线方向指令引导的相机控制 rollout；Frame AR 在每个 latent 帧后接受更新控制，Chunk AR 在多帧块边界更新控制。
直观呈现论文要支撑的两大能力——长时程生成与时变相机控制，以及两种控制粒度的差异，是理解应用场景与任务设定的入口。