面向长时程自回归视频生成的滚动边缘蒸馏 Rollout-Marginal Distillation for Long-Horizon Autoregressive Video Generation
以分块独立评分解耦质量监督与时间一致性，RMD在百倍训练时域外仍稳定生成
前置知识
自回归（AR）视频扩散
将长视频切成若干潜块（chunk），生成器以已生成的块为条件逐块去噪，配合滑动上下文窗口（KV 缓存）只关注最近历史，使长序列生成的计算开销保持有界；代价是每块的微小预测误差会作为后续步骤的条件不断累积放大，远超训练时域后视觉质量急剧坍塌。
RMD 的问题动机与自展开训练框架都建立在这一生成范式上，理解块、滑动窗口与误差累积是读懂全文的前提。
分布匹配蒸馏（DMD）
通过最小化学生输出分布与教师分布之间的反向 KL 散度来训练少步生成器：冻结的 real 得分网络代表教师先验，在线更新的 fake 得分网络追踪学生分布，二者在同一噪声输入上的得分差作为生成器的梯度信号，从而免去成对的逐步回归监督，适合自展开这种没有真值续写的场景。
RMD 完整保留了 DMD 的得分差更新规则，只是改换了评分的输出空间；不懂 DMD 就无法定位它的创新点在哪里。
反向 KL 散度
$D_{\mathrm{KL}}(q\|p)$ 衡量分布 $q$ 相对 $p$ 的差异；反向 KL 以学生分布为期望主体，呈模式寻求（mode-seeking）特性——宁可只覆盖教师分布中高概率的部分，也不在低概率区域浪费容量，因此适合追求高保真输出的少步蒸馏。
RMD 的损失函数就是对各块边缘分布求反向 KL，其高保真倾向与潜在的模式坍缩风险都源于这一性质。
得分函数与去噪预测
扩散模型的得分函数 $s(x_\tau,\tau)$ 估计噪声数据对数密度对输入的梯度，指向更干净的数据方向；去噪预测 $D$ 与得分一一对应，因此两个去噪网络在同一噪声输入上的预测之差可以充当分布之间梯度的方向估计，这是得分差更新的数学基础。
论文式 (3) 与式 (6) 的生成器更新都写成 $D_{ ext{real}}$ 与 $D_{ ext{fake}}$ 之差，这是全文数学的核心机制。
检查点自展开与可微重放
训练时让生成器在自身生成的历史上继续采样（self-rollout），为省显存，rollout 过程不保留计算图；之后用可微重放从保存的噪声输入重新计算被监督的预测，使梯度能够穿过重放回传到生成器参数。Solaris 提出该机制以解耦串行 rollout 与并行反传。
RMD 直接采用该机制把每个块独立的梯度 $g_i$ 传回生成器，是训练流程的关键工程组件。
研究动机
视频扩散模型因算力与显存限制通常只在短片段上训练（如 Wan 的 81 帧、约 5 秒），而自动驾驶仿真、具身世界模型等应用需要分钟级长视频。自回归逐块生成配合滑动上下文窗口虽可无限延展，但每块的小误差会作为后续条件不断累积。自展开（self-rollout）训练让生成器暴露于自身不完美历史，再用视频级分布匹配蒸馏（DMD）联合监督整段序列（Self Forcing、Causal Forcing 等）。问题在于：式 (3) 中 real/fake 两个得分网络都接收整段序列 $x_\tau$，当前块 $x_i$ 的修正梯度与其过去 $x_{i}$ 耦合；当历史已出现纹理与色彩腐坏（如背景树叶的严重伪影）时，教师若强行在当前块生成干净背景会造成突兀跳变，于是为保持时间一致性而在 real 得分预测中保留这些非物理鬼影。实验中 Self Forcing 的 VBench-Long 总分从 10 秒的 79.12 跌至 60 秒的 70.94，出现严重色彩过饱和与结构坍塌。
本文的目标是本文的目标是让少步自回归视频生成器在远超训练时域的情况下仍保持高视觉质量：定量上在约 60 秒（12 倍于 5 秒训练时域）的 VBench-Long 评测中全面超越视频级 DMD 基线，定性上展示 500 秒（100 倍训练时域）的连续生成。同时严格约束推理协议不变——只使用完全滑动的上下文窗口，不引入 LongLive 式固定帧锚（frame sink）、不添加显式记忆机制、不修改生成器网络结构，因此相对基线零额外推理开销。方法层面希望把视觉质量监督与时间连贯性约束解耦：质量修正信号不应被带伪影的历史污染，教师敢于对当前块给出干净目标，同时又不牺牲块间运动的平滑衔接。
与已有工作不同的是，既有工作大致分三类：一是改造生成器的因果性与训练流程（CausVid、Self Forcing、Causal Forcing、Causal-rCM、Solaris），二是维护推理期缓存（Rolling Sink 的免训练缓存维护），三是改造教师条件（CMD 用因果教师在学生已实现的 rollout 上下文上做前缀评分；OPSD-V 给教师喂含真实长视频上下文的干净缓存）。这些路线要么需要为每个自展开历史构造配对监督，要么依赖真实长视频数据。RMD 的独特切入是把 DMD 的匹配空间从联合整段序列改为自回归采样诱导的分块边缘分布：生成仍完全按因果条件进行，但评分完全不看上下文与位置，时间结构随后由一个独立的视频级 DMD 精修阶段恢复。因此既不需要为生成历史准备配对真值续写，也不需要任何真实长视频上下文。
核心方法
直觉上，教师看到带伪影的历史时，为了序列级一致只能将错就错地保留伪影。RMD 的核心做法是生成与评分分离：生成器照常条件于自身历史逐块去噪，而教师对每个块独立打分，不受上下文拖累。技术上，把 Wan 14B 双向视频扩散蒸馏成 1.3B 因果生成器（从 Causal Forcing 的因果 ODE 检查点初始化），训练分两阶段。第一阶段是滚动边缘训练：每次迭代生成 $T$ 块因果 rollout，每块 4 步去噪；由于 Wan 因果 VAE 对首帧不做时间压缩，初始块与续块的潜空间统计不同，故分别匹配教师目标 $p_{1,\tau}$ 与 $p_{\text{chunk},\tau}$，损失为 $\mathcal{L}_{\text{RMD}}=\frac{1}{T}D_{\mathrm{KL}}(q_{\theta,1,\tau}\|p_{1,\tau})+\frac{T-1}{T}D_{\mathrm{KL}}(q_{\theta,\text{chunk},\tau}\|p_{\text{chunk},\tau})$。第二阶段用视频级 DMD 以更小学习率精修，恢复跨块时间连贯。梯度经 Solaris 检查点可微重放回传；训练固定 81 帧时域，不展开更长序列。
核心创新是把 DMD 的输出空间从联合 rollout 改为分块边缘分布。自回归 rollout 分布可分解为 $q_\theta(x\mid c)=\prod_{i=1}^{T}q_\theta(x_i\mid x_{<i},c)$；RMD 定义续块边缘 $q^{(T)}_{\theta,\text{chunk}}(x\mid c)=\frac{1}{T-1}\sum_{i=2}^{T}\mathbb{E}_{x_{<i}\sim q_\theta}[q_\theta(x\mid x_{<i},c)]$，对生成历史与续写位置双重平均，故评估单块真实感既不需要历史也不需要位置。监督信号来自 real/fake 得分网络的归一化差：$g_i=(D_{\text{fake},i}-D_{\text{real},i})/\text{mean}\,|x_i-D_{\text{real},i}|$。与视频级 DMD 的本质区别：同样用得分差更新，但视频级方法对整段联合评分，使每块梯度与上下文耦合；RMD 显式隔离质量监督与不完美历史，宁可让当前块突变为干净颜色也不为迁就过去而保留伪影。配套非对称去噪出口（初始块随机中间步监督、续块只在最后最低噪声步监督以保留时间先验）与 LoRA 改造的教师（在原模型自生成视频抽取的续块上适配）。
方法步骤详情
流程：(1) 初始化：从 Causal Forcing 的因果 ODE 检查点加载 1.3B 因果生成器，教师为 Wan 14B。(2) rollout 采样：按 Self Forcing 框架每迭代生成 $T$ 块 rollout，每块 4 步去噪；非对称出口——初始块 $x_1$ 在随机中间去噪步退出算损失，续块只在最后最低噪声步退出以精修局部细节。(3) 教师改造：用原双向模型自生成视频抽取的续块对 Wan 14B 做 LoRA 适配，提供 $p_{\text{chunk},\tau}$；初始块用未改造目标 $p_{1,\tau}$。(4) 评分：对每块加评分噪声，real 与 fake 得分网络在同一噪声输入上给出 $D_{\text{real},i},D_{\text{fake},i}$，按 $g_i=(D_{\text{fake},i}-D_{\text{real},i})/\text{mean}\,|x_i-D_{\text{real},i}|$ 得梯度。(5) 反传：rollout 不保留计算图，经 Solaris 检查点可微重放回传 $g_i$；训练窗口后半段重放时屏蔽对初始块的注意力。(6) 优化：70k 提示词，batch 8，AdamW（$\beta_1=0$，$\beta_2=0.999$），每 1 次生成器更新配 5 次 fake 分更新；块大小 1 时学习率均 $2\times10^{-5}$ 训 900 步，块大小 3 时 fake 分降至 $2\times10^{-7}$ 训 750 步。(7) 视频级精修：学习率降为生成器 $2\times10^{-6}$、fake 分 $4\times10^{-7}$，再训 800 步恢复时间连贯。
技术新颖性
新颖性有四点。第一，目标函数层面：保留 DMD 的得分差更新形式，但把匹配对象换成自回归采样诱导的分块边缘分布，这是对匹配输出空间的改造，与改散度（对抗式分布匹配、最优传输蒸馏 VDOT）、改正则化（score 正则一致性）等正交。第二，监督与生成解耦的不对称设计：初始块随机步出口、续块仅末步出口，有消融支持——均匀随机出口使总分从 81.26 掉到 78.29 并引发严重时间抖动。第三，无真实数据的教学改造：用双向模型自生成的续块 LoRA 适配教师，规避了真实视频没有孤立续块分布的数据难题，也不同于 CMD 需要在学生已实现上下文上做前缀评分的因果教师路线。第四，两阶段解耦：边缘匹配管单块质量、视频级 DMD 管跨块连贯，消融清楚显示二者分工（marginal only 质量分 84.90 但时间指标落后）。整个流程不需要帧锚、显式记忆或结构改动，推理开销为零。
实验结果
主实验在 VBench-Long（944 提示词 × 5 次生成，832×480、16 FPS、约 60 秒）上进行。块大小 1 时，RMD 总分 81.26、质量 84.52、语义 68.24，对比 Self Forcing（70.94/77.89/43.17）与 Causal Forcing（69.88/78.34/36.03），总分领先超 10 个绝对点，语义分提升 25 点以上。块大小 3 时 RMD 达 81.48/85.03/67.24，优于 Self Forcing 的 77.44 与 Causal Forcing 的 74.88。长时程外推实验（块大小 1，10–60 秒分段评估）显示 RMD 几乎不衰减：质量分仅从 84.68 变到 84.52，60 秒语义分保持 68.24；而 Self Forcing 总分从 79.12 陡降至 70.94。定性上还给出 500 秒（100 倍训练时域）示例。消融（块大小 1）：纯视频级 DMD 仅 72.44 且迅速色彩坍塌；仅边缘目标达 80.64、质量分高达 84.90 但时间指标落后；均匀随机出口 78.29；完整 RMD 81.26 最佳。时间指标上，从 marginal only 到完整 RMD：主体一致性 97.29→98.05、背景一致性 96.26→96.89、时间闪烁 99.06→99.41、运动平滑 98.79→98.96，证实精修阶段解决了独立评分引入的跨块抖动。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长时程视频生成（60 秒，块大小 1） | VBench-Long Total | 81.26 | Self Forcing 70.94 / Causal Forcing 69.88 | +10.32 / +11.38 |
| 长时程视频生成（60 秒，块大小 1） | VBench-Long Semantic | 68.24 | Self Forcing 43.17 / Causal Forcing 36.03 | +25.07 / +32.21 |
| 长时程视频生成（60 秒，块大小 3） | VBench-Long Total | 81.48 | Self Forcing 77.44 / Causal Forcing 74.88 | +4.04 / +6.60 |
| 长时程外推（10s→60s 衰减，块大小 1） | VBench-Long Quality 变化 | 84.68 → 84.52（几乎无衰减） | Self Forcing Total 79.12 → 70.94（陡降 8.18） | RMD 全程稳定，基线显著退化 |
| 消融：仅边缘目标 vs 完整 RMD | VBench-Long Total / Subject Cons. | 81.26 / 98.05（完整 RMD） | marginal only 80.64 / 97.29；video DMD only 72.44；random exits 78.29 | 两阶段设计相对最强消融 +0.62 总分并提升全部时间指标 |
局限与改进
作者承认独立分块评分不约束跨块关系，必须依赖第二阶段视频级精修补时间连贯，两阶段流程增加训练复杂度与调参负担（两阶段的学习率与步数需分别调整）。我的补充观察：其一，评测以 VBench-Long 为主，聚合指标止于约 60 秒，500 秒只是定性示例，未给出极长时域的定量指标或人类评测；其二，块边缘匹配对历史与位置取均匀平均，可能压制罕见但重要的动态模式（模式平均/坍缩风险），论文未测多样性指标；其三，教师 LoRA 适配数据来自学生初始模型的自生成视频，存在自蒸馏偏差，质量上限受原双向模型边缘分布约束；其四，未与概念上最相关的 CMD、OPSD-V 做实验对比，表 1 中基线语义分极低（36–43）也可能部分源于评测协议差异；其五，初始块潜空间的特殊性需要注意力掩码这类补丁式处理，说明框架对 VAE 细节较敏感，迁移到其他底座时需重新设计。
独立分析的弱点
弱点一：独立评分完全丢弃上下文信息，跨块一致性只能事后弥补；改进方向是研究部分上下文评分，例如只屏蔽被伪影污染的远端历史，或按伪影检测动态选择评分窗口，在质量与连贯间自适应权衡。弱点二：边缘匹配对历史和位置取均匀平均，鼓励典型块而可能牺牲运动多样性与叙事推进，超长视频趋于静态；可引入加权边缘或提示词条件化的边缘目标来保住语义推进。弱点三：训练与评测都依赖 VBench-Long 这类代理指标，其语义维度对基线给出 36–43 的极低分，可能夸大差距，应补充人类偏好评测与下游任务（世界模型预训练、仿真）验证。弱点四：非对称出口与首帧注意力掩码是经验性补丁，缺乏理论解释；可分析去噪步与历史依赖度的关系，给出更原则性的出口调度策略。弱点五：论文未报告训练显存与卡时开销，可微重放的代价不明，不利于社区评估实用性；建议补充训练成本报告或提供显存优化变体。
未来方向
作者展望这一解耦质量与时间的范式可成为长时程流式视频生成的基础。可延伸方向：一，结合 Rolling Sink 的缓存维护与 LongLive 的帧锚机制，检验边缘蒸馏与结构化记忆是否正交可叠加，进一步推高时域上限；二，把 RMD 应用到交互式/具身世界模型与自动驾驶仿真，动作条件会改变边缘结构，需要条件化的分块教师与动作感知的边缘匹配；三，把两阶段统一为单阶段多目标训练，用不确定性加权或课程式调度在边缘损失与视频级损失之间渐变，降低调参负担；四，向 3D 场景生成、音视频联合生成推广，检验分块独立评分在新模态上的普适性；五，理论层面分析分块边缘匹配与反向 KL 的模式寻求行为对长视频多样性的影响，并探索与对抗式分布匹配结合以提升细节保真。
复现评估
论文承诺在项目页 https://cjeen.github.io/RMD/ 公开代码与视频结果（投稿时尚未确认模型权重是否放出）。复现要素多为公开资源：Wan 14B/1.3B 底座、Causal Forcing 的因果 ODE 检查点、Self Forcing 的 70k 提示词集、VBench-Long 评测套件；超参数在论文中给出得相当完整（全局 batch 8、AdamW 参数、每 1 次生成器更新配 5 次 fake 分更新、各阶段学习率 $2\times10^{-5}$ 到 $2\times10^{-7}$ 与 900/750/800 步、4 步去噪、81 帧固定时域）。难点在基础设施：需要实现 fake 得分网络交替更新、Solaris 式检查点可微重放、LoRA 教师适配三个组件，而 DMD 类训练本身对超参敏感。粗略估计需要多卡 A100/H100 级算力（论文未明确给出），有扩散蒸馏工程经验的团队约需一至两周复现，从零搭建 DMD 训练框架则难度显著更高。
论文图表
展示从同一起点出发、按 1×/25×/50×/100× 训练时域推进的四组长视频帧：仅用 5 秒 rollout 训练的 RMD，在纯滑动上下文窗口（无固定锚、无显式记忆、无结构改动）下生成 500 秒视频仍保持清晰稳定的画面质量。
这是论文核心卖点的最直观证据，一眼看出方法在百倍于训练时域的范围外不坍塌，理解论文动机时应先看此图。
三行对比：(a) 自回归 rollout 随时间累积视觉伪影；(b) 视频级 DMD 联合评分整段序列，real 得分预测保留了历史伪影（背景树叶的非物理鬼影）；(c) RMD 独立评分当前块，尽管上下文已退化，仍给出干净高保真的目标。
精准可视化论文的核心论点——联合评分导致教师将错就错，而独立评分打破这一耦合，是理解动机与方法衔接的关键图。
两种块大小下与 Self Forcing、Causal Forcing 的总/质量/语义分对比：块大小 1 时 RMD 81.26/84.52/68.24，大幅领先基线（70.94 与 69.88 总分，语义分仅 43.17 与 36.03）；块大小 3 时 RMD 81.48/85.03/67.24 同样全面占优。
论文主结果表，所有性能主张的数字来源，展示方法在两种推理配置下的一致优势。