Glance Forcing:让双向扩散模型一眼即自回归的单条轨迹蒸馏 Glance Forcing: Making Bidirectional Diffusion Autoregressive at a Glance
单条 ODE 轨迹加慢快双 LoRA 专家解耦,监督成本降 11600 倍,质量反超全量基线
前置知识
PF-ODE 与去噪轨迹
扩散模型从噪声到数据的确定性生成过程可写成一个概率流常微分方程(PF-ODE):给定初始噪声 $z_T$,沿该 ODE 积分即可确定性地走到干净样本 $z_0$,中间路径 $z_t$ 就是"去噪轨迹"。这条轨迹的形状(曲率、直线度)决定了它能被多大程度地压缩成少步求解器——少步蒸馏很大程度上就是让学生网络近似这条轨迹。
全文的核心论证都围绕"轨迹需要多少条、好不好拟合"展开,作者用轨迹直线度 $S=\|z_T-z_0\|_2/\sum_t\|z_t-z_{t-1}\|_2$ 和曲率来度量轨迹几何,不懂轨迹视角就无法理解论文的问题定义与结论。
一致性蒸馏(Consistency Distillation, CD)
CD 训练一个学生模型 $F_S$,把教师 PF-ODE 轨迹上任意点 $x_{t_n}$ 直接映射到轨迹终点:损失要求相邻两步各自经 ODE 求解器 $\Phi$ 走到终点的结果一致(论文式(5)(6)),其中 $\hat{x}_{t_{n-1}}$ 由教师 $F_T$ 预测得到。它训练稳定,是把多步扩散压缩到 2-4 步的主流手段,常被简化为学生输出与教师轨迹端点的直接回归。
本文的 ODE 初始化阶段本质上就是分段的 CD:Slow-LoRA 和 Fast-LoRA 分别在高噪声子轨迹 $[t_\kappa,t_N]$ 与低噪声子轨迹 $[t_0,t_\kappa]$ 上做一致性蒸馏(式(9)(10)),理解 CD 才能看懂方法主体。
分布匹配蒸馏(DMD)
DMD 不追踪具体轨迹,而是直接匹配分布:用一个可学习的 fake score $s_\phi$ 拟合学生当前生成分布,再用真实数据 score $s_{real}$ 与 $s_\phi$ 之差作为反向 KL 的梯度估计,把学生输出分布拉向目标数据分布。本文用非对称设置:$s_{real}$ 取 Wan2.1-14B、$s_{fake}$ 取 Wan2.1-1.3B,并配学生自滚出(self-rollout)序列。
论文的关键机制发现是职责分离:ODE 初始化负责拉直轨迹几何,DMD 负责分布质量且几乎不改变几何。只有理解 DMD 的角色,才能明白为什么一条轨迹就够、后续质量靠 DMD 补齐。
自回归视频扩散与 Teacher/Diffusion Forcing
自回归(因果)视频生成把联合分布因子化为 $p_\theta(x_{1:K}|c)=\prod_k p_\theta(x_k|x_{<k},c)$,按块(chunk)生成并用 KV cache 让历史帧作为静态上下文,天然适合流式与实时场景。训练策略主要有 Teacher Forcing(以干净前缀为条件)和 Diffusion Forcing(对前缀独立加噪);Self Forcing 进一步改为在学生自生成的上下文上训练以弥合训练-测试鸿沟。
Glance Forcing 完整沿用 Causal Forcing 的三阶段因果蒸馏管线,双 LoRA 也是以 chunk 为单位在去噪步间切换,需要先理解因果视频扩散的基本框架。
LoRA 低秩适配
LoRA 在冻结的预训练权重旁并联一个低秩分支 $\Delta W = BA$(秩 $r\ll d$),只训练 $A,B$,大幅降低可训参数量与显存占用。本文用两套独立的 LoRA(rank 32、$\alpha=128$,插入扩散 Transformer 所有线性层),按噪声水平切换,从而把一个学生网络拆成两个专家。
双 LoRA 是本文实现慢快专家解耦的载体,同时保证预训练教师完全冻结;复现与推理调度(哪几步用哪套 LoRA)都建立在这一结构上。
VBench 与 VisionReward 评测
VBench 是视频生成综合评测套件,报告 Total、Quality(画质)、Semantic(语义一致性)、Dynamic Degree(动态程度)等分量;VisionReward 是基于人类偏好训练的多维视频奖励模型,输出可为负值。两者是自回归视频蒸馏工作(CausVid、Self Forcing、Causal Forcing)的标准量化指标。
论文所有结论都以 VBench 分量与 VisionReward 表达(如 Total 82.09 vs 82.01、Dynamic 75 vs 68),需要知道各分量含义才能判断改进落在哪里。
研究动机
当下的实时视频生成与视频世界模型几乎都走"双向扩散 → 因果少步学生"的蒸馏路线:以 Wan2.1-1.3B 这类双向注意力模型为底座,先改造成自回归(chunk-wise、KV cache 流式),再压缩到每块 4 步去噪。瓶颈在监督信号上:主流管线(Self Forcing、Causal Forcing)需要离线构建概率流 ODE(PF-ODE)轨迹——用自回归教师在大规模视频数据上逐条积分求解并存储轨迹。据论文图 1(b),Causal Forcing 的轨迹采集约耗 11600 GPU 小时、约 1900 TB 量级存储,Self Forcing 也要约 5000 GPU 小时与 1500 TB,摘要称其为"数万 GPU 小时与 TB 级存储"的严重预处理瓶颈。作者于是把监督压到极限——只用 1 条轨迹做 ODE 初始化,结果如图 2(a) 所示发生严重质量坍塌:两种 forcing 方法的 VBench 总分从完整监督下的 82.01(CF)与 69.48(SF)崩落到 66.84、51.23 乃至 18.25 的量级,语义布局与纹理细节全面退化。这引出核心问题:为什么极稀疏的轨迹监督会让少步 AR 扩散失效?
本文的目标是本文目标分三层。第一是诊断:搞清楚单样本轨迹监督下质量坍塌的根源——究竟是监督的"量"不够,还是监督被"用错了"。第二是修正:在保持 Causal Forcing 三阶段管线和公平对比设置(同样的非对称 DMD、同样的 $s_{real}$=Wan2.1-14B)的前提下,只改变 ODE 初始化阶段的监督规模与参数化方式,让 1 条 PF-ODE 轨迹(约 1 个 A100 GPU 小时即可采集)就足以完成轨迹校正,且最终质量追平乃至超过用 11600 GPU 小时造轨迹的基线——具体锚点是 VBench Total 从 CF 的 84.04 提升到 84.22,同时把动态程度(75 vs 68)、VisionReward(6.870 vs 6.326)、指令跟随(64 vs 56)显著拉高。第三是机理:借机厘清少步蒸馏中各阶段的真实职责——ODE 初始化到底在学什么、DMD 又在补什么——从而给出"轨迹监督到底需要多少"的原则性答案,并验证该解法在预算扩大时(3k、25k 样本)收益持续。
与已有工作不同的是,已有工作把 ODE 初始化默认当作"数据越多越好的分布学习",因此不断堆轨迹:Self Forcing 用 16k、Causal Forcing 用 3k。本文的独特切入是把轨迹几何当作显微镜:定义平均轨迹直线度 $S=\|z_T-z_0\|_2/\sum_t\|z_t-z_{t-1}\|_2$ 与逐步余弦相似度 $\text{CosSim}_t=(v_t\cdot V_{total})/(\|v_t\|_2\|V_{total}\|_2)$,实测不同监督规模下轨迹形状的变化,发现 ODE 初始化主要在做"轨迹拉直"(单样本就把 4 步推理直线度从 AR 教师的约 0.225 拉到 0.356,3k 样本也只到 0.372),而非建模数据分布。进一步借过渡匹配蒸馏式的局部速度偏差 $C(t_i)=\frac{1}{d}\|\frac{x_{t_i}-x_{t_{i-1}}}{t_i-t_{i-1}}-(x_1-x_0)\|^2$ 量化曲率,发现超过 92.5% 的曲率质量集中在 $t\ge0.9$ 的高噪声段(附录 B 精确测得 91.82%±0.15%,高/中噪声曲率比 32.4±0.6)——语义布局/运动段与细节纹理段的几何与优化行为截然不同,单一学生网络联合拟合必然发生表征干扰。"按噪声相位解耦专家"由此成为自然解法。
核心方法
直觉上,少步蒸馏可以拆成两个正交子问题:把长步轨迹拉直(几何),以及把学生分布对齐数据分布(质量)。Glance Forcing 沿用 Causal Forcing 的三阶段管线——teacher forcing 多步 AR 训练、causal ODE 初始化、带学生自滚出的非对称 DMD——但把第二阶段的监督压缩到仅 1 条轨迹,并把学生参数化为双 LoRA:以边界时间步 $t_\kappa$($N=48$、$\kappa=34$,约 $t\approx0.9$)为界,Slow-LoRA 拟合高噪声子轨迹 $\{x_{t_i}\}_{i=\kappa}^{N}$,负责全局语义布局与运动合成;Fast-LoRA 拟合低噪声子轨迹 $\{x_{t_j}\}_{j=0}^{\kappa}$,负责语义细化与纹理细节。教师 Wan2.1 全程冻结,只训两套秩 32 的 LoRA。每个专家还配了阶段专属损失:Slow 用时间频谱损失 $L_{TFS}$ 对齐时间轴 1D-DFT 幅度以抑制时序闪烁,Fast 用空间高通损失 $L_{HP}$ 经固定 2D Laplacian 核对齐高频边缘以锐化纹理。推理时每个 chunk 4 步去噪:$t=1,0.937$ 由 Slow-LoRA 负责,$t=0.833,0.625$ 由 Fast-LoRA 负责——"先看一眼定布局,再快速补细节",这也是方法名"Glance(一瞥)"的由来。
核心创新是双层"职责分离"。第一层是任务级:论文用可度量的实验证明 PF-ODE 初始化的本质是拉直轨迹几何而非学分布——单样本 ODE 初始化就把 4 步推理的平均轨迹直线度从 AR 教师的约 0.225 提到 0.356,监督扩到 3k 样本仅微增至 0.372;而其后的 DMD 把生成质量提上去却几乎不改变几何(DMD 后为 0.341/0.346)。既然一条轨迹就足够拉直,昂贵的数据扩展纯属浪费。第二层是结构级:轨迹两段曲率差异悬殊(>92.5% 曲率集中在 $t\ge0.9$),且两段的训练损失行为明显不同(图 2c),单一网络联合拟合会发生表征干扰;分而治之后,Slow+Fast 组合的 VBench 超过任何单一模型变体(图 5b)。与已有方法的本质区别在于:以往靠"更多数据 + 单一均匀网络"换取拟合能力,本文靠"单条轨迹 + 按相位双专家 + 阶段专属损失"解决拟合难题,把轨迹采集成本从 11600 GPU 小时砍到约 1 A100 小时的同时质量反超。
方法步骤详情
第一步,数据构造:用 Wan2.1-1.3B 自回归教师按 VidProM 提示词生成约 3K 个样本构成 $D_{B_i}$,再从中采样 ODE 轨迹构成 $D_{\text{Slow-Fast}}$(3K 条);单样本设定只取其中 1 条(默认"Boy"样本),两阶段使用同源数据以保证与基线公平。第二步,阶段一:以 teacher forcing 训练多步 AR 扩散模型(因果注意力、chunk-wise,输出 480×832、81 帧视频)。第三步,阶段二 ODE 初始化:学生从 AR 教师初始化,冻结主干、训练两套 LoRA(rank 32、$\alpha=128$、插入所有线性层),分别在 $[t_\kappa,t_N]$ 与 $[t_0,t_\kappa]$ 上做一致性蒸馏(式(9)(10)),并叠加 $L_{TFS}$ 与 $L_{HP}$;单样本设定共训 60 步(等于该样本 60 个 epoch),Adam 优化器(lr $2\times10^{-6}$、$\beta_1=0$、$\beta_2=0.999$)、bf16 混合精度、梯度裁剪 1.0、8-bit Adam,硬件为 8×A100。第四步,阶段三:标准非对称 DMD($s_{real}$=Wan2.1-14B,$s_{fake}$=Wan2.1-1.3B)配学生自滚出,严格对齐 Self Forcing/Causal Forcing 设置以保证公平。第五步,推理:KV cache 流式滚动生成,每个 chunk 4 步去噪,按时间步切换专家——$t=1,0.937$ 走 Slow-LoRA,$t=0.833,0.625$ 走 Fast-LoRA;吞吐 16.4 FPS、首帧延迟 0.75 秒(H100,不含 VAE)。
技术新颖性
技术新颖性有四点。其一,"单条轨迹足够"是对 ODE 蒸馏前提的重新定义:以往工作隐式假设轨迹平滑、数据管够,本文给出可度量的证据链(直线度 0.225→0.356→0.372、逐步余弦相似度、曲率分布)并划清 ODE 与 DMD 的职责边界,这是概念层面的贡献。其二,相位感知双专家:与按内容路由的 Mixture-of-Experts 不同,这里按噪声水平 $t$ 确定性切换,无需路由器、不引入额外学生网络,且与少步采样的时间步调度天然对齐——4 步里前 2 步定语义与运动、后 2 步补纹理。其三,两个即插即用的频域/空域损失:$L_{TFS}=\||\mathcal{F}_{\text{1D-DFT}}(\hat{x}_{t_0})|-|\mathcal{F}_{\text{1D-DFT}}(x_{t_0})|\|_2^2$ 对齐时间频谱幅度以去闪烁、保留运动动态;$L_{HP}=\|H(\hat{x}_{t_0})-H(x_{t_0})\|_2^2$($H$ 为非训练的 2D Laplacian 卷积)直接在高通域对齐以锐化边界与细节,二者都只作用于教师 ODE 目标潜变量,实现轻量。其四,经验性地发现边界 $\kappa=34$ 最优且两侧偏移都掉分(附录图 10),为"曲率转折点≈语义/细节分界"提供了可操作的判据。
实验结果
量化对比(Table 1):蒸馏阶段(25k DMD 数据)Glance Forcing 达 VBench Total 84.33、Quality 85.01、Semantic 81.64、Dynamic 78、VisionReward 6.921、指令跟随 69,全面超过 Causal Forcing(84.04/84.59/81.84/68/6.326/56)、Self Forcing(83.74/84.48/80.77/57/5.820/48)与 CausVid(81.33);最惊人的是 GF*(仅 1 条轨迹做 ODE 初始化)Total 84.22 已反超 CF 的 84.04,且 Dynamic 75 vs 68、VisionReward 6.870 vs 6.326、指令跟随 64 vs 56。初始化(DMD 前)阶段:GF* 用 1 个样本达 82.09,略高于用 3k 样本的 CF 82.01;3k 时 GF 达 82.69。效率:吞吐 16.4 FPS、首帧延迟 0.75 秒(CF 为 17.0 FPS/0.69 秒);轨迹采集从 CF 的 11600 GPU 小时降到约 1 A100 小时(约 11600 倍),额外存储削减约 99%。人类偏好(Table 2,50 提示词×3 标注者=150 票):对 Self Forcing 胜率 91.3%(137/150),对 Causal Forcing 胜率 63.3%(95/150)。组件消融(Table 3):无解耦基线 83.73 → 加慢快解耦 84.05 → 加 TFS 84.20(Semantic 升至 81.96)→ 加 HP 84.21 → 全配置 84.33。慢快步分配(Table 6):默认 S2–F2 最优 84.33;只用 Slow(S4)画质尚可(Quality 84.80)但 Dynamic 仅 55,只用 Fast(F4)83.15,失衡的 S1–F3/S3–F1 为 83.92/84.01,证明两专家互补且需均衡。单样本敏感性(Table 4):六类样本的 ODE 起点从 71.94(Specific Domain)到 82.09(Boy)不等,DMD 后全部恢复至 79.81–84.22,其中 Simple Geometry 提升最大(73.79→83.52)、High Motion 恢复到 82.72;Semantic 分量始终稳定,说明单样本主要影响质量而非语义对齐。泛化(Table 5):把 50 步 Wan2.1 单样本蒸馏成 8 步双向模型,VBench 82.16 vs 原 83.37,NFE 50→8、延迟 103→1.38 秒(4 步时 81.14/0.69 秒),证明相位解耦不限自回归场景。轨迹几何(图 4):直线度 0.225(AR 教师)→0.356(1 样本 ODE)→0.372(3k ODE),DMD 后 0.341/0.346,直接支撑"一条轨迹足够"的论断。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 实时自回归视频生成(蒸馏后,25k 数据) | VBench Total | 84.33(Quality 85.01,Dynamic 78,指令跟随 69) | Causal Forcing 84.04;Self Forcing 83.74;CausVid 81.33 | +0.29 vs CF;Dynamic +10、VisionReward +0.595、指令跟随 +13 |
| 自回归视频生成(单样本 ODE 初始化 + 25k DMD) | VBench Total | 84.22 | Causal Forcing 84.04(3k 样本 ODE 初始化) | +0.18,且 ODE 阶段训练数据仅为基线的 1/3000 |
| ODE 初始化阶段(DMD 前) | VBench Total | 82.09(仅 1 个训练样本) | Causal Forcing 82.01(3k 样本);Self Forcing 69.48(16k 样本) | +0.08 vs CF,监督样本量减少 3000 倍 |
| 轨迹采集成本 | GPU 小时 / 存储量 | 约 1 A100·小时,额外存储削减约 99% | Causal Forcing 约 11600 GPU 小时、约 1900 TB 量级存储 | 约 11600 倍成本下降 |
| 人类偏好成对比较 | 胜率(150 票/组) | 对 SF 91.3%(137/150);对 CF 63.3%(95/150) | Self Forcing / Causal Forcing | 净胜率分别 +82.6 与 +26.6 个百分点 |
| 视频动态程度 | VBench Dynamic Degree | 78(25k);75(单样本 ODE 版) | Causal Forcing 68 | +10 / +7 |
| 指令跟随 | VBench Instruction Following | 69(25k);64(单样本 ODE 版) | Causal Forcing 56 | +13 / +8 |
| 双向扩散模型加速(非自回归设定) | VBench Total @ 8 NFEs | 82.16(延迟 1.38 秒) | Wan2.1 @ 50 NFEs 83.37(延迟 103 秒) | NFE 减少 6.25 倍、延迟约 75 倍,质量仅降 1.21 |
局限与改进
作者承认的局限:单样本效果依赖样本选择——Table 4 显示 Specific Domain(ODE 起点 71.94)、Simple Geometry(73.79)、High Motion(75.37)明显偏低,说明高动态与专门域内容对单样本更敏感;慢快边界 $\kappa=34$ 与步分配 S2–F2 是人工设定的超参,附录图 10 显示 $\kappa$ 偏移到 26 或 42 都会显著掉分;吞吐比 CF 略降(16.4 vs 17.0 FPS,首帧 0.75 vs 0.69 秒),来自双 LoRA 切换开销。我自己的观察:其一,曲率结论建立在 Wan2.1-1.3B 与特定采样配置(shift $k=8$、CFG 6、50 步、100 条轨迹、固定种子)之上,换架构或调度器是否仍有 92% 以上的高度集中未知;其二,"一条轨迹足够"隐含依赖 AR 教师轨迹间的强结构相似性,教师较弱或目标域偏离训练分布时可能失效;其三,单样本训练 60 个 epoch 存在记忆化与内容偏置风险,论文未做记忆化评估;其四,DMD 阶段仍需 25k 数据与 Wan2.1-14B real score,整个管线并未摆脱大数据与大教师,省的只是 ODE 轨迹这一段;其五,评估以 VBench/VisionReward 与 5 秒级视频为主,缺少长视频、交互式场景与下游任务评测,吞吐测试也排除了 VAE 开销。
独立分析的弱点
弱点一:样本选择敏感且无自动准则。特定域、高动态样本会让 ODE 起点掉到 71.94–75.37,使用者不知道该挑什么样本。改进方向:建立样本信息量评分(曲率覆盖度、运动量、域代表性)自动选样,或用 2–8 条课程化样本覆盖时间域中的困难案例。弱点二:硬边界与固定步分配。$\kappa=34$、S2–F2 均为全局人工设定,但语义与细节在边界附近可能交叠,不同 chunk 内容也不同。改进方向:把边界做成可学习的软门控(对两套 LoRA 输出连续插值),或按曲率自适应非均匀分配每 chunk 的 4 步。弱点三:吞吐损失。双 LoRA 在 chunk 内切换带来 16.4 vs 17.0 FPS 的开销与 0.06 秒额外首帧延迟。改进方向:推理前把两套 LoRA 按时间步分别融合成两份权重,并用 CUDA graph/编译消除切换成本。弱点四:DMD 仍是数据与算力大户(25k 样本 + 14B 教师 real score)。改进方向:把分布匹配同样推向极稀疏——用 GAN/reward 损失替代部分 DMD,或探索 DMD 阶段的少样本下限。弱点五:记忆化风险未量化。应对默认单样本做 membership inference、加入多样性正则或差分隐私约束,"单样本"设定才可用于隐私敏感场景。弱点六:结论外推性。应在 HunyuanVideo、CogVideoX 等不同骨干与调度器上复测曲率集中度与最优 $\kappa$ 位置,验证机制的普适性。
未来方向
作者方向的延伸:论文显示收益随训练预算扩大而持续(初始化阶段 1 样本 82.09 → 3k 82.69;蒸馏阶段 84.22 → 84.33),说明相位解耦与数据规模正交,可在更大底座(Wan2.1-14B、更高分辨率与更长时长)上验证。基于成果可延伸的方向:其一,把单样本/少样本 ODE 初始化与分钟级流式系统(Self-Forcing++、LongLive、Rolling Forcing)结合,服务实时交互与世界模型(游戏引擎、具身智能仿真),这是因果蒸馏的最终应用场景;其二,自动化 $\kappa$:在线检测曲率曲线拐点确定边界,甚至让每个 chunk 自适应选择步分配,消除手工超参;其三,把"相位感知专家"推广到其他蒸馏场景——文生图一步生成、音频、3D 生成——检验"高噪声=语义、低噪声=纹理"的普遍规律;其四,理论化本文的经验发现:为何轨迹拉直对数据量不敏感、曲率-容量失配如何导致表征干扰,可借助轨迹几何与优化动力学工具形式化;其五,在单样本设定中加入记忆化防御与多样性机制,并把慢快专家思路推广到世界模型的动作条件生成。
复现评估
复现基础较好。底座 Wan2.1-1.3B 是公开权重,数据为 OpenVid-1M 与 Wan 自合成视频(约 3K 条,VidProM 提示词),单样本研究的 6 条完整提示词在附录 F 公开;超参数在 4.1 节与附录 A 给得非常细:Adam lr $2\times10^{-6}$($\beta_1=0$、$\beta_2=0.999$)、batch 64、单样本共 60 步、LoRA rank 32/$\alpha$128、bf16、梯度裁剪 1.0、8-bit Adam、8×A100;推理 4 步的时间步分配(1/0.937 用 Slow、0.833/0.625 用 Fast)、边界 $\kappa=34$($N=48$)、调度器 shift $k=5$、CFG 6 均有写明;项目主页 zhuobaidong.github.io/Glance-Forcing 提供结果展示。不确定性:正文 Reproducibility 声明只说"训练在受控环境进行、细节见附录",未明确承诺开源代码与权重,复现者可能需自行实现管线。算力门槛低:轨迹采集约 1 A100 小时,单样本 ODE 训练仅 60 步(8×A100 上约一小时以内);但要完整复现 25k 数据的 DMD 阶段,需生成约 25k 条视频并以 Wan2.1-14B 计算 real score,成本估计上升到数百 GPU 小时量级(笔者估计,论文未给出)。综合评估:单样本主结果复现难度低到中,完整管线中等,主要风险在 DMD 阶段的工程细节与数据质量对齐。
论文图表
左侧对比 Self/Causal Forcing 与本文框架:已有方法需用 AR 教师大规模构建 PF-ODE 轨迹再做多步蒸馏,成本高且次优;Glance Forcing 从双向底座出发,仅需一条轨迹与 DMD 自滚出。右侧条形图量化对比:初始化耗时 SF 约 5000、CF 约 11600 GPU 小时,GF 仅约 1 小时(11600 倍降低);额外存储从 1900 TB 量级降到约 1%(约 99% 削减);VBench 上 GF 的 ODE 分 82.09 与终分 84.22 均高于 CF 的 82.01/84.04。
一图总览全文动机与卖点:成本下降数个数量级的同时质量反超,是理解论文价值的入口。
三个面板:(a) 单样本 ODE 训练使 SF/CF 的 VBench 从 82.01/69.48 崩落至 66.84、51.23 等低值;(b) Wan2.1-T2V-1.3B 的相对轨迹曲率沿时间步的分布,高噪声区(t≥0.9)集中了超过 92.5% 的曲率质量;(c) 高/低噪声样本的蒸馏损失曲线呈现明显不同的优化行为,高噪声区损失显著更高。
全文动机的核心证据链:单样本会崩(a),崩因是两段轨迹几何与优化行为的冲突(b、c),直接引出慢快解耦设计。
主结果表,覆盖三类范式:双向扩散(Wan2.1-1.3B 总分 83.37、LTX-1.9B 79.83)、自回归扩散(SkyReels-V2 81.97、MAGI-1 78.88)、初始化与蒸馏后的自回归模型。初始化阶段 GF* 仅 1 样本达 82.09 超过 CF 82.01;蒸馏阶段 GF 84.33 最高,GF* 84.22 超 CF 84.04;GF 吞吐 16.4 FPS、延迟 0.75 秒。
论文全部量化主张的依据,同时呈现质量、动态、人类偏好代理指标与效率的完整对比。
成对人类偏好结果:对 Self Forcing 胜 137/150(91.3%),对 Causal Forcing 胜 95/150(63.3%),仅 13 与 55 票判负。
证明 VBench 上的提升能转化为人类可感知的偏好,是质量主张的独立佐证。
三维度六样本的单样本系统研究(ODE 初始化与 DMD 蒸馏两阶段的 Total/Quality/Semantic):ODE 起点从 71.94(Specific Domain)、73.79(Simple Geometry)、75.37(High Motion)到 82.09(Boy 默认);DMD 后全部恢复至 79.81–84.22,Simple Geometry 提升最大(73.79→83.52);Semantic 分量在各设定下相对稳定。
划定单样本设定的适用边界:哪类内容敏感、DMD 的恢复能力有多强,对复现者选样本极有参考价值。
把相位感知蒸馏推广到双向模型:50 NFE 的 Wan2.1(83.37,103 秒)单样本蒸馏为 8 NFE(82.16,1.38 秒)与 4 NFE(81.14,0.69 秒)版本;对照 LTX-1.9B 20 NFE 仅 79.83。
证明慢快专家解耦不依赖自回归设定,是一般性扩散加速技术,扩展了方法的适用面。
每 chunk 4 步内 Slow/Fast 分配消融:S2–F2 最优(84.33/85.01/81.64,Dynamic 78,VisionReward 6.921,Instruct 69);只用 Slow(S4)83.42、Quality 尚可(84.80)但 Dynamic 仅 55;只用 Fast(F4)83.15、Dynamic 72;失衡的 S1–F3 83.92 与 S3–F1 84.01 亦明显更差。
揭示两专家的互补性(Slow 保质量、Fast 保动态)并确定默认配置,是方法落地的关键细节。