面向视频生成的系统化后训练框架 A Systematic Post-Train Framework for Video Generation
四阶段流水线（SFT+GRPO+提示增强+自回归蒸馏）弥合视频扩散模型预训练与部署差距。
前置知识
Flow-Matching 模型
一类通过连续 ODE/SDE 把噪声逐步变换到数据的生成模型，比 DDPM 更具数学统一性。采样过程可写成概率流 ODE：$dx_t = f(x_t,t)dt$，本文是其 RL 后训练的对象。
论文的核心算法 GRPO 和采样策略都是针对 Flow-Matching 重新设计的，不理解 ODE/SDE 视角就无法读懂公式 (1)-(3) 与 MixGRPO 改造。
GRPO（Group Relative Policy Optimization）
DeepSeek-R1 提出的 RL 算法，去掉价值网络，在同一 prompt 下采样一组 rollout 后用组内归一化优势 $A_i = \frac{r_i-\mu}{\sigma}$ 更新，省去了 PPO 的 critic。
论文 Phase 2 与 Phase 3 都以 GRPO 为唯一优化器，并把它的稀疏奖励设定迁移到视频 diffusion。
Self-Forcing 自回归蒸馏
用 DMD（Distribution Matching Distillation）损失把双向教师模型压缩成自回归学生：学生训练时每帧以自身前序生成结果为条件，配合 KV-cache 实现视频级监督。
Phase 4 正是用 Self-Forcing 把后训练得到的 SFT/RLHF 能力迁移到因果架构，是部署提速的关键。
GSB 评估协议
Good–Same–Bad 人类偏好比较协议，允许标注员在差异不显著时打平，避免强制二选一带来的噪声。
论文全部量化结论都依赖 GSB 增量（+31%、+20%），理解协议才能判断数字意义。
Block-Causal 注意力
把视频序列按帧切成多个块，块内使用双向注意力以利用局部上下文，块间使用因果注意力以保证时序单向流动。该掩码策略在保持局部感受野的同时允许流式生成，是把双向扩散模型改造为自回归模型的关键架构选择。
Phase 4 把双向模型改造成自回归结构依赖此机制，是因果 ODE 回归与 Self-Forcing 蒸馏的硬件级前提。
研究动机
大规模视频扩散模型虽然已能生成高分辨率长视频，但仍存在三类落地痛点：第一是 prompt 敏感性，用户改一两个字结果就崩；第二是长时序不稳定，容易出现手部/文字/快速运动等局部伪影；第三是推理成本过高，双向注意力加 50 步去噪根本无法实时部署。这些缺陷在 Figure 2 的 'Before RLHF' 例子中体现得很明显——蒸汽火车烟雾不连贯、大象场景风格不稳、洗碗镜头晃动。作者团队通过 Good-Same-Bad 评测发现，预训练模型与用户期望之间存在系统性 gap，且单一技术（如单纯加 SFT 数据或单纯做 RL）只能缓解其中一两个问题。
本文的目标是提出一个统一的四阶段后训练流水线，把 '指令跟随基线'、'人类偏好对齐'、'输入侧提示优化' 与 '推理架构压缩' 合并到一个框架内，使视频扩散模型在 Wan-2.1 等基座上同时获得更强的视觉质量、运动连贯性与可控性，并把采样步数压到可部署水平。具体量化目标是：在 GSB 整体指标上 RLHF 阶段提升 31%、叠加 Prompt Enhancement 后再额外提升 20%。此外 Phase 4 的自回归蒸馏目标是让推理步数大幅下降同时保留前三阶段学到的对齐能力，最终交付一个能在真实业务中以低延迟运行的端到端视频生成 pipeline，而非仅停留在论文 demo 层面。
与已有工作不同的是，已有工作大多只解决一个问题：Flow-GRPO/DanceGRPO 关注 RL 阶段但不解决推理效率；Promptist/RePrompt 优化提示但不优化视频模型本身；CausVid/Self-Forcing 蒸馏因果架构但不带对齐目标。本文首次把 SFT、GRPO-RLHF、PE 与 AD 串成完整 pipeline，并把 GRPO 改造为 '等时分组 + 时间梯度校正' 的 Flash-GRPO 形式，使其能在昂贵视频 rollout 下稳定收敛；同时把同一个 GRPO 奖励回路复用到 Prompt Enhancer LLM 上，让两端优化目标对齐。
核心方法
直觉层面：把视频生成模型视为 '一个昂贵但可以被反复 rollout 的策略'，先用 SFT 让它听话（Phase 1），再用 GRPO 用奖励信号微调它的品味（Phase 2），然后让一个独立 LLM 学习把粗糙 prompt 翻译成模型擅长的描述（Phase 3），最后把整套能力蒸馏进自回归因果模型以提速（Phase 4）。技术路线是 Flow-Matching 框架下的 GRPO：在采样轨迹上加可控随机性以获得组内优势估计，并用等时分组（isotemporal grouping）让每个 prompt 只在自身时间步 $t_i$ 触发一次 ODE→SDE 切换，其余步保持 ODE，从而把视频 rollout 的算力压到可承受范围。
三个本质区别于前作的设计：第一是 '等时分组'，区别于 MixGRPO 全程 SDE，每个 prompt 单独时间步切换，规避视频场景下的奖励崩塌；第二是 '时间梯度校正'，把策略比中的时间相关缩放因子 $\lambda(t) = \frac{\sqrt{\Delta t}}{\sigma_t} + \frac{\sqrt{\Delta t}(1-t)}{2t}$ 显式归一化，让长步与短步贡献平衡；第三是 '奖励循环复用'，把 Phase 2 训练好的 reward models 同时驱动 Prompt Enhancer 的 GRPO（沿用 RePrompt 框架但冻结生成器），实现输出端与输入端目标一致。
方法步骤详情
流水线四阶段。Phase 1 (SFT)：在自建文-视频对上微调得指令跟随基线 $\pi_{ref}$。Phase 2 (RLHF)：训四个奖励头（Video/Image Aesthetics、Motion Quality、Text-Video Alignment），用 Flash-GRPO 更新生成器，引入等时分组与时间梯度校正 $\lambda(t)$ 缓解视频 rollout 奖励崩塌。Phase 3 (PE)：冻结生成器，用同组奖励经 RePrompt 训 LLM $\pi_\theta(y|P)$，对齐输入/输出目标。Phase 4 (AD)：DMD 蒸馏双向教师为少步学生 → Causal ODE Regression 引入 block-causal mask → Self-Forcing 用 DMD 损失 $\nabla_\theta\mathcal{L}_{\text{DMD}}\approx \mathbb{E}_t[(s_{gen}-s_{data})\nabla_\theta G_\theta(\epsilon)]$ 训带 KV-cache 的因果自回归模型。
技术新颖性
技术新颖性体现在三方面：(1) 提出 Flash-GRPO，把 isotemporal grouping 与 temporal gradient rectification 引入视频级 GRPO，使 SDE 探索范围可控、reward 信号更稳，区别于 MixGRPO 的全局 SDE 切换；(2) 把 SFT 显式定位为 'RLHF 的地基' 而非独立阶段，论证 SFT 在消除 refusal cascade 与不稳定推理后能为 RL 提供更宽探索空间，这是 DanceGRPO/Flow-GRPO 论文未涉及的视角；(3) 设计输出/输入双侧共享奖励回路的耦合架构，让 PE 与 RLHF 用同一组偏好信号训练，避免两阶段目标漂移。Phase 4 的 Self-Forcing + Causal ODE Regression 三段式初始化也是对原始 Self-Forcing 论文的扩展。
实验结果
论文在自研内部视频模型（基于 Wan-2.1）上做大规模人类 GSB 评估。RLHF 阶段整体 GSB 指标提升 31%，其中视觉质量与运动质量均出现 'massive enhancements'，而文本对齐提升相对有限，作者归因于文本-视频奖励模型准确度不足。叠加 Prompt Enhancer 后整体 GSB 再提升 20%，仍然由视觉与运动主导，文本对齐保持基线水平。Figure 2 给出了三个 prompt 上的 before/after 可视化对比：蒸汽火车场景中烟雾轨迹明显连贯、大象与小熊场景风格更稳定、洗碗场景相机晃动减少。实验设置上 reward models 使用 Qwen3.5 作 backbone，加 MLP 头 $r = f_\phi(E_\theta(x,c))$，并采用 uncertainty-aware ranking loss 训练，覆盖四个独立维度。评测覆盖 Visual quality、Motion quality、Text alignment 三方面，由人类艺术家给出整体偏好对比。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频整体偏好（RLHF 前后） | GSB（Good–Same–Bad）整体指标 | +31% | SFT 后基线 | RLHF 阶段带来 31 个百分点整体偏好提升 |
| 视频整体偏好（叠加 PE） | GSB（Good–Same–Bad）整体指标 | +20% | 仅 RLHF 模型 | 在 RLHF 之上再叠加 20 个百分点 |
| 视觉质量 | GSB 子项 | massive enhancement | RLHF 前 | 提升幅度被描述为 'massive'，具体数字未披露 |
| 运动质量 | GSB 子项 | massive enhancement | RLHF 前 | 提升幅度被描述为 'massive'，与视觉质量并列 |
| 文本-视频对齐 | GSB 子项 | modest improvement | RLHF 前 | 提升幅度有限，作者认为受限于 reward model 准确率 |
局限与改进
作者承认两点局限：第一，文本-视频对齐奖励模型的准确度限制了语义层面的优化潜力，导致该维度 GSB 提升仅 'relatively modest'，这是后续工作明确要解决的问题；第二，Phase 4 的 Self-Forcing 蒸馏只在自研模型与 Wan-2.1 上验证，跨模型泛化与音频-视频联合扩展（Omniforcing 提到的 audio sink token）尚未系统评估。独立观察到的局限还包括：(1) 全部实验只在单一内部模型与单一评测集上进行，没有跨数据集或跨基座的对比；(2) GSB 是主观指标，缺乏与 FID/IS 等客观指标或 VBench 等结构化基准的对应；(3) PE 阶段 LLM 的训练数据规模、采样温度等关键超参没有披露；(4) 没有给出 inference latency 与显存实测数据，'高效部署' 的承诺缺少量化支撑。
独立分析的弱点
独立分析三个可改进点。第一，奖励模型瓶颈：四个 reward head 共用 Qwen3.5 backbone 与同种 MLP 头，可能在梯度层面互相干扰，特别是 Text-Video Alignment 与 Video Aesthetics 之间的尺度冲突被作者用 '加权' 草草带过，缺乏消融；改进方向是解耦奖励头或引入 Pareto 多目标优化（如多奖励加权平均改成可微 Nash 平衡）。第二，PE 与 RLHF 的解耦风险：PE 在训练时冻结视频生成器，但 RLHF 完成后视频模型分布已漂移，PE 实际部署时存在 covariate shift；改进方向是交替训练或在线蒸馏，让 PE 持续跟随最新视频模型。第三，蒸馏稳定性：Phase 4 的 Causal ODE Regression 阶段 '直接训练会不稳定'，作者只说 '引入高效初始化策略' 而未公开算法细节，复现门槛较高；改进方向是提供 block-causal mask 的具体 padding 策略与 warmup 调度。
未来方向
作者在结论与 Broader Impact 中给出的未来方向：构建更准确、更鲁棒的 Text-Video Alignment 奖励模型；将框架扩展到长视频 World Model 场景，强化 object permanence 与因果一致性；探索音频-视频联合自回归生成（已有 Omniforcing 雏形）。基于本文成果可延伸的方向包括：(1) 把四阶段流水线拆成模块化 SDK，让社区可以单独替换某一阶段；(2) 把 PE 阶段与 RLHF 阶段耦合到同一个端到端目标，避免 covariate shift；(3) 在 RLHF 阶段引入 safety/红队维度，借鉴 LLM 领域的 Constitutional AI 思路给视频生成加 '宪法'；(4) 引入过程奖励（process reward）替代单步稀疏奖励，缓解 GSB 仅看终态而忽略中间步骤质量的问题。
复现评估
复现难度较高，主要原因有四点：(1) 论文未开源代码、未提供模型 checkpoint，仅给出方法描述；(2) 四个 reward models 的训练数据未公开，且基于未公开的 HPDv3++ 偏好标注；(3) 自研内部视频模型架构与权重不可访问，外部只能基于 Wan-2.1 复现，但与论文报告数字不可直接对比；(4) 人类 GSB 评测需要专业艺术家团队，单次评估成本不可忽略，且评测协议细节（每条样本多少标注员、打分阈值）未披露。算力层面，视频 GRPO 需要成百上千次 rollout，叠加四阶段流水线，对 GPU 时长需求极高（估计至少 256 张 A100 级别）。综合来看，本文适合作为方法论蓝本，实际复现需等待官方代码或第三方实现。
论文图表
三组 prompt 的 before/after 可视化：蒸汽火车爬雪山、非洲象与小熊同框的赛璐璐动画风格、手持相机拍摄洗碗场景。每组上下两张截图分别对应 RLHF 前后的生成结果。
这是论文唯一的定性结果展示，给 31% GSB 提升提供了直观证据——读者可以肉眼看出运动连贯性、风格稳定性、相机抖动问题的改善。
论文未给出编号表格，所有量化结果以散文形式呈现（RLHF +31%、PE +20%），分项 GSB（视觉、运动、文本）也未列数字矩阵。
需要提醒读者论文缺少结构化的对照表，量化结论必须回到正文中查找，这是评估证据强度的关键信息。