视频生成模型的后训练与对齐综述 Video Generation Models: A Survey of Post-Training and Alignment

第一步，问题形式化（第2章）：视频生成建模为学习条件分布 $p_\theta(v|c)$，覆盖T2V、I2V、V2V三种设定；现代基座以3D VAE压缩+DiT去噪+流匹配目标为主，另有自回归token范式。第二步，监督微调（第3章）：统一目标 $\mathcal{L}_{sup}=\mathbb{E}_{(x,v)\sim D}\,\ell_\theta(x,v)$，常加正则 $\mathcal{L}=\mathcal{L}_{sup}+\lambda\mathcal{L}_{reg}$ 防灾难性遗忘；依次介绍指令微调（Tune-A-Video、VEGGIE）、领域适配（LCT长上下文、VideoREPA物理对齐、TIC-FT防遗忘）、多条件控制（VideoComposer运动向量、VD3D相机控制）、个性化（HunyuanPortrait、DreamVVT试衣）与数据构建管线。第三步，自训练与蒸馏（第4章）：自训练用伪目标 $\mathcal{L}_{self}=\mathbb{E}_x\,\ell(f_\theta(x),\hat t(x))$，蒸馏用 $\mathcal{L}_{distill}=\mathbb{E}_x\,d(f_\theta(x),f_T(x))$；涵盖测试时LoRA训练、TTT层长视频记忆、CausVid/Rolling Forcing的自回归蒸馏、SwiftVideo的CCD速度场对齐、SF-V/NFD对抗蒸馏。第四步，偏好与奖励（第5章）：给出PPO裁剪目标、DPO似然比目标与GRPO组相对优势的统一形式，梳理偏好对构建（VideoDPO的OmniScore、DF-DPO真视频vs编辑伪影、DenseDPO段级标注消除慢运动偏置）与奖励建模（VideoReward多维、NewtonRewards物理代理、IPRO可微身份奖励）。第五步，推理时方法（第6章）：从CFG公式出发梳理轨迹引导（ALG低通滤波）、辅助模型转向（CSVC因果提示优化）、迭代自修正（DragVideo、MotionAgent）与级联精炼（iDiT-HOI两阶段）。第六步，跨族比较、多阶段流水线与数据/基准/评测汇总（第7–8章）。

新颖性体现在四点：(1) 首创性定位——这是视频生成领域第一篇专注后训练与对齐的综述，填补了'按对齐机制组织方法'的空白，与按架构/条件信号组织的既有综述互补；(2) 统一数学框架——用 $\mathcal{L}_{sup}$、$\mathcal{L}_{self}$、$\mathcal{L}_{distill}$ 与PPO/DPO/GRPO的统一记号把数百个方法收进同一形式体系，并把语言模型的RL算法适配到扩散轨迹（把每个去噪步视为动作、轨迹似然近似为逐步条件对数密度之和）；(3) 视频特有挑战的显式建模——误差累积、运动-外观耦合、多目标权衡、时序监督稀缺贯穿全文分析，而非泛泛套用LLM对齐叙事；(4) 跨族组合模式的提炼——总结出'SFT→偏好对齐'（Prompt-A-Video）、'SFT→测试时自训练'（CustomTTT）、'蒸馏→奖励微调'（DOLLAR）、'SFT→RL→蒸馏'（Seedance 1.0）四种流水线模式。此外，按基准维度横向汇总各方法报告数值的Tables 7–9也是同类综述少有的贡献。

独立分析：(1) 分类学操作性偏弱——'隐式vs显式'是连续光谱，文中没有给出量化判据，遇到混合方法（如用冻结MLLM奖励重加权合成数据的GigaVideo-1）只能按主要机制归档，后续研究者复用该分类学时需自行裁决边界案例；(2) 量化对比存在幸存者偏差——Tables 7–9只收录'公开报告了所选维度结果'的方法（表中大量空格），无法区分是方法收益还是基座差异，例如同为Wan2.1-14B的PhysCorr与Self-paced GRPO在采样配置上的差异未被对齐；(3) 成本-收益讨论不足——各方法训练算力从1张3090Ti到256张H100不等，但综述未系统分析'多少算力换来多少对齐增益'，而这对实践选型至关重要；(4) 缺少对负面结果与复现失败的讨论，领域内reward hacking、蒸馏后质量回退等已知痛点只有定性描述。改进方向：建立标准化的跨族评测协议（作者已提议）、为每族补充典型训练超参与算力基线、维护随时间更新的定量对照表。

作者提出的方向：(1) 监督微调——用双分支/多流结构解耦外观与运动表征以缓解身份-运动权衡，用MLLM作高层规划器处理长时程多阶段指令，用动态token路由降低长视频生成的计算冗余；(2) 自训练与蒸馏——验证器引导的自进化（用critic或世界模型过滤后再回收训练数据以防模型坍缩），轨迹感知的对抗蒸馏让学生学到与教师一致的时序速度场；(3) 偏好与RL——引入物理接地的奖励信号、把视频级奖励细化到段级以实现局部信用分配、用离策略优化和潜空间RL降低采样成本；(4) 推理时——用强大VLM做类agent的实时监控与干预（动态调提示、注意力或运动计划），以测试时搜索/规划（前瞻、回溯、分支）替代局部梯度引导来处理多引导冲突；(5) 评测——建立跨范式标准化比较协议，系统分析目标诱导的失败模式与权衡；(6) 安全——发展视频特定的安全后训练、免失真的生成期水印（在扩散噪声空间嵌入追踪密钥）、可解释深伪检测为后训练提供可验证反馈。基于其成果可延伸的方向：多目标对齐的帕累托前沿刻画、以世界模型为验证器的闭环后训练、以及统一奖励理论。

作为综述本身无需复现实验，其'复现资产'是一份持续维护的GitHub仓库（people-robots/Awesome-Video-Generation-Post-Training），逐条索引文中所有方法与论文链接；论文发表于TMLR，经同行评审。Tables 1–4对每个方法标注了基座模型、训练阶段数、GPU配置与发表venue，可直接用作选型与算力规划参考——例如复现偏好优化可参考VideoDPO（4×A100，CogVideoX-2B）或PhysCorr（4×A800，Wan2.1-14B），BranchGRPO用16×H200，而One-Minute Video需要256×H100，门槛极高。所涉基座（Wan2.1/2.2、CogVideoX、HunyuanVideo、OpenSora）大多开源，因此中低算力（4–16张A100/H100级）即可复现大部分偏好优化与蒸馏方法的缩小版；部分工业级系统（Seedance 1.0、HunyuanPortrait的128×A100）无法完整复现。总体而言：阅读门槛为进阶（需熟悉扩散模型与RLHF基础），按表复现单个方法的难度为中到高，取决于方法族与基座规模。