WorldCompass：面向长时域世界模型的强化学习后训练框架 WorldCompass: Reinforcement Learning for Long-Horizon World Models
用RL后训练大幅提升视频世界模型的动作跟随精度和视觉质量
前置知识
视频世界模型（Video-based World Model）
视频世界模型是一种能够根据当前观测和用户动作信号，自回归地生成未来视频帧序列的生成系统。其核心目标是让智能体或用户能够与生成的虚拟世界进行交互式探索。这类模型将视频生成过程建模为条件概率分布 $\pi_\theta(x_n|x_{1:n-1}, a_n, c)$，其中 $x_n$ 是下一个视频片段，$x_{1:n-1}$ 是历史观测，$a_n$ 是用户交互动作（如前进、左转等），$c$ 是文本或图像提示。代表性工作包括 Genie 系列、Cosmos 和 WorldPlay。
本文的核心目标就是通过强化学习来提升这类视频世界模型的交互精度和视觉质量，理解世界模型的基本概念和工作方式是理解全文方法设计的前提。
强化学习后训练（RL Post-training）
强化学习后训练是指在模型完成预训练之后，使用强化学习算法对其进行进一步优化的过程。DeepSeek-R1 的成功表明，大规模 on-policy RL 配合可靠的奖励函数，可以引导自回归语言模型获得涌现能力。在视觉生成领域，Flow-GRPO、Dance-GRPO 等工作将 GRPO 算法适配到扩散模型，通过 SDE 求解器实现 on-policy RL，取得显著性能提升。后训练的关键在于设计合适的奖励函数和高效的训练策略。
本文提出的是针对视频世界模型的 RL 后训练框架，需要理解后训练与预训练的区别、以及 RL 在生成模型中的应用范式。
GRPO（Group Relative Policy Optimization）
GRPO 是 DeepSeek-Math 提出的一种强化学习算法，其核心思想是利用一组 rollout 样本的均值和方差来估计优势函数（advantage），从而避免了传统 PPO 算法中需要单独训练价值网络（value network）的开销。具体来说，给定一组 $G$ 个 rollout 样本及其奖励，GRPO 通过组内归一化来计算每个样本的优势值，使得内存效率大幅提升。该算法在 DeepSeek-R1 等大规模实验中被广泛验证。
本文的 RL 框架虽然最终采用的是 DiffusionNFT 的负感知微调策略而非直接使用 GRPO，但理解 GRPO 的原理对于理解本文对现有 RL 算法的分析和改进至关重要。
扩散模型中的 Flow Matching
Flow Matching 是一种用于训练连续归一化流（Continuous Normalizing Flow）的框架，它通过学习一个速度场 $v_\theta$ 来将噪声分布映射到数据分布。在视频扩散模型中，Flow Matching 的训练目标通常是最小化预测速度 $v_\theta(z_t, t)$ 与目标速度 $v = x_0 - \epsilon$ 之间的均方误差。这种范式已被 Stable Diffusion 3、Wan 等主流视频生成模型广泛采用。
本文的 RL 优化损失函数（Eq. 6）直接建立在 Flow Matching 的速度场预测框架之上，理解这一基础对于理解本文的技术创新至关重要。
奖励黑客（Reward Hacking）
奖励黑客是指智能体在强化学习训练过程中，找到并利用奖励函数中的漏洞或偏见来获取高奖励，但实际上并没有真正完成预期任务的现象。在生成模型的 RL 训练中，如果只优化单一奖励维度（如只优化图像质量），模型可能会生成视觉上好看但不符合控制条件的内容，或者反过来只满足动作条件但视觉质量严重退化。这是 RL for 生成模型中的一个核心挑战。
本文设计互补奖励函数的核心动机就是为了抑制奖励黑客，理解这一问题有助于深入理解方法设计的必要性。
研究动机
当前开源的视频世界模型（如 WorldPlay、Matrix-Game 等）主要停留在预训练阶段，通过像素级监督从原始视觉数据中隐式学习如何跟随输入动作。这种方式存在根本性的局限：模型对复杂复合动作的执行能力很差。具体而言，在 WorldPlay 的测试中，基础模型在复合动作场景下的交互准确率仅为约 20%（HY-Video-1.5 为 19.70%，Wan2.2 为 19.58%），而在基础动作场景下也只有约 60-64%。这意味着模型在面对动作切换或复合动作时，几乎完全无法正确响应用户的交互信号。此外，已有的 RL 后训练方法（如 Flow-GRPO、Dance-GRPO）主要针对扩散模型的并行生成范式（如图像、短视频），而世界模型需要自回归地顺序生成长视频序列，这导致现有 RL 管线无法直接迁移应用。
本文的目标是本文的具体目标是为视频世界模型设计一套专门的强化学习后训练框架，称为 WorldCompass。该框架需要解决三个核心问题：第一，如何为自回归视频生成模型设计高效的 rollout 采样策略；第二，如何设计可靠的奖励函数来同时评估交互跟随精度和视觉质量；第三，如何高效且稳定地优化世界模型的 RL 训练过程。最终目标是显著提升世界模型在复杂动作条件下的交互准确率和视觉保真度。
与已有工作不同的是，本文的独特切入角度在于将世界模型的三个核心特性——自回归性、交互性和长时域性——作为 RL 框架设计的根本出发点。现有 RL for 扩散模型的工作假设整个内容序列在单一扩散过程中并行生成，而世界模型必须逐片段自回归生成，且序列长度可达数百帧甚至更长。这种根本性的架构差异要求从 rollout 策略、奖励函数到优化算法的全流程重新设计。具体而言，本文提出了 clip-level rollout 来替代传统的 sample-level rollout，设计了互补的双奖励函数来抑制奖励黑客，并采用负感知微调策略来实现高效的 RL 优化。
核心方法
WorldCompass 的整体思路可以概括为：针对视频世界模型的自回归、交互式、长时域生成特性，从 RL 训练的三个核心环节——采样（rollout）、评估（reward）、优化（optimization）——进行全面的重新设计。直觉上，世界模型就像一个可以被驾驶的虚拟世界生成器，用户输入动作信号，模型生成对应的视频。预训练阶段让模型学会了基本的驾驶技能，但面对复杂的驾驶场景（如同时前进并左转）时表现不佳。WorldCompass 通过强化学习来教模型如何更精确地执行这些复杂动作，同时保持视频的视觉质量。技术路线是：首先在目标片段上进行 clip-level rollout 生成多个候选视频，然后用精心设计的奖励函数评估每个候选的动作跟随精度和视觉质量，最后用负感知微调策略基于这些评估结果来更新模型参数。
WorldCompass 的核心创新点在于三个方面的设计，每个都是针对世界模型特性的针对性改进。第一个创新是 Clip-level Rollout：与 LLM 和扩散模型中每个样本独立生成完整序列不同，本文让前 $n-1$ 个片段只生成一次并重复使用，仅在第 $n$ 个目标片段上生成 $G$ 个候选。这使得计算复杂度从 $O(N \cdot G)$ 降至 $O(N + G)$，同时提供了更细粒度的奖励信号。第二个创新是互补奖励函数：分别设计了交互跟随分数（IF Score）和视觉质量分数（VQ Score），两者互为约束，有效抑制奖励黑客。第三个创新是采用 DiffusionNFT 的负感知微调策略替代 Flow-GRPO 的 SDE 采样，因为实验发现 SDE 采样在同一噪声上只能产生场景多样性而无法产生动作多样性，限制了动作跟随能力的提升空间。
方法步骤详情
WorldCompass 的训练过程可以分为以下步骤：第一步，Clip-level Rollout：给定语义条件 $c$、动作序列 $a_{1:N}$ 和目标片段索引 $n$，首先自回归生成前 $n-1$ 个片段作为共享前缀 $x_{1:n-1}$，然后在第 $n$ 个片段上生成 $G$ 个候选 rollout 样本 $\{x_n^{(i)}\}_{i=1}^G$。第二步，奖励计算：对每个候选样本计算交互跟随分数 $s_{IF}^{(i)}$ 和视觉质量分数 $s_{VQ}^{(i)}$。交互跟随分数通过 3D 基础模型估计相机轨迹，与预定义的离散动作空间比对来计算旋转和位移准确率；视觉质量分数使用 HPSv3 模型评估。第三步，优势估计与融合：对两个奖励维度分别计算组内归一化优势 $a_{IF}^{(i)}$ 和 $a_{VQ}^{(i)}$，然后通过裁剪线性组合得到最优化概率 $r^{(i)} = \frac{1}{2} + \frac{1}{2} \text{clip}\left(\frac{\lambda a_{IF}^{(i)} + (1-\lambda) a_{VQ}^{(i)}}{Z}, -1, 1\right)$。第四步，负感知微调优化：利用隐式正负速度 $v_\theta^+$ 和 $v_\theta^-$ 构建加权损失。第五步，EMA 更新旧模型参数，并采用渐进式优化策略，目标片段索引 $n$ 随训练步数循环递增，形成课程学习效果。
技术新颖性
WorldCompass 的技术新颖性体现在多个层面。首先，这是第一个专门为视频世界模型设计的 RL 后训练框架，填补了该领域从预训练到后训练的技术空白。其次，Clip-level Rollout 策略是自回归视频生成领域的一个全新概念，它巧妙地利用了自回归生成的特性——前序片段可以被重复使用——来同时提升采样效率和奖励信号的细粒度。这与 LLM 中每个样本独立生成完整序列的方式有本质区别。第三，互补奖励函数的设计体现了对奖励黑客问题的深刻理解：交互跟随分数和视觉质量分数互为正则化器，单独优化任何一个都会导致另一个退化（实验表明只用 IF Score 会导致视觉质量降至 -2.67，只用 VQ Score 会导致动作准确率降至 11.51%）。第四，负感知微调策略的引入解决了 SDE 采样在世界模型动作控制上的根本局限——SDE 采样只能多样化视觉场景而无法多样化相机轨迹。第五，渐进式优化策略自然形成了课程学习效果，从短时域逐步过渡到长时域，这与 RL 中任务难度递增的原则一致。
实验结果
WorldCompass 在 WorldPlay 世界模型的两个版本（HY-Video-1.5-8B 和 Wan2.2-5B）上进行了全面评估，结果令人印象深刻。在复合动作场景下，HY-Video-1.5 的动作准确率从 19.70% 大幅提升至 54.82%（提升 +35.12 个百分点），Wan2.2 从 19.58% 提升至 42.92%（提升 +23.34 个百分点）。在基础动作场景下也有显著提升，HY-Video-1.5 从 64.28% 提升至 76.56%（+12.28），Wan2.2 从 55.59% 提升至 63.91%（+8.32）。视觉质量方面，HPSv3 分数在所有场景下均有 0.6-1.9 的提升。消融实验验证了各组件的必要性：sample-level rollout（替代 clip-level）会导致动作准确率骤降至 12.45%；只用 IF Score 会导致 HPSv3 降至 -2.67（视觉崩溃）；只用 VQ Score 会导致动作准确率降至 11.51%（动作失效）。效率优化方面，时间步子采样和 Best-of-N 策略在保持竞争性结果的同时将训练开销降低了 50%。整个训练过程仅需 3 天，使用 64 块 H20 GPU。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 复合动作交互（长时域，381帧） | 动作准确率 Acc$_{action}$ | 54.82% | 19.70%（HY-Video-1.5 基础模型） | +35.12 个百分点 |
| 复合动作交互（长时域，381帧） | HPSv3 视觉质量分数 | 0.73 | -0.33（HY-Video-1.5 基础模型） | +1.06 |
| 基础动作交互（长时域，381帧） | 动作准确率 Acc$_{action}$ | 76.56% | 64.28%（HY-Video-1.5 基础模型） | +12.28 个百分点 |
| 基础动作交互（长时域，381帧） | HPSv3 视觉质量分数 | 3.72 | 1.90（HY-Video-1.5 基础模型） | +1.82 |
| 复合动作交互（短时域，125帧，Wan2.2） | 动作准确率 Acc$_{action}$ | 49.81% | 22.87%（Wan2.2 基础模型） | +26.94 个百分点 |
| 复合动作交互（长时域，381帧，Wan2.2） | 动作准确率 Acc$_{action}$ | 42.92% | 19.58%（Wan2.2 基础模型） | +23.34 个百分点 |
局限与改进
作者坦诚地指出了当前方法的一个重要局限：缺乏可靠的指标来评估长视频生成中的视觉质量漂移和空间记忆保持问题。由于奖励信号中没有直接约束来惩罚这种漂移，在大规模 RL 训练应用于长时域自回归视频生成时，会出现累积性的质量退化。作者目前通过保守的训练策略（较少的训练迭代和较低的学习率）来缓解这一问题，但这并非根本性解决方案。从独立观察来看，本文的评估主要集中在动作准确率和视觉质量两个维度，而缺乏对空间一致性、物理合理性等更深层次世界模型能力的定量评估。此外，评估的测试集仅包含 600 个案例，且动作空间仅限于 8 种基础动作的组合，对于更复杂的交互场景（如抓取、碰撞等）的泛化能力尚不清楚。训练数据规模（4000 张图像）也相对较小，可能限制了模型在更多样化场景下的表现。
独立分析的弱点
本文存在几个值得关注的弱点。第一，视觉质量漂移问题尚未得到根本解决：在长时域生成中，累积误差会导致视频质量随时间逐步退化，作者承认当前只能通过保守训练策略来缓解，缺乏专门针对视觉漂移的奖励函数。改进方向是设计能够评估帧间一致性和空间记忆保持的奖励信号。第二，动作空间较为简单：目前仅支持 8 种基础动作（前、后、左、右移动和上、下、左、右旋转）的组合，对于更复杂的交互信号（如速度控制、连续角度控制）的支持尚不清楚。第三，奖励函数依赖于 3D 基础模型的相机轨迹估计精度，如果估计不准确，可能会引入错误的奖励信号。第四，训练效率仍有提升空间：虽然 clip-level rollout 已经将复杂度从 $O(N \cdot G)$ 降至 $O(N + G)$，但对于更长的视频序列（如数十个片段），计算开销仍然可观。第五，缺乏对不同 RL 算法的更广泛比较，仅对比了 DanceGRPO 和 DiffusionNFT，未涵盖 PPO、SAC 等其他可能的选项。
未来方向
作者提出的一个重要未来方向是开发专门针对视觉漂移和空间记忆的可靠奖励函数，这是解决长时域生成质量退化问题的根本途径。此外，基于本文的成果可以延伸出多个研究方向：第一，将 WorldCompass 框架扩展到更多样的世界模型架构上，验证其通用性；第二，探索更丰富的动作空间，包括连续动作控制和更复杂的交互信号；第三，结合人类反馈（RLHF）来进一步提升生成质量，特别是对于主观视觉感受的优化；第四，研究如何将 RL 后训练与世界模型的物理一致性约束相结合，在提升交互精度的同时保证物理合理性；第五，探索将 WorldCompass 应用于具身智能（embodied AI）场景，让机器人通过与世界模型的交互来学习复杂任务。
复现评估
从复现角度来看，本文的复现条件相对明确但有一定门槛。代码方面，作者提供了项目主页和在线演示，但论文中未明确说明是否开源训练代码。数据方面，训练使用 4000 张多样化的图像及对应描述，这些数据可以从公开来源获取或自行构建。算力方面，训练需要 64 块 H20 GPU 运行 3 天，这是一个相当高的硬件门槛，对于大多数研究团队来说可能难以复现。基础模型方面，WorldPlay 的两个版本（HY-Video-1.5-8B 和 Wan2.2-5B）均为开源模型，但需要额外的 3D 基础模型（如 Depth Anything 3）用于相机轨迹估计，以及 HPSv3 模型用于视觉质量评估。超参数设置相对详细，包括旋转阈值 $1^\circ$、位移阈值 $[0.01, 0.02, 0.03, 0.04, 0.05]$、学习率 $10^{-5}$ 等。总体而言，复现难度中等偏高，主要瓶颈在于算力需求和多个依赖模型的协调使用。
论文图表
该算法框图详细描述了 WorldCompass 的完整训练流程，包括：采样训练数据批次、选择目标片段索引（渐进式）、生成共享前缀和 rollout 样本、计算奖励和优势值、Best-of-N 子采样、时间步子采样、计算加权损失、更新策略参数、以及 EMA 更新旧模型。
这个算法框图提供了方法的完整伪代码，是理解训练流程细节和复现实现的重要参考。