Next Forcing：基于多块预测的因果世界建模

多块预测框架解决自回归视频世界模型训练中的短视监督问题

前置知识

Flow Matching

Flow Matching是一种生成建模框架，学习一个速度场将样本从噪声分布输送到数据分布。给定干净样本x0和高斯噪声ε~N(0,I)，通过线性插值构造时间步t的噪声样本xt=(1-t)x0+tε。神经网络被训练来预测速度v*=ε-x0，训练目标为LFM=E[||vθ(xt,t,c)-(ε-x0)||2]。推理时通过ODE求解器从t=1（纯噪声）积分到t=0（干净数据）来生成样本。

本文使用Flow Matching作为视频生成的基础框架，理解其数学形式和训练过程对于理解Next Forcing的多块预测目标至关重要。

World Action Models (WAMs)

World Action Models是一种新兴的具身AI范式，通过联合建模未来视频和动作来学习操作策略。与直接将视觉观察和语言指令映射到动作的Vision-Language-Action模型不同，WAMs首先预测未来的视觉动态，然后从预测的帧中解码机器人动作。这种两阶段过程为策略学习提供了更丰富的环境表示，使模型能够理解物理世界如何演化以及代理如何在其中行动。

本文针对WAMs的训练效率问题提出改进方案，理解WAMs的基本架构和训练范式对于理解Next Forcing的应用场景和动机非常重要。

Teacher Forcing

Teacher Forcing是序列建模中常用的训练策略，模型在训练时使用真实的过去序列作为条件来预测当前元素。在视频生成中，这意味着模型学习在来自真实数据的干净先前块的条件下去噪当前噪声块。这种方法训练稳定，但会创建训练（干净上下文）和推理（自生成上下文）之间的分布差距，这种现象被称为exposure bias。在高帧率下，相邻块在视觉上高度相似，Teacher Forcing还允许模型学习appearance shortcut而不是真实的动态。

本文的核心改进是针对Teacher Forcing的局限性提出的，理解其问题和局限性是理解Next Forcing创新点的基础。

Rotary Position Embeddings (RoPE)

RoPE是一种位置编码方法，通过旋转操作将位置信息注入注意力机制。它将绝对位置编码转换为相对位置编码，使模型能够更好地捕捉序列中的位置关系。在本文中，RoPE被用来为MCP模块提供时间偏移信息，通过RoPE(x0[k][i])=RoPE(i+k)将块偏移k纳入位置编码，使每个MCP模块接收到其预测的未来块的位置信息。

理解RoPE的工作原理对于理解Next Forcing如何在多块预测中处理时间偏移和位置信息很重要。

研究动机

现有的自回归视频世界模型面临短视监督问题，训练监督仅限于当前块，没有关于未来动态的明确信号。在高帧率下，这个问题尤为严重，因为相邻块在视觉上高度相似，模型可以通过学习从干净过去块到当前块的近似恒等映射来大量降低去噪损失。这种appearance shortcut比底层动态更容易拟合，可以吸收大部分梯度信号，导致模型学习长期时间演变的压力微弱。论文显示在50 fps时，相邻块之间的外观差距缩小到几乎无损失的程度，标准Teacher Forcing收敛显著更慢且最终准确率更低。在RoboTwin基准测试的50 fps Random设置下，传统方法在5k训练步后仅达到31.9%的成功率，而Next Forcing达到61.6%，差距近30个百分点。

本文的目标是本文的具体目标是提出一个多块预测框架，通过将局部单块目标转化为长距离多块目标，迫使模型学习控制时间演变的潜在动态而不是依赖appearance shortcut。该框架需要在保持推理效率的同时实现更快的训练收敛、更高的收敛精度和推理加速。论文设定的具体目标包括：在RoboTwin基准测试上达到新的state-of-the-art结果，在高帧率下实现显著的训练加速，在PhyWorld物理规律遵守基准测试上展示改进，并在通用视频预训练上验证方法的通用性。

与已有工作不同的是，本文的独特切入角度是从训练目标本身来改进自回归视频世界模型，而不是像现有工作那样关注上下文构建（如Teacher Forcing和Self Forcing）或噪声调度（如Diffusion Forcing）。论文指出，现有方法主要改变模型在训练时看到的上下文或噪声如何调度，而Next Forcing改变模型被要求预测什么，因此与所有上述方法正交并可组合。这种从预测目标而非输入构造的角度是本文的核心创新，为改进自回归视频生成提供了新的研究方向。

核心方法

Next Forcing的整体思路是通过轻量级辅助MCP模块扩展标准Teacher Forcing训练目标，这些模块同时预测多个未来时间跨度的视频块（next1、next2、next3）并在预测深度上形成因果链。训练时，主模型像标准Teacher Forcing一样去噪当前块，而三个辅助MCP模块通过因果链去噪next1、next2和next3块。推理时，MCP模块可以丢弃以实现零开销部署，或保留以实现并行块生成。这种设计使得多尺度时间监督信号能够深度传播到主模型的表示中，同时保持了推理的灵活性。

核心创新点是将离散token的多token预测思想连续化到视频latents领域，通过在多个未来预测深度上建立因果链来提供密集的时间监督。与语言建模中的多token预测（MTP）不同，Next Forcing针对视频生成的连续特性进行了多项关键设计：使用更高的timestep shift（smcp>smain）来加强MCP模块与主模型的耦合，融合主模型多层中间特征而不是仅使用最终输出，以及建立跨深度的因果链让近未来预测为远未来预测提供信息。这些设计使得多块预测能够从离散token成功迁移到连续视频latents。

方法步骤详情

方法步骤包括时间块移位、独立噪声注入、MCP位置编码、链式MCP模块和联合视频动作架构。给定训练视频latent x0∈RC×F×H×W，对于每个MCP深度k∈{1,2,3}，通过将视频latent前进k个块来构造时间移位目标x0[k][i]=x0[min(i+k,F)]。每个移位目标通过Flow Matching公式使用其自己的时间步和噪声样本独立噪声化：x[k]tk=(1-tk)x0[k]+tkεk，其中tk使用专门的timestep shift参数smcp采样。块偏移被纳入旋转位置编码：RoPE(x0[k][i])=RoPE(i+k)。三个MCP模块形成因果链，深度k的噪声移位目标通过共享patch嵌入层嵌入并与前一深度的输出融合：z[k]=Wk[h[k-1]prev;Embed(x[k]tk)]。主模型通过30个transformer层的正向传播时，在4个中间层{4,12,20,30}收集隐藏状态，沿特征维度连接并通过两层MLP压缩：hfuse=MLP([h4;h12;h20;h30])。总训练目标结合主模型损失和MCP损失：L=Lvideo+Laction+Σk=13wk·LMCPk。

技术新颖性

技术新颖性体现在多个方面：首次将多token预测思想成功迁移到连续视频latents领域，提出了针对视频生成特性的三项关键设计（timestep shift、多层特征融合、因果MCP链），证明了多块预测在高帧率下的有效性（2.3倍训练加速），实现了训练和推理的双重改进，验证了方法在机器人操作和通用视频生成领域的通用性。论文还提供了系统的消融研究，为将多块预测从离散token迁移到连续视频latents的设计选择提供了实用指导，包括timestep shift、多层特征融合和因果MCP链的作用机制。

**Figure 2**: Overview of Next Forcing. The main model denoises the current chunk, while chained MCP modules predict future chunks (next1, next2, . . .) using features from the main model, providing dense temporal supervision during training and enabling parallel chunk prediction at inference.

实验结果

核心发现包括：在RoboTwin基准测试上达到新SOTA结果，Clean和Random设置下分别达到94.1%和93.5%的成功率，显著优于所有比较方法。训练收敛分析显示，在12 fps时Next Forcing比LingBot-VA快约2倍收敛，在10k步达到90.0%而基线需要约20k步，最终准确率更高（94.1%/93.5% vs 92.8%/91.8%）。在50 fps时优势更加显著：在5k步Next Forcing达到70.2%/61.6% vs LingBot-VA的45.5%/31.9%，在50k步达到91.8%/90.5% vs 88.6%/85.2%。在PhyWorld基准测试上，Next Forcing在FVD和Abnormal Ratio上均优于LingBot-VA，在out-of-template设置下提升更大，表明多块预测鼓励可泛化的物理动态而非模板特定的记忆。在通用视频预训练上，使用350万内部视频片段，Next Forcing在50k步时在Test Set 1上减少58%的FVD（94 vs 225），在Test Set 2上减少52%（97 vs 204）。Next Forcing在10k步时已经超过LingBot-VA在50k步的表现，证明视频质量收敛显著更快。消融研究显示，从默认基线（75.6%）添加MCP提高到85.8%（+10.2%），移除多层融合降至83.6%，设置smcp=5降至83.2%，不使用权重初始化降至83.8%。推理加速测试显示，在所有帧率下MCP加速推理保持与标准管道相当的准确率，在12 fps Clean设置下从94.1%降至93.5%，在50 fps Random设置下从90.5%提升到91.3%。

**Table 1**: Evaluation on the RoboTwin benchmark (average success rate % over 50 tasks). Clean: fixed initial configurations. Random: randomized object poses and scene layouts. Best results are bolded.

**Table 2**: Ablation studies on RoboTwin Clean subset, trained for 20k steps on 16 GPUs. Default baseline: smain=5 with noisy history augmentation. Default MCP: smcp=10, multi-layer fusion, weight init from main model, 3 transformer blocks per depth.

**Table 3**: Evaluation on PhyWorld benchmark for combinatorial generalization. We report FVD and Abnormal Ratio under out-of-template (OOT) and in-template (IT) settings.

**Table 4**: Inference acceleration. Standard inference performs separate video denoising for each chunk. MCP-accelerated inference predicts the next video chunk in parallel via the MCP module.

**Figure 1**: Task success rate (%) on RoboTwin across training steps. Next Forcing converges faster and reaches higher final accuracy than LingBot-VA at both 12 and 50 fps.

**Figure 3**: Qualitative comparison on PhyWorld. We show 5 frames (start, 3 intermediate, end) from ground truth (top), Next Forcing (middle), and Baseline (bottom). Blue boxes highlight regions where the baseline deviates from the ground-truth physical trajectory, while Next Forcing generates more physically consistent dynamics.

**Figure 4**: FVD on general video pretraining across training steps. Test Set 1 contains human activity videos, while Test Set 2 focuses on camera-driven scene dynamics. Next Forcing consistently achieves substantially lower FVD than LingBot-VA on both test sets throughout training.

查看结构化数据

任务	指标	本文	基线	提升
RoboTwin Clean	Success Rate (%)	94.1	LingBot-VA 92.9	+1.2
RoboTwin Random	Success Rate (%)	93.5	LingBot-VA 91.5	+2.0
RoboTwin 50fps @ 5k steps	Success Rate (%) (Random)	61.6	LingBot-VA 31.9	+29.7
PhyWorld OOT	FVD (lower better)	4.7	LingBot-VA 5.3	-0.6
PhyWorld OOT	Abnormal Ratio (%) (lower better)	8	LingBot-VA 12	-4
General Video Pretraining Test Set 1	FVD @ 50k steps (lower better)	94	LingBot-VA 225	-58%
Training Convergence 50fps	Speedup factor	2.3×	LingBot-VA baseline	2.3× faster
Inference Speed	Speedup factor	2×	Standard inference	2× faster

局限与改进

论文承认的主要局限性是MCP模块引入了额外的训练成本。虽然MCP模块比主模型轻量得多（每个深度3个transformer block vs 主模型的30层），但在训练期间仍增加了计算开销和内存使用。另一个潜在局限性是在并行块生成模式下，仅使用深度1的MCP模块，深度2和深度3的MCP模块在当前步骤中被主模型的预测取代，虽然相同机制可以扩展到更高加速但会累积更多漂移，论文将此探索留给未来工作。从更广泛的角度来看，Next Forcing专注于改进训练目标，但与架构创新和数据规模扩展等其他改进方向正交，因此需要与其他技术结合才能实现最大性能。

独立分析的弱点

独立分析的弱点包括：训练成本增加，MCP模块虽然轻量但仍增加了约10-20%的训练时间和内存使用，对于资源有限的团队可能构成障碍。在极低帧率或时间变化剧烈的场景下，多块预测的优势可能不如高帧率场景明显，因为相邻块之间的视觉差距已经足够大，appearance shortcut问题不那么严重。并行块生成模式下的精度下降在某些安全关键应用中可能不可接受，虽然论文显示在大多数设置下精度损失很小。MCP模块的设计（深度数量、timestep shift值、融合层数等）需要针对不同数据集和应用场景进行调优，缺乏自适应的参数选择机制。当前方法仅支持因果预测，对于双向或非因果的建模任务不适用。

未来方向

论文提出的未来工作方向包括探索更高加速的并行块生成，通过使用深度2和深度3的MCP模块来实现大于2倍的推理加速，同时管理累积漂移问题。将Next Forcing与其他forcing方法（如Diffusion Forcing和Self Forcing）结合，探索它们之间的协同效应。扩展MCP框架到其他模态和任务，如音频生成、多模态序列建模等。研究自适应的MCP设计，根据数据特性动态调整深度数量、timestep shift和其他超参数。开发更高效的MCP模块架构，进一步减少训练开销。探索在更复杂的场景中的应用，如长期预测、交互式环境建模等。基于成果的可延伸方向包括：将多块预测思想应用到其他序列建模任务，如时间序列预测、代码生成、音乐创作等。研究多块预测与curriculum learning的结合，从短距离预测逐步过渡到长距离预测。探索在强化学习中的应用，通过多步预测改进策略学习。

复现评估

复现评估方面，论文提供了相对详细的实现细节和超参数设置，但尚未发布官方代码库。Next Forcing建立在LingBot-VA框架上，使用Wan2.2 Transformer backbone（30层）。训练设置包括64 GPU用于主要实验和16 GPU用于消融研究，使用2500个Clean演示（每个任务50个）结合25000个Random演示（每个任务500个）训练最多50k步。通用视频预训练使用约350万内部视频片段，在32 GPU上训练。论文提供了所有关键超参数的默认值：主模型timestep shift smain=5，MCP timestep shift smcp=10，MCP损失权重w1=0.5,w2=0.2,w3=0.1，块大小M从{1,...,Mmax}随机采样且Mmax=4。项目网站（https://gangweix.github.io/next-forcing/）提供了一些可视化结果和演示。总体而言，复现难度中等偏高，主要挑战在于需要大量GPU资源和获取相同质量的数据集。

Next Forcing：基于多块预测的因果世界建模 Next Forcing: Causal World Modeling with Multi-Chunk Prediction