前瞻未来：自回归视频生成中的场景演化建模 Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation
给自回归视频扩散加未来块预测辅助任务，用更低训练成本显著提升物理合理性
前置知识
自回归视频扩散（分块 rollout）
将长视频切成 $K$ 个等长不重叠的帧块，按时间顺序逐块生成：每一步以历史块（干净或加噪）与文本为条件，用扩散/流匹配过程去噪出下一块，整段视频的概率按 $p(x_{1:K}|c)=\prod_k p(x_k|x_{<k},c)$ 分解。与传统一次性生成固定长度片段的视频扩散不同，它支持流式生成、任意延长和交互式世界模拟，Wan、MAGI-1、Causal Forcing 等均属此范式。
本文全部设计都建立在这一分块自回归框架上，FCP 是叠加在其训练目标上的辅助任务，推理流程完全不变。
教师强制（Teacher Forcing）
训练自回归模型时，条件历史不用模型自己生成的结果，而是直接喂真值数据。对应本文式(4)：对目标块 $x_k$ 采样噪声 $\epsilon_k$ 与流时间 $t$，模型在干净真值历史 $x_{<k}$ 条件下预测速度场，损失记为 $\mathcal{L}_{TF}$。推理时却要条件于自己生成的历史，训练与推理条件分布不一致。
FCP 正是针对教师强制下「局部连续性捷径」这一核心痛点提出的互补监督。
流匹配（Flow Matching）
一类生成建模范式：学习随时间变化的速度场 $v_\theta$，把噪声分布连续传输到数据分布。线性概率路径上中间状态为 $x_t=(1-t)x+t\epsilon$，目标速度是 $\epsilon - x$，训练用均方误差 $\|v_\theta(x_t,t,c)-(\epsilon-x)\|^2$；推理时从 $t=1$ 的纯噪声数值积分到 $t=0$ 得到样本。
本文的主损失和辅助预测损失都是流匹配目标，理解它才能读懂式(2)(4)(7)。
DiT 与 AdaLN 条件注入
Diffusion Transformer（DiT）是当前扩散模型的骨干结构。AdaLN（自适应层归一化）把条件信息转成缩放和平移系数，逐 token 调制每个 Transformer 块的归一化层，实现细粒度、位置感知的条件注入，比全局拼接或简单相加更精细。
FCP 的辅助预测器通过逐 token AdaLN 接收生成器多层融合特征，消融证明这是三种注入方式中最优的。
多块预测（MTP）与链式设计
DeepSeek-V3 等语言模型用多个预测头同时预测未来多个 token，各头通常链式连接：后一个头以前一个头的中间结果为输入。Next Forcing 把这种链式 MTP 思想搬到视频扩散上做未来预测。在离散 token 预测中链式没有副作用，但在扩散设定下未必如此。
本文与 Next Forcing 最关键的架构分歧就是「链式 vs 并行」，并联设计是作者针对扩散设定做出的核心修正。
研究动机
自回归视频生成把长视频切成帧块逐段 rollout，被视为通向生成式世界模型的重要路径——理想情况下模型不仅应续出「看起来连贯」的画面，更应学到场景随时间的演化规律。但标准训练范式是教师强制：当前块的去噪始终以真值历史 $x_{<k}$ 为条件。视频天然具有强时间冗余，相邻块的外观与运动模式高度相似，于是模型发现一条捷径——只要沿用眼前的局部视觉连续性，就能把当前块的去噪损失降下来，完全不必理解「多米诺会朝哪个方向倒」「冰融化后水位是否上升」。结果是块间衔接看似流畅，物理过程却频频出错：论文图 3 中教师强制基线出现多米诺中央异常坍缩、漏掉冰融化带来的水位上升。作者的核心论点是：能续写视频不等于学会了场景演化，而教师强制的监督信号对此几乎没有施加任何压力。
本文的目标是本文目标是设计一个纯训练期的辅助目标：在不引入外部预训练视觉编码器、不改变自回归推理流程的前提下，迫使生成器的中间表征编码场景演化信息，并以物理合理性作为可度量的检验维度。可量化的目标包括：在与教师强制基线相同的数据曝光和训练预算下，在 Physics-IQ Verified 上取得一致提升——1.3B 模型 IQ 从 27.6 升至 30.9，5B 模型 I2V 从 30.4 升至 33.8、V2V 从 40.6 升至 44.4；在 WorldModelBench、PAI-Bench-G、PhyGround 等物理相关基准上保持正向收益；同时训练计算量不高于基线。另一个隐性目标是让中间表征呈现更清晰的时空结构（图 5/6 的相似度图验证），为后续自回归世界模型打基础。
与已有工作不同的是，已有改进自回归 rollout 的工作大致三条路：把双向模型蒸馏成因果少步生成器（分布匹配/对抗训练）、让学生暴露在自己的生成历史上（Self-Forcing 系）、推理期管理上下文窗口与缓存。表征对齐路线（REPA、VideoREPA 等）则用 DINOv2 等外部预训练编码器的特征做对齐目标，虽能提升物理性，但引入对外部模型的依赖，扩展到大规模视频语料时成本和适配都是负担。本文的独特切入：监督信号不必外求——训练视频「更远的未来块」本身就是免费的监督源。把预测目标推远 $\Delta$ 个块并隐去中间块，局部连续性捷径即告失效，模型被迫从 $h_k$ 中编码演化信息。这是与「借外部教师」截然相反的数据原生路线，与 Next Forcing 独立并行地殊途同归。
核心方法
直觉类比：只照着上一段抄写的写作者练不出谋篇布局的能力，只有逼他看着开头预测几章之后的走向，才被迫理解故事逻辑。FCP（Future Chunk Prediction，未来块预测）就是这个辅助任务：在教师强制去噪当前块 $x_k$ 之外，再用当前块的中间表征 $h_k$ 预测同一视频更远的未来块 $x_{k+\Delta}$（$\Delta \ge 1$），且不暴露中间块 $x_{k+1:k+\Delta-1}$。技术路线：生成器是带块因果注意力的视频 DiT（从 Wan checkpoint 初始化）；每个偏移配一个仅含 3 个 DiT 块的轻量辅助预测器，以生成器多层特征为条件做流匹配去噪；辅助损失反向传播穿过 $h_k$ 规整生成器表征。联合目标为 $L_{total}=L_{TF}+\sum_{\Delta\in D} w_\Delta (L_\Delta^{clean}+L_\Delta^{noisy})/2$；推理时 FCP 分支整体丢弃，自回归生成与基线完全一致、零额外开销。
核心创新有三层。第一，把「预测目标推远」当作制造监督压力的旋钮：目标离观测历史越远，局部外观与运动连续性能提供的支持越少，模型被迫编码时间演化，且监督完全来自训练视频自身，无需外部编码器。第二，架构上刻意制造信息不对称：(a) 只条件于当前块的 $h_k$ 而非完整历史 $h_{\le k}$，迫使表征压缩式地编码预测信息还省算力；(b) 辅助预测器去掉文本交叉注意力，防止 prompt 直接泄露未来事件线索（消融显示加文本反而掉 1.1 IQ）；(c) 各偏移预测器并联而非链式——链式设计中 noisy 中间目标的信息会沿路径漏给更远的预测器，重新打开局部连续性捷径，并联设计切断这条通路。第三，用逐 token AdaLN 注入多层融合特征，保证细粒度对应并强化梯度回传。与 DeepSeek-V3 MTP / Next Forcing 的本质区别在于：离散 token 预测里链式无碍，但扩散式未来预测给每个预测器的是部分加噪的未来隐变量，链式会泄漏信息——这是针对扩散设定做出的关键修正，5B 受控实验中链式几乎失效而并联稳定有效。
方法步骤详情
流程六步。第一步，数据切分：视频切成等长不重叠块（每块 3 个 latent 帧），数据为内部视频混合 WISA-80K。第二步，教师强制主损失：对目标块 $x_k$ 采样 $\epsilon_k$ 与 $t$，构造 $e_{x_k,t}=(1-t)x_k+t\epsilon_k$，在真值历史 $x_{<k}$ 与文本条件下预测速度，得 $\mathcal{L}_{TF}$。第三步，抽取源表征：从生成器 4 个选定 DiT 层（1.3B 取第 9/15/21/27 层，5B 取第 3/12/21/30 层）取第 $k$ 块的 clean 与 noisy 两组特征，通道拼接后经 MLP（$4d\to 2d\to d$）融合。第四步，并联预测：每个偏移 $\Delta\in D$（1.3B 用 $\{1,2,3\}$，5B 用 $\{1,2,3,4,5\}$）配独立辅助分支（融合 MLP、3 个 DiT 块、输出头），以 $h_k$ 为唯一视觉条件、不带文本，对 $x_{k+\Delta}$ 做流匹配去噪。第五步，联合优化式(7)，$w_\Delta=0.5$，辅助损失穿过 $h_k$ 回传更新生成器。第六步，推理：卸载 FCP 模块，按基线流程 rollout（UniPC 50 步、CFG 3.0）。超参：1.3B 用 8 卡 2 万步；5B 用 32 卡 2.5 万步、1024×576@24FPS。
技术新颖性
与既有技术的区别有四。其一，对比表征对齐路线（REPA、VideoREPA、跨帧对齐）：它们依赖 DINOv2 等外部编码器提供对齐目标，本文的对齐目标就是训练视频自身的未来块，数据原生、无额外模型，天然随视频语料扩展。其二，对比链式多块预测（DeepSeek-V3 MTP、Next Forcing）：本文首次系统指出并验证「链式 + 扩散」会经 noisy 中间目标产生信息泄漏，5B 上链式变体 I2V 仅 30.7/31.0、V2V 甚至跌破基线（40.5/39.9 vs 40.6），并联则达 33.8/44.4；「扩散设定下 MTP 需并联」这一结论对后续工作有普适参考价值。其三，条件上下文的极简化：实验证明 $h_k$ 与 $h_{\le k}$ 性能相当但省 42.6%–50.7% 训练计算，反驳了「上下文越多越好」的直觉。其四，clean 与 noisy 双源表征同时规整：以往表征对齐多只作用于去噪路径，本文证明自回归设定下携带历史信息的 clean 表征同样值得监督，二者互补（分别 +1.2/+2.3，合用 +3.3）。
实验结果
实验分四层。(1) 主基准 Physics-IQ Verified（198 样本、4 种子均值、数值型指标）：Wan2.1-1.3B 的 IQ 从 27.6 升至 30.9；Wan2.2-5B 的 I2V 从 30.4 升至 33.8、V2V 从 40.6 升至 44.4。横向对比（表 1）：5B+FCP 的 33.8 超过 Wan2.2-14B（32.2）、HunyuanVideo-1.5（33.4）、Cosmos3-Nano（29.1）等更大双向模型，也超过自回归的 MAGI-1-4.5B（31.1）与 Helios-Base 14B（26.9）。(2) 其他物理基准（表 3）：WorldModelBench 总分 7.22→7.64（Physical Laws +0.19）；PAI-Bench-G AV 63.54→64.81（Robot +2.39）；PhyGround Domain Score 81.13→82.38；VLM 评审类增益偏小，作者归因于其对细微物理变化不敏感。(3) 消融（表 4/6，1.3B）：clean-only 28.8（+1.2），noisy-only 29.9（+2.3），双源 30.9（+3.3）；加文本条件掉至 29.8（-1.1）；链式 30.1（-0.8），且 5B 上链式几乎失效（表 2：链式 V2V 40.5/39.9 反低于基线 40.6）。特征注入（表 7）：token 拼接 28.8 < 维度拼接 29.5 < AdaLN 30.9。(4) 训练效率（图 4）：达 IQ=29/30 比全上下文变体省 42.6%/50.7% 计算。表征分析（图 5/6）：FCP 相似度响应更聚焦查询物体并跨帧保持对应。定性上（图 3）：FCP 正确预测多米诺倾倒方向并捕捉水位上升，基线则异常坍缩且漏掉水位变化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像到视频生成（物理合理性） | Physics-IQ Verified IQ | Wan2.2-5B + FCP：33.8 | 教师强制 Wan2.2-5B：30.4 | +3.4 |
| 视频到视频生成（物理合理性） | Physics-IQ Verified IQ（V2V） | 44.4 | 教师强制：40.6 | +3.8 |
| 图像到视频生成（1.3B 小模型） | Physics-IQ Verified IQ | Wan2.1-1.3B + FCP：30.9 | 教师强制 27.6；Causal Forcing++ 21.8；MAGI-1-4.5B 31.1 | +3.3，1.3B 逼近 4.5B 模型 |
| 世界模型评估 | WorldModelBench 总分 | 7.64 | 教师强制：7.22 | +0.42 |
| 物理 AI 基准 | PAI-Bench-G AV | 64.81 | 教师强制：63.54 | +1.27（Robot 子项 +2.39） |
| 物理推理基准 | PhyGround Domain Score | 82.38 | 教师强制：81.13 | +1.25 |
| 训练效率（对比全上下文 FCP 变体） | 达到相同 IQ 所需估算训练计算 | 本文 $h_k$ 条件配置 | Next Forcing 式 $h_{\le k}$ 全上下文变体 | IQ=29 省 42.6%，IQ=30 省 50.7% |
局限与改进
作者承认的局限：一是所有模型都从预训练双向 checkpoint 初始化而非从头预训练，且双向→自回归适配初期会出现性能退化，作者怀疑两种范式的表征组织方式不同，这可能限制 FCP 收益的上限；二是受算力约束未覆盖更大规模与更长视频；三是内部语料无法公开，训练数据层面的精确复现不可能；四是辅助预测器输出保真度有限（图 10 中远偏移预测模糊），推理期加速或预测集成等应用还只是设想。我自己的观察：其一，主基准 Physics-IQ Verified 度量的是 5 秒内的短时动力学，对长期一致性、因果关系、组合事件等世界模型真正关心的能力覆盖不足，而 VLM 类基准增益又偏小（+0.42/+1.25），证据链有偏向有利基准之嫌；其二，超参 $w_\Delta=0.5$、偏移集合 $D$、源层选择都靠经验（1.3B 与 5B 的选层逻辑还不一致），缺系统扫描；其三，I2V 设定首帧固定为干净上下文，天然缓解了部分捷径问题，纯 T2V 长视频下的结论有待验证。
独立分析的弱点
独立分析四点。第一，监督信号本质是像素级未来重建，去噪损失对低频外观敏感、对物理规则的因果结构未必敏感——多米诺方向对了，但摩擦、材料刚度这类反事实属性学不到；改进方向是在辅助分支上叠加物理仿真数据或 VideoREPA 式关系对齐，两者与 FCP 正交可叠加。第二，$\Delta$ 是离散块偏移且上限 5 块（15 个 latent 帧，约 1 秒量级），对慢变化场景有效，但对分钟级演化（天气、季节）监督会衰减；可探索多尺度时间偏移或课程式增大 $\Delta$。第三，并联设计每个偏移一个独立 3 层 DiT，偏移增多时辅助参数线性膨胀，5B×5 偏移的开销不小；可研究避免重建链式通路前提下的偏移间参数共享或单预测器多偏移调制。第四，FCP 规整了表征却没有解决教师强制的曝光偏差，rollout 误差积累依旧存在，与 Self-Forcing 类自我生成交替训练结合值得尝试。第五，组件消融只在 1.3B 上做，5B 直接沿用超参，最优 $w_\Delta$、最优偏移集合可能随规模变化，规模效应缺乏验证。
未来方向
作者提出的方向：(1) 以 FCP 为原生目标做大规模从头预训练的自回归世界模型，而非从双向 checkpoint 适配，并搭配更高质量、更多样的数据；(2) 探索更大模型规模与更长视频上的 scaling；(3) 推理期应用——早期高噪声阶段用辅助预测器去噪、后期交给主生成器精修以降低采样成本，或将预测器输出与主生成器做预测集成提升演化可靠性（均未实验验证）；(4) 引入物理仿真器数据提升物理性。基于成果可延伸的：把 FCP 的并联修正与动作条件结合做交互式世界模型（Next Forcing 已朝 action-conditioned 走，并联设计在该设定下更关键）；利用相似度图展现的结构化表征做可解释性分析或视频检索；在偏移集合上做课程学习逐步增大时间跨度以对齐长程物理规律；将「隐去中间块」思想推广到交错多模态生成中的远距离依赖建模。
复现评估
代码已开源：https://github.com/TencentARC/Looking-Ahead，但不含模型 checkpoint；训练数据公开部分（WISA-80K）将提供来源与筛选标准，内部语料只给代表性示例，完整复现不可能。算力门槛高：1.3B 消融需 8 GPU × 2 万步（85 帧、768×432@16FPS、全局 batch 8）；5B 主实验需 32 GPU × 2.5 万步（121 帧、1024×576@24FPS、全局 batch 32）；评估要对 198 样本 × 4 种子 × 多基准做完整采样（每块 UniPC 50 步、CFG 3.0），评估本身也昂贵。复现难度评估：方法概念清晰（辅助分支 + 流匹配 + AdaLN），附录 A 给全了配置表（源层、初始化层、偏移集合、全部超参），在开源 Wan checkpoint 上搭建工程可行；小实验室只能在 1.3B 量级复现消融级结论，5B 级主结果难以独立验证。总体属于「方法可复现、结论部分可复现」。
论文图表
辅助分支的未来预测可视化：上排为真值视频，中下排为各偏移辅助分支仅凭 $h_k$ 从噪声采样的未来帧；预测捕捉了宏观视觉变化和运动趋势，但越远的偏移保真度越低。
既证明 $h_k$ 中确实存在可解码的未来演化信息，也直观呈现辅助预测器的保真度上限，对应作者关于推理期应用仍需未来工作的判断。