Fréchet Forcing：用短片段训练长时序流式世界模型 Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips

每个训练步（Algorithm 1）四步执行。第一步生成锚定：从真实片段 $x$ 抽历史长度 $c\sim U[1,N]$，把前 $c$ 个 chunk 加噪到 $t_a=0.7$，用部署阶梯采样器无梯度重渲染出带自身误差的历史 $h_c$；关键改动是把历史最后一个 chunk 替换成干净真实 chunk $x_{c-1}$，否则模型学会在每个 chunk 边界重绘场景（flicker 恶化到 1.31）；随后对后续 $W=4$ 个真实 chunk 施加 $\mathcal{L}_{anc}=\mathbb{E}\|v_\theta(x_{t_{c:c+W}}|h_c,a)-(\epsilon-x_{c:c+W})\|^2$。第二步自由 rollout：从单个真实上下文 latent 生成 $N=40$ 个 chunk，只有最后 $K=8$ 个在 autograd 图中，前缀 detach 进 KV cache。第三步上下文保真：对梯度 chunk 的每两个相邻 latent 提取各通道空间均值与标准差拼接成 $\psi$，减去本片段对应跨度真值均值后与真实片段统计做自归一化 FD。第四步现实匹配：最后 $D=4$ 个 chunk 多解码一个前置 chunk 再丢弃其帧以保证解码器统计一致，逐帧以 DINOv2 CLS token 嵌入，与 VAE 重建真实帧参考统计做 FD。三项单位权重合并，AdamW lr $10^{-6}$，微调 225 步。

新颖性体现在五层。其一，首次把 Fréchet 距离目标直接用于流式视频世界模型的自生成 rollout 训练：借用 Yang et al. 的滑动矩估计把有效样本量与批量解耦，batch=1/GPU 也能估计数百维协方差，并把 $\nabla\log\mathrm{FD}$ 自归一化梯度与截断反传、多卡 all-gather 特征结合。其二，上下文保真的「逐片段中心化」把边缘分布度量转化为片段条件度量，从机制上堵死序列级分布匹配允许无界漂移的问题。其三，「历史必须以真实 chunk 结尾」发现并解决了自生成历史训练特有的 chunk 边界重绘伪影，还专门设计了闪烁指标量化它。其四，「只对梯度承载 chunk 计统计」消除截断反传下目标与梯度作用样本不一致——pooled 变体的梯度-统计对齐余弦从 0.96 跌到 0.39，graded 变体保持 0.63。其五，三个诊断探针（上下文依赖斜率、对齐余弦、留出 CLIP-FD 裁判）把失效动力学解剖到设计原则层面。整套方法只微调部署采样器本身，不改架构与推理流程，单一超参配方跨 DROID 和 Sekai 通用。

第一，动作幅度欠跟随（49%–60%）说明分布级目标对几何精度不敏感，可加显式位姿一致性项：用可微 VGGT 或 PnP 估计位姿，直接约束其与指令序列的误差。第二，种群级 FD 掩盖局部失败（20% rollout 有局部伪影但全局指标稳定），可做区域级感知匹配：把 DINOv2 patch token 而非仅 CLS token 纳入统计，或对空间分块特征分别做 FD。第三，单帧现实匹配不保证长程一致性，重访场景可合理面目全非，可引入轻量场景记忆或以初始帧为锚的检索式参考。第四，慢漂移只能间接抑制（FVD 从 186 涨到 441），可课程式延长 rollout 长度 $N$，让监督覆盖更远状态。第五，FD 的有效性完全取决于冻结特征空间的判别力，论文已展示低阶空间被退化解钻空子的教训，更精细伪影仍可能漏网，可多特征空间集成或周期轮换裁判特征并配留出裁判监控。第六，三个损失权重全为 1 的配方虽优雅，但在更大模型、不同噪声时间表、更丰富动作空间下的鲁棒范围未做敏感性分析；381 帧固定训练片段与 40 chunk 固定 rollout 也缺乏按场景漂移速度自适应的机制。

作者提出的方向：在 rollout 上加显式位姿一致性约束以改善动作幅度跟随；使用空间尺度更细、更难满足的感知特征空间抑制细周期纹理；发展区域级感知匹配以捕捉种群指标掩盖的局部失败。基于本文成果可延伸的方向：其一，把「真实数据统计量做长时序监督」推广到其他模态世界模型（音频、触觉、3D 场景），FD 目标天然跨模态可用；其二，与强化学习结合——稳定超 4000 帧的世界模型可直接充当具身策略训练的仿真器，本文正反回放构造长参考的思路也可反哺评估协议设计；其三，上下文保真的逐片段中心化技巧可移植到长视频生成、长文本生成等其他自回归任务的分布匹配训练中；其四，三个诊断探针（上下文依赖斜率、梯度-统计对齐余弦、留出裁判）可发展为长时序微调的通用监控工具甚至早停准则；其五，把 225 步固定配方升级为随 rollout 长度课程化扩展（先 40 chunk 后 80 chunk），有望冲击分钟级稳定生成并压平残余的 FVD 缓升；其六，探索在特征空间中注入几何与物理先验（深度一致性、物体永久性、光照守恒）的 FD 变体，弥补当前只约束外观不约束物理的缺陷。

复现条件相当友好。代码开源于 github.com/zhao-yian/Frechet_Forcing，模型权重在 HuggingFace（zhaoyian01/Frechet_Forcing），项目页含演示视频。基座 MiniWorld-1B 及其领域 checkpoint 开源；数据 DROID（8958 训练 + 2774 评测 episode）和 Sekai（1462 训练 + 156 留出 clip）均公开。算力门槛是最大亮点：8 卡微调仅 225 步，合计 34–36 GPU 小时（每步 68–72 秒），训练全程内存中无需教师网络。一次性开销包括 VAE 重建真实帧并预计算参考统计（DROID 52k latent 窗口 + 108k 帧，Sekai 26k + 54k 帧）和 16 条无梯度 rollout 初始化 EMA 矩。复现需对齐的细节：要求部署采样器可微；多卡损失按世界大小缩放为 $W\cdot\mathrm{FD}/(\mathrm{sg(FD)}+0.01)$；FD 参考必须基于与训练相同窗口和步长的 VAE 重建帧而非原始视频，否则 VAE 重建间隙会诱导高频伪影；现实匹配要多解码一个前置 chunk 并丢弃其帧。超参完整（$t_a=0.7$、$W=4$、$K=8$、$N=40$、$D=4$、$\beta=0.99$），复现难度中低、性价比极高。