一次一步地构想未来：从单张图像做稀疏轨迹自回归扩散预测 Envisioning the Future, One Step at a Time

完整流程分训练与推理两段。训练时：第一步把原始互联网视频居中裁剪到 512×512，用 TAPNext 在 1024 个随机种子点上跟踪得到 16 个连续帧的 2D 轨迹作为伪真值；额外还有 ~1.5M 视频用 V-DPM 做 3D 跟踪再反投影到第一帧得到 '纯场景运动' 标签。第二步用 DINOv3-L/16 编码 I_0 得到图像特征图，对每个 (t, i) 在 $E_{\text{img}}$ 上双线性采样 'what'（$x_0$ 处）与 'where'（$x_t$ 处）特征。第三步构造 motion token = MLP(Fourier($\Delta x_t^{(i)}$) ‖ shared_ID ‖ what ‖ where)。第四步把所有 motion token 与图像 token 拼成一个序列 $h = [h_{\text{image}} | h_{\text{motion}}]$，构造 mask（图像只关注自身；motion 关注自身 + 图像 + 因果过去 motion），用 24 层 width=1024 的 fused parallel transformer block 做并行 self/cross-attention（每个块内部把 QKV+FFN-up 共享一次 Norm+Proj，再以一次 Down 合并出 +FFN，避免 6 个独立 kernel launch）。第五步 FM head（3 层 FFN，width=1024）以 $z_t^{(i)}$ 和 flow time $\tau$ 为条件，通过 adaptive norm 输出 ODE 速度场 $v_\phi(\Delta x_{t,\tau}^{(i)} \mid z_t^{(i)})$；输入端用对数尺度级联 $[\tanh(s_1 \Delta x_{\tau, 1}) | \ldots | \tanh(s_L \Delta x_{\tau,L})]$ 把跨数个数量级的位移同时稳定表示。第六步用 ELBO $\mathcal{L}_{FM}=\mathbb{E}_{\tau,\Delta x_0,\Delta x_1}\|v_\phi-\frac{\partial \Delta x_\tau}{\partial \tau}\|_2^2$ 端到端训练 400k 步（16×H200，20 小时），bfloat16 混合精度，全局 batch 128，K=16，T=16，AdamW 峰值 lr=3e-5 加 5k 步 warm-up。推理时：用 Euler 解 ODE 50 步解码 $\Delta x_t$，在线更新 $x_{t+1}$，时间维度 KV cache 持续累积，轨迹维度并行；可选先用前 2 帧真值作为 'warm-up poke' 提示。

技术新颖性主要有四点。第一，把开放集未来预测问题从 '生成未来帧' 转换为 '在稀疏轨迹上的逐步自回归扩散'，这是表征层面的范式转移（visual tax → zero），论文通过 FPT 与 GAMED 等 baseline 的对比实验和理论动机（'人脑不画未来而追踪关键变化' [13,52]）论证其必要性。第二，提出 fused parallel transformer block，把六次 kernel launch（QKV-Proj、Attention、O-Proj、FFN-up、FFN-down 各加 Norm）合并为两次 Launch + 一个 Activation，配套精心设计的 mask，使得 32 步 rollout、batch 4/16 时获得 2× / 3.7× 加速。第三，提出输入尺度级联，用对数级 $\exp(\text{linspace}(\log 0.1, \log 1e5, L))$ 的 $s$ 对输入做 $\tanh(s\cdot \Delta x)$ 饱和，既能表示亚像素细微抖动，也能表示数十像素的快速跳跃，弥补了 FLUID/TiT 等既有 FM head 设计仅适用于图像类轻尾分布的缺陷。第四，引入随机单位球 ID $\text{id}_{traj} \sim U(S^{d-1})$ 替代固定 codebook，论文证明零样本可以从训练时的 16 条轨迹推广到任意数量的查询点（Traj. Emb ablation, Tab. C）。

独立分析而言，可以归纳出三类弱点和改进方向。第一，**稀疏先验与长时记忆的张力**：当 K 较小（如 1–4 个查询点）或查询点彼此远离（不同物体）时，全序列 attention 难以捕捉跨物体的耦合交互（碰撞、遮挡）；可以通过显式加入 pair-wise prior latent 或 scene-level context token 改进。第二，**对动态视角/相机扩展的薄弱**：虽然 V-DPM 重投影可以学到 '去相机后的' 轨迹，但推理时仍假设静态相机；如果要拓展到视频流或自运动预测，需要联合建模 trajectory+ego pose 的双自回归流，例如把相机位姿也当作 token 注入，并把 OWM-equivalent benchmark 扩展到 KITTI/TruckScenes 等动态相机数据集。第三，**训练数据偏差的传递**：训练用的 TAPNext pseudo-GT 在遮挡、快速运动、纹理缺失场景下本身会失效；可以引入不确定性加权的 self-training、在测试时对难以跟踪片段进行自蒸馏，或在 FM head 中加入一个 '置信 dropout' 让推理时自动识别此类样本。

作者明确提出的未来方向：将方法推广到动态相机场景进行 ego+scene 联合预测，以及引入更鲁棒的（去跟踪器偏差的）训练信号。基于论文成果可延伸的方向还包括：(a) 与世界模型或 RL agent 闭环集成——Myriad 提供的快速反事实 rollout 可作为 MCTS 类算法的 transition model，例如在机器人操控中将 16 个查询点对应若干抓取坐标；(b) 多智能体扩展：把 K 个查询点扩展为多 agent 的策略模块，每条 trajectory ID 对应一个 agent，从而把 social forecasting 与 OWM 桥接起来；(c) 视频+稀疏轨迹的混合表征：用像素 diffusion 生成关键帧做 '远点 long-term anchor'，再用 Myriad 填补中间稀疏轨迹，缓解极端长程（>10s）下的不确定性漂移；(d) 3D 与物理一致性：将训练目标附加接触守恒、能量守恒约束或基于可微物理的 residual 把 FM head 升级为约束流匹配 (constrained flow matching)，让分布本身保证物理可能。

复现门槛在中等偏高。第一，**代码与数据** — 项目页 (http://compvis.github.io/myriad) 提供代码与 OWM benchmark（论文承诺将 OWM 公开），作者在补充材料 Sec. A 中详细列出了训练数据来源（10M 网络视频 + 1.5M V-DPM-重投影 + billiard simulation）、伪真值来源（TAPNext, V-DPM）以及完整超参 (Tab. A)，并给出 PyTorch+Diffusers 风格的实现细节。第二，**算力门槛** — 主模型训练 400k 步 / 16×H200 / 20 小时 ≈ 320 H200-hours；billiard 与 ablation 变体略小。即使只微调，1 张 H200 也需数日，业余研究者难以纯本地复现完整实验。第三，**数据预处理** — 10M 网络爬取视频的去重、静态相机筛选、1024 种子点 seed、TAPNext 推理本身就需要显著算力；论文没有发布这些 raw data，是潜在的可复现性瓶颈。第四，**依赖与精度** — PyTorch + DINOv3-L/16 + AdamW bf16，包含一个自定义 fused parallel transformer 和全可缓存 adaptive-norm FM head；中等规模 GPU（H100 80GB）应足以运行 inference 但训练仍建议多机。第五，**评估** — OWM 评测脚本与 Best-of-N/Best-5min 评测协议在 Appendix A.6 已明确，并附 billiard planning 的 oracle 实现；评测可独立完成。