FrameMorrow：面向长时程视频生成的前瞻令牌引导未来感知帧选择 FrameMorrow: Future-guided Frame Selection with Prospective Tokens for Long-Horizon Video Generation
预测少量前瞻令牌表征未来信息需求，据此挑选历史帧，即插即用提升长视频一致性。
前置知识
自回归长视频生成
指扩散或自回归视频模型按块（chunk）滚动生成：每步以最近生成的画面 $L_t$ 和条件 $c_t^+$（文本提示、动作序列等）为输入，生成下一段视频。随时间推移，早期生成的内容逐渐滑出模型有限的输入窗口，当场景回访时就会出现主体外观漂移、物体状态不一致等问题。代表模型包括 Self-Forcing、LongLive、CausVid、Matrix-Game 3.0 等。
这是本文的问题场景。理解了滚动生成中历史会不断'出窗'，才能明白为什么需要一个外部选择器来决定把哪些历史帧重新喂给骨干。
参考帧条件与 KV 缓存
生成器消费历史信息的两条通道：一是参考帧接口，把图像经骨干自带的图像编码器变成参考潜变量或图像引用；二是把历史帧编码成注意力层的键值（KV）状态直接拼进因果上下文。FrameMorrow 只负责选帧，注入方式完全复用每个骨干的原生适配器 $\Gamma_b$，不训练任何新条件模块。
这解释了方法为何能即插即用：选择器输出的是'显式帧'而非某骨干特定的内部状态，任何带参考或记忆接口的生成器（包括闭源模型）都能接入。
DINOv2 自监督视觉特征
Meta 提出的自监督 ViT 视觉基础模型，其类别令牌特征对物体身份、纹理、场景结构具有很强的对应性，常被冻结后用作检索、匹配和蒸馏的教师。本文用 DINOv2 ViT-B/14 同时承担两个角色：选择器的输入帧编码器 $E_v$，以及训练时比较历史帧与已实现未来帧的教师编码器 $\Phi$。附录显示它优于 CLIP（88.42）和 SigLIP（88.76）教师，一致性达 89.30。
教师特征的质量决定了'未来接地排序'的可信度，理解其角色才能看懂训练目标为什么合理。
排序蒸馏（listwise 与 pairwise 损失）
把教师给出的候选排序转移给学生的两类监督：listwise 把教师分数经 $p_t^F=\mathrm{Softmax}(r_t^F/\tau_r)$ 变成分布，用交叉熵对齐学生分布 $\hat p_t$；pairwise 只保留教师分数差超过边距 $\delta$ 的序偶 $\mathcal{P}_t$，用 softplus 惩罚违反顺序的学生打分。两者组合为 $\mathcal{L}_{sel}=\mathcal{L}_{list}+\lambda\mathcal{L}_{pair}$。
FrameMorrow 的前瞻令牌完全靠这种未来排序监督学出'前瞻性'，读懂这两个损失才能理解训练信号的构造。
平滑最大值（smooth maximum）聚合
即带温度的 log-sum-exp：$\hat r_{t,i}=\tau_q\log\frac{1}{M}\sum_{m=1}^{M}e^{a_{t,m,i}/\tau_q}$。它介于均值与硬最大值之间：某个前瞻令牌与某帧的强匹配可以主导该帧分数，同时保留其他令牌的温和贡献。消融中它（89.30）优于均值池化（88.43）和硬最大值（88.91）。
它是把 $M$ 个令牌的注意力分数压缩成每帧一个分数的关键算子，也用于教师侧聚合未来帧相似度，是方法中反复出现的核心机制。
研究动机
长时程视频生成（如 60 秒以上的自回归滚动生成）要求模型持续利用越来越长的生成历史，以保持主体、物体和场景的一致。但把全部历史都保留下来既昂贵又冗余：计算开销随历史增长，而且并非所有历史在每一步都有用。现有工作大多用'当前内容相关性'来挑选历史，例如 LongLive-RAG 用最新生成内容检索历史潜变量，DySink 选择视觉相近的历史帧，MemFlow 用下一块提示检索历史。问题在于：与现在相似的历史未必对未来有用。以论文 Figure 1 的室内漫游为例，按当前画面匹配会选中与当前走廊视角相似的历史帧，导致回到房间时椅子外观漂移；而真正该召回的是更早看过、眼下看起来'不相关'的房间细节。历史信息的重要性应由其对未来生成的潜在价值决定，而非仅由与当前画面的相似度决定。
本文的目标是本文的目标是构建一个通用、轻量、即插即用的历史帧选择器：在自回归滚动的每一步，根据已知条件 $c_t^+$（文本提示、动作序列或控制信号，不含未来信息）预测'未来信息需求'的紧凑表征，并据此从候选历史 $H_t$ 中挑出 $K$ 帧最有可能被未来用到的画面，经各骨干自己的条件机制注入任意冻结的生成器。关键约束有三：不生成完整未来视频（只预测 $M=4$ 个前瞻令牌）；输出显式历史帧而非模型内部状态（因此可跨 11 个生成模型复用，包括无法访问内部权重的闭源模型 Seedance 2.0 与 Kling O3）；额外推理开销控制在约 2% 以内。最终在五个基准上同时改善长程一致性、视觉质量与动作对齐。
与已有工作不同的是，本文的独特切入是把'选什么历史'从'与当前相关'重新表述为'与未来相关'。已有两条路线都做不到这一点：一是基于当前内容匹配的检索（LongLive-RAG、DySink、MemFlow、Memento 等），本质上回答'哪些历史与现在看到的最像'，而与现在相似不等于对未来有用；二是模型内部的 KV 缓存管理（PaFu-KV、Future Forcing），虽然也带未来意识，但绑定具体骨干的内部状态，无法跨生成器迁移，更无法用于闭源模型。FrameMorrow 走中间路线：不生成完整未来，只预测少量'前瞻令牌'作为未来信息需求的代理，再用它们给显式历史帧打分。这既获得了未来感知能力，又通过显式帧接口实现生成器无关的即插即用，填补了两个流派之间的空白。
核心方法
直觉上，判断哪段历史重要，最好的依据是'接下来要画什么'。FrameMorrow 在滚动步 $t$ 把输入分成三部分：可检索的长期历史 $H_t=\{x_{\tau_i}\}$（$\tau_i\le t-L$）、骨干原生的近期上下文 $L_t=\{x_{t-L+1},\ldots,x_t\}$、以及已知条件 $c_t^+$。一个仅 16M 参数的因果 Transformer（4 层、隐藏维 512）先用冻结 DINOv2 ViT-B/14 加投影 $P_v$ 编码各帧、用 UMT5-XXL（文本）或 CLIP（动作）加 $P_c$ 编码条件，再自回归预测 $M=4$ 个前瞻令牌 $q_m^t=F_\psi(H_t,L_t,C_t^+,q_{<m}^t)$。令牌作为 query 对历史帧做缩放点积注意力，用平滑最大值 $\hat r_{t,i}=\tau_q\log\frac{1}{M}\sum_m e^{a_{t,m,i}/\tau_q}$（$\tau_q=0.1$）聚合成分数，Top-$K$（默认 $K=4$）选出历史帧，按时间戳排序后经骨干原生适配器注入，每 5 秒刷新一次，骨干全程冻结。
核心创新有二。其一，前瞻令牌：用 $M$ 个可学习查询自回归地'想象'未来需要什么信息，一次前向就替代生成完整未来视频的代价；令牌间通过因果掩码互相条件化，不预先指定各自负责哪类未来因素，前瞻性完全由未来监督学出，且自回归优于并行预测（$M=4$ 时 89.30 对 88.30）。其二，未来接地的排序蒸馏：训练时用冻结 DINOv2 计算历史帧与已实现未来帧的余弦相似度 $R_{t,i,j}^F=\cos(\Phi(x_{\tau_i}),\Phi(x_{t+j}))$，经平滑最大值 $r_{t,i}^F=\tau_f\log\frac{1}{H}\sum_j e^{R_{t,i,j}^F/\tau_f}$（$H=8$ 帧未来）得到教师排序；再用列表项 $\mathcal{L}_{list}=-\sum_i p_{t,i}^F\log\hat p_{t,i}$ 与带边距的成对 softplus 项 $\mathcal{L}_{pair}$（边距 $\delta=0.05$、权重 $\lambda=0.5$）联合优化 $\mathcal{L}_{sel}=\mathcal{L}_{list}+\lambda\mathcal{L}_{pair}$。学生在训练与推理时永远见不到未来帧。
方法步骤详情
推理五步：(1) 编码——冻结 $E_v$ 与投影 $P_v$ 把历史和近期上下文编码为 $h_i=P_v[E_v(x_{\tau_i})]$，条件编码为 $C_t^+$；(2) 预测——因果 Transformer 在起始令牌与因果掩码下自回归生成 $M=4$ 个前瞻令牌；(3) 打分——令牌作为 query 对各历史帧算注意力 logit，平滑最大聚合为 $\hat r_t$；(4) 选择——$I_t=\mathrm{TopK}(\hat r_t,K)$，选中帧按时间戳排序；(5) 注入——适配器 $\Gamma_b$ 把选中帧映射为骨干既有接口接受的表示（历史 KV、参考潜变量或图像引用），冻结骨干生成 $\hat Y_t^+$，每 5 秒刷新。训练：从 OpenVidHD（文本，1 万条）或 Sekai Game-Walking（动作，1 万条，由相机位姿构造伪动作）抽取四元组 $(H_t,L_t,c_t^+,Y_t^+)$，已实现未来 $Y_t^+$ 只供教师；对齐教师分布 $p_t^F=\mathrm{Softmax}(r_t^F/\tau_r)$ 与学生分布 $\hat p_t$，AdamW、学习率 $10^{-4}$、批 64、5 epoch，每个选择器仅 12 GPU 时。
技术新颖性
与已有方法的本质区别体现在四个层面。第一，选择依据从'当前相关'变为'未来需求'，Appendix E.5 的诊断直接支持这一动机：当前上下文相似度与真实生成效用的 Spearman 相关仅 $\rho=0.10$，而 FrameMorrow 预测达 $\rho=0.42$，接近能访问未来的教师 $\rho=0.51$。第二，输出形态是显式历史帧而非内部 KV 状态（对比 PaFu-KV、Future Forcing 的缓存策略），同一文本条件检查点即可服务 Self-Forcing、LongLive、Causal Forcing、CausVid、ShotStream 等异构骨干，甚至通过公开引用接口作用于闭源的 Seedance 2.0 与 Kling O3。第三，训练信号是来自未来的排序蒸馏而非视频重建损失，因此不需要微调任何生成器，也不新增条件模块。第四，轻量性：16M 可训练参数、$M=4$ 个令牌、每 5 秒刷新，三个骨干上端到端开销仅 1.7%、2.1%、1.7%，远低于生成完整未来视频再匹配的方案。
实验结果
五个基准、11 个模型的结论一致。长视频生成（VBench-Long，60 秒、128 条 MovieGenBench 提示）：在 Self-Forcing、LongLive 1.0、Causal Forcing 上平均排名 1.33/1.25/1.33 全部第一，Self-Forcing 上成像质量 62.22→68.47、动态程度 51.72→64.56。交互式单镜头：Self-Forcing 一致性 84.95→89.30（+4.35），分段 CLIP 增益从首段 10 秒的 +0.16 扩大到末段的 +2.99，越长越受益。多镜头：ShotStream 一致性 92.75→96.76（+4.01）。闭源模型：Seedance 2.0 一致性 94.02→95.31（+1.29），Kling O3 91.28→92.61（+1.33），均优于同预算均匀选帧。世界模型：动作对齐 +0.019/+0.023/+0.029（Matrix-Game 3.0/WorldMem/YuMe 1.5，后者达 0.912）。消融验证：无未来监督仅 +1.25、未来蒸馏 +4.35、oracle +5.65；$K=2$ 即得 88.00，超过均匀采样 16 帧的 87.10；$M=4$ 自回归令牌最优。策略对比中 FrameMorrow（89.30）胜过 Prompt matching（88.35）等全部基线，开销仅 1.7%–2.1%。用户研究：一致性偏好 62.7% 对原生 16.7%，质量偏好 54.0% 对 17.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长视频生成（VBench-Long，60 秒，128 条 MovieGenBench 提示） | 六维平均排名（Subject/Background/Motion/Dynamic/Aesthetic/Imaging） | Self-Forcing 骨干平均排名 1.33（Imaging 68.47，Dynamic 64.56） | LongLive-RAG 平均排名 2.00（Imaging 64.97，Dynamic 44.69） | 平均排名 2.00→1.33；Imaging +3.50，Dynamic +19.84 |
| 交互式单镜头视频生成（100 个六段案例，Self-Forcing） | Consistency（VBench 一致性） | 89.30 | 原生 Self-Forcing 84.95 | +4.35 |
| 交互式多镜头视频生成（LongLive 2.0 / ShotStream） | Consistency | ShotStream +FrameMorrow 96.76；LongLive 2.0 +FrameMorrow 93.49 | ShotStream 92.75；LongLive 2.0 93.14 | ShotStream +4.01；LongLive 2.0 +0.35 |
| 闭源模型多轮生成（Seedance 2.0 / Kling O3，30 案例 5 轮） | Consistency | Seedance 2.0 95.31；Kling O3 92.61 | 原生 Seedance 2.0 94.02；Kling O3 91.28（Uniform 分别为 93.54 / 90.84） | +1.29 / +1.33，且全面优于 Uniform |
| 动作条件交互世界模型（Matrix-Game 3.0 / WorldMem / YuMe 1.5，各 60 条轨迹） | Action Alignment（Qwen3-VL-8B 评测，0-1） | 0.861 / 0.889 / 0.912 | 0.842 / 0.866 / 0.883 | +0.019 / +0.023 / +0.029 |
| 推理开销（60 秒生成，K=4，M=4，每 5 秒刷新） | 总时长相对增加 | Self-Forcing +1.7%（选择耗时 112ms）、LongLive 1.0 +2.1%（109ms）、Causal Forcing +1.7%（115ms） | 原生骨干（总时长 82.6s / 67.8s / 82.6s） | 开销控制在约 2% 以内 |
局限与改进
作者承认的局限：教师目标衡量的是与已实现未来的视觉对应，而非对生成的增量效用——E.5 显示其与真实效用的相关只有 $\rho=0.51$，未来蒸馏（+4.35）与 oracle（+5.65）之间仍差 1.30 分；收益并非在每个指标上均匀，Self-Forcing 上 LongLive-RAG 的背景与运动分数更高，ShotStream 加装后美学分下降 0.56；选择耗时随候选数、上下文长度和条件长度增长，固定每 5 秒刷新未必匹配场景切换节奏。我自己的观察：训练依赖'已实现未来'构造监督，只能离线进行，无法在完全在线、无回放的环境中持续学习；教师只看未来 4 秒的 8 帧（2fps），更远期的信息需求（如几十秒后回访的场景）可能欠覆盖；平滑最大值聚合不显式鼓励所选帧多样性，可能选到冗余帧；动作条件由相机运动伪标签构成，未覆盖物体级操控指令。
独立分析的弱点
独立分析四点弱点。第一，教师代理的语义盲区：DINOv2 余弦相似度偏重视觉外观，对'未来提示明确要求某物体、但历史里只有低分辨率身影'这类语义相关性不敏感，可引入 VLM 或文本-图像对齐分数作为辅助教师做多目标蒸馏。第二，与教师仍有 0.42 对 0.51 的相关差距，说明学生没有完全学到未来接地排序，可用式 (14) 定义的生成效用 $u_{t,i}=Q\hat Y_t^i-Q\hat Y_t^0$ 作为奖励做强化学习微调，或用模型自身生成的未来替代真实未来做 on-policy 蒸馏。第三，$K$ 与 5 秒刷新间隔固定：动作密集或快速换镜的段落应允许更大预算，可借鉴 FrameOracle 的自适应预算思想，用分数熵或不确定性动态调节 $K$。第四，收益受骨干条件接口上限约束——若骨干只能接受少量参考图或潜变量，再准的选择也难以兑现，可为高频需求场景增加记忆摘要帧作为补充通道。
未来方向
论文指向更准确的未来代理与更广的适用面，可延伸的方向包括：把前瞻令牌与 KV 缓存管理（Future Forcing、PaFu-KV）结合成'帧级+令牌级'双层记忆策略；将选择器与骨干联合或交替训练，缩小 $\rho=0.42\to0.51$ 的差距；把 4 秒未来视野扩展成分层多尺度代理（短期外观+长期场景拓扑），服务几十分钟级世界模拟与物体持久性评测；把动作条件从相机伪标签扩展到物体级交互指令；探索选择信号的反向利用——当历史中根本不存在未来所需信息时，主动改写提示或预生成'记忆帧'；以及把排序蒸馏框架迁移到音频驱动生成、具身智能体轨迹规划等同样需要'预判未来需求'的场景。这些方向都能直接复用本文的教师-学生排序框架，工程门槛较低。
复现评估
复现条件相当友好。项目页在 https://yinbo0927.github.io/FrameMorrow/（论文未明确承诺开源代码，需关注页面更新）。数据全部可得：文本条件用 1 万条 OpenVidHD 视频切成 2 秒标注单元、Qwen3-VL-8B-Instruct 生成流式分段提示；动作条件用 1 万条 Sekai Game-Walking，按相机位姿构造伪动作；训练/验证按视频 9:1 切分。附录给出完整细节：架构（DINOv2 ViT-B/14、4 层 512 维 8 头因果 Transformer、16M 文本选择器参数）、全部超参（$\tau_q=\tau_r=0.1$、$\tau_f=0.05$、$\tau_s=1.0$、$\delta=0.05$、$\lambda=0.5$、$H=8$、$M=K=4$）、优化（AdamW、$10^{-4}$、批 64、5 epoch、BF16、梯度裁剪 1.0）。算力仅 2×A100 80GB 共 12 GPU 时，冻结编码器特征可预计算。主要门槛在各骨干的适配器实现（Table 10 的 9 条接入路线）与闭源 API 对齐实验。
论文图表
室内漫游示例：给定相同历史（房间 A、餐边柜、餐厅、走廊）和已知下一条件'回到房间走向扶手椅'，上排的当前上下文匹配方法选中与当前走廊视角相似的历史帧，导致生成的椅子外观漂移；下排的 FrameMorrow 选中与未来生成相关的更早历史帧，成功保留椅子外观。
一图点明全文动机：与当前相关 ≠ 对未来有用，这是方法与所有当前内容匹配基线的根本分野。
附录中 LongLive 原生（上）与 +FrameMorrow（下）在相同生成条件下的对比，FrameMorrow 在长时间生成中改善主体与场景外观保持。
补充第二个骨干上的定性证据，说明增益不依赖于特定生成器。
盲测成对偏好研究（10 名评估者、每骨干 30 对视频、共 900 判断/准则）：长程一致性上 FrameMorrow 平均 62.7%、平局 20.7%、原生 16.7%；整体质量上 54.0%、29.0%、17.0%，三个骨干全部占优。
提供指标之外的人感知证据，且一致性偏好（62.7%）明显高于质量偏好（54.0%），与方法聚焦历史保持的定位吻合。
动作对齐评测量规：1.00（全部命令方向与时序清晰遵循）、0.75（主要命令遵循、轻微延迟）、0.50（部分遵循）、0.25（弱证据）、0.00（动作缺失或反向），由 Qwen3-VL-8B 温度 0 单次评分。
理解世界模型实验中动作对齐指标的评分标准与可信度。