想象再预测：面向视频事件预测的交错潜在视觉推理 Imagine Before You Predict: Interleaved Latent Visual Reasoning for Video Event Prediction
通过在语言和潜在视觉空间之间交错推理，保留动态未来视觉结构以提升视频事件预测性能
前置知识
视频事件预测（VEP）
VEP 是一个任务，要求模型从部分观察到的视频证据推断未观察到的未来状态。与标准视频理解不同，VEP 的答案通常无法直接在可见帧中定位，而是需要模型构建关于未观察到的动态视觉状态的内部假设，如物体将如何移动、实体是否交互、场景如何演变等。VEP 涵盖从低级动作预测（如预测运动员下一步动作）到高级语义下一事件预测（如推断故事情节发展）的广泛任务。
读懂本文需要理解 VEP 与传统视频理解的本质区别：传统任务答案在可见帧中可找到，而 VEP 要求模型进行前瞻性推理和想象，这正是本文方法试图解决的核心挑战。
潜在推理（Latent Reasoning）
潜在推理是用连续隐藏状态替代离散文本推理 token，并将这些状态反馈到 LLM 中的范式。传统链式思维（CoT）将推理过程显式表示为可读文本，而潜在推理在模型自身的嵌入空间中进行思考，压缩推理过程到紧凑的思考空间。例如 Coconut 模型首次展示了 LLM 可以在其嵌入空间中推理，CODI 和 SIM-CoT 随后蒸馏或监督这些潜在步骤以接近显式文本 CoT 的性能。
本文的核心创新之一是将潜在推理从文本推理扩展到视觉领域，理解潜在推理的基本概念对于理解本文方法为何能避免文本化带来的视觉信息丢失至关重要。
自回归解码
自回归解码是一种生成方法，其中每个 token 的生成都依赖于之前生成的所有 token。在标准语言模型中，这意味着模型逐个生成词汇表中的词。但在本文的交错潜在视觉推理框架中，自回归解码被扩展：模型可以在文本 token 和连续潜在视觉 span 之间交替，当遇到特殊 token <|latent_start|> 时，后续的 <|latent|> 位置生成隐藏状态而非投影到词汇表，这些连续状态作为潜在视觉思维保留在 KV 缓存中，直到 <|latent_end|> 发出时返回文本模式。
自回归解码是本文方法的技术基础，理解其扩展形式（交替文本和潜在视觉）对于理解模型如何在推理过程中动态分配计算资源并保持未来视觉结构至关重要。
对比学习
对比学习是一种表示学习范式，通过拉近正样本对、推开负样本对来学习有用的表示。典型的 InfoNCE 损失函数使用温度参数 softmax 来区分正样本和负样本。本文中的 outcome-contrastive 奖励采用了 hardest-positive InfoNCE 形式，将正确预测的潜在轨迹相互拉近，同时将错误预测作为负样本推开，从而在不需要中间帧标注的情况下，仅根据最终答案正确性就构建了潜在轨迹的结构化信号。
对比学习是本文 LA-DAPO 方法中关键的理论工具，理解其如何应用于潜在轨迹优化对于理解本文为何能在缺乏中间监督的情况下仍然有效地引导潜在视觉推理至关重要。
研究动机
现有的视频多模态大语言模型（MLLMs）在处理视频事件预测（VEP）任务时，通常将中间的未来推理在文本空间中进行语言化。例如，模型会输出长段的文字链式思维来解释其推理过程。这种方法虽然便于解释，但为动态视觉预测创建了糟糕的接口：一旦视觉证据被转换成文字，细粒度的运动信息（如物体移动速度、轨迹）、几何关系（如相对位置、角度）、和交互模式（如接触、遮挡）就会丢失。结果是，推理链可能听起来合理，但在视觉上逐渐偏离语义，特别是当正确答案依赖于微妙的未来动态时。例如，在预测篮球运动员的动作时，文本可能描述球员继续进攻，但无法精确编码球员的起跳角度、球的旋转方向和防守队员的相对位置。
本文的目标是本文的目标是构建一个能够保留中间动态视觉语义的推理框架，而不是将每个推理步骤都翻译成文本。具体来说，目标包括：首先，让模型能够在推理过程中在语言 token 和连续的潜在视觉状态之间交替，使语言负责组织和传达预测，而潜在状态保留推断动态视觉结构所需的信息。其次，设计有效的训练策略，教模型何时调用潜在 span 以及如何将潜在状态与未来的视觉流形对齐。最后，开发强化学习方法，直接优化采样的潜在轨迹以提高预测成功率，而无需中间帧的标注。
与已有工作不同的是，本文的独特切入角度在于，不同于现有的潜在视觉推理方法（如 LVR、Monet、SwimBird）大多将潜在思维锚定到静态图像（如辅助图像、草图或已给定的场景），VEP 需要对动态的未来帧进行推理，这些帧尚未被观察到。现有的 latent reasoning 方法主要应用于静态视觉任务或使用辅助图像提示，而 FUTURE-L1 的独特之处在于它将潜在思维锚定到未来信息而非静态视觉提示，专门针对 VEP 的动态未来预测需求。此外，本文提出的视觉增益数据筛选和 LA-DAPO 强化学习方法是针对未来视觉推理特别设计的，填补了该领域在训练策略方面的空白。
核心方法
FUTURE-L1 方法的整体思路可以分为两个层面。从直观层面看，方法模仿人类进行前瞻性推理的过程：我们既会用语言分析情况（这个场景可能发展为），也会在脑海中形成连续的视觉画面（想象物体将如何移动、场景将如何变化）。FUTURE-L1 让 MLLM 模仿这种能力，在自回归生成过程中交替使用文本和潜在视觉两种思维模式。从技术层面看，方法包含两个训练阶段：第一阶段使用监督微调（SFT）在精选的 FUTURE-L1-50K 数据集上训练，教模型何时调用潜在 span 并将潜在状态与未来帧嵌入对齐。第二阶段使用 LA-DAPO（Latent-Aware DAPO）强化学习进一步优化采样的潜在轨迹，通过结果对比奖励和时间多样性奖励引导模型生成更好的潜在视觉推理轨迹。
FUTURE-L1 的核心创新点是引入交错潜在视觉推理机制，通过三个特殊 token <|latent_start|>、<|latent|> 和 <|latent_end|> 扩展标准 MLLM 骨干网络。在推理过程中，当模型发出 <|latent_start|> 时，每个随后的 <|latent|> 位置生成一个隐藏状态 h_t，这个隐藏状态不是投影到词汇表，而是作为下一个输入嵌入反馈，形成连续的潜在视觉思维。这些潜在状态保留在 KV 缓存中，用于条件化后续的文本推理。当模型发出 <|latent_end|> 时，生成返回文本模式。这种设计的关键在于潜在 span 的长度是动态的，模型可以根据推理难度自适应地分配潜在计算资源。与已有的文本中心推理方法（如 Video-CoE）和静态潜在推理方法（如 LVR、Monet）相比，FUTURE-L1 的本质区别在于它将潜在思维锚定到动态的未来信息，并专门为视频事件预测设计了数据筛选和强化学习策略。
方法步骤详情
FUTURE-L1 的方法步骤可以分为三个主要部分。首先，数据构建阶段：从 TwiFF-2.7M 数据集中使用视觉增益筛选候选样本。对于每个候选，评估 Qwen3-VL-8B-Instruct 在两种条件下的表现：第一种是仅使用观察到的视频前缀和问题的文本输入，第二种是额外包含中间推理帧的提示输入。使用 8 次独立 rollouts 由 Qwen3.5-397B-A17B 判断，计算正确 rollout 的计数 p_t 和 p_v。保留 p_t 小于等于 6（文本-only 设置未饱和）且 p_v 减 p_t 大于等于 2（视觉提示提供明显提升）的样本，按 p_v 减 p_t 降序排序，取前 50,000 个作为 FUTURE-L1-50K。其次，监督微调阶段：使用 FUTURE-L1-50K 训练模型，优化离散文本 token 和连续潜在状态的联合目标 L_SFT 等于 L_CE 加上 lambda 乘 L_Latent。对于离散位置 T（包括文本推理、答案 token 和特殊控制 token），使用标准的 next-token 预测损失 L_CE 等于负的求和 log p_theta(w_t | w_<t, V, q)。对于潜在位置 S，将每个隐藏状态 h_t 与对应的未来推理帧的视觉嵌入 e_star_t（由 Qwen3-VL 视觉编码器提取）对齐，使用 MSE 损失 L_Latent 等于 1 除以 S 的绝对值乘求和 h_t 减 e_star_t 的平方。最后，LA-DAPO 强化学习阶段：从 SFT 检查点开始，使用 Easy-R1 框架实现强化学习。LA-DAPO 保持了 DAPO 的答案和格式奖励，并添加了两个轨迹级别的潜在奖励：结果对比奖励 R_ctr 将正确答案关联的潜在轨迹拉在一起，同时将错误 rollouts 作为负样本。时间多样性奖励 R_div 通过惩罚相邻 span 的相似性来鼓励不同的视觉思维。总奖励 R 等于 lambda_a 乘 R_acc 加上 lambda_f 乘 R_fmt 加上 lambda_c 乘 R_ctr 加上 lambda_d 乘 R_div。
技术新颖性
FUTURE-L1 的技术新颖性体现在三个层面。在数据层面，提出的视觉增益筛选是针对未来视觉推理特别设计的数据筛选方法，不同于通用的数据筛选或随机采样，它选择中间未来视觉提示确实有助于预测的示例，确保训练数据对学习潜在视觉推理具有实际效用。在模型架构层面，交错潜在视觉推理机制将潜在推理从静态辅助图像扩展到动态未来帧，使模型能够在推理过程中动态更新想象的未来视觉状态，这是对现有潜在推理方法的重要扩展。在训练策略层面，LA-DAPO 是首个专门针对潜在轨迹优化的强化学习方法，通过结果对比奖励和时间多样性奖励，能够在无需中间帧标注的情况下有效地引导潜在视觉推理，这是对标准 DAPO 的重要扩展。这三个层面的创新相互配合，形成了针对视频事件预测的完整解决方案。
实验结果
FUTURE-L1 在两个视频事件预测基准测试上取得了显著成果。在 FutureBench（一个多选择 VEP 基准）上，FUTURE-L1-RL 将 Qwen3-VL-8B 从 61.0 提升到 85.4，超过了之前的最佳模型 Video-CoE 10.4 个百分点。在四个推理深度划分上，FUTURE-L1-RL 取得了 83.2（1-Hop）、86.5（2-Hop）、86.6（3-Hop）和 85.1（Interp.）的准确率，表明该方法在需要推理更长事件链和非连续未来状态的困难划分上特别有效。在 TwiFF-Bench（评估开放式未来帧推理）上，FUTURE-L1-RL 将平均分从 2.44 提升到 3.04，超过了 TwiFF-2.7M（2.79）和所有列出的 MLLM 或统一模型基线。消融实验表明，视觉增益筛选的 FUTURE-L1-50K 相比随机采样的 50K TwiFF 格式数据在 FutureBench 上提升了 4.8 个百分点（73.2 vs 68.4），特别是在困难的 3-Hop（77.6 vs 70.1）和 Interp.（72.2 vs 67.7）划分上提升更为明显。此外，分析显示 FUTURE-L1 能够自适应地分配潜在计算资源：随着推理深度增加，平均 span 数量从 1-Hop 的 1.79 增加到 2-Hop 的 2.18 和 3-Hop 的 2.52，表明模型在需要推理更长未来事件链时会使用更多潜在视觉推理。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FutureBench 多选择视频事件预测 | 准确率（%） | 85.4 | Qwen3-VL-8B (61.0), Video-CoE (75.0) | +24.4 vs Qwen3-VL-8B, +10.4 vs Video-CoE |
| TwiFF-Bench 开放式未来推理 | 平均分（CoT 和答案的平均） | 3.04 | Qwen3-VL-8B (2.44), TwiFF-2.7M (2.79) | +0.60 vs Qwen3-VL-8B, +0.25 vs TwiFF-2.7M |
| FutureBench 3-Hop 困难划分 | 准确率（%） | 86.6 | Qwen3-VL-8B (66.2), Video-CoE (71.6) | +20.4 vs Qwen3-VL-8B, +15.0 vs Video-CoE |
| FutureBench Interp. 困难划分 | 准确率（%） | 85.1 | Qwen3-VL-8B (55.8), Video-CoE (71.4) | +29.3 vs Qwen3-VL-8B, +13.7 vs Video-CoE |
局限与改进
作者在论文中承认的局限性包括：首先，虽然 FUTURE-L1 在需要推理更长事件链的划分上表现良好，但在某些具体场景下仍然会失败。例如在图 18 所示的失败案例中，模型识别了棒球-狗的设置，但预测了一个通用的延续而不是真实的事件序列（包括在地毯上的狗、打开的冰箱和休息室场景），表明调用潜在 span 本身不足以保证保留细粒度的视觉事件身份。其次，文中提到潜在 span 长度的动态分配虽然有助于自适应计算，但也增加了训练和推理的复杂性，特别是在选择合适的最大潜在预算 L_max 时需要仔细调优。除此之外，本文还存在一些额外的局限性：FUTURE-L1-50K 数据集虽然通过视觉增益筛选进行了精炼，但其规模仍然相对有限（50K 样本），这可能限制模型在某些长期或罕见未来事件上的泛化能力。文中虽然展示了模型在两个基准测试上的性能，但没有充分分析其在不同视频类型（如动作密集场景 vs. 慢节奏对话场景）或不同时长视频上的表现差异。LA-DAPO 的强化学习训练需要额外的计算资源和时间，并且需要仔细调节奖励权重，这可能增加实际应用的难度。
独立分析的弱点
FUTURE-L1 的主要弱点包括：首先，细粒度事件身份丢失：如图 18 的失败案例所示，虽然模型能够识别高层场景（棒球-狗设置），但可能丢失具体的视觉细节和事件顺序。这可能是因为潜在空间虽然保持了动态视觉结构，但对非常细粒度的视觉事件身份（如特定的动作序列、物体交互细节）的编码仍然不够精确。改进方向包括：引入事件级别的监督信号，或者在强化学习中加入更细粒度的视觉一致性奖励，鼓励潜在轨迹保留更多细节。其次，数据集规模和多样性限制：FUTURE-L1-50K 虽然经过精炼，但规模相对较小，可能覆盖的视觉场景和未来事件类型有限。改进方向包括：扩展视觉增益筛选到更多数据源，或者开发自动化方法生成更多高质量的潜在推理训练样本。第三，计算效率：虽然 FUTURE-L1 相比文本密集的基线（如 Video-R1、Video-o3）在推理效率上有优势，但强化学习训练阶段仍然需要大量计算资源。改进方向包括：优化 LA-DAPO 的采样策略，减少所需的 rollouts 数量，或者开发更高效的潜在轨迹优化算法。最后，动态未来帧的泛化：当前方法主要针对视频帧级别的未来预测，对于更长的时间跨度（如分钟级别的事件序列）或跨模态的未来预测（如音频-视频联合预测）的泛化能力尚未充分探索。改进方向包括：扩展方法到多模态未来推理，或者设计层次化的潜在表示来处理不同时间尺度的未来事件。
未来方向
作者提出的未来研究方向包括：首先，将交错潜在视觉推理框架扩展到其他需要前瞻性推理的任务，如动作预测、场景理解、机器人规划等。作者建议这个方向可能是更广泛的方向：语言应该组织和传达预测，而潜在视觉状态保留想象接下来会发生什么所需的动态语义。其次，改进潜在轨迹的表示和优化方法，例如探索更复杂的潜在奖励函数，或者引入基于模型的强化学习来更有效地探索潜在空间。基于本文成果可以延伸的未来研究方向包括：扩展视觉增益筛选方法，使其能够自动识别更多类型的有用潜在推理样本，而不仅仅依赖于当前的 p_v 减 p_t 大于等于 2 阈值标准。研究如何将 FUTURE-L1 与其他推理增强技术（如检索增强、工具使用）结合，以进一步提升视频事件预测的性能。探索跨模态的潜在推理，例如结合音频、文本等多种模态进行未来预测，或者将潜在推理应用于其他模态（如音频事件预测）。开发更高效的自适应潜在预算分配策略，使模型能够在推理过程中根据任务难度动态调整潜在 span 的数量和长度，以平衡性能和计算效率。
复现评估
本文的复现情况相对较好。作者已经开源了代码（GitHub: https://github.com/OpenGVLab/Future-L1），并提供了详细的实现细节和超参数设置。数据集方面，FUTURE-L1-50K 的构建过程详细描述在论文中，从 TwiFF-2.7M 中通过视觉增益筛选得到，虽然可能需要额外的数据预处理，但构建流程清晰可复现。算力需求方面，论文提到所有实验在 8 乘 NVIDIA H200 GPUs 上运行，这对于学术实验室来说是较为高端但可行的配置。训练时间方面，SFT 训练 1 个 epoch，RL 训练 1 个 epoch，每个训练阶段的时间应该是可控的。主要的复现难点可能在于：TwiFF-2.7M 数据集的访问和处理，可能需要额外的存储空间和预处理时间。LA-DAPO 的实现，虽然使用了 Easy-R1 框架，但仍需要仔细调节超参数。评估过程需要使用 lmms-eval 框架和特定的 judge 模型（如 Qwen3.6-27B），这可能增加设置复杂度。总体而言，只要研究者能够访问必要的计算资源，论文提供了足够的信息来复现主要结果。
论文图表
图 1 展示了三种视频事件预测方法的对比：第一种是文本链式思维（Text Chain-of-Thought），用长段文字描述推理过程，但冗长且视觉信息有损。第二种是完整视频生成（Full Video Generation），在像素空间模拟未来帧，但计算开销大且不必要。第三种是本文的 FUTURE-L1，在潜在空间插入紧凑的潜在视觉 span，保持动态未来语义而无需生成完整帧。图示显示了从观察到的视频前缀开始，通过多个潜在视觉状态的想象，最终预测未来事件的过程。
这张图对理解论文至关重要，因为它直观地展示了 FUTURE-L1 与现有方法的本质区别，以及为何交错潜在视觉推理是解决 VEP 任务的有效方案。通过对比三种方法，读者可以立即理解本文方法的核心优势和动机。
图 18 展示了 FUTURE-L1 的一个失败案例。模型识别了棒球-狗的高层设置，但其潜在轨迹偏向于一个合理的通用延续，错过了涉及狗在写有 BASEBALL 的地毯上、打开的冰箱和后来的休息室场景的特定真实事件序列。模型预测了答案 C（球员与狗在室内房间击掌）而不是正确答案 A。这个例子表明，调用潜在 span 本身是不够的：采样的潜在轨迹也必须保留细粒度的事件身份。
这张图对理解论文的局限性很重要，它展示了方法在哪些情况下仍然失败。通过这个失败案例，读者可以理解当前方法面临的挑战，以及未来改进的可能方向。