Video-CoE：通过事件链强化视频事件预测

提出Chain of Events范式，通过构建时序事件链提升MLLM的视频事件预测能力

前置知识

多模态大语言模型（MLLM）

多模态大语言模型是一种能够同时处理文本、图像、视频等多种模态输入的大语言模型。它通过视觉编码器（如ViT）将视觉信息转换为token序列，与文本token一起输入到Transformer架构的语言模型中进行联合推理。典型的代表包括Qwen2.5-VL、InternVL3、GPT-4o等。这些模型在视频理解、视觉问答等任务上表现出色，但在需要预测未来事件的场景中仍存在局限性。

本文的核心研究对象就是MLLM在视频事件预测任务上的不足及其改进方法

视频事件预测（VEP）

视频事件预测是一项要求模型根据已观察到的视频内容，推理并预测未来可能发生事件的任务。与视频理解不同，VEP需要模型具备从已知推断未知的能力，建立视频内容与未来事件之间的逻辑联系。该任务按照预测的复杂程度可分为1-Hop（单步预测）、2-Hop（两步推理）、3-Hop（三步推理）等类型，对模型的时序建模和逻辑推理能力提出了更高要求。

这是本文要解决的核心任务，理解VEP的特殊性和挑战性是理解论文动机的关键

GRPO（Group Relative Policy Optimization）

GRPO是一种强化学习训练方法，由DeepSeek-R1提出。与传统的PPO不同，GRPO不需要额外的价值网络，而是通过在同一个问题上采样一组（Group）回答，然后利用组内相对奖励来计算优势函数（Advantage）。具体来说，对于每个问题采样G个回答，计算各自的奖励，然后通过标准化得到相对优势。这种方法简化了训练流程，同时能有效提升模型的推理能力，被广泛应用于增强LLM的数学、代码等推理任务。

本文提出的CoE-GRPO是在标准GRPO基础上的改进，理解GRPO的基本原理是理解本文方法创新点的前提

事件链（Event Chain）

事件链是一种时序结构化表示方法，将视频中的事件按照时间顺序组织成一个序列。每个事件包含时间戳（起止时间）和语义描述。事件链的概念源于自然语言处理中的脚本事件预测，后来被引入视频分析领域。通过构建事件链，模型能够对视频进行细粒度的时序建模，捕捉事件之间的因果和时序关系，为后续的推理提供结构化的视觉信息。

事件链是本文CoE范式的核心概念，理解事件链的定义和作用是理解本文方法创新的关键

Chain-of-Thought（CoT）推理

Chain-of-Thought（思维链）是一种提示技术，通过让模型在给出最终答案前先输出中间推理步骤，从而提升模型在复杂推理任务上的表现。在视频理解领域，CoT通常引导模型先描述视频内容，再分析选项，最后给出答案。然而，论文发现这种标准的CoT方式在VEP任务上效果有限，因为模型的推理过程往往缺乏与视频内容的真正逻辑联系。

论文指出标准CoT在VEP任务上的不足，这是本文提出新范式的动机之一

研究动机

当前多模态大语言模型在视频事件预测任务上表现不佳，存在两个核心问题。首先，模型缺乏对未来事件的逻辑推理能力。研究者通过可视化模型的推理过程发现，现有MLLM通常遵循一个固定模式：先生成视频的高层描述，然后逐个分析选项，最后选择最相关的选项作为答案。这种推理过程缺乏视频内容与未来事件之间的逻辑连接，模型并非真正从视频出发推理未来事件，而是选择最相关的选项。这导致模型在面对开放集预测场景时表现更差。其次，模型对视觉信息的利用严重不足。通过分析注意力分布发现，在进行VEP任务时，模型对视觉token的注意力远低于对文本token的注意力。例如，在Qwen2.5-VL-7B模型上，对视觉token的注意力权重比文本token低约15%，这表明模型在推理过程中过度依赖文本线索而忽视了视觉证据。这种文本中心的模态偏差严重损害了模型的预测推理能力。

本文的目标是本文的目标是提出一种高效的方法来增强MLLM的视频事件预测能力，具体包括：（1）提升模型对视觉信息的利用程度，使其能够基于视频内容进行推理；（2）建立视频内容与未来事件之间的逻辑连接，使模型具备真正的推理能力；（3）在不需要大规模标注数据和昂贵重训练的前提下实现上述目标。最终，作者希望在FutureBench和AVEP两个公开基准上达到最先进的性能，同时验证方法在开放集预测场景下的有效性。

与已有工作不同的是，本文的独特切入角度在于，作者首次系统性地分析了MLLM在VEP任务上失败的原因，而不仅仅是提出新的模型架构或训练策略。通过对比分析不同模型的推理过程和注意力分布，作者发现了两个被忽视的关键问题：逻辑推理能力的缺失和视觉信息利用的不足。更重要的是，作者认识到直接对模型进行大规模VEP训练成本过高，因此提出了一个更高效的范式——Chain of Events（CoE），通过构建时序事件链来隐式地引导模型关注视觉内容和事件之间的逻辑关系。这种方法不需要额外的数据标注或大规模重训练，而是通过设计合理的训练协议来解锁模型的内在能力。

核心方法

本文提出的Chain of Events（CoE）范式可以用一个简单的类比来理解：想象你在看一部电影，如果你直接看结局然后猜测中间发生了什么，很容易出错；但如果你先把电影分成几个关键片段，理解每个片段的内容，再推理它们之间的关系，就能更准确地预测结局。CoE范式正是这个思路：让模型先将输入视频分割成一系列细粒度的时序事件，构建一个事件链，然后基于这个事件链和视频内容进行逻辑推理，预测未来事件。技术上，CoE包含两个关键组件：CoE-SFT（监督微调阶段）和CoE-GRPO（强化学习阶段）。CoE-SFT通过使用强大的大模型（Qwen2.5-VL-72B）生成推理数据，教会模型如何从视频内容出发进行逻辑推理；CoE-GRPO则通过设计密集的奖励信号，训练模型学会构建事件链并利用事件链进行预测。

CoE范式的核心创新在于，它不要求模型直接从原始视频预测未来事件，而是引入了一个中间的'事件链'表示。这个看似简单的中间步骤带来了本质的区别：首先，事件链迫使模型对视频进行细粒度的时序建模，而不是生成粗粒度的摘要。其次，事件链为后续推理提供了结构化的视觉证据，建立了视频内容与未来事件之间的显式连接。第三，通过设计特殊的事件标签格式，模型可以在输出中显式地构建事件链，这使得强化学习训练变得可行。与现有方法相比，CoE的关键区别在于：它不是简单地增加对视觉token的注意力（如Prompt-guided方法），也不是通过标准的Chain-of-Thought引导推理，而是通过构建事件链来隐式地引导模型关注视觉内容并建立逻辑连接。这种方法更加有效，因为它从任务本质出发，而不是试图修补表面问题。

方法步骤详情

CoE方法分为两个训练阶段。第一阶段CoE-SFT：使用Qwen2.5-VL-72B作为教师模型，输入视频、问题和正确答案，让教师模型生成从视频内容出发的逻辑推理过程（不分析其他选项）。人工质量检查确保90%以上的通过率。使用这个小规模数据集（约2000-5000样本）对Qwen2.5-VL-3B/7B进行监督微调，教会模型基本的推理模式。第二阶段CoE-GRPO：在SFT模型基础上进行强化学习训练。训练过程中，模型需要生成包含事件链的完整推理过程。具体来说，模型首先输出多个事件标签构建事件链，然后进行推理并给出答案。设计三个奖励信号：CoE奖励re监督事件链的构建质量和长度约束；相似度奖励rs通过计算事件描述与对应视频片段的跨模态相似度，确保事件链与视频内容一致；准确率奖励ra提供最终预测正确性的验证信号。最终奖励ri = alpha * ra + beta * re + (1-alpha-beta) * rs，通过GRPO算法更新策略。

技术新颖性

CoE范式的技术新颖性体现在多个方面。首先，事件链表示的设计既简单又有效：使用事件标签标记事件边界，包含时间戳和语义描述，这种表示不需要额外的数据进行冷启动，可以直接用强化学习训练。其次，CoE-GRPO设计了密集的奖励信号来监督事件链的构建过程，这与标准GRPO只在最终答案上给奖励不同。特别是相似度奖励rs的设计，通过裁剪视频片段并计算与描述的相似度，确保事件链真正反映视频内容。第三，CoE范式通过隐式的方式引导模型关注视觉信息，而不是显式地增加视觉注意力权重。实验表明，显式地增加视觉注意力（如Constant-Bias方法）反而会导致性能下降，而CoE通过构建事件链自然地提升了视觉信息的利用率。最后，CoE-SFT使用大模型生成推理数据的策略也很巧妙，避免了大规模人工标注的成本。

**Figure 2**: CoE-SFT方法在Qwen2.5-VL-72B上的示意图

实验结果

实验结果表明CoE方法在多个基准上显著超越了现有方法。在FutureBench上，CoE-GRPO-7B达到了75.00%的平均准确率，相比Qwen2.5-VL-7B-Instruct基线（52.94%）提升了22.06个百分点，相比NEP-GRPO（67.28%）提升了7.72个百分点。具体来看，在1-Hop任务上达到80.9%，2-Hop任务上83.9%，3-Hop任务上71.6%，Interp.任务上71.4%。值得注意的是，CoE-SFT也达到了65.72%的平均准确率，相比标准SFT（64.39%）有小幅提升，表明建立逻辑连接确实有帮助。在AVEP基准上，CoE-GRPO-7B在Verb准确率达到12.24%（测试集）/18.75%（验证集），Noun-F1达到65.16%/64.03%，Action-F1达到8.29%/9.88%，全面超越基线方法。特别重要的是，论文通过注意力分析发现，CoE方法显著提升了模型对视觉token的注意力：CoE-SFT的视觉注意力提升率达到15.11%，CoE-GRPO达到9.20%，而标准SFT反而降低了3.33%。这验证了CoE方法能有效解决视觉信息利用不足的问题。

**Figure 4**: CoE-GRPO与Vanilla GRPO的视觉token注意力差异

查看结构化数据

任务	指标	本文	基线	提升
FutureBench AVG	平均准确率	CoE-GRPO-7B: 75.00%	Qwen3-VL-30B-A3B: 66.86%	+8.14%
FutureBench 1-Hop	准确率	CoE-GRPO-7B: 80.9%	Qwen2.5-VL-72B: 55.5%	+25.4%
FutureBench 2-Hop	准确率	CoE-GRPO-7B: 83.9%	Qwen3-VL-30B-A3B: 70.5%	+13.4%
FutureBench 3-Hop	准确率	CoE-GRPO-7B: 71.6%	Qwen3-VL-30B-A3B: 76.1%	-4.5%
AVEP Verb	准确率	CoE-GRPO-7B: 12.24%/18.75%	Qwen2.5-VL-72B: 8.00%/7.95%	+4.24%/+10.80%
AVEP Noun-F1	F1分数	CoE-GRPO-7B: 65.16%/64.03%	Qwen2.5-VL-72B: 44.84%/45.08%	+20.32%/+18.95%
AVEP Action-F1	F1分数	CoE-GRPO-7B: 8.29%/9.88%	Qwen2.5-VL-72B: 4.72%/4.85%	+3.57%/+5.03%
视觉注意力提升	Winning Rate	CoE-SFT: 93%	标准SFT: 32%	+61%

局限与改进

论文承认的方法局限性包括几个方面。首先，CoE方法对模型的时序定位能力有一定要求。虽然当前大多数MLLM表现出较强的时序定位性能，但精度仍有提升空间，这可能限制CoE方法的效果上限。其次，论文只探索了相对基础的事件链形式，更复杂的事件结构建模（如关系感知的事件链或事件图）尚未被研究。第三，由于资源限制，作者只在Qwen2.5-VL-3B/7B上进行了实验，未能验证CoE范式在所有MLLM上的适用性。此外，作者观察到少量错误案例（约千分之三），主要是模型未能按照指令正确生成时间戳，但这对事件描述和预测结果影响较小。从我的观察来看，CoE-SFT在AVEP基准上的表现不如CoE-GRPO显著，表明监督学习阶段的能力解锁可能不够充分；同时，相似度奖励的计算依赖于外部模型，这增加了训练的复杂性。

独立分析的弱点

基于对论文的深入分析，我认为CoE方法存在几个可以改进的弱点。首先，事件链的长度L是一个固定的超参数，论文发现L=3时效果最好，但不同视频的复杂程度不同，固定的事件链长度可能无法适应所有场景。一个可能的改进方向是设计自适应的事件链长度，根据视频内容动态调整。其次，相似度奖励rs的计算依赖于外部的视觉-语言对齐模型（如VideoCLIP-XL），这引入了额外的依赖和计算开销。可以探索使用模型自身的表示来计算相似度，或者设计更轻量级的监督信号。第三，CoE-SFT阶段使用Qwen2.5-VL-72B作为教师模型生成推理数据，这种'大模型教小模型'的策略存在天花板效应。可以考虑引入迭代自我改进或在线学习机制。最后，论文在3-Hop任务上的表现不如Qwen3-VL-30B-A3B（71.6% vs 76.1%），这表明在需要更长推理链的场景下，CoE方法仍有提升空间。

未来方向

作者提出了几个未来研究方向。首先是提升时序定位能力，进一步提高模型对视频片段边界的识别精度，这将直接提升CoE方法的效果。其次是探索更复杂的历史事件结构建模，如关系感知的事件链或事件图，这可能更好地捕捉事件之间的复杂关系。第三是将CoE范式应用到其他MLLM和视频任务上，验证其通用性。从论文成果可延伸的方向包括：将CoE与课程学习结合，先在简单任务上训练再逐步增加难度；探索事件链在长视频理解中的应用；研究如何将CoE范式与多轮对话、视频生成等任务结合；以及开发更高效的事件链构建方法，减少对外部模型的依赖。

复现评估

从复现角度来看，CoE方法具有较好的可复现性。论文承诺将开源代码和模型。训练资源方面，作者使用最多16块NVIDIA H20 GPU进行训练，这对于大多数研究机构来说是可接受的。数据方面，FutureBench提供了2000个CoE-SFT样本和2000个强化学习样本，AVEP提供了5000个样本，数据规模相对较小。训练细节清晰：最大视频帧数32，最大分辨率128x28x28，GRPO组大小G=4，KL系数beta=0.04，裁剪参数epsilon=0.2，学习率1e-6，训练150步。复现的主要难点在于：需要准备Qwen2.5-VL-72B作为教师模型生成SFT数据；需要选择合适的视觉-语言对齐模型计算相似度奖励；以及需要仔细调整奖励权重alpha和beta。总体来说，对于有相关经验的研究者，复现难度中等。

Video-CoE：通过事件链强化视频事件预测 Video-CoE: Reinforcing Video Event Prediction via Chain of Events