FutureOmni：面向多模态大语言模型的全模态未来预测评测基准

首个全模态未来预测基准，揭示当前MLLM在视听协同推理上的显著不足

前置知识

多模态大语言模型（MLLMs）

多模态大语言模型是指能够同时处理文本、图像、视频和音频等多种模态输入的大型语言模型。典型的架构包括视觉编码器（如 ViT）、音频编码器（如 Whisper）和一个语言模型主干，通过将视觉/音频 token 投射到语言模型的嵌入空间来实现跨模态理解。代表模型包括开源的 Qwen2.5-Omni、MiniCPM-o 2.6，以及闭源的 Gemini 系列和 GPT-4o。

本文的核心任务是评估 MLLMs 的未来预测能力，理解 MLLMs 的基本架构和工作原理是理解本文评估对象和方法的前提。

未来预测（Future Forecasting）

未来预测是指模型基于当前和历史的多模态上下文（如视频画面、音频线索），推断即将发生的未来事件的能力。这与回顾性推理（描述已发生的事件）有本质区别：模型不仅要理解当前场景，还需要进行因果推理和时序推演，判断哪些线索会导致怎样的后续发展。

这是本文评测的核心能力。理解未来预测与回顾性推理的区别，才能理解为何现有基准不够用、本文的工作为何重要。

跨模态因果推理（Cross-modal Causal Reasoning）

跨模态因果推理要求模型不仅能分别感知视觉和听觉信号，还要将它们联合理解，推断出不同模态之间的因果关系。例如，听到喇叭声（音频）和看到行人位置（视觉），需要综合两者来预测未来会发生交通事故。这种推理不能靠单一模态完成，必须进行真正的跨模态融合。

本文的基准设计核心就是测试模型是否能进行真正的跨模态因果推理，而非靠单一模态的捷径来猜测答案。四种对抗性干扰项的设计都围绕这一能力。

MFCC（梅尔频率倒谱系数）

MFCC 是一种广泛用于音频信号处理的特征提取方法，它模拟人耳对频率的非线性感知，将音频信号转换为一组紧凑的特征向量。在本文中，MFCC 被用来检测视频事件边界处的声学不连续性——如果两个相邻事件的 MFCC 差异超过阈值 2.0，就认为这是一个有效的时间边界。

这是本文数据构建管线中用于时间边界校验的关键技术，保证事件标注的时间精度。

LoRA 微调

LoRA（Low-Rank Adaptation）是一种参数高效的微调方法，它通过在预训练模型的权重矩阵旁边插入低秩分解矩阵来实现微调，只训练这些新增的少量参数，而保持原始模型参数冻结。在本文中，视觉和音频编码器保持冻结，只对文本主干进行 LoRA 微调，秩设为 64，学习率 1e-5，训练 1 个 epoch。

本文提出的 OFF 训练策略使用 LoRA 进行高效微调，理解 LoRA 有助于评估该方法的计算成本和可复现性。

研究动机

现有的多模态基准测试主要关注回顾性推理（retrospective reasoning），即描述和分析已经发生的事件，而忽略了对未来事件的预测能力。在自动驾驶等实际应用中，系统必须整合听觉线索（如附近车辆的喇叭声）和视觉信息（如行人位置）来预判未来状态并做出及时的安全决策。虽然已有一些预测基准（如 VLEP、IntentQA、FutureBench），但它们主要依赖视觉和语言模态，完全忽略了听觉通道的重要性。即便是最新的全模态基准（如 WorldSense、DailyOmni），也主要测试回顾性感知或描述任务，没有专门针对未来预测设计。这意味着我们对 MLLMs 能否从音视频线索中预测未来事件这一关键能力完全缺乏系统的评估手段。

本文的目标是本文的核心目标是构建首个全面的全模态未来预测基准 FutureOmni，系统性地评估 MLLMs 在音视频协同推理下的未来预测能力。具体来说，FutureOmni 需要覆盖跨模态因果推理、时序推理和内部知识利用三个维度，包含 919 个视频和 1,034 道多选题，横跨 8 个主要领域（卡通、教育、应急、监控、日常生活、电影、游戏、纪录片）。同时，作者希望通过大规模评测 20 个模型（包括 13 个全模态和 7 个纯视频模型），揭示当前模型的真实能力水平和瓶颈所在。

与已有工作不同的是，本文的独特视角在于认识到「听觉是未来预测中被严重忽视但至关重要的模态」。以往的预测基准要么完全忽略音频（如 VLEP、IntentQA），要么只关注视觉语言（如 MM-Forecast），导致模型可能仅靠视觉模式匹配就能取得不错的成绩。FutureOmni 通过设计四种新型对抗性干扰项——纯视觉感知干扰（视觉合理但被音频矛盾）、纯音频感知干扰（音频合理但视觉不匹配）、延迟事件干扰和反向因果干扰——迫使模型必须进行真正的跨模态推理才能答对，从而填补了全模态未来预测评估的空白。

核心方法

本文的方法可以分为两大模块：基准构建和训练增强。基准构建部分，可以类比为「从海量视频中精挑细选有因果故事线的片段，然后精心设计考试题」。整个流程分为四步：首先从约 18,000 个 YouTube 视频中通过音频协调策略筛选出约 9,000 个高质量视频；然后利用 Gemini 2.5 Flash 进行音视频时间定位和标注；接着通过因果对发现从事件序列中提取有逻辑因果关系的事件对；最后构造多选题并引入四种对抗性干扰。训练增强部分（OFF 方法），则是在 FutureOmni-7K 数据集上对开源模型进行指令微调，将因果推理链（rationale）嵌入训练样本中，使模型不仅学会预测结果，更理解预测背后的推理逻辑。

本文最核心的创新在于两点：第一，干扰项设计的创新。传统预测基准的干扰项主要基于视觉相似性构造，而 FutureOmni 提出了四种全新类型的干扰项：Visual-only Perception（视觉合理但被音频矛盾）、Audio-only Perception（音频合理但视觉不匹配）、Delayed（延迟事件）、Reverse-Causal（反向因果）。这些干扰项迫使模型必须同时理解视觉和音频信号，并进行正确的因果方向推理，而不是简单地进行模式匹配。第二，训练策略的创新。OFF 方法将推理链（rationale）整合到训练数据中，让模型学习「为什么某个未来事件会从当前音视频前提中发生」，而不是仅仅记忆「看到X就预测Y」。这种因果推理内化的训练方式使得模型不仅在 FutureOmni 上提升了预测能力，还在多个域外基准上展现出泛化能力。

方法步骤详情

基准构建流程分为四步。第一步是音频协调视频选择：从 YouTube 收集约 18,000 个 30 秒至 20 分钟的视频，通过计算相邻帧的视觉相似度去除平均相似度高于 70% 的静态场景视频，然后使用 UGCVideoCaptioner 生成有音频和无音频条件下的描述，计算语义相似度差距，保留差距最大的 50%（即音频依赖性最强的视频），最终得到约 9,000 个视频。第二步是音视频时间定位与校准：使用 Gemini 2.5 Flash 对视频进行全面扫描，识别与剧情相关的事件并生成精确的 MM:SS 时间戳，然后通过 MFCC 计算时间边界的声学不连续性进行校验（阈值 2.0），最后标注与视觉内容同步的音频线索。第三步是音视频 QA 构造：使用 DeepSeek-V3.2 分析相邻事件段，识别逻辑因果对（时间间隔不超过 30 秒），输出前提事件、目标事件和推理链，并为每个候选对的音频因果因子打分（0-2 分）。然后构造四种干扰项。第四步是双重验证：先由 GPT-4o 进行自动逻辑验证，再进行人工验证。训练部分，使用 LoRA（秩 64）在 FutureOmni-7K 上微调，冻结视觉和音频编码器，仅更新文本主干，学习率 1e-5，训练 1 个 epoch。

技术新颖性

FutureOmni 的技术新颖性体现在三个层面。首先，在基准设计上，它是首个同时要求全模态感知和未来预测的评测基准，填补了音视频协同未来预测的评估空白。以往最接近的 VLEP 只有 33.1 秒的平均时长且无音频，IntentQA 只关注因果模式且无音频，而 FutureOmni 的平均视频时长达 163.5 秒，涵盖三种推理模式（主题蒙太奇、因果、常规序列）。其次，在数据构建上，提出的音频协调视频选择策略和四种对抗性干扰项设计是全新贡献，特别是反向因果干扰要求模型理解时间箭头的方向，这在以往基准中从未出现。最后，在训练策略上，OFF 将推理链整合到训练中，使模型内化因果推理逻辑而非浅层关联，这种「教模型理解为什么」的方法比单纯增加训练数据更有效，这通过与普通 SFT 的对比实验得到了验证。

实验结果

本文在 20 个 MLLM 上进行了全面评测，揭示了几个重要发现。首先，现有模型的未来预测能力严重不足：最好的模型 Gemini 3 Flash 仅达到 64.8% 的准确率，开源最强的 Qwen3-Omni（30B）仅 53.05%，而最弱的 AVicuna 只有 30.37%，远低于人类水平。其次，音频模态对未来预测至关重要：纯视频模型（如 GPT-4o 最高 49.70%）持续落后于全模态模型，而模态消融实验显示，去除音频后模型准确率平均下降约 5%（如 Qwen2.5-Omni 从 47.48% 降至 42.50%）。第三，语音是最具挑战性的音频类型：Qwen3-Omni 在语音场景上仅 47.99%，比音乐场景（57.54%）低近 10%；即使是 Gemini 3 Flash，语音场景（60.52%）也显著低于音乐场景（68.31%）。第四，存在「上下文冷启动」现象：所有模型在最短视频（<2 分钟）上表现最差（如 Gemini 3 Flash 仅 40.78%），在中等长度（2-4 分钟）达到峰值。第五，错误分析显示视觉感知错误占 51.6%，音视频联合推理失败占 30.8%，而知识缺乏仅占 2.5%，说明当前模型的主要瓶颈不是知识不足，而是动态感知和复杂因果推理能力欠缺。OFF 训练后，视频-SALMONN 2 提升最大（+3.87%），Qwen2.5-Omni 在语音场景提升近 10%。更重要的是，OFF 在域外基准上也展现了一致的泛化能力：Qwen2.5-Omni 在 WorldSense 上提升 +2.55%，在 DailyOmni 上提升 +3.34%，甚至在纯视频基准 Video-MME 上也有提升（53.77% → 55.51%）。

查看结构化数据

任务	指标	本文	基线	提升
FutureOmni 总体准确率	Accuracy (%)	OFF + video-SALMONN 2: 49.90	video-SALMONN 2 baseline: 46.03	+3.87%
FutureOmni 总体准确率	Accuracy (%)	OFF + Qwen2.5-Omni: 48.51	Qwen2.5-Omni baseline: 47.48	+1.03%
FutureOmni 总体准确率	Accuracy (%)	OFF + Ola: 50.19	Ola baseline: 48.54	+1.65%
FutureOmni 语音场景	Speech Accuracy (%)	OFF + Qwen2.5-Omni: 47.75	Qwen2.5-Omni baseline: 37.83	+9.92%
WorldSense（域外泛化）	Accuracy (%)	OFF + Qwen2.5-Omni: 40.22	Qwen2.5-Omni baseline: 37.67	+2.55%
DailyOmni（域外泛化）	Accuracy (%)	OFF + Qwen2.5-Omni: 49.03	Qwen2.5-Omni baseline: 45.69	+3.34%
Video-MME（纯视频域外泛化）	Accuracy (%)	OFF + Qwen2.5-Omni: 55.51	Qwen2.5-Omni baseline: 53.77	+1.74%

局限与改进

尽管 FutureOmni 填补了重要空白，但仍存在若干局限。首先，基准规模相对有限：仅包含 919 个视频和 1,034 道 QA，相比 WorldSense（3,172 题）等基准规模较小，可能影响评测结果的统计稳定性和置信区间。其次，数据构建管线高度依赖闭源模型（Gemini 2.5 Flash 用于时间定位，DeepSeek-V3.2 用于因果对发现，GPT-4o 用于验证），这使得数据集的构建成本较高且难以完全复现，同时也可能引入这些模型自身的偏见。第三，多选题格式本身具有局限性——它测试的是从有限选项中选择的能力，而非开放式预测能力，与真实世界中需要自主生成预测的场景存在差距。第四，音频因果因子的评分（0-2 分）是主观的，虽然有双重验证，但评分的一致性未被量化报告。最后，OFF 的泛化效果在某些基准上存在负迁移的迹象（如 video-SALMONN 2 在 MLVU 上下降 -0.14%），说明未来预测能力的增强可能与某些纯视频理解能力存在微妙的权衡关系。

独立分析的弱点

本文有几个值得关注的弱点。第一，基准的领域覆盖虽有 8 个大类，但各类别的样本量不均衡，且纪录片和应急场景的平均得分仅 20-40%，可能部分原因是这些领域的样本难度天然较高而非模型能力的体现，建议报告各领域的样本量分布并进行难度校准。第二，模型评测主要关注准确率这单一指标，缺乏对模型推理过程的深入分析——例如模型是否真的在利用音频信息，还是仅靠视觉线索加上一些音频统计规律来猜测。可以引入注意力可视化或因果归因方法来更细粒度地分析模型的推理策略。第三，OFF 训练使用 LoRA 微调且仅训练 1 个 epoch，虽然高效但可能未充分挖掘 FutureOmni-7K 的潜力。可以尝试全参数微调、更长训练或多阶段训练策略。第四，四种干扰项类型的有效性分析不够充分——每种干扰项分别导致了多少错误？哪种干扰项最具区分度？这些信息有助于更精准地诊断模型能力。

未来方向

未来研究可以从以下几个方向展开。首先，将开放式生成评估引入未来预测任务，让模型不仅选择答案，还要生成对未来事件的自然语言描述，这更贴近真实应用需求。其次，扩展到更长时间跨度的预测——当前 FutureOmni 的前提-结果对限制在 30 秒以内，而真实世界中许多重要的预测需要更长的时间视野。第三，探索强化学习或偏好优化方法来训练未来预测能力，而不是仅靠监督微调，因为未来预测本质上是一个需要多步推理和风险评估的任务。第四，将该评测框架扩展到具身智能场景（如机器人导航、自动驾驶），测试模型在物理世界交互中的未来预测能力。最后，基于 OFF 展现的泛化能力，可以探索将未来预测作为一种通用的预训练目标，可能比传统的掩码语言建模更能培养模型的因果推理能力。

复现评估

本文的复现性较好但存在一定门槛。代码和数据集已开源（GitHub: OpenMOSS/FutureOmni，HuggingFace: OpenMOSS-Team/FutureOmni），这大大降低了复现难度。训练方面，OFF 使用 LoRA 微调且仅训练 1 个 epoch，对于 7B 模型，单张消费级 GPU（如 4090）即可完成，计算成本可控。数据构建管线虽然依赖闭源 API（Gemini、DeepSeek、GPT-4o），但作者提供了完整数据集，使用者可以直接评测而无需重新构建。评测流程使用 vLLM 加速，效率较高。主要的复现挑战在于：数据构建管线中的闭源模型版本可能随时间变化导致不可完全复现；某些基线模型（如 Gemini 3 Flash）的评测结果需要 API 访问权限；论文中部分超参数（如 MFCC 阈值 2.0、视觉相似度阈值 70%）的选择依据未充分说明。总体而言，对于评测和训练部分，中等算力的实验室即可复现。

FutureOmni：面向多模态大语言模型的全模态未来预测评测基准 FutureOmni: Evaluating Future Forecasting from Omni-Modal Context for Multimodal LLMs