X-Stream：探索将多模态大语言模型作为多流理解的多路复用器 X-Stream: Exploring MLLMs as Multiplexers for Multi-Stream Understanding
首个多流流媒体理解基准，评估MLLMs的并发流处理能力
前置知识
多流流媒体理解
多流流媒体理解是指模型需要同时处理多个连续的视频流，这些流在时间上是对齐的，来自不同的视角、设备或角度。模型需要在实时环境中持续追踪多个信息流，并在正确的时间给出响应。这比传统的离线多视频理解更加困难，因为模型必须处理时间约束、跨流引用和主动推理等复杂任务。例如，在体育直播中，模型可能需要从多个摄像机角度中自动选择最佳视角进行播放。
本文提出的X-Stream基准正是针对多流流媒体理解任务，理解这个概念是读懂本文的基础，本文的所有方法和实验都围绕这个核心问题展开。
信号多路复用
信号多路复用是电信中的基础方法，指通过有限共享介质将多个信号组合成一个信号的过程。该方法通过时间、频率和波长等正交性来划分信号，防止信号干扰。本文将这个概念引入到多模态大语言模型的多流处理中，因为MLLMs一次只能处理一个token流，因此需要一个多路复用器来整合多个视频流。作者研究了三种多路复用策略：空间分割、时间分割和语义分割，每种策略都有其固有的性能权衡。
这是本文的核心理论框架，作者通过信号多路复用的视角来分析MLLMs处理多流输入的能力，理解这个概念有助于理解本文的方法和实验设计。
主动推理
主动推理是指模型需要主动监控输入流，等待适当的条件满足后才能给出响应。在多流流媒体理解中，查询分为即时问题和前瞻问题。即时问题允许模型通过回顾或当前上下文立即生成响应，而前瞻问题则作为主动任务，回答所需的条件尚未发生。对于这些任务，模型必须主动监控传入的流，并在适当的条件满足时等待，直到达到正确的时刻才响应。例如，模型可能需要等待某个特定事件发生后再做出决策。
主动推理是多流流媒体理解的重要组成部分，X-Stream基准包含了前瞻性问题，理解这个概念对于理解本文的实验设置和结果分析至关重要。
研究动机
现实世界的应用，如体育直播广播、自动驾驶和多屏协作，本质上需要连续的多流交互。然而，现有的基准测试局限于单流范式，留出了一个关键空白，即在线跨流推理的评估。例如，在世界杯比赛中，有超过40个不同的广播摄像机在运行，如何自动选择最佳视角进行直播播放是一个关键问题。这些场景的广度突显了多流感知的巨大实践潜力。因此，在多个同时进行的视频流上开发这种能力已成为下一代AI系统的关键要求。作者观察到，在数据构建过程中，对单一流（即单流捷径）的过度依赖是高质量数据的强阻碍。
本文的目标是本文的目标是引入X-Stream，这是第一个专门用于多流流媒体理解的基准。该基准包含4220个精心策划的QA对，跨越932个视频，评估多窗口、多视图和多设备场景中的11个子任务。更重要的是，作者的目标是通过信号多路复用理论的视角，将多模态大语言模型概念化为朴素多路复用器，系统地评估其性能。作者希望通过广泛的在线推理实验，揭示最先进的MLLMs在并发流处理方面的困难，并为下一代多流代理提供实用的评估协议和经验指导。
与已有工作不同的是，本文的独特切入角度是首次将MLLMs概念化为朴素多路复用器，从信号多路复用的角度系统地分析模型如何处理并发输入。与之前的多视频数据集不同，X-Stream引入了关键的时间戳对齐约束。虽然多角度和多视图只构成了更广泛的多流视频类别的一小部分，但先前的方法专注于基于整个多视图视频文件的理解，而不是在在线流媒体甚至实时方式中进行评估。因此，多流流媒体理解领域仍然未被探索。此外，本文通过双重验证管道解决了数据构建过程中对单一流的过度依赖问题，这是之前的工作没有解决的。
核心方法
X-Stream方法的核心思路是构建一个严格的多流流媒体理解基准，并通过信号多路复用理论的视角来评估MLLMs的多流处理能力。整体技术路线包括数据构建、任务定义、多路复用策略设计和评估框架。在数据构建方面，作者收集了857小时的原始多流数据，特征是2到10个并发视频流，来自8个主要领域：驾驶、体育、机器人、日常例行程序、聊天、监控、直播和界面。最终选择160小时的多样化数据，包含2到5个流进行进一步处理。在任务定义方面，作者从基本技能和渐进任务两个角度对多流流媒体理解进行了系统建模，定义了4个核心能力和11个渐进式任务。
核心创新点包括三个方面。首先，本文提出了第一个多流流媒体理解基准X-Stream，这是首次有基准测试专门针对多流流媒体理解任务。其次，为了解决数据构建过程中对单一流的过度依赖问题，作者引入了新颖的数据协议和管道，通过充分性和必要性双重验证来保证多流输入的必要性和充分性。最后，作者首次将多模态大语言模型概念化为朴素多路复用器，基于信号多路复用理论系统地评估其性能，并开发了三种不同的多路复用策略：空间分割、时间分割和语义分割，系统分析了它们在不同约束下的固有权衡。
方法步骤详情
方法步骤包括四个主要阶段。第一阶段是数据预处理和收集，包括将视频重新采样到2 FPS，将2 FPS的MP4文件分割成小于50MB的片段，确保可靠的并行处理，同时严格遵守存储和传输限制。第二阶段是QA生成，使用混合方法：通过MLLMs进行自动生成，并使用拒绝采样，同时为特定子任务使用基于模板的生成。作者随机采样视频数据集，并利用真实的元数据（如果有的话）起草基于精心策划的模板的初始问题，然后使用Gemini-3-Pro模型优化这些基于模板的问题，使它们更自然和具有挑战性，并提供准确的答案、理由和干扰项（如果需要）。第三阶段是充分性和必要性验证，确保强大的模型能够在给定验证时间戳的视频剪辑的情况下正确回答问题（充分性），并且如果只提供单独的单个流，模型完全无法回答（必要性）。第四阶段是人类验证和修改，招募31名视频理解专家进行严格的两轮审查，验证问题的清晰度和答案的准确性和完整性，确保回答完全依赖于视听证据。
技术新颖性
技术新颖性分析体现在多个方面。首先，X-Stream是第一个专门针对多流流媒体理解的基准，填补了现有基准测试局限于单流范式的空白。其次，作者引入了新颖的双重验证管道，通过充分性和必要性验证来保证多流输入的必要性和充分性，解决了数据构建过程中对单一流的过度依赖问题。第三，作者首次将多模态大语言模型概念化为朴素多路复用器，从信号多路复用理论的视角系统地分析模型如何处理并发输入，这是一种全新的理论框架。第四，作者开发了三种不同的多路复用策略：空间分割、时间分割和语义分割，并系统分析了它们在不同约束下的固有权衡，这是首次在多流理解背景下进行这样的系统分析。
实验结果
核心发现揭示了当前MLLMs在处理并发流方面的局限性。实验结果表明，即使在私有模型中，最先进的MLLMs在并发流处理方面也困难重重，整体得分仅约50%，并且在主动任务方面表现出较差的主动能力。在流媒体能力的性能比较中，私有模型始终在X-Stream基准的所有设置中优于其开源对应模型。值得注意的是，虽然Qwen3-Omni-30B-A3B由于其强大的理解能力在开源模型中领先，但其整体前向能力受到次优响应时机的阻碍。此外，开源流媒体模型总体表现不佳，受到有限的训练数据和处理频繁主动查询的困难的限制。在多流能力评估方面，X-Stream的三维评估揭示了当前MLLMs在基本感知到复杂推理方面的明确多流能力层次结构。模型通常在基础任务中表现强劲，但在高级认知需求方面显著挣扎。具体来说，决策制定和特定的逻辑认知任务如因果推理成为所有模型层次中最困难的瓶颈，导致较低的分值。在多路复用策略方面，实验揭示了不同策略在不同约束下的性能权衡。空间分割在时间建模和跨流引用方面表现出色，可能是因为在单个单元内表示多个帧保留了模型的预训练推理动态和时间感知。时间分割在宽松的token率约束下是最优的，在双流场景（构成X-Stream基准的主要部分）中表现出色。语义分割在严格的token约束和高流数（≥3流）下占主导地位，当扩展到更多流时，空间和时间分割表示变得严重模糊或碎片化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多流流媒体理解（整体性能） | 整体综合得分（Overall Compre. Score） | Gemini 3 Pro: 82.04, Qwen3-Omni-30B-A3B: 69.16, Qwen3-VL-30B-A3B: 57.26 | 人类偏好: 91.84, MMDuet2: 11.27, VideoLLM-online-8B: 17.67, Dispider: 23.90 | 与开源流媒体模型相比，Gemini 3 Pro的性能提升显著，是MMDuet2的7.3倍 |
| 前向推理（主动任务） | 前向得分（Forward Score） | Gemini 3 Pro: 20.77, Qwen3-Omni-30B-A3B: 0.61, Qwen3-VL-30B-A3B: 14.46 | 人类偏好: 85.10, MMDuet2: 1.44, VideoLLM-online-8B: 0.03, Dispider: 8.09 | 所有模型在前向任务上的表现都很差，即使是最好的Gemini 3 Pro也只有20.77分，远低于人类的85.10分 |
| 跨流合作能力 | 跨流合作得分（Cross-Stream Cooperation Score） | Gemini 3 Pro: 66.96, Qwen3-Omni-30B-A3B: 56.58, Qwen3-VL-30B-A3B: 65.22 | 人类偏好: 90.10, MMDuet2: 4.96, VideoLLM-online-8B: 6.70, Dispider: 31.37 | 私有模型在跨流合作方面表现更好，但所有模型都远低于人类水平 |
| 因果推理 | 因果推理得分（Causal Reasoning Score） | Gemini 3 Pro: 69.35, Qwen3-Omni-30B-A3B: 64.08, Qwen3-VL-30B-A3B: 50.84 | 人类偏好: N/A, Dispider: 21.65, VideoLLM-online-8B: 21.53, MMDuet2: 22.16 | 因果推理成为所有模型的瓶颈，即使是最好的Gemini 3 Pro也只有69.35分 |
| 决策制定 | 决策制定得分（Decision-Making Score） | Gemini 3 Pro: 44.18, Qwen3-Omni-30B-A3B: 27.14, Qwen3-VL-30B-A3B: 31.59 | 人类偏好: N/A, Dispider: 10.94, VideoLLM-online-8B: 14.44, MMDuet2: 9.12 | 决策制定是最困难的任务，所有模型的表现都很差 |
局限与改进
局限性分析包括作者承认的限制和独立的观察。作者承认的局限性包括：首先，在数据方面，公共视频数据集在没有电影标准的专业设备和专家工作的情况下不够精确，通常导致流媒体随着时间的推移失去同步。其次，在技术方面，当前的多路复用策略仍然难以平衡视频理解与时间推理。独立的观察包括：首先，开源流媒体模型的表现普遍不佳，受到有限的训练数据和处理频繁主动查询的困难的限制。其次，虽然作者研究了三种多路复用策略，但这些策略在音频处理方面都有局限性。空间分割简单地叠加音轨，导致多通道音频重叠，而时间分割解决了这种重叠，但引入了语义不连续性。第三，虽然作者提出了X-Stream基准，但论文没有提供足够的复现细节，如具体的计算资源需求、训练超参数等。第四，论文的评估主要集中在在线推理条件下，但没有充分探讨离线训练的潜在改进。最后，虽然作者发现了不同多路复用策略的权衡，但没有提出如何在实际应用中动态选择最佳策略的方法。
独立分析的弱点
独立分析的弱点包括具体场景和改进方向。首先，在音频处理方面，空间分割导致多通道音频重叠，时间分割引入语义不连续性。改进方向可以是开发更精细的音频多路复用技术，如频率分割或代码分割，或者为音频设计单独的处理管道。其次，在动态策略选择方面，论文没有提供如何根据token预算和流数量动态选择最佳多路复用策略的方法。改进方向可以是设计一个自适应的多路复用策略选择器，根据当前约束自动选择最优策略。第三，在模型架构方面，当前的MLLMs是为单流处理设计的，在处理多流时存在根本性限制。改进方向可以是设计专门的多流MLLMs架构，从根本上支持多流处理。第四，在评估指标方面，论文主要使用准确率作为评估指标，但没有充分考虑实时性能和计算效率。改进方向可以是引入更全面的评估指标，如延迟、吞吐量、内存使用等。最后，在数据覆盖方面，虽然X-Stream涵盖了8个主要领域，但在某些特定应用场景（如医疗、教育等）的覆盖可能有限。改进方向可以是在这些特定场景中收集更多数据，提高基准的覆盖范围。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的方向。作者提出的未来方向包括：首先，在数据方面，需要使用专业级设备和专家工作来获得更精确的时间同步，以解决公共视频数据集中的同步问题。其次，在技术方面，需要开发更好的多路复用策略，以更好地平衡视频理解与时间推理。基于成果可延伸的方向包括：首先，可以设计专门的多流MLLMs架构，从根本上支持多流处理，而不是依赖朴素多路复用器。其次，可以探索自适应的多路复用策略选择机制，根据token预算、流数量和任务类型自动选择最优策略。第三，可以将X-Stream基准扩展到更多的应用场景，如医疗、教育、金融等，以提高基准的覆盖范围和实用性。第四，可以研究更精细的音频多路复用技术，如频率分割或代码分割，以解决音频处理中的限制。第五，可以探索离线训练与在线推理相结合的方法，通过在大规模多流数据上预训练来提高模型的多流处理能力。最后，可以开发更全面的评估框架，不仅考虑准确率，还考虑实时性能、计算效率、可扩展性等多个维度。
复现评估
复现评估需要考虑开源情况、数据、算力和难度。作者提到代码和数据在主页发布，但没有提供具体的链接。在数据方面，X-Stream基准包含4220个QA对，跨越932个视频和451个拍摄，平均视频长度为15.8分钟。在算力方面，实验使用了多个模型，包括私有模型（Gemini 3 Pro、GPT-5、GPT-4o、Doubao-Seed-1.8）和开源模型（Qwen2.5-VL-7B、Qwen2.5-Omni-7B、Qwen3-VL-8B、Qwen3-Omni-30B-A3B、Qwen3-VL-30B-A3B、Dispider、VideoLLM-online-8B、MMDuet2），但没有提供具体的计算资源需求。在难度方面，复现实验需要实现在线推理管道，包括1秒间隔的顺序处理连续视频流，同时维护滑动记忆窗口进行上下文管理。还需要实现三种多路复用策略：空间分割、时间分割和语义分割，并进行消融研究。此外，评估需要使用LLM-as-Judge方法，这可能需要额外的资源和设置。总体而言，复现实验的难度较高，需要大量的计算资源和专业知识，特别是在实现多路复用策略和在线推理管道方面。
论文图表
这张图展示了X-Stream基准的多样性，涵盖了多角度、多视图和多设备场景。图中展示了四个主要的多流场景：多角度（Multi-Angle）场景，包括肩部视图、腕部视图、自我视图、外部视图等；多视图（Multi-View）场景，包括前视图、后视图、玩家1、玩家2、FaceTime 1、FaceTime 2、外部视图、内部视图等；多设备（Multi-Devices）场景，包括街景视图、地图视图、无人机视图、卫星视图、车载视图、仪表盘、游戏视图、玩家动作等。每个场景都展示了2到10个并发的视频流，突显了现实世界中多流感知的多样性和复杂性。
这张图对理解论文非常重要，因为它直观地展示了X-Stream基准所覆盖的多样化场景。它帮助读者理解多流流媒体理解的实际应用范围和挑战，从体育直播到自动驾驶，从游戏直播到视频会议。这张图也为后续的实验设计提供了背景，说明为什么需要这样一个多样化的基准来评估MLLMs的多流处理能力。
这张图包含三个部分，展示了多流任务的实际例子和多视频数据形式的层次结构。图(a)和(b)展示了日常生活中的实际例子。图(a)是跨设备主动QA的例子，用户说'我要去肯德基。当你看到红绿灯时告诉我该怎么做'，模型回复'我看到……应该直行……'。图(b)是跨视图即时QA的例子，问题是'4号球员在持球后做了什么'，回答是'她运球……然后传球给……'。图(c)是多视频数据形式的层次结构，从最底层的多视频（Multi-Video）到最顶层的多角度（Multi-Angle），中间包括多流（Multi-Stream）和多视图（Multi-View）。X-Stream位于多流层次，具有4K QA、11个子任务、932个视频、2-5个流的特征。
这张图对理解论文非常重要，因为它清晰地展示了多流任务的实际例子和多视频数据形式的层次结构。它帮助读者理解X-Stream在多视频数据家族中的位置，以及它与其他多视频理解任务的区别。特别是，它突出了多流的关键约束：时间戳对齐，这是区别于多视频和多视图的关键特征。