EgoAVU：自我中心音视频理解 EgoAVU: Egocentric Audio-Visual Understanding
构建自动化数据引擎生成自我中心音视频问答数据，解决现有MLLMs音视频联合理解不足的问题
前置知识
多模态大语言模型（MLLMs）
多模态大语言模型是指能够同时处理文本、图像、音频等多种模态输入的大规模语言模型。这类模型通常基于预训练的LLM（如LLaMA、Qwen），通过添加视觉编码器（如ViT）和音频编码器（如Whisper）来扩展其感知能力。在推理时，模型将不同模态的输入转换为统一的token序列，然后由LLM进行联合推理和生成。代表模型包括Qwen2.5-Omni、VideoLLaVA2等。
本文的核心问题是评估和改进MLLMs在自我中心视频中的音视频联合理解能力，因此理解MLLMs的基本架构和工作原理是必要的。
自我中心视频（Egocentric Video）
自我中心视频是指从第一人称视角拍摄的视频，通常由佩戴摄像头的人拍摄。这类视频的特点是：摄像头动态运动、视野有限、频繁出现自我遮挡、包含丰富的音视频信息（如烹饪时的切菜声、开门声等）。与第三方视角的外中心视频相比，自我中心视频更能反映人类日常活动的真实场景。
本文专门针对自我中心视频场景，理解其独特特性（动态摄像头、有限视野、丰富音频）对于理解论文动机和方法设计至关重要。
多模态上下文图（MCG）
多模态上下文图是本文提出的一种结构化表示，用于捕获自我中心视频中视觉和音频模态之间的复杂关系。MCG包含四个关键组件：交互对象（人物物理接触的物体）、背景对象（可见但未交互的物体）、前景声音（与人类动作或可见物体相关联的声音）和背景声音（无法视觉定位的声音）。MCG通过LLM从增强叙述中自动生成。
MCG是本文方法的核心创新点，它显式地建模了音视频之间的关联，为后续的叙述生成和QA生成提供了结构化的多模态信息。
移动平均类型-标记比率（MATTR）
MATTR是一种词汇多样性度量方法，用于评估文本中词汇的丰富程度。它通过在大小为w的滑动窗口内计算唯一词（类型）与总词数（标记）的比率，然后取所有窗口的平均值来得到最终分数。MATTR分数越高，表示文本描述了更多样化的对象、动作和声音事件。本文使用MATTR来过滤静态或重复描述的视频，保留具有丰富音视频动态的视频。
MATTR是本文数据过滤策略的关键指标，理解其计算方法和含义有助于理解如何构建高质量的训练数据。
LoRA微调
LoRA（Low-Rank Adaptation）是一种参数高效的微调方法，它通过在预训练模型的权重矩阵旁边添加低秩分解的矩阵来实现微调。具体来说，对于原始权重矩阵W，LoRA添加两个低秩矩阵A和B，使得微调后的输出为Wx + BAx。这种方法只训练新增的参数（通常只占原模型参数的0.1%-1%），大大降低了微调的计算和存储成本。
本文在实验中比较了LoRA和全参数微调的效果，理解LoRA的原理有助于评估在资源受限场景下的可行性。
研究动机
现有MLLMs在自我中心视频的音视频联合理解方面存在严重不足。具体表现为：第一，MLLMs存在强烈的视觉模态偏见，往往忽视音频线索或无法将声音与正确的视觉源关联起来。例如，在EgoAVU-Bench测试中，所有基线MLLMs在声音-源关联任务（SSA）上的LLM-as-Judge评分均低于1.6（满分5分），在音频-视觉幻觉任务（AVH）上准确率不到43%。第二，现有自我中心数据集（如Ego4D的叙述）主要关注人类-物体交互，缺乏对环境上下文和音频信号的多样描述。第三，现有基准测试（如EgoSchema、EgoTempo）主要评估视觉理解能力，无法全面评估音视频联合理解能力。这些问题导致MLLMs在实际应用中难以准确理解自我中心视频中的多模态信息。
本文的目标是本文的目标是构建一个可扩展的自动化数据引擎EgoAVU，用于生成高质量的自我中心音视频问答数据，从而系统性地训练和评估MLLMs的音视频联合理解能力。具体目标包括：（1）设计一个能够生成多样化、高质量音视频叙述的自动化流程；（2）构建大规模的指令微调数据集（EgoAVU-Instruct，包含300万样本）；（3）创建经过人工验证的评估基准（EgoAVU-Bench，包含3000个样本）；（4）通过微调实验验证数据集的有效性，使MLLMs在自我中心音视频理解任务上取得显著提升。
与已有工作不同的是，本文的独特切入角度在于：首先，它首次系统性地研究了MLLMs在自我中心视频中的音视频联合理解问题，揭示了现有模型的视觉偏见问题；其次，它提出了一个模块化的数据引擎，通过分别处理视觉和音频模态来避免跨模态干扰，这与直接使用多模态模型进行联合描述的传统方法不同；第三，它引入了多模态上下文图（MCG）来显式建模音视频之间的关联，而不是依赖模型隐式学习；最后，它强调使用开源模型构建整个流程，确保了可复现性和可扩展性，避免了对闭源API（如GPT-4o、Gemini）的依赖。
核心方法
EgoAVU的整体思路可以类比为一个「多模态翻译器」：它将原始的、以动作为中心的自我中心叙述翻译成包含丰富音视频信息的综合性叙述。具体来说，EgoAVU采用模块化设计，将复杂的音视频理解任务分解为四个相对独立的步骤：首先，使用专门的MLLMs分别提取视觉和音频信息，避免跨模态干扰；然后，通过词汇多样性指标过滤出音视频动态丰富的视频；接着，构建多模态上下文图（MCG）来显式建模音视频关联；最后，基于MCG生成高质量的叙述和问答对。这种模块化设计的优势在于每个组件都可以独立优化，并且可以灵活替换不同的模型。
本文最核心的创新点是多模态上下文图（MCG）的设计和应用。与现有方法直接将音视频输入MLLMs生成叙述不同，EgoAVU首先构建一个结构化的MCG，显式地捕获以下关系：（1）交互对象：人物物理接触的物体及其交互类型；（2）背景对象：可见但未交互的物体；（3）前景声音：与人类动作或可见物体相关联的声音（如切菜声→切菜动作）；（4）背景声音：无法视觉定位的声音（如远处的车流声）。这种结构化表示使得音视频关联变得显式和可推理，而不是依赖模型隐式学习。实验表明，使用MCG可以将叙述生成的错误率从41.0%降低到10.5%，相对减少76.1%的错误。这种方法的本质区别在于它将多模态理解问题转化为结构化的信息抽取和推理问题，而不是端到端的黑盒生成。
方法步骤详情
EgoAVU的方法流程包括以下步骤：（1）数据收集：从Ego4D数据集中收集带有音频轨道的自我中心视频，使用时间边界策略将连续叙述分组为至少10秒、不超过360秒的视频片段。（2）叙述增强：使用多个MLLMs分别提取视觉和音频信息。具体来说，使用Qwen2.5-VL从中心帧提取空间对象描述，使用Qwen2.5-Omni分别生成视频叙述（无音频输入）和音频叙述（无视觉输入），避免跨模态干扰。（3）视频过滤：将片段级叙述合并，计算移动平均类型-标记比率（MATTR），保留MATTR超过阈值τ=0.3的视频（过滤掉底部25%的静态或重复描述），最终得到9900个视频。（4）音频-视觉叙述生成：首先使用LLaMA-70B从增强叙述中生成MCG，提取交互对象、背景对象、前景声音和背景声音；然后基于MCG引导LLaMA-70B生成统一的音视频叙述，确保动作序列和声音-源关联的准确性。（5）QA生成：基于音视频叙述生成五类问答对：声音-源关联（SSA）、音频-视觉段叙述（AVSN）、音频-视觉密集叙述（AVDN）、时间推理（TR）和音频-视觉幻觉（AVH）。
技术新颖性
本文的技术新颖性体现在以下几个方面：首先，模块化处理策略与传统的端到端方法形成鲜明对比。现有方法通常将音视频同时输入MLLMs生成叙述，但本文发现这种直接联合处理会导致模态偏见和幻觉（Qwen2.5-Omni的音频一致性错误率为54.3%，视觉为25.4%）。EgoAVU通过分别处理不同模态来避免这个问题。其次，MCG的设计是独特的结构化表示，它将多模态关联问题转化为显式的图结构，使得音视频关联变得可解释和可验证。第三，基于MATTR的视频过滤策略确保了训练数据的多样性和质量，这在现有工作中较少被关注。最后，整个流程完全使用开源模型（Qwen2.5-VL、Qwen2.5-Omni、LLaMA-70B），避免了对闭源API的依赖，提高了可复现性和可扩展性。
实验结果
本文的实验结果揭示了现有MLLMs在自我中心音视频理解方面的严重不足，并验证了EgoAVU数据集的有效性。在EgoAVU-Bench上的主要发现包括：（1）MLLMs难以将声音与视觉源关联：在声音-源关联任务（SSA）上，所有基线模型的LLM-as-Judge评分均低于1.6（满分5分），最佳模型Qwen2.5-Omni（7B）仅得1.50分。（2）MLLMs难以生成连贯的音视频叙述：在音频-视觉密集叙述（AVDN）和段叙述（AVSN）任务上，即使最佳模型Qwen2.5-Omni（7B）的评分也低于2.4分，ROUGE-L和METEOR指标同样较低。（3）MLLMs的音视频时间推理能力有限：在时间推理任务（TR）上，最高准确率仅为53.2%（Qwen2.5-Omni 7B），其他模型如VideoLLaMA2和MiniCPM-o表现更差。（4）MLLMs在音视频推理中频繁出现幻觉：在音频-视觉幻觉任务（AVH）上，所有模型的准确率均低于43%。（5）微调后性能显著提升：在EgoAVU-Instruct上微调后，模型在所有任务上都取得了显著提升，相比最佳基线，开放性任务提升高达113.3%，封闭性任务提升高达44.5%。LoRA和全参数微调都带来了显著的性能提升，表明在资源受限场景下也能实现强大的音视频理解能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 声音-源关联（SSA） | LLM-as-Judge（S） | 3.20（全参数微调） | 1.50（Qwen2.5-Omni 7B） | +113.3% |
| 音频-视觉密集叙述（AVDN） | LLM-as-Judge（S） | 2.66（全参数微调） | 2.37（Qwen2.5-Omni 7B） | +12.2% |
| 音频-视觉段叙述（AVSN） | LLM-as-Judge（S） | 2.63（全参数微调） | 1.99（Qwen2.5-Omni 7B） | +32.2% |
| 时间推理（TR） | 准确率（Acc.） | 67.84%（全参数微调） | 53.20%（Qwen2.5-Omni 7B） | +27.5% |
| 音频-视觉幻觉（AVH） | 准确率（Acc.） | 61.69%（LoRA微调） | 42.69%（Qwen2.5-Omni 7B） | +44.5% |
| EgoTempo | 准确率（Acc.） | 20.83%（LoRA微调） | 16.25%（Qwen2.5-Omni） | +28.1% |
| EgoIllusion | 准确率（Acc.） | 60.36%（LoRA微调） | 56.32%（Qwen2.5-Omni） | +7.2% |
局限与改进
本文的局限性主要体现在以下几个方面：首先，训练数据虽然经过精心设计的过滤技术，但仍然包含来自开源MLLM输出的噪声。作者承认这个问题，并认为随着MLLM单模态能力的提升，这个问题可以得到缓解。其次，EgoAVU-Bench的构建需要大量人工验证（约225小时），这限制了基准的可扩展性。第三，本文主要关注自我中心视频场景，其方法是否适用于外中心视频（如电影、监控视频）尚未验证。第四，实验主要基于Qwen2.5-Omni（7B）模型，对于更大规模模型（如13B、70B）的效果未知。最后，本文的评估主要依赖LLM-as-Judge方法，虽然与人类判断的一致性达到87.6%，但仍存在一定的评估偏差。
独立分析的弱点
本文的弱点包括：（1）数据噪声问题：虽然使用了MATTR过滤，但训练数据仍包含来自开源MLLM的噪声输出，特别是在复杂场景中（如多人交互、嘈杂环境），MLLMs可能生成不准确的描述。改进方向可以包括：使用更强的验证机制（如人工抽检、置信度过滤）或引入对抗性训练来提高模型对噪声的鲁棒性。（2）MCG生成的准确性：MCG的质量依赖于LLaMA-70B的抽取能力，在复杂场景中可能出现遗漏或错误关联。可以探索使用多个LLM进行交叉验证，或者引入人类反馈来优化MCG生成。（3）评估指标的局限性：LLM-as-Judge方法虽然与人类判断一致性较高（87.6%），但仍存在评估偏差。可以结合更多自动化指标（如音视频对齐分数、时间一致性指标）来提供更全面的评估。（4）计算成本：整个流程需要多个大型MLLMs（Qwen2.5-VL、Qwen2.5-Omni、LLaMA-70B），计算成本较高。可以探索使用更轻量级的模型或知识蒸馏技术来降低成本。
未来方向
基于本文成果，未来研究可以在以下方向展开：首先，可以探索将EgoAVU的方法应用于其他多模态理解任务，如视频摘要、视频问答、动作识别等，验证其通用性。其次，可以研究更高效的MCG生成方法，例如使用图神经网络直接从原始音视频特征中学习多模态关联，而不是依赖LLM抽取。第三，可以探索主动学习策略，让模型自动选择最有价值的样本进行标注，进一步提高数据效率。第四，可以研究跨模态迁移学习，例如将音视频理解能力迁移到纯视觉或纯音频任务。最后，可以探索实时音视频理解，将EgoAVU的方法应用于AR/VR设备中的实时场景理解。
复现评估
本文的可复现性较高，主要体现在：（1）代码和数据完全开源：代码发布在GitHub（https://github.com/facebookresearch/EgoAVU），数据发布在HuggingFace（https://huggingface.co/datasets/facebook/EgoAVU_data）。（2）使用开源模型：整个流程完全基于开源模型（Qwen2.5-VL、Qwen2.5-Omni、LLaMA-70B），避免了对闭源API的依赖。（3）详细的实现细节：论文提供了详细的训练参数（学习率1e-4、batch size 64、5个epochs）和评估方法。（4）计算资源需求：实验使用64块H100 GPU，这对大多数研究机构来说可能较高，但LoRA微调可以在更少的资源上进行。（5）复现难度：中等，主要挑战在于需要处理大规模数据（300万样本）和运行多个大型MLLMs，但所有步骤都有明确的文档和代码支持。
论文图表
