← 返回 2026-04-07

音频-视觉大语言模型真的能看见和听见吗？ Do Audio-Visual Large Language Models Really See and Hear?

Ramaneswaran Selvakumar, Kaousheik Jayakumar, S Sakshi, Sreyan Ghosh, Ruohan Gao, Dinesh Manocha 📅 2026-04-03 👍 7 2026-07-13 08:36
因果中介分析 多模态大语言模型 机械可解释性 模态偏见 注意力机制
arXiv HuggingFace PDF

首项AVLLMs机械可解释性研究，揭示视觉主导的模态偏向机制

前置知识

Audio-Visual Large Language Models (AVLLMs)

音频-视觉大语言模型是扩展大语言模型处理多模态输入（音频和视频）的统一接口。它们通常采用adapter-based架构，包含预训练的音频编码器、视觉编码器和学习的适配器模块，将多模态特征映射到LLM的token嵌入空间。这种架构使模型能够利用LLM的强大推理能力来整合和推理音频-视觉信息，适用于多媒体分析、教育、人机交互、机器人和医疗健康等应用场景。

理解AVLLMs的工作原理是读懂本文的基础，因为论文的核心问题就是揭示这些模型如何在内部处理和整合音频、视觉两种模态的信息。

Mechanistic Interpretability (机械可解释性)

机械可解释性是一种理解神经网络内部机制的方法，它试图将神经网络的行为分解为可理解的计算组件或电路。这种方法关注的是模型如何工作而不是模型关注什么，通过分析神经元、注意力权重、层表示等内部组件的功能和交互，来理解模型实现特定能力的计算机制。对于大语言模型，机械可解释性已经揭示模型如何存储事实知识、定位特定能力以及在层间处理信息。

本文是首项针对AVLLMs的机械可解释性研究，所有实验方法（注意力分析、探针、注意力敲除等）都是机械可解释性的标准工具，理解这一概念有助于把握论文的研究框架。

Logit Lens探针技术

Logit Lens是一种探查神经网络中间层表示的方法，它通过使用语言模型的unembedding层（语言建模头）来解码中间层的隐藏状态，将其投影到词汇表上的概率分布。具体地，对于第l层的隐藏状态 h_l^i，通过 z_i = W_U h_l^i + b 计算logits，其中 W_U 是unembedding矩阵，b 是偏置项。这使得研究者可以在每个层上看到模型当前认为下一个token是什么，从而观察语义信息如何在网络中逐渐形成和演变。

本文使用logit_lens来探查音频token的中间表示，发现它们能够解码为描述声音事件的有意义概念（如钻头、引擎、马、键盘），这是证明AVLLMs内部编码了丰富音频语义的关键证据。

Attention Knockout (注意力敲除)

注意力敲除是一种因果中介分析方法，通过修改注意力掩码来阻止特定token之间的信息流，从而建立因果关系。形式化地，设S是被阻塞的源token位置集合，T是目标token位置集合，为了在第l层和注意力头j上阻止从S到T的信息流，修改注意力掩码为 M_{s,t}^{(l,j)} = -infinity 对于所有 s 属于 S 和 t 属于 T，这使softmax注意力权重近似为零。这种干预记为 T not-> S，表示位置T的token不能 attend to 位置S的token。通过测量这种干预对输出的影响，可以追踪每个模态如何影响生成过程。

本文使用注意力敲除来追踪音频和视觉信息在层间的流动，发现阻塞视觉通路可以恢复音频理解性能，这是证明视觉信息在深层主动干扰音频处理的直接因果证据。

Counterfactual Samples (反事实样本)

反事实样本是指通过故意不匹配音频和视觉内容来构造的样本，其中音频内容与可见对象不一致或无法从视觉线索推断。在自然视频中，音频和视觉内容高度相关，难以测试模型是否独立处理每种模态。本文通过交换原始音轨与不相关的音轨来构造反事实样本，具体使用匈牙利匹配算法找到语义上最不相似的音频-视频对（余弦相似度约0.498），然后使用FFmpeg交换音轨。这种样本迫使模型必须依靠每种模态独立地处理信息，而不是依赖一种模态来推断另一种。

反事实样本是本文发现的关键，正是使用这些样本才发现AVLLMs在模态冲突下性能下降高达56%，揭示了模型在自然对齐场景下可能主要依赖视觉信息而非真正整合音频。

研究动机

当前音频-视觉大语言模型存在严重的模态偏向问题，当音频和视觉信息冲突时，模型的音频理解能力大幅下降。论文通过实验发现在反事实样本（音频和视觉不匹配）中，Qwen2.5-Omni 3B模型的音频描述保真度从事实样本的53.58%下降到23.1%，相对性能下降高达56%。这意味着在实际应用中，当屏幕外发生事件（如救护车警笛声）而视觉内容无法反映时，AVLLMs往往会根据可见对象幻觉声音（如汽车引擎、狗叫）并错过实际的警笛声。更关键的是，这种失败不仅影响准确性，还可能带来安全隐患——例如自动驾驶车辆可能因为视觉信息主导而忽略重要的听觉警告信号。虽然AVLLMs声称能够看见和听见，但它们可能并没有真正整合两种模态的信息，而是过度依赖视觉信息进行推理。

本文的目标是本文的目标是系统地研究AVLLMs如何处理和整合音频-视觉信息，揭示其内部工作机制，特别关注音频和视觉表示如何在网络的各个层中编码、整合并影响文本生成。具体而言，作者想要回答几个关键问题：AVLLMs是否真的关注音频输入，还是有效地忽略音频表示？音频表示是否包含有意义的音频信息？音频信息在哪里以及在如何整合到输出中？为什么音频信息在生成过程中未能有效表现？通过回答这些问题，本文旨在提供对多模态大语言模型内部信息流动机制的首次机械可解释性分析，为改进AVLLMs的训练和架构设计提供指导。

与已有工作不同的是，本文的独特切入角度在于首次对AVLLMs进行系统的机械可解释性研究。虽然可解释性研究已经针对文本-only大语言模型、视觉-语言模型和音频-语言模型有所探索，但音频和视觉在AVLLMs中如何通过复杂的跨模态路径交互的机制尚未被研究。与单模态模型不同，AVLLMs的互补性使得隔离每个模态的贡献更加困难。本文通过创新的实验设计——构造反事实样本、使用注意力敲除、探针分析和token分布比较——首次揭示了AVLLMs中模态失衡的内部机制，填补了多模态大语言模型可解释性研究的重要空白。

核心方法

本文的方法整体思路是采用多阶段的机械可解释性分析框架，从注意力模式探查到因果干预，逐步揭示AVLLMs中音频和视觉信息的编码、整合和流动机制。首先通过分析注意力模式来确定AVLLMs在哪些层关注音频和视觉输入；然后使用logit_lens探针技术解码中间层的音频表示，验证它们是否编码了有意义的音频语义；接着通过注意力敲除进行因果中介分析，追踪音频和视觉信息如何在层间流动并影响生成；最后比较AVLLMs与基础视觉-语言模型的token输出分布，探索视觉偏向的起源。这种从观察到因果到溯源的分析框架，使得作者能够全面理解模态失衡在哪里出现、为什么会出现、以及如何改进。

本文的核心创新点在于结合反事实评估、探针分析和因果干预来揭示AVLLMs中的模态偏向机制。与之前仅关注注意力模式或表示的表面可解释性研究不同，本文首次对AVLLMs进行深入的机械可解释性分析，使用注意力敲除建立因果关系，证明视觉信息在深层主动干扰音频处理。另一个关键创新是构造反事实样本——通过故意不匹配音频和视觉内容来强制模型独立处理每种模态——这揭示了在自然对齐场景下不可见的模态偏向。此外，本文将token分布分析应用于多模态模型，证明AVLLMs的输出token分布与基础VL模型高度相似，提示视觉偏向可能源于训练数据或初始化策略而非架构限制。

方法步骤详情

方法的第一步是构造评估数据集。作者从AudioCaps数据集源取视频，每个视频有5个人工标注的音频描述。使用Qwen3-Embedding-8B模型将所有音频描述和GPT-4生成的视觉描述嵌入，计算余弦相似度矩阵，应用匈牙利匹配算法找到语义上最不相似的音频-视频对，然后使用FFmpeg交换音轨，最终选择250个最不相似的配对（余弦相似度约0.498），得到250个事实样本和250个反事实样本。第二步是注意力模式分析，作者使用描述你看到和听到的作为提示，追踪生成的token对视频、音频和查询文本token的平均注意力分配，计算跨层的注意力模式。第三步是音频表示探针，使用logit_lens技术解码每层每个音频token位置的隐藏状态，提取最高logit的token，观察它们是否描述有意义的声音事件。第四步是信息流追踪，使用注意力敲除在不同层阻塞从生成token到音频或视频token的注意力，测量对音频理解和视频理解的影响。第五步是视觉偏向起源分析，比较AVLLMs与基础VL模型的输出token分布，计算KL散度和基准排名，分析音频相关token的分布偏移。

技术新颖性

本文的技术新颖性体现在多个方面。首先是方法上的创新——首次将机械可解释性系统应用于AVLLMs，结合了注意力分析、探针、因果干预和分布比较四种互补的技术。其次是实验设计的创新——构造反事实样本来强制独立模态处理，这在AVLLMs评估中是新颖的。第三是因果关系的建立——使用注意力敲除证明视觉信息在深层主动干扰音频处理，而不仅仅是相关性。第四是多模型验证——在Qwen2.5-Omni 3B、Qwen3-Omni、VideoLLaMA 2.1、MiniCPM-o 2.6和InternOmni等多个模型上验证发现的普遍性。第五是评估方法的创新——使用LLM-as-judge方法评估音频-视觉描述保真度，与人类评估有强相关性（音频Spearman rho = 0.816，视频Spearman rho = 0.732）。这些技术上的创新使得本文能够首次提供关于AVLLMs中模态失衡机制的全面机械解释。

Caption evaluation. We use an open-source reasoning LLM to evaluate audio-visual captions by assessing temporal sequences, object attributes, and cross-modal relationships.
Figure 3: Caption evaluation. We use an open-source reasoning LLM to evaluate audio-visual captions by assessing temporal sequences, object attributes, and cross-modal relationships.
Mean attention from generated to input tokens. Generated tokens allocate high attention to audio in early layers (40-50% in layers 0-5), which drops to near-zero afterward. Video attention steadily increases through deeper layers, reaching 20-40% in layers 15-30.
Figure 4: Mean attention from generated to input tokens. Generated tokens allocate high attention to audio in early layers (40-50% in layers 0-5), which drops to near-zero afterward. Video attention steadily increases through deeper layers, reaching 20-40% in layers 15-30.
Probing Audio Representations. We decode intermediate layer audio representations using the base LLM's unembedding matrix and observe that they decode into meaningful concepts describing sound events and their sources, in multiple languages.
Figure 5: Probing Audio Representations. We decode intermediate layer audio representations using the base LLM's unembedding matrix and observe that they decode into meaningful concepts describing sound events and their sources, in multiple languages.

实验结果

本文通过系统的机械可解释性分析得出了几个核心发现。首先，注意力模式分析揭示了明显的层间不对称性：音频token在早期层（0-5）获得40-50%的注意力，但在后续层降至接近零；相反，视觉token在中间层（15-30）获得20-40%的注意力且持续增加。这表明音频在早期层被处理，而视觉在深层占主导地位。其次，探针分析表明音频token的中间表示编码了丰富的音频语义——解码的token能够准确描述声音事件和源头（如drill、engine、horse、keyboard），在反事实样本上达到61.4%的潜在音频理解率，但生成的描述音频保真度只有23.1%，说明模型知道音频内容但没有在生成中使用。第三，注意力敲除实验提供了直接因果证据：在反事实样本中阻塞视频通路在深层将音频理解性能恢复约50%，接近事实样本水平，证明视觉信息在深层主动干扰音频处理。第四，token分布分析显示AVLLMs的输出与基础VL模型高度相似（KL散度0.4），66.06%的音频相关token未偏移，只有14.63%显著偏移，表明AVLLMs在生成音频描述时很大程度上可仅从视觉预测。最后，作者在多个模型上验证了发现的普遍性，包括Qwen3-Omni、VideoLLaMA 2.1、MiniCPM-o 2.6和InternOmni，都观察到类似的能力差距和视觉干扰模式。

Blocking audio-visual information flow to generated tokens We block attention from generated tokens to vision or audio and measure impact on caption fidelity.
Figure 6: Blocking audio-visual information flow to generated tokens We block attention from generated tokens to vision or audio and measure impact on caption fidelity.
Illustration of AVLLM captions and comparison with LVLMs. We compare token distributions between Qwen2.5Omni and Qwen2.5VL, and measure shift in token distribution unshifted tokens, marginal tokens, and shifted tokens.
Figure 7: Illustration of AVLLM captions and comparison with LVLMs. We compare token distributions between Qwen2.5Omni and Qwen2.5VL, and measure shift in token distribution unshifted tokens, marginal tokens, and shifted tokens.
查看结构化数据
任务指标本文基线提升
Audio-Visual Captioning (Factual Samples) Audio Caption Fidelity 53.58% (Qwen2.5-Omni 3B) N/A (single-model evaluation) Baseline performance for comparison
Audio-Visual Captioning (Counterfactual Samples) Audio Caption Fidelity 23.1% (Qwen2.5-Omni 3B) 53.58% (factual samples) -56% relative degradation
Audio-Visual Captioning (Multiple Models) Audio Caption Fidelity (Counterfactual) Qwen3-Omni: 25.94%, VideoLLaMA 2.1: 22.61%, MiniCPM-o 2.6: 20.74% N/A Consistent degradation across models
Latent Audio Understanding (Probing) Recall in Internal Representations 61.4% (Qwen2.5-Omni 3B) 23.1% (generated caption fidelity) 38.3% gap between latent and manifested understanding
Token Distribution Similarity KL Divergence (AVLLM vs Base VL) 0.4 (Qwen2.5-Omni vs Qwen2.5VL) 0 (identical distributions) High similarity indicates visual bias
Token Distribution Analysis Unshifted Audio Tokens (eta = 1) 66.06% (Qwen2.5-Omni) 14.63% shifted (eta > 3) 85.36% predictable from vision alone

局限与改进

本文的局限性体现在几个方面。首先，作者主要关注非语音音频事件（如环境声音、音乐、机械噪音），对语音音频的处理机制没有深入研究，这可能不适用于语音理解任务。其次，研究限制在开源AVLLMs上，可能无法直接推广到专有模型如GPT-4V。第三，评估主要使用构造的反事实样本，虽然能够揭示模态偏向，但可能与自然场景中的失败模式有所不同。第四，研究没有探索可能的解决方案，只分析了问题本身。第五，LLM-as-judge评估方法虽然与人类评估有强相关性，但可能仍有偏见，特别是在评估音频描述时，因为语言模型本身可能具有模态偏向。第六，研究主要关注音频-视觉描述任务，其他任务（如问答、推理）可能有不同的模态整合模式。第七，注意力敲除实验使用9层的窗口大小，可能遗漏了跨层的信息流动。第八，作者承认他们的分析没有涵盖所有可能的解释变量，如训练数据的具体组成、适配器架构的差异等。

独立分析的弱点

本文独立分析的第一个弱点是仅关注音频-视觉描述任务，没有考虑其他任务（如多选问答、推理任务）中可能存在的不同模态整合模式。第二个弱点是构造的反事实样本虽然能够强制独立模态处理，但它们的人工构造性质可能与自然场景中的失败模式不同，这限制了发现的生态效度。第三个弱点是主要关注非语音音频事件，语音音频可能涉及不同的处理机制（因为语音有明确的文本表示）。第四个弱点是注意力敲除实验使用固定的9层窗口大小，可能遗漏了跨更大距离的信息流动或更早层的整合。第五个弱点是token分布分析只能揭示输出层面的相似性，不能证明训练过程的具体机制（如数据不平衡、初始化策略）是视觉偏向的根源。针对这些弱点，可能的改进方向包括：扩展到更多任务类型（问答、推理、生成）、使用自然发生的反事实案例、加入语音音频分析、调整敲除窗口大小和位置、以及直接分析训练数据和训练动态。

未来方向

基于本文的发现，未来研究方向可以包括几个方面。首先，开发大规模反事实训练数据的策展策略，在训练中引入模态冲突样本以惩罚视觉捷径。其次，研究在transformer层内正则化模态偏向的技术，例如平衡注意力权重或引入模态特定的损失项。第三，探索改进AVLLMs训练数据混合的方法，确保音频-视觉训练样本的平衡，或者增加仅音频训练样本的权重。第四，设计新的AVLLMs架构，显式分离音频和视觉的处理路径，减少跨模态干扰。第五，扩展分析到其他模态（如触觉、嗅觉），探索模态失衡是否是多模态大语言模型的普遍问题。第六，开发针对AVLLMs的专门评估基准，包含更多自然发生的模态冲突场景。第七，研究如何将本文的机械可解释性方法应用于其他多模态模型（如文本-图像、文本-音频模型）。第八，探索实时检测和纠正AVLLMs中模态偏向的方法，例如通过监控注意力模式或中间表示。

复现评估

本文的复现性评估如下。开源情况：作者在项目网页上承诺公开代码和数据，但论文中没有提供具体的代码仓库链接或数据下载链接。数据：使用公开可用的AudioCaps数据集，构造了500个样本的评估集（250个事实样本和250个反事实样本），样本数量适中但可能不足以覆盖所有场景。算力：主要实验在Qwen2.5-Omni 3B上进行，这是一个相对较小的模型，所需的计算资源适中。扩展实验在多个模型上进行（Qwen3-Omni、VideoLLaMA 2.1、MiniCPM-o 2.6、InternOmni），增加了验证的计算负担。难度：实验方法（注意力分析、logit_lens探针、注意力敲除、token分布分析）都是标准的可解释性工具，但对多模态模型的应用需要仔细的实现细节。总体而言，本文的复现难度中等，有经验的实验者应该能够基于论文描述复现主要结果，但缺少具体的代码实现可能会增加一些困难。

论文图表

Illustration of visual bias. AVLLMs exhibit a critical modality bias, often prioritizing visual cues over vital audio cues.
Figure 1: Illustration of visual bias. AVLLMs exhibit a critical modality bias, often prioritizing visual cues over vital audio cues.

这张图通过一个反事实场景说明了AVLLMs的视觉偏向问题。场景中可见的物体（一辆蓝色汽车和一个遛狗的女人）是安静的，唯一可听见的声音是视野外的救护车警笛。当被要求描述场景时，AVLLMs幻觉了来自可见但安静物体的声音事件（汽车引擎、狗叫）并错过了实际的警笛声。

这张图对理解论文至关重要，因为它直观地展示了AVLLMs在现实世界中可能产生的危险错误——在安全关键场景中忽略重要的听觉信号。

Audio Understanding Performance. Audio understanding severely degrades under audio-visual conflict.
Figure 2: Audio Understanding Performance. Audio understanding severely degrades under audio-visual conflict.

这个柱状图比较了多个AVLLM模型（Qwen2.5-Omni 3B、Qwen2.5-Omni 7B、Qwen3-Omni、VideoLLaMA 2.1、MiniCPM-o 2.6）在事实样本和反事实样本上的音频描述保真度。结果显示所有模型在反事实样本上的性能都大幅下降，Qwen2.5-Omni 3B从53.58%下降到23.1%，相对下降高达56%。

这个图表对理解论文至关重要，因为它提供了AVLLMs在模态冲突下性能下降的量化证据，是后续所有分析的基础动机。