Dr. SHAP-AV：通过 Shapley 归因解码音视觉语音识别中的相对模态贡献 Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition
用 Shapley 值系统剖析六个 SOTA 音视觉语音识别模型在 SNR、解码过程、时序对齐上的模态贡献动态，揭示显著的音频偏置问题。
前置知识
Shapley 值
源自合作博弈论的公平分配方法，用于把模型预测的总收益分配给各个输入特征。其定义为对所有可能的特征子集联盟求加权边际贡献的平均，满足效率性、对称性、线性性和空玩家四个公理。对于包含 $N$ 个特征的输入，精确计算需要评估 $2^N$ 个联盟，实际中通常用 Permutation SHAP 或 Sampling SHAP 通过采样 $M$（本文取 $M=2000$）个排列/联盟做无偏近似。
本文整个分析框架建立在 Shapley 值之上，用于量化 AVSR 模型中每个音、视频特征对生成 token 的贡献。它比启发式归因（如简单消融）更严格，且与正确率解耦——衡量的是模型如何利用输入，而非输出对不对。
音视觉语音识别 (AVSR)
同时使用语音音频信号和说话人嘴唇运动的视觉特征进行语音识别的任务范式。视觉线索（唇形）对声学噪声天然鲁棒，因此 AVSR 在嘈杂场景下显著优于纯 ASR；当前主流架构分两类：LLM-based（把音视频 token 投影后拼成序列喂给大语言模型）和 cross-attention-based（编码器分别处理音视频，Transformer 解码器通过 cross-attention 融合）。
论文研究对象就是 AVSR 模型，理解其架构差异（LLM-based vs cross-attention、是否带 VSR 多任务监督、融合方式 MLP 还是 attention）是看懂所有实验对比的前提。
模态偏置 (Modality Bias)
在多模态学习中，模型倾向于依赖某一模态（通常是信息密度更高或更容易学习的模态）的现象。在 AVSR 里，音频模态因为直接编码完整语音、时间分辨率高，远比视觉唇动更容易学，导致视觉编码器只能获得较弱梯度更新、形成「音频偏置」。这种偏置使得模型在干净条件下 AVSR 几乎不优于 ASR，违背了引入视觉的初衷。
本文的核心动机正是要量化这种音频偏置在 6 个 SOTA 模型上的实际程度，以及它们在不同 SNR、解码阶段等条件下是否能动态调整，是论文所有结论的逻辑起点。
研究动机
现有 AVSR 模型存在严重的音频模态偏置，这是训练机制导致的结构性问题。论文通过 Figure 1 的简单消融实验揭示了这一点：在干净条件下，去掉视频 token 仅让模型退化为 ASR，WER 几乎不变化（Llama-AVSR 等 4 个纯 AVSR 训练模型在 VSR-only 条件下 WER 飙升 1-2 个数量级）；反之去掉音频则 WER 保持低位。这意味着大多数模型即使引入了视觉通道也没有真正用它。根本原因在于模态不对称：音频以高时间分辨率编码完整语音信号，而视觉唇动帧率更低、且大量音素在视觉上几乎无法区分（如 $/p/, /b/, /m/$ 共享相同唇形），所以梯度在联合训练中自然涌向更容易学的音频端，视觉编码器长期处于欠训练状态。这一问题在已有文献中虽有零星观察（如 Dai 等人发现 dropout 诱发的模态偏置、Lin 等人指出 AVSR 没有充分利用视觉线索、Papadopoulos 用可解释性方法研究 viseme 编码），但都局限于单一模型或缺乏统一数学框架，无法系统回答「模型到底怎么平衡两个模态」。
本文的目标是本文的核心目标是建立一套原则性的、可量化的分析框架，系统回答以下研究问题：在不同声学条件（SNR -10 dB 到干净）、不同解码阶段（生成每个 token 时）、不同输入特性（时长、噪声类型、识别难度）下，AVSR 模型到底如何分配音频和视觉模态的相对贡献，哪些因素在驱动这种分配。具体技术目标是提出 Dr. SHAP-AV 框架，把合作博弈论中的 Shapley 值适配到现代 AVSR 模型（包括 LLM-based 和 cross-attention-based 两种架构），在 Global、Generative、Temporal Alignment 三个粒度上提供诊断工具，并通过 6 个 SOTA 模型、2 个基准数据集（LRS2/LRS3）的实验给出具体数字证据。
与已有工作不同的是，本文的独特切入角度是 Shapley 值这一具备公理化保证的归因工具——它满足效率、对称、线性、空玩家四条性质，与正确率解耦，能公平归因每个特征对模型预测分布的贡献。已有 Shapley 工作（MM-SHAP [40]、Parcalebescu 等人的视觉-语言解码器扩展 [41]、Morais 等人的音乐 LLM [42]）要么只覆盖 encoder-only 模型，要么只覆盖 LLM 架构，要么只针对图像/文本/音乐场景，没有任何一个工作同时覆盖 LLM 和 cross-attention 两种 AVSR 架构族，并在 SNR、生成过程、时序对齐三个维度做联合分析。本文正是填补这一空白的第一个工作。
核心方法
Dr. SHAP-AV 的整体思路是把每个音、视频特征当作「博弈中的玩家」，把模型对每个输出 token 的对数概率当作「总收益」，通过 Shapley 值公平分配收益到每个特征。具体技术路线分四步：首先形式化 AVSR 设置下的特征归因目标——为每个生成的 token $y_t$ 定义特征函数 $f_x^t(C) = \mathbb{E}[p(y_t | y_{<t}, X_C)]$，即仅用集合 $C$ 内的特征预测 $y_t$ 时的期望概率；然后用 Permutation SHAP 或 Sampling SHAP 通过 $M=2000$ 次采样无偏近似 Shapley 值，得到 Shapley 矩阵 $\Phi \in \mathbb{R}^{N \times T}$；接着在这个矩阵之上设计三种粒度的分析指标——Global SHAP（按模态求和得到 A-SHAP 和 V-SHAP 两个标量）、Generative SHAP（沿生成 token 维度分窗口跟踪动态）、Temporal Alignment SHAP（同时沿输入特征维度和输出 token 维度分箱，看是否出现对角模式）；最后在六种主流 AVSR 模型上跑这套分析，覆盖 LRS2/LRS3 数据集和 SNR -10 dB 到 $\infty$ 的全谱噪声条件。直觉上，这套方法相当于做了一次系统的「如果遮住某些模态特征，模型预测会怎么变」的可控实验，但比简单消融更精细——它能告诉你每个位置、每个时刻、每个输入的具体贡献。
本文的核心创新点是首次把 Shapley 值框架适配到 AVSR 领域，并设计了三层粒度的诊断指标来回答不同研究问题。和已有方法相比有三处本质区别：第一，方法上把 MM-SHAP 从视觉-语言分类/生成扩展到了语音识别，并首次同时支持 LLM-based 和 cross-attention-based 两种 AVSR 架构族（之前 Shapley 工作只覆盖 LLM-based）；第二，分析粒度上引入 Generative SHAP 来跟踪生成过程中的模态动态，引入 Temporal Alignment SHAP 检查输入输出时序对应关系，突破了只能给出「总体音频占比」单一标量的局限；第三，在实验设计上前所未有地覆盖了 6 个 SOTA 模型、2 个数据集、5 个 SNR 级别、4 种噪声类型，让「音频偏置」这个一直模糊的直觉第一次有了具体的、跨模型可比较的数字。
方法步骤详情
方法的具体步骤分四个阶段。第一阶段是 Shapley 值基础定义：给定模型 $f$ 和包含 $N = N_A + N_V$ 个特征的输入 $x = (x_1, ..., x_N)$，特征函数 $f_x(C)$ 衡量仅用子集 $C \subseteq F$ 时的预测，Shapley 值 $\phi_i = \sum_{C \subseteq F \setminus \{i\}} \frac{|C|!(N-|C|-1)!}{N!}[f_x(C \cup \{i\}) - f_x(C)]$，通过采样 $M=2000$ 个排列用 Permutation SHAP 无偏近似。第二阶段是适配到 AVSR：对每个生成 token $y_t$ 定义特征函数 $f_x^t(C) = \mathbb{E}[p(y_t | y_{<t}, X_C)]$，未在 $C$ 中的特征置零；LLM-based 模型在投影后 mask token，cross-attention 模型在 fusion 前 mask 特征（Whisper-Flamingo 因为编码器分辨率不同，1 个 SHAP 元素控制 2 个相邻音频特征保证时序对齐公平）；由此得到 Shapley 矩阵 $\Phi$。第三阶段是三层分析：(a) Global SHAP 计算 A-SHAP $= \sum_{j \in A} \sum_t |\phi_{j,t}| / \sum_{j \in F} \sum_t |\phi_{j,t}|$ 与 V-SHAP $= 1 -$ A-SHAP；(b) Generative SHAP 把输出分 $W$ 个时间窗口，按窗口聚合 A-SHAP 和 V-SHAP 得到动态轨迹；(c) Temporal Alignment SHAP 把输入特征和输出 token 都按百分比位置分成 $K$ 和 $W$ 个 bin，计算贡献比例矩阵 $H^{(m)}_{k,w}$ 看是否出现对角模式。第四阶段是实验：在 LRS2/LRS3 上对 6 个模型（Llama-AVSR、Llama-SMoP、Omni-AVSR、AV-HuBERT、Auto-AVSR、Whisper-Flamingo）扫描 SNR（-10、-5、0、5、10、$\infty$ dB）和 4 种噪声（babble、music、sound、speech），并按 WER 区间和输入时长分组分析。
技术新颖性
技术新颖性主要体现在三方面。第一，把 Shapley 值从视觉-语言和音乐 LLM 场景迁移到 AVSR 这一同时存在 LLM 和 cross-attention 两种主流架构的领域，并针对不同架构设计了差异化的 mask 策略（特别是 Whisper-Flamingo 的成组 mask 保证时序对齐），这是一项工程上不平凡的贡献。第二，Generative SHAP 是论文自创的指标——把全局标量分解为生成过程的窗口化轨迹，揭示了 Whisper-Flamingo/Omni-AVSR 在干净条件下音频贡献从 65% 增长到 71%、噪声下出现 U 形模式（先依赖视觉再恢复音频）等此前没人观察过的动态行为。第三，Temporal Alignment SHAP 把特征和 token 按位置归一化后做交叉直方图，首次定量证明 AVSR 模型在严重噪声下仍保持音、视频独立的时序对齐结构（对角分数从干净 2.90 仅降到 1.70 而非崩塌），这是对「模型是否真正学到语音时序结构」这一基础问题的正面回答。
实验结果
实验覆盖六大模型、两数据集、五 SNR 级别、四种噪声类型，得出 6 条核心发现。第一条「自适应模态切换但持续音频偏置」（Figure 3 + Table 1）：在 LRS3 上，所有模型在 -10 dB 时音频贡献降到 39-46%、干净时升到 63-73%，但即使严重噪声也未降至 0；Whisper-Flamingo 适应范围最大（66%→40%，约 26 点），AV-HuBERT 渐进变化 34 点，LLM-based 模型 19-25 点；Llama-SMoP 在 -10 dB 时音频最低（39%）得益于其 mixture-of-experts 路由设计；Auto-AVSR 在所有 SNR 下几乎平直维持 56-57%，反映其 MLP-based 融合的固定权重特性。Table 1 给出 LRS2 上的具体数字：Llama-AVSR 从干净 65.4% 降到 -10 dB 的 46.0%（下降 19.4 点），Omni-AVSR 从 59.9% 降到 42.7%（下降 17.2 点），Auto-AVSR 仅从 56.5% 微降到 55.3%（基本不变），Whisper-Flamingo 从 94.7% 降到 88.3%（仅 6.4 点但绝对值始终高位）。第二条「生成过程中的动态模态切换」（Figure 4）：Whisper-Flamingo 和 Omni-AVSR 在干净条件下音频贡献随生成从 65% 增长到 71%、63% 增长到 72%；噪声下出现特征性 U 形——中间最低、结尾回升，说明模型先依赖视觉辅助理解噪声、随后随上下文积累逐步回到音频；AV-HuBERT 全程变化不超过 3 个百分点，反映自监督预训练的均衡特性。第三条「时序对齐在噪声下保持」（Figure 5）：AV-HuBERT 的对角热力图在干净下分数 2.90、-10 dB 下仍保持 1.70，early/middle/late 三组特征对 early/middle/late 三组 token 的贡献形成清晰分离的双峰分布；视觉模态同样保留对角结构。第四条「噪声类型影响适应幅度」（Figure 6）：babble 噪声 WER 26.3-40.9 触发最强视觉切换，music/sound 噪声 WER 仅 2.6-7.8 视觉切换幅度较小。第五条「时长影响因架构而异」（Figure 7）：Whisper-Flamingo 音频贡献随时长从 75% 降到 69%（干净）/ 42% 降到 33%（噪声）；AV-HuBERT 干净下递减但噪声下反向上升；Omni-AVSR 始终温和上升，无统一规律。第六条「SNR 是主导因素」（Figure 8）：在固定 SNR 内按 WER 区间分组，音频贡献变化仅 3-7 个百分点，远小于 SNR 之间最多 27 个百分点的差异，说明识别难度本身不影响模态分配。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LRS3 全局音频贡献 (干净 SNR) | A-SHAP (%) | 63-73% (因模型而异，Llama-AVSR 65.4%、Omni-AVSR 59.9%、Whisper-Flamingo 94.7%、Auto-AVSR 56.5%) | 无基线（这是首次跨模型系统量化） | 建立基准，揭示干净条件下 6 个模型在 56-95% 范围内的真实音频偏置程度 |
| LRS3 全局音频贡献 (-10 dB) | A-SHAP (%) | 39-46% (Llama-SMoP 最低 39%，Auto-AVSR 最高 55%) | 无基线（首次量化） | 揭示即便严重噪声下音频贡献仍达 38-46%，远超直觉预期的近零值 |
| LRS2 自适应幅度 (干净 → -10 dB) | A-SHAP 变化 (百分点) | Llama-AVSR 19.4、Omni-AVSR 17.2、Auto-AVSR 1.2、Whisper-Flamingo 6.4 | 无基线 | 首次用同一指标横向对比 6 个模型的自适应能力，发现 Auto-AVSR 几乎不切换、Whisper-Flamingo 偏置极深 |
| LRS3 Generative SHAP (干净, Whisper-Flamingo) | A-SHAP 随生成进度变化 (%) | 65% → 71% (增长 6 个百分点) | 无基线 | 首次揭示 LLM-based 模型在生成过程中音频依赖递增的结构性现象 |
| LRS3 Temporal Alignment (AV-HuBERT) | 对角对齐分数 | 干净 2.90 / -10 dB 1.70 | 无基线 | 首次量化证明音、视频模态在严重噪声下均保持独立时序对齐结构 |
局限与改进
论文明确承认的局限性包括：第一，分析基于推理时刻的 Shapley 值，归因的是模型「如何使用」输入而非「为什么这样决策」，因此不能直接推断学习阶段的具体梯度行为；第二，mask 策略是把未选特征置零而非真正的 marginalize over absent features，作者承认这不完全等价于缺失条件下的真实推理分布，但强调所有模型使用一致的 mask，相对比较是公平的；第三，使用 $M=2000$ 个采样做近似，进一步减少 $M$ 会带来明显方差、特别是在低 SNR 下，说明高分辨率归因仍有数值稳定性代价；第四，结论集中在六个具体模型上，对其他 AVSR 架构（如 MoHAVE 等 mixture-of-experts encoder 模型）的普适性需要额外验证。我自己的观察还包括：实验主要在英语 LRS2/LRS3 上做，对其他语言（音素-视素映射不同的语言）是否同样成立未验证；Llama 3.2-1B vs 3B backbone 的影响未充分展开；Flamingo 的强音频偏置（94%）是否与其训练范式（用 Whisper 解码器冻结初始化）有关值得进一步追溯。
独立分析的弱点
独立分析的弱点包括四点。第一，Auto-AVSR 的 MLP 固定权重融合导致 SNR 自适应能力几乎为零（56% 全程平直），这意味着 MLP 融合结构无法实现基于输入质量的条件化模态权重；改进方向是引入动态门控机制（如 OGM-GE 风格的按输入梯度调制），让融合权重随 SNR 自适应。第二，Whisper-Flamingo 在 LRS3 上虽大幅适应（66%→40%）但在 LRS2 上偏置仍极深（88-95%），原因被归因于视觉编码器只在 LRS3 上微调——这暴露了视觉通路欠训练问题的传递性；改进方向是引入显式 VSR 多任务监督（参考 AV-HuBERT/Omni-AVSR 的成功）或域自适应预训练。第三，所有 LLM-based 模型在 -10 dB 仍维持 38-46% 音频贡献，与理想的自适应（接近 0% 音频）差距巨大，作者归因为解码器 attention 机制持续关注音频；改进方向是在 LLM 解码器中显式注入 SNR 估计信号作为条件输入，或在 attention 分数上加 SNR-based scaling。第四，论文在 babble 噪声上训练和测试，对于真实场景的非平稳噪声（music、sound）虽测试了但模型在这些噪声上训练不足导致视觉切换幅度有限，改进方向是用 noise-robust augmentation 或 SNR-invariant 视觉特征训练。第四个值得注意的弱点是 Permutation SHAP 在 1321 条 LRS3 测试 utterance 上每条要采样 2000 个联盟跑 forward pass，开销显著，论文未讨论是否能在不损失稳定性的前提下显著降低 M（比如用 adaptive sampling 或 antithetic sampling）。
未来方向
作者明确提出的方向包括：开发显式的按输入质量调制的模态加权机制（ad-hoc modality-weighting），例如用 SNR 估计器指导融合层；把 Shapley-based 归因作为 AVSR 论文的标准诊断指标常规报告，便于跨模型横向比较。基于论文成果可延伸的方向有：第一，把 Global/Generative/Temporal Alignment SHAP 三件套扩展到其他多模态生成任务（如 audio-visual captioning、video QA），看是否同样存在类似音频偏置的模态不平衡；第二，用 SHAP 归因做主动学习——在归因分数低的样本上让模型重点学习，可能比随机采样更高效；第三，结合 attention rollout 等其他可解释性方法交叉验证 SHAP 结论的可靠性；第四，研究如何把 SHAP 分数本身作为正则项加入训练目标（如最小化视觉 token 在高 SNR 下的 SHAP 分数以缓解视觉通道欠训练），把可解释性从「分析工具」升级为「训练目标」。
复现评估
复现评估整体较好。代码和项目页：作者提供了项目网站 https://umbertocappellazzo.github.io/Dr-SHAP-AV 链接到 GitHub 仓库；分析工具基于 shap 库（[39]），Permutation 和 Sampling 两种 SHAP 实现已成熟。数据：LRS2 和 LRS3 均为公开学术数据集（LRS2 含 225h BBC 节目、LRS3 含 433h TED 演讲）。模型：6 个分析的 SOTA 模型中 AV-HuBERT、Auto-AVSR、Whisper-Flamingo、Llama-AVSR、Llama-SMoP、Omni-AVSR 均为公开论文模型，作者明确说明使用每个论文原描述的推理细节。算力：每条 utterance 需要 ~2000 次 forward pass（LRS3 测试集 1321 条），LLM-based 模型（基于 Llama 3.2-1B/3B）在单 GPU 上每个模型约需数小时，cross-attention 模型更快，建议至少 1 块 A100 GPU。难度：中等偏上——主要是工程集成（mask 策略、Whisper-Flamingo 的成组 mask、shap 库的 autoregressive 扩展）和 $M=2000$ 采样的计算开销，但数学框架清晰，按 Section 2 公式实现即可。
论文图表
横轴为 WER（对数刻度），纵轴为模型；在每个模型处画两个柱：'AVSR'（双模态）、'ASR'（去视频）、'VSRAVSR'（去音频）。6 个模型分别为 AV-HuBERT、Whisper-Flamingo、Auto-AVSR、Llama-AVSR2026、Llama-SMoP、Omni-AVSR。
这是论文的起点——用最简单的消融实验揭示所有模型在干净条件下严重依赖音频：ASR 柱几乎与 AVSR 柱重叠，而 VSR 柱普遍比 AVSR 高 1-2 个数量级。后续的 Shapley 分析正是为了更精细地量化这种偏置。
横轴 generation progress 0-100%，纵轴音频贡献百分比（30-70%）；画两个子图给 Whisper-Flamingo/Omni-AVSR 和 AV-HuBERT，分别对比 clean 和 -10 dB；曲线显示前两个模型音频依赖递增，噪声下出现 U 形；AV-HuBERT 全程稳定。
Generative SHAP 的可视化结果，直接支持 Finding 2（生成过程中的动态模态切换），揭示 LLM-based 模型在解码过程中音频依赖递增的全新现象。