模态自适应解码：缓解多模态大语言模型中的跨模态幻觉 MAD: Modality-Adaptive Decoding for Mitigating Cross-Modal Hallucinations in Multimodal Large Language Models

MAD的完整流程包含以下步骤。第一步：模态自适应权重提取。将模态查询提示 $X_m$（「To answer this question, which modality is needed (audio, video, or both)?」）附加到输入 $X_v, X_a, X_q$ 之后，让模型自回归预测第一个token。从输出logit中提取对应「video」「audio」「both」三个token的值 $z_v, z_a, z_{av}$，然后通过softmax归一化得到权重 $[w_{av}, w_v, w_a] = \text{softmax}([z_{av}, z_v, z_a])$。第二步：模态自适应生成。对每个解码步骤 $t$，计算四种模态配置下的logit：$\text{logit}_{va}$（音频视觉都存在）、$\text{logit}_{\tilde{v}a}$（视觉退化）、$\text{logit}_{v\tilde{a}}$（音频退化）、$\text{logit}_{\tilde{v}\tilde{a}}$（两者都退化）。然后将四个对比分支按模态权重加权求和：$\text{logit}_{MAD}(y_t) = (1+\gamma w_{av})\text{logit}_{va} - \gamma w_{av}\text{logit}_{\tilde{v}a} + (1+\gamma w_{av})\text{logit}_{va} - \gamma w_{av}\text{logit}_{v\tilde{a}} + (1+\gamma w_v)\text{logit}_{v\tilde{a}} - \gamma w_v\text{logit}_{\tilde{v}\tilde{a}} + (1+\gamma w_a)\text{logit}_{\tilde{v}a} - \gamma w_a\text{logit}_{\tilde{v}\tilde{a}}$。最终选择 $\arg\max_{y_t \in V} \text{logit}_{MAD}(y_t)$ 作为下一个token。温度设为0以保证确定性生成，全局强度超参数 $\gamma = 2.5$。

MAD在技术新颖性方面有三个层次的贡献。第一，首次提出模态自适应解码的概念，将任务感知的模态选择引入对比解码框架，突破了现有方法模态无关的根本限制。第二，设计了一种优雅的自评估机制：无需额外的模态相关性分类器，直接利用多模态模型自身的内在能力来评估模态重要性，这在概念上非常简洁且实用。第三，将标准的对比解码公式从二元对比（完整输入 vs 退化输入）扩展为四分支自适应加权框架，每个分支针对特定的模态配置进行对比，通过权重 $w_{av}, w_v, w_a$ 实现细粒度的模态级幻觉抑制。这种设计还能自然处理模态间的双向幻觉——视觉支配导致的音频幻觉和音频支配导致的视觉幻觉——通过适当地为各模态分配权重来平衡压制强度。

MAD存在几个可以改进的弱点。第一，计算效率方面，MAD在每个解码步骤需要执行四次前向传播（四种模态配置），相比标准解码增加了约4倍的计算量，这限制了其在实时应用场景中的部署。改进方向可以是设计轻量级的模态权重预测器，通过一次前向传播同时获得权重和logit，或采用缓存策略减少冗余计算。第二，权重提取的粒度较粗——MAD对整个回答只提取一次模态权重，假设问题的模态需求在整个生成过程中是恒定的。但在实际场景中，一个复杂问题的回答可能前半部分需要视觉信息而后半部分需要音频信息。改进方向是逐token或逐句动态调整权重。第三，模态失真策略简单——MAD使用噪声注入或掩码来创建退化输入，这可能无法精确模拟模态信息的缺失。改进方向是设计更精细的模态退化策略，如选择性遮掩特定语义区域或时间段的模态信息。

论文作者提出了两个明确的未来研究方向。第一，学习一个轻量级、参数高效的模态权重预测器，能够更快速准确地估计模态权重，替代当前依赖模型自评估的方式。这可能通过在预训练数据上微调一个小的分类头来实现，从而减少推理时的计算开销。第二，将模态自适应框架扩展到更丰富的模态组合，如热成像-RGB或其他多传感器设置，拓宽模态感知解码在实际多模态系统中的应用范围。此外，基于MAD的成果，还可以延伸以下方向：将MAD应用于视频生成模型中的跨模态一致性控制；探索MAD在多轮对话中动态调整模态权重的策略；研究MAD与训练时方法（如表示层去偏、架构解码增强）的结合效果；以及将自评估机制应用于评估模型对其他类型输入（如外部知识、检索结果）的相关性判断。

MAD在复现方面具有较好的条件。首先，论文已开源代码（https://github.com/top-yun/MAD），为复现提供了直接参考。其次，MAD是训练无关方法，不需要额外的数据收集或模型微调，只需在推理阶段修改解码过程。所使用的模型（VideoLLaMA2-AV-7B和Qwen2.5-Omni-7B）均为公开可用的模型，数据集（CMM和AVHBench）也是公开基准。超参数设置明确（温度0、$\gamma = 2.5$），且论文提供了对 $\gamma$ 在0.5到3.0范围内的系统性消融实验。计算资源方面，论文报告在8块NVIDIA RTX A6000 GPU上进行实验。模态查询提示的鲁棒性分析表明，使用5种不同的提示措辞时，AVHBench标准差仅0.26%，CMM标准差仅0.31%，表明复现不依赖于精确的提示工程。总体而言，复现难度较低，但需要多GPU环境以处理四分支前向传播的计算需求。