NoLan：通过动态抑制语言先验缓解大型视觉语言模型中的物体幻觉 NoLan: Mitigating Object Hallucinations in Large Vision-Language Models via Dynamic Suppression of Language Priors
对比多模态与纯文本输出分布，动态抑制语言先验，有效减少LVLM物体幻觉
前置知识
物体幻觉（Object Hallucination）
物体幻觉是指大型视觉语言模型生成的文本描述中包含输入图像中不存在或错误描述的物体。例如，当模型被问及图像中是否有大象时，尽管图像中并未出现大象，模型仍会回答有或进行相关描述。这种现象源于模型过度依赖语言模型内部学到的统计先验，而非真实视觉信息，导致生成内容与视觉输入不一致。
物体幻觉是本文要解决的核心问题，理解这一现象有助于把握LVLM的根本局限性，也是评估论文方法有效性的关键指标。
KL散度（Kullback-Leibler Divergence）
KL散度是衡量两个概率分布差异的信息论指标，定义为D_KL(P||Q)=∑_x P(x)log(P(x)/Q(x))。当两个分布完全相同时，KL散度为0，差异越大，KL散度越大。本文用它来衡量多模态输出分布p_m和纯文本输出分布p_u之间的相似程度。较小的KL散度意味着两个分布接近，即语言先验对输出影响较大，较大的KL散度表明视觉信息有效改变了输出分布。
KL散度是NoLan-Plus动态调整调制率的核心计算依据，用于量化每个token受语言先验影响的程度，实现精细化的先验抑制。
对比解码（Contrastive Decoding）
对比解码是一类通过对比不同条件下的输出来调整最终生成分布的解码策略。典型做法是分别计算干扰条件和正常条件下的输出分布，然后从正常分布中减去干扰分布的影响，从而抑制模型依赖先验或偏见的倾向。NoLan属于这类方法，但与现有方法不同，它对比的是多模态输入和纯文本输入，而不是图像的扭曲版本。
对比解码是本文方法的技术基础，理解其原理有助于把握NoLan与现有方法的本质区别，以及为何无需训练就能取得效果。
视觉语言模型（LVLM）架构
LVLM通常由两部分组成，视觉编码器负责将图像编码为向量表示，语言解码器负责生成文本。视觉编码器提取的特征通过投影层与语言模型的输入对齐，使语言模型能够看到图像信息。例如LLaVA使用CLIP ViT-L/14作为视觉编码器，LLaMA作为语言解码器，InstructBLIP使用Q-Former作为视觉语言接口，Qwen-VL则采用统一的动态分辨率机制。
理解LVLM的架构有助于明白为何幻觉可能来源于视觉编码器或语言解码器，这也是本文通过实验分析的起点。
自回归生成（Autoregressive Generation）
自回归生成是指模型逐个token生成序列的过程，每个token的概率基于之前已生成的所有token。形式化表示为p(y|v,x)=∏_t p(y_t|v,x,y_<t)，其中y_<t是之前生成的所有token。在LVLM中，条件包括图像v和文本提示x。解码时可以采用各种采样策略，如贪心解码、束搜索、top-p采样等。NoLan在生成过程中动态调整每个时间步的输出分布，因此是解码层面的干预而非模型层面的修改。
自回归生成是LVLM工作的基本方式，NoLan作为解码策略直接作用于这一过程，理解它有助于把握方法的作用时机和机制。
研究动机
大型视觉语言模型在实际应用中存在严重的物体幻觉问题。当用户询问图像中是否有大象时，模型可能会回答有并详细描述大象的特征，而实际上图像中并没有大象。这种现象在POPE基准测试中表现得尤为明显，即使使用最先进的LVLM如LLaVA-1.5-7B，在随机采样的MSCOCO数据集上准确率也只有83.29%，这意味着有近17%的案例模型错误地声称看到了不存在的物体。更严重的是，这种幻觉不仅仅存在于二分类任务，还广泛影响开放域生成任务，如图像描述、视觉问答等，导致模型生成包含虚构物体的内容。
本文的目标是本文的目标是系统性地分析LVLM中物体幻觉的根源，并提出一个简单、有效、无需训练的解决方案来缓解这一问题。具体来说，作者想要回答两个关键问题，第一，LVLM中的物体幻觉主要来源于视觉编码器无法准确检测物体，还是语言解码器过度依赖语言先验，第二，如果确定了主要来源，能否设计一个即插即用的解码策略来动态抑制这种先验，从而减少幻觉。最终目标是在不修改模型、不进行额外训练、不依赖外部工具的情况下，显著提升LVLM在各类幻觉基准上的表现。
与已有工作不同的是，本文的独特切入点在于系统性地分析了视觉编码器和语言解码器对幻觉的贡献，发现了一个反直觉的结论，幻觉主要由语言先验而非视觉编码器引起。这一发现与现有假设形成了鲜明对比，之前的研究多认为幻觉源于视觉信号的微弱或模糊，因此方法多集中在增强视觉信号上，如VCD通过对比扭曲图像来校准视觉不确定性。本文则从语言先验的角度出发，提出每个token都有独特的语言先验这一更精细化的假设，并设计基于KL散度的动态抑制机制。这与M3ID假设先验程度只与序列长度相关、VCD假设所有token的语言先验均匀等现有方法有本质区别。
核心方法
NoLan是一个简单、无需训练的解码框架，核心思想是通过对比多模态输入和纯文本输入的输出分布来动态抑制语言先验。直观理解是，当模型在有图像和没图像时生成相同或非常相似的输出时，说明模型在依赖语言先验而非视觉信息，这时需要增强视觉信息的影响。反之，当两种输入的输出差异较大时，说明视觉信息已经有效改变了输出，此时不需要过多干预。技术实现上，NoLan在解码的每个时间步分别计算多模态logits l_m和纯文本logits l_u，然后用调制后的分布p_nolan=softmax(l_m+α(l_m-l_u))进行采样，其中调制项l_Δ=l_m-l_u衡量了视觉信息带来的变化，α是调制率控制抑制程度。
NoLan的核心创新点在于两个层面。一是理论层面的发现，通过系统实验证明LVLM中的物体幻觉主要由语言解码器的先验引起，而非视觉编码器。在POPE上LLaVA产生幻觉的样本中，其视觉编码器能够以83%的准确率检测物体存在，而对比多模态和纯文本输出分布时，幻觉样本的KL散度仅为0.46，远低于无幻觉样本的1.20，说明幻觉时输出被语言先验主导。二是方法层面的创新，提出token级别的语言先验假设，并设计基于对称KL散度的动态调制率计算，而不是像现有方法那样使用固定调制率或仅基于序列长度的粗粒度建模。这使得NoLan能够更精准地识别和抑制每个token受到的语言先验影响。
方法步骤详情
NoLan的完整方法分为三个步骤。步骤1是计算多模态logits，给定LVLM参数θ、图像v和文本提示x，在自回归生成的第t个时间步，计算多模态条件下的输出logits l_m=logit_θ(y_t|v,x,y_<t)，其中y_<t是之前已生成的所有token。步骤2是计算语言先验logits，将同一文本提示x但不包含图像输入模型，计算纯文本条件下的输出logits l_u=logit_θ(y_t|x,y_<t)，这一步捕捉了语言模型内部固有的先验知识。步骤3是调制输出分布并采样，计算调制logits l_Δ=l_m-l_u，然后根据不同版本选择调制率α，NoLan-Base使用固定值α=1，得到最终logits l=l_m+l_Δ，NoLan-Plus则动态计算α=β×(tanh(1/γ)+1)，其中γ是对称KL散度，β=0.8是缩放因子。最后用p_nolan=softmax(l)进行采样，得到第t个token，重复直到生成结束符。
技术新颖性
NoLan的技术新颖性体现在三个方面。首先，假设层面的创新，提出token级别的语言先验假设，与现有方法形成对比。VCD假设所有token有均匀的语言先验，M3ID假设先验程度仅与序列长度相关，VDD也使用固定调制。NoLan则认为每个token因上下文不同而有独特的语言先验强度，这是更贴近现实的假设。其次，计算层面的创新，设计基于对称KL散度的动态调制机制。当l_m和l_u接近时，说明语言先验强，α自动增大以增强抑制，当两者差异大时，说明视觉信息已经有效，α自动减小以避免过度干预。这种自适应机制是NoLan-Plus相对于NoLan-Base的关键改进。第三，实现层面的创新，不需要扭曲图像、不需要额外模型、不需要复杂后处理，仅需一次额外的纯文本前向传播，使得方法更加简洁高效。
实验结果
实验结果充分验证了NoLan的有效性。在POPE基准上，NoLan在所有数据集和所有采样设置上都显著优于常规解码和现有对比解码方法。具体来看，在MSCOCO random设置上，LLaVA-1.5-7B的准确率从83.29%提升到87.00%，提升3.71%。在POPE all设置上，Qwen-VL-7B的F1分数从82.67%提升到87.00%，提升4.33%。相比VCD，NoLan-Plus在77.8%的实验中表现更优，最大准确率提升达5.14%。相比M3ID，NoLan在LLaVA-1.5-7B和13B上平均准确率分别提升16.4和10.1，优势明显。在MME幻觉子集上，NoLan-Plus在LLaVA-1.5上总分为660.00，相比常规的565.33提升94.67。在开放域任务上，NoLan同样有效，MM-Vet上LLaVA-1.5-7B从31.1提升到33.3，LLaVA-1.5-13B从36.1提升到38.3，MMHal-Bench上整体评分从1.55提升到2.29，幻觉率从76%降到68%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| POPE (MSCOCO, Random) | Accuracy | 87.00% | 83.29% (Regular) | +3.71% |
| POPE (GQA, Random) | F1 Score | 87.04% | 85.33% (VCD) | +1.71% |
| POPE (A-OKVQA, Random) | Accuracy | 88.20% | 84.11% (VCD) | +4.09% |
| MME Hallucination (Total) | Score | 660.00 | 565.33 (Regular) | +94.67 |
| MM-Vet (LLaVA-1.5-7B) | Total Score | 33.3% | 31.1% (Regular) | +2.2% |
| MMHal-Bench | Overall Score | 2.29 | 1.55 (Regular) | +0.74 |
| MMHal-Bench | Hallucination Rate | 68% | 76% (Regular) | -8% |
| HallusionBench | Question Accuracy (qAcc) | 18.68% | 14.29% (Regular) | +4.39% |
| MathVision | Overall Accuracy | 9.84% | 8.52% (Regular) | +1.32% |
局限与改进
作者承认NoLan存在一些局限性。首先，方法需要两次前向传播，相比标准解码增加了约32%的计算时间，这在实时性要求高的场景可能成为瓶颈。其次，NoLan主要针对物体级幻觉，对属性级幻觉的效果相对有限，实验发现在MME的position和color子任务上提升不如existence和count明显。第三，方法依赖语言解码器本身的质量，如果底层LLM本身有严重的幻觉倾向，NoLan的抑制效果可能有限。第四，在某些开放域生成任务中，过度抑制语言先验可能导致输出变得过于保守或失去部分语言流畅性，虽然实验显示NoLan在减少幻觉的同时保持了输出质量，但这是一个潜在风险。最后，方法的有效性在不同模型架构上可能有所差异。
独立分析的弱点
NoLan的主要弱点在于计算开销增加和稳定性问题。具体来说，每次生成需要两次前向传播，这意味着推理延迟增加约30%，在需要实时响应的应用中可能不可接受。改进方向可以包括，缓存纯文本前向传播的结果，因为对于相同的文本提示，纯文本logits在多个时间步是可复用的，采用更高效的KL散度近似计算，避免完整的分布计算，探索蒸馏技术，将NoLan的解码策略学习到一个单独的小模型中。稳定性方面，NoLan-Plus的动态调制率在某些边缘情况下可能不稳定，例如当KL散度接近0时，1/γ可能变得非常大，导致tanh函数饱和。改进方向包括，在KL散度计算中加入平滑项，避免分母为0，使用clip函数限制调制率的范围，设计更鲁棒的激活函数替代tanh。
未来方向
基于本文成果，未来有多个值得探索的方向。作者建议可以研究NoLan与其他解码策略的结合，例如与束搜索、top-p采样等经典方法的集成，或者与注意力干预方法的融合，形成多层次的幻觉缓解机制。另一个方向是将NoLan的思想扩展到其他模态的组合，如音频语言模型、视频语言模型，验证语言先验在其他跨模态场景中的影响。还可以探索将NoLan应用于训练阶段，虽然当前方法是解码层面的，但其原理可以启发新的训练目标，例如在训练时显式惩罚多模态和纯文本输出分布的接近程度。从应用角度看，NoLan可以集成到实际的LVLM部署系统中，作为可选的解码模式，让用户根据任务需求选择是否启用。
复现评估
本文的复现性较好。作者承诺将代码公开，实验使用的所有模型和数据集都是公开可获取的。实验设置与现有工作保持一致，确保了公平比较。方法本身不涉及随机性，因此在相同设置下应该能够复现结果。硬件方面，作者使用Titan RTX 24GB GPU进行实验，这个配置在现代实验室中相对容易获得。计算资源需求方面，虽然需要两次前向传播，但内存占用与标准解码相当，不需要额外的存储。论文提供了详细的超参数设置和消融研究，帮助研究者理解每个参数的作用。附录中还提供了NoLan-Plus的理论证明，增加了方法的理论可解释性。综合来看，中等研究水平的实验室应该能够复现主要结果，难度不高。
论文图表
