← 返回 2026-03-19

FINER: 多模态大语言模型在细粒度负查询下的幻觉问题研究 FINER: MLLMs Hallucinate under Fine-grained Negative Queries

Rui Xiao, Sanghwan Kim, Yongqin Xian, Zeynep Akata, Stephan Alaniz 📅 2026-03-18 👍 3 2026-07-13 08:36
DPO微调 多模态大模型 幻觉检测 细粒度推理 负查询
arXiv HuggingFace PDF

揭示MLLM细粒度幻觉，提出FINER-Tuning提升准确率24.2%

前置知识

幻觉

在视觉语言模型中，幻觉指的是模型生成的回答或描述在输入图像中不存在或不准确的现象。具体表现为：模型声称看到了图像中没有的对象（如说图像中有一只猫但实际没有）、错误地描述对象的属性（如把红色说成蓝色）、或者错误地识别对象间的关系（如说A在B旁边但实际A在B后面）。幻觉是当前多模态大语言模型面临的核心挑战之一，因为它直接影响模型在医疗诊断、自动驾驶等高风险应用中的可信度和可靠性。

本文的研究核心就是探测和缓解MLLM的幻觉问题，理解幻觉的定义和表现形式是读懂本文的基础。

直接偏好优化

DPO是一种基于偏好对齐的训练方法，它通过对比模型的被偏好和被拒绝输出来直接优化模型策略，而不需要显式的奖励模型。具体实现中，给定输入x、查询q、正确答案a+和错误答案a-，DPO通过最大化log sigma(beta(Delta_theta - Delta_ref))来训练模型，其中Delta_theta = log pi_theta(a+|x,q) - log pi_theta(a-|x,q)，Delta_ref是参考模型的对应值，sigma是sigmoid函数，beta是温度参数（本文设为0.1）。这种方法在减少幻觉、对齐人类偏好方面已被证明有效。

FINER-Tuning的核心方法就是DPO，理解DPO的原理对于理解本文的训练方法至关重要。

场景图

场景图是一种结构化的图像表示方法，将图像内容编码为三元组（主体、关系、客体）的集合，或者更一般地表示为对象、属性和关系的组合。例如，一张包含一个穿蓝衬衫的男人坐在椅子上的图像可以表示为：对象集合包含男人和椅子，属性包含男人有蓝衬衫，关系包含男人坐在椅子上。场景图提供了图像的细粒度语义信息，使得可以精确地操纵和组合不同的视觉元素来构建测试查询。在本文中，场景图是构建FINER基准测试的数据基础。

FINER基准的构建完全基于场景图，场景图的概念直接关系到本文的实验设计和数据生成流程。

配对准确率

配对准确率是本文提出的一种评估指标，用于衡量模型同时对正负查询做出正确判断的能力。对于N对查询，其中qi+是关于图像中真实存在内容的正查询，qi-是包含细粒度错误的负查询，配对准确率定义为所有查询对中模型同时在正负查询上都正确的比例。这个指标要求模型必须在正负查询上都正确，从而防止模型通过简单地回答No或Yes来逃避真正的理解。相比单侧准确率，配对准确率更能反映模型的真正能力。

配对准确率是本文FINER基准的核心评估指标，理解它对于解读实验结果至关重要。

研究动机

多模态大语言模型在回答图像相关问题时存在严重的幻觉问题，特别是在面对细粒度的负查询时表现尤为脆弱。现有基准测试如POPE、DASH和AMBER主要关注粗粒度的对象存在性问题，例如简单地问图像中是否有猫，但无法有效评估模型在更复杂场景下的精确否定能力。论文的动机研究发现，当负查询的粒度从粗到细逐渐增加时，模型的准确率急剧下降：在FINER-COMPRECAP基准上，InternVL3.5-14B模型从第1级粒度的约80%准确率下降到第5-7级的约20%；在FINER-DOCCI基准上，从约58%下降到约15%。这种下降表明，当图像中同时存在真实元素和细粒度错误元素时，模型难以区分正确的否定和虚假的肯定。例如，当查询问你能看到一只主要呈棕色毛发但头部向后倾斜的猫吗，其中头部向后倾斜是错误属性时，模型会因为大部分描述（猫、棕色毛发）正确而错误地回答Yes，导致假阳性幻觉。

本文的目标是本文的研究目标有三个：首先，系统性地研究多模态大语言模型在细粒度负查询下的幻觉行为，揭示模型在不同粒度级别的表现模式和脆弱性；其次，构建全面且具有挑战性的基准测试集FINER-COMPRECAP和FINER-DOCCI，覆盖多对象、多属性、多关系和what问题四种场景，为评估和改进MLLM的精确否定能力提供标准测试平台；第三，提出有效的训练方法FINER-Tuning来减轻这些幻觉问题，同时保持或提升模型在其他幻觉基准和通用能力基准上的表现，避免出现对齐税（即目标任务改进但通用能力下降的权衡问题）。最终目标是让MLLM能够像人类一样，精确地识别查询中的细粒度错误，即使在查询中包含大量真实信息时也能正确地说No。

与已有工作不同的是，本文的独特切入角度在于：首先，与现有幻觉基准关注单个对象的粗粒度查询不同，FINER专注于多元素组合的细粒度查询，测试模型在真实与虚假元素共存的复杂场景下的辨别能力；其次，与POPE等基准仅使用单一负样本不同，FINER为每个实体生成四个不同的负样本变体，覆盖更多语义空间，提高了测试的鲁棒性；第三，与NOPE和ROPE等只关注不存在对象的工作不同，FINER扩展到属性和关系的细粒度错误，这是首次系统性地研究属性和关系幻觉的工作；第四，与HaloQuest的错误前提设置不同，FINER的错误前提位于现有对象的细粒度属性上，而不是完全不存在的对象，这更接近真实用户的提问模式；最后，本文不仅是提出评估基准，还通过FINER-Tuning证明通过DPO训练可以有效缓解这些问题，而且避免了其他方法在多个基准间性能不平衡的问题。

核心方法

FINER方法框架包含两个核心部分：细粒度负查询基准测试集（FINER Benchmarks）和基于直接偏好优化的训练方法（FINER-Tuning）。基准测试集的构建采用场景图驱动的多阶段流水线：首先从图像中提取或人工标注场景图（包含对象、属性、关系三元组），然后为每个元素生成四个语义合理但错误的负样本（如将门框替换为柱子，将棕色替换为蓝色，将靠在门上替换为远离门），接着通过规则模板将正负场景图转换为多选题，每题包含一个正确答案和四个干扰项。训练方法则采用DPO在细粒度正负查询对上进行偏好对齐，使模型学会正确地接受真实查询和拒绝错误查询。整个方法的设计理念是：通过精准的测试发现问题，通过有针对性的训练解决问题，而且训练信号来自细粒度的输入查询而非输出端错误，这使得方法更加根本和可扩展。

FINER的核心创新点在于将幻觉问题从传统的是否存在层面提升到精确匹配层面。具体来说，现有工作（如POPE）测试的是图像中有X吗这种粗粒度问题，而FINER测试的是图像中有X且具有属性A1、A2、...且处于关系R1、R2、...吗这种细粒度问题。当查询中大部分元素正确但有一个元素错误时，模型需要能够识别出这个错误并回答No，而不是因为大部分正确就回答Yes。这种设计揭示了MLLM的一个关键弱点：它们倾向于接受大部分正确的查询，即使包含明显的错误。FINER-Tuning的关键创新在于：它不是简单地训练模型回答No，而是训练模型对细粒度的语义差异进行精确的对比和判断。通过在正负查询对上使用DPO，模型学习到接受和拒绝的决策边界，这种边界基于具体的视觉证据而非简单的启发式规则。此外，FINER-Tuning避免了依赖GPT-4V等昂贵模型进行标注，而是使用较小模型（Phi-4-14B）进行数据生成，使得方法更加可扩展。

方法步骤详情

FINER基准构建包含四个主要步骤。第一步是场景图提取：对于FINER-COMPRECAP，直接使用CompreCap数据集提供的人工标注场景图；对于FINER-DOCCI，由于没有现成场景图，使用Gemini-2.0-Flash从长描述中提取对象、属性和关系，然后用Qwen2.5-VL-72B作为判别器过滤，最后人工验证样本以确保质量。第二步是负样本生成：对场景图中的每个对象、属性和关系，使用LLM（Qwen3-14B用于CompreCap，Gemini-2.0-Flash用于DOCCI）生成四个语义合理但不正确的替代项，例如将门框替换为柱子、围栏、书架、搁板。为防止负样本实际存在于图像中，使用强MLLM（Qwen2.5-VL-72B）作为判别器，根据分类熵决定哪些负样本需要重新生成，这个过程是迭代的。第三步是查询构建：使用基于模板的方法构建正查询和负查询，例如你能看到猫和门框吗（正）和你能看到猫和柱子吗（负）。每个查询转换为多选题格式，包含一个正确答案和四个干扰项（干扰项从同一组件的其他负样本中选取）。第四步是配对评估：将每个负查询与其对应的正查询配对，使用配对准确率作为主要评估指标，要求模型必须在两者上都正确才算成功。FINER-Tuning的训练也包含三个步骤：首先使用Phi-4-14B从Pixmo-caption数据集中提取正短语（对象摘要、属性摘要、关系摘要、Wh句子）；然后将正短语转换为负短语，随机选择一个元素进行替换；最后基于模板构建DPO训练数据，包含正负查询对及其对应的接受和拒绝响应，使用LoRA进行单轮训练。

技术新颖性

FINER的技术新颖性体现在多个方面。在评估方法上，它是首个系统性地研究细粒度负查询下幻觉行为的工作，揭示了粒度与幻觉之间的非线性关系，这对理解MLLM的认知偏差具有重要意义。在基准设计上，FINER引入了四种评估设置（多对象、多属性、多关系、Wh问题），覆盖了幻觉的多个维度，而且每个问题最多包含6个对象、5个属性或3个关系，这是前所未有的细粒度测试。在数据构建上，FINER采用了多阶段验证流水线，结合强MLLM判别器和人工验证，在保证规模的同时控制质量。在训练方法上，FINER-Tuning证明了输入端的细粒度负查询比输出端的错误检测更有效，这为幻觉缓解提供了新的思路。此外，FINER-Tuning避免了对齐税现象，在FINER基准改进的同时，在其他8个幻觉基准和6个通用基准上也保持或提升了性能，这表明细粒度负查询训练提供了通用且有价值的训练信号。最后，FINER的全开源特性（代码、基准、模型）使得该领域的研究更加开放和可复现。

Data construction pipeline for FINER benchmarks
Figure 2: Data construction pipeline for FINER benchmarks
Training data generation pipeline for FINER-Tuning
Figure 3: Training data generation pipeline for FINER-Tuning

实验结果

实验结果显示，MLLM在细粒度负查询下普遍存在严重幻觉问题，而FINER-Tuning可以有效缓解这些问题。在FINER-COMPRECAP基准上，InternVL3.5-14B模型在多对象、多属性、多关系和Wh问题上的基线准确率分别为74.5%、68.1%、47.0%和21.8%，经过FINER-Tuning后提升至80.0%、78.9%、71.2%和30.1%，提升幅度分别为5.5%、10.8%、24.2%和8.3%。在FINER-DOCCI基准上，同样的基线准确率为58.6%、55.9%、41.4%和15.6%，FINER-Tuning后提升至65.9%、65.0%、57.0%和23.0%，提升幅度分别为7.3%、9.1%、15.6%和7.4%。值得注意的是，InternVL3.5-14B经过FINER-Tuning后在FINER-DOCCI的三个设置上与Gemini-2.5-Flash打平或接近，而Gemini是更大规模的商业模型。实验还发现，随着问题中对象、属性或关系数量的增加，模型性能普遍下降，但FINER-Tuning的增益在高粒度场景下更大。例如，在6对象、3属性和3关系设置下，FINER-Tuning对InternVL3.5-14B的增益分别为8.3%、19.1%和28.1%。与其他幻觉感知微调方法相比，RLAIF-V、OPA-DPO、RLHF-V等在FINER基准上表现不佳，RLAIF-V-12B在Multi-rel子集上仅获得19.2%的准确率，远低于前沿MLLM，这表明在现有基准上减少幻觉并不直接迁移到FINER基准上。在其他幻觉基准上，FINER-Tuning也带来了一致性改进：在DASH上，InternVL-3.5-8B和14B分别提升6.2%和5.5%；在MMHal-Bench上，InternVL-3.5-14B的幻觉率从11%降至10%；在HaloQuest上，LLaVA-1.6提升19.3%。更重要的是，在六个通用能力基准（MMStar、TextVQA、ChartQA、MMVP、NaturalBench、V星Bench）上，FINER-Tuning没有导致性能下降，反而让InternVL3.5-14B平均提升了1.4%，避免了对齐税问题。人类研究估计在FINER基准上的性能约为80-90%，而最好的模型（InternVL3.5-38B和Gemini-2.5-Flash）在Wh问题上仅达到36.6%和49.6%，表明仍有较大改进空间。

Paired accuracy (Accpaired) results on FINER-CompreCap and FINER-DOCCI
Table 1: Paired accuracy (Accpaired) results on FINER-CompreCap and FINER-DOCCI
Results on hallucination benchmarks including discriminative and generative ones
Table 2: Results on hallucination benchmarks including discriminative and generative ones
Results on six general purpose MLLM benchmarks
Table 3: Results on six general purpose MLLM benchmarks
Ablation study on different training strategies
Table 4: Ablation study on different training strategies
Training-on-subset ablation for FINER-Tuning with InternVL-3.5-8B
Table 5: Training-on-subset ablation for FINER-Tuning with InternVL-3.5-8B
Accpaired versus the number of objects, attributes, and relations
Figure 4: Accpaired versus the number of objects, attributes, and relations
Qualitative examples of FINER-CompreCap MCQs for each category
Figure 5: Qualitative examples of FINER-CompreCap MCQs for each category
查看结构化数据
任务指标本文基线提升
FINER-COMPRECAP Multi-rel 配对准确率 71.2% (InternVL3.5-14B + FINER-Tuning) 47.0% (InternVL3.5-14B) 24.2%
FINER-COMPRECAP Multi-attr 配对准确率 78.9% (InternVL3.5-14B + FINER-Tuning) 68.1% (InternVL3.5-14B) 10.8%
FINER-DOCCI Multi-rel 配对准确率 57.0% (InternVL3.5-14B + FINER-Tuning) 41.4% (InternVL3.5-14B) 15.6%
DASH 准确率 74.5% (InternVL-3.5-8B + FINER-Tuning) 68.3% (InternVL-3.5-8B) 6.2%
MMHal-Bench 幻觉率 10.0% (InternVL-3.5-14B + FINER-Tuning) 11.0% (InternVL-3.5-14B) 降低1.0%
HaloQuest 分数 63.5 (LLaVA-1.6 + FINER-Tuning) 44.2 (LLaVA-1.6) 19.3
通用能力基准平均 平均准确率 69.4% (InternVL3.5-14B + FINER-Tuning) 68.0% (InternVL3.5-14B) 1.4%

局限与改进

作者承认的局限性包括：首先，尽管进行了多阶段过滤，大规模基准并非完全由人工标注，可能仍包含噪声。构建完全无噪声、经过人工全面验证的FINER基准需要大量资源，留给未来工作。其次，基于规则的多选题构建虽然灵活，但可能降低问题的自然性，因为模板生成的问句可能与人类自然表达有所不同。未来工作可以使用LLM或人工重写来改善措辞，同时确保正确性。第三，Multi-rel子集最多包含三个关系，这在有合适数据源的情况下可以扩展到更多关系，以进一步挑战模型的能力。第四，Wh问题对所有模型都极具挑战性，即使InternVL3.5-38B和Gemini-2.5-Flash也仅达到36.6%和49.6%的配对准确率，表明这个方向需要更多研究。作者还指出，FINER-Tuning使用较小的LLM（Phi-4-14B）进行数据生成，虽然提高了可扩展性，但可能不如使用GPT-4V等更大模型生成高质量数据。此外，本文主要关注静态图像的幻觉，没有研究模型在跨模态推理、时间序列或其他模态上的表现。最后，训练数据排除了COCO和DOCCI训练集以避免分布内泄漏，但这可能导致模型在某些常见场景上表现下降，需要进一步研究泄漏控制与泛化能力之间的平衡。

独立分析的弱点

独立分析的弱点包括：首先，FINER基准的负样本生成虽然经过判别器过滤，但仍可能存在语义边界模糊的情况。例如，将深棕色替换为浅棕色时，图像中的实际颜色可能介于两者之间，导致问题无解。改进方向是引入人类对颜色、空间关系等模糊概念的标注，或者使用更精细的视觉特征提取来验证负样本的绝对错误性。其次，FINER-Tuning使用LoRA进行训练，虽然节省计算资源，但可能限制了模型的能力提升。全参数微调或使用其他适配器方法（如Adapter、Prefix Tuning）可能带来更好的效果。第三，DPO训练中的beta=0.1温度参数是基于经验设定的，不同模型可能需要不同的值，需要进行更系统的超参数搜索。第四，FINER主要关注静态图像的幻觉，对于视频、多图像对比、3D场景等动态或复杂视觉场景的幻觉问题尚未涉及，这是重要的扩展方向。第五，Wh问题的表现仍然较差，可能需要专门针对事实性推理的训练策略，如引入外部知识库或强化因果推理能力。第六，评估仅限于配对准确率等指标，缺乏对模型解释性、置信度校准等方面的评估，这些对于实际应用也很重要。第七，训练数据主要来自Pixmo-caption，数据来源相对单一，可能导致模型在某些图像风格或场景类型上表现不佳，需要更多样化的数据源。

未来方向

未来研究方向包括：作者提出的方向是专注于更强的否定感知推理，全面提升MLLM的能力。基于论文成果可延伸的方向有：首先，将FINER扩展到更多模态和场景，如视频理解（细粒度时空关系的否定）、3D场景理解（深度和空间关系的否定）、多图像对比（跨图像关系的细粒度差异检测）。其次，结合外部知识源，如知识图谱或大型语言模型的知识，来增强模型对语义边界的理解，使其能够更好地判断哪些属性或关系组合在语义上是不可能的。第三，研究更复杂的推理策略，如反向推理（从错误结论反推错误前提）、对比推理（同时处理多个候选假设）、以及元认知（模型知道自己不知道什么）。第四，探索更精细的幻觉分类和定位，不仅判断查询是否错误，还要指出具体哪个元素错误以及为什么错误，这需要模型具备更强的可解释性。第五，研究跨语言和跨文化的细粒度查询，因为不同语言对颜色、空间关系的表达可能有差异，这会带来新的挑战。第六，开发更高效的训练方法，如使用更少的数据达到相同效果，或者使用在线学习持续改进模型的幻觉检测能力。第七，研究幻觉检测与生成任务之间的平衡，确保模型在减少幻觉的同时不会过度保守（拒绝应该回答的问题）或失去创造性。最后，将FINER的思想应用到其他任务中，如图像生成（生成与文本精确匹配的图像）、机器人控制（精确执行细粒度指令）等。

复现评估

复现评估方面，论文提供了较为完整的开源支持：代码、基准和模型都在https://explainableml.github.io/finer-project/上公开，这使得其他研究者可以复现实验和在自己的模型上测试。FINER-COMPRECAP包含6300个多对象、3338个多属性、4280个多关系和3166个Wh多选题，FINER-DOCCI包含10000个多对象、28630个多属性、11542个多关系和20944个Wh多选题，规模足够大且多样化。训练数据方面，FINER-Tuning使用Pixmo-caption数据集，避免了COCO和DOCCI训练集的泄漏，但这也意味着复现需要获取Pixmo-caption数据集。算力要求方面，论文使用LLaMA-Factory进行LoRA训练，每个模型训练160k偏好对、一个epoch，在标准GPU集群上应该可以完成。不过，基准构建过程中使用了Gemini-2.0-Flash和Qwen2.5-VL-72B等大模型进行场景图提取和负样本判别，这需要大量计算资源和API调用，可能增加复现难度。论文在补充材料中提供了详细的提示词模板和超参数设置，这对复现有帮助。总体而言，论文的复现难度中等，主要瓶颈在于基准构建阶段的计算成本，但预构建的基准降低了后续研究的门槛。需要注意的是，由于使用了商业API（Gemini），完全复现可能需要API访问权限。

论文图表

Negative Queries from Coarse to Fine Granularity; Comparison between Baseline and FINER-Tuning
Figure 1: Negative Queries from Coarse to Fine Granularity; Comparison between Baseline and FINER-Tuning

图1分为两部分：(a)展示了负查询从粗粒度到细粒度的七个级别示例，从简单的你能看到狼吗到复杂的你能看到那个具有...且头部向后倾斜的猫吗，其中标注了被操纵的元素类型；(b)展示了InternVL3.5-14B基线模型和FINER-Tuning微调模型在七个粒度级别上的准确率对比，使用折线图显示，其中粗粒度对应左侧图表，细粒度对应右侧图表，虚线箭头表示FINER-Tuning带来的提升。图表显示，随着粒度增加，基线模型的准确率从约80%下降到约20%，而FINER-Tuning后的模型下降更为缓慢，特别是在高粒度级别上保持了更好的性能。

这张图对理解论文至关重要，因为它直观地展示了研究的核心发现：MLLM的幻觉问题随着查询粒度的增加而加剧，而FINER-Tuning可以有效缓解这个问题。图1(a)提供了具体的例子，帮助读者理解什么是细粒度负查询；图1(b)用定量数据支持了作者的论点，展示了实际的效果提升。这张图在论文摘要部分就出现，是整篇论文最关键的证据。