← 返回 2026-04-22

基于阶段式自奖励的多模态幻觉缓解方法 Mitigating Multimodal Hallucination via Phase-wise Self-reward

Yu Zhang, Chuyang Sun, Kehai Chen, Xuefeng Bai, Yang Xiang, Min Zhang 📅 2026-04-20 👍 3 2026-07-13 08:36
LVLM 判别式奖励模型 多模态幻觉 对比解码 推理时解码 自奖励学习
arXiv HuggingFace PDF

通过分析幻觉在生成过程中的阶段式动态规律，蒸馏轻量自奖励模型，在解码实时介入抑制幻觉。

前置知识

大型视觉-语言模型 (LVLM)

LVLM 指能够同时处理图像和文本并生成自然语言描述的模型，典型代表如 LLaVA-1.5、InstructBLIP、LLaVA-NeXT 等。它们通常以 CLIP 视觉编码器提取图像特征，再通过投影层接入到大语言模型中。

本文研究的核心对象就是 LVLM 中的'视觉幻觉'现象——模型生成看起来流畅但与图像内容不符的描述，必须先理解 LVLM 的工作方式才能理解 PSRD 在哪个环节进行干预。

多模态幻觉 (Multimodal Hallucination)

指 LVLM 生成的文本中包含图像里不存在或不正确的物体、属性、关系。例如图像里没有'狗'，但模型描述称'图中有一只狗在草地上跑'。这通常用 CHAIR 指标（统计被错误提及物体占总物体数的比例）和 Hal/Cog 等细粒度指标来量化。

幻觉是 LVLM 在真实应用中最严重的可靠性问题，本文的所有实验都围绕'减少幻觉率'展开，是结果评估的核心维度。

对比解码 (Contrastive Decoding)

一种解码时干预技术，通过对比'正常输入下的 logits'与'扰动输入（如加噪图像）下的 logits'，用两者之差作为调整项来抑制幻觉倾向。代表方法有 VCD、M3ID 等。

PSRD 把对比解码 VCD 作为最底层的'介入原语'，再在外层用奖励模型决定是否介入以及介入强度，是建立在对比解码之上的二级框架。

置信度/不确定度信号 (Uncertainty Signals)

模型对自己输出有多确定的内部度量。文中用 LVLM 对'(Grounded, Hallucinated)'二分类的 softmax 概率作为不确定度：两个概率值越接近 0.5，说明模型越不确定，这种样本被视为'噪声大、标签不可靠'，在训练奖励模型时权重调低。

不确定度加权是 PSRD 训练奖励模型的关键机制，使得自监督弱标签也能训练出鲁棒的判别器，避免被错误伪标签误导。

CLIP 视觉-语言对齐分数

CLIP 通过计算图像嵌入 $\mathbf{v}_I$ 与文本嵌入 $\mathbf{t}_S$ 的余弦相似度 $\cos(\mathbf{v}_I, \mathbf{t}_S)$ 来衡量图文匹配程度，分数越高代表越对齐。

PSRD 的轻量奖励模型以 CLIP 为骨架，其打分的本质就是'图像-句子对齐度'，但用三种专门损失函数重新校准，使它专门用于区分幻觉与真实描述。

研究动机

虽然 LLaVA-1.5-7B 等大型视觉-语言模型在多种多模态任务中表现出色，但它们普遍存在严重的'视觉幻觉'问题——生成的文本描述与输入图像内容不一致，例如图像里只有一只猫，模型却说'图中有两只猫在沙发上打闹'。现有缓解方法主要有两类缺陷：第一类是基于 DPO 等偏好对齐方法（如 LLaVA-DPO、RLAIF-V、HDPO）需要大规模人工标注或模型蒸馏的偏好数据，并要全参数微调 LVLM，计算开销动辄需要数十块 A100 训练数十小时；第二类是推理时的事后干预方法（如 VCD、M3ID、OPERA）要么只在生成完整句子后做一次纠正，要么在每个解码步都对 logits 施加固定的对比惩罚，没有识别'幻觉最容易爆发的关键节点'，导致介入成本高且精度有限。这两类方法都不能在'幻觉刚开始冒头'的早期阶段实施精准干预。

本文的目标是本文提出一种全新的'自奖励推理框架' PSRD (Phase-wise Self-Reward Decoding)，目标是在不进行任何外部标注、不微调底座 LVLM 的前提下，仅在推理阶段就能实现'动态、精确、按需触发的幻觉抑制'。具体而言，作者希望通过分析幻觉在生成过程中的动态规律，找到幻觉最易发生的'关键节点'，并训练一个轻量的奖励模型在那些节点实时打分，触发对比干预，最终将 LLaVA-1.5-7B 的幻觉率降低约 50%。

与已有工作不同的是，本文切入角度的独特性体现在三个层面：第一，分析视角上，从'句子级/词级'细化到'阶段内的词级相对位置'，揭示出每个语义阶段（如一段描述中的子句）起始位置的幻觉率明显高于中后段，这一现象此前未被清晰刻画；第二，技术路线上，提出把 LVLM 自身的判断能力（confidence）蒸馏到一个独立的 CLIP 骨架奖励模型中，避免在解码时反复调用昂贵的 LVLM 做自评估；第三，介入策略上，采用两阶段 'Scout-and-Project'（侦察-投影）有界搜索算法，仅在'前 k 个候选 token'且'奖励分数不达标'时才启动连续干预强度 α 的搜索，并以最便宜的 VCD 对比解码为底层干预原语，确保任何奖励评估都对应一组有限的解码尝试。

核心方法

PSRD 的整体思路可概括为'先观察、再建模、后干预'。第一步先在 COCO 2014 上用 LLaVA-1.5-7B 生成图像描述，借助标点符号与 spaCy 句法分析把每条描述切成若干语义连贯的'阶段'（phase），并利用 LLaVA 内部的 softmax 置信度作为弱监督信号，统计出每个位置出现幻觉的概率（图 2），发现每个阶段的'起始词'幻觉率显著高——这就是'阶段式动态规律'的发现。第二步把带有不确定度加权的弱标签蒸馏到一个以 CLIP 为骨架的轻量奖励模型 R 中，使用 $\mathcal{L}_{DA}$（判别式对齐）、$\mathcal{L}_{\text{Margin}}$（边界强化）、$\mathcal{L}_{HC}$（幻觉一致性）三个损失联合训练，让 R 能给任意 (图像, 句子片段) 对打出'是否幻觉'的连续分数。第三步在解码时采用 Scout-and-Project 策略：对前 K 个候选起始 token 先以零干预强度快速打分排序（Scout），若任一候选已经超过阈值 $\tau$ 则直接采用，否则对该分支用割线法在有界区间 $[0, \alpha_{\max}]$ 内逐步调整对比干预强度 α（Project），一旦分数达标立即采纳。整套方法只在训练奖励模型阶段需要算力（约 7.5 小时 × 8×RTX 4090），对底座 LVLM 不做任何参数更新。

PSRD 与已有方法的核心区别在于'动态、按需、可控'三点：其一，它首次把幻觉抑制的时机精细到'每个语义阶段的起始 token'，而非整句均匀处理，从而把宝贵的对比干预'省'在最关键处；其二，它把 LVLM 的自评估能力蒸馏为一个独立的轻量判别式奖励模型，使得每次介入评估只需调用一个 CLIP 而非整个 LVLM，推理效率比在解码循环中反复提示 LVLM 自我检查高出一个数量级；其三，采用'阈值 τ 即可控'的设计——调高 τ 节省时间、调低 τ 追求极致幻觉率，使系统在效果与效率之间具有高度可调节的旋钮。

方法步骤详情

完整方法流程分为训练阶段与解码阶段两大部分。训练阶段：(1) 数据构造——从 COCO 2014 中采样图像，用 LLaVA-1.5-7B 在'原始/加噪图像 × 标准 prompt/诱导性 prompt'四组配置下生成约 400k 非幻觉与 40k 幻觉描述三元组 $(I, s^+_k, s^-_k)$；(2) 阶段切分——通过标点与 spaCy 句法把描述切成多个 phase $s = \{s_1, s_2, \dots, s_n\}$；(3) 不确定度信号——把每个 phase 与原图送回 LLaVA，让它做 Grounded/Hallucinated 二分类，取最终 token 的隐藏表示 $h_{s_i}$ 经 unembedding 矩阵投影后做 softmax 得到 $(p^+, p^-)$；(4) 奖励模型训练——冻结的 CLIP 提取图文嵌入 $\mathbf{v}_I, \mathbf{t}^+_k, \mathbf{t}^-_k$，计算对齐分数 $c^+ = \cos(\mathbf{v}_I, \mathbf{t}^+_k)$ 与 $c^- = \cos(\mathbf{v}_I, \mathbf{t}^-_k)$，以 $p^+ \cdot p^-$ 作为联合调制权重，同时优化三个目标：交叉熵对齐 $\mathcal{L}_{DA}$、间隔边界 $\mathcal{L}_{\text{Margin}}$（间隔 $\delta = 0.3$）、同图幻觉紧凑性 $\mathcal{L}_{HC}$（鼓励同一图像的幻觉样本聚拢），总损失为 $\mathcal{L}_{\text{total}} = \lambda_1\mathcal{L}_{DA} + \lambda_2\mathcal{L}_{\text{Margin}} + \lambda_3\mathcal{L}_{HC}$，其中 $(\lambda_1, \lambda_2, \lambda_3) = (1.0, 2.4, 0.1)$。解码阶段遵循 Algorithm 1 的 Scout-and-Project 流程：先在前 K=5 个候选 token 上以 α=0 做零成本侦察，若 $\max_k R(k, 0) > \tau=30\%$ 则立即采用；否则按得分排序，对每个分支初始化 $\alpha_{\text{curr}}=\delta=0.5$，用局部有限差分 $m \approx (R(k^*, \delta) - R(k^*, 0))/\delta$ 估计斜率，按 $\alpha_{\text{next}} = \alpha_{\text{curr}} + 1.1 \cdot (\tau - s_{\text{curr}})/m$ 投影下一个 α，clip 到 $[0, \alpha_{\max}=3.0]$，若斜率非正则跳过该分支。整体过程每 phase 平均只增加少量候选评估，使得总推理开销可控。

技术新颖性

技术新颖性主要体现在四方面：第一，'阶段式动态规律'作为一个新发现（hallucination peaks at the onset of each semantic phase）被首次清晰刻画，作者用词级相对位置 j∈[0,1] 统计函数给出了直接证据；第二，提出'不确定度加权的自奖励蒸馏'配方，把 LVLM 内部 softmax 分数作为联合调制系数 $p^+_I,k \cdot p^-_I,k$，巧妙压制不可靠伪标签的过拟合风险，这是单纯用 CLIP 相似度无法做到的；第三，设计了显式包含一致性正则项 $\mathcal{L}_{HC}$ 的判别式奖励模型，使幻觉相关特征从通用图文对齐空间中分离出来，作者用分布可视化（图 4）证明加 $\mathcal{L}_{HC}$ 后正负样本重叠比从 0.362 降到 0.348；第四，'Scout-and-Project' 是一个面向离散解码空间的实用有界搜索启发式，明确不假设奖励景观的全局单调性，并具备分支回退机制，与传统上假设 RLHF 全局可微的方法有本质区别。

Illustration of the proposed PSRD framework
Figure 1: Illustration of the proposed PSRD framework
Scout-and-Project Threshold Search
Algorithm 1: Scout-and-Project Threshold Search

实验结果

在 AMBER、MMHal-Bench、Object HalBench 三个生成式基准上，PSRD 应用到 LLaVA-1.5-7B 后，CHAIR 指标从 7.8 降到 3.9，相对减少 50.0%，并在所有 post-hoc 方法中均取得最佳；具体看，AMBER 上 Cover=48.2、Hal=20.1、Cog=2.0；MMHal-Bench 的 Overall 评分 2.92、Hal=0.49；Object HalBench 的 CHAIR$_S$=10.1、CHAIR$_I$=4.1，相比之前最强的 Octopus（20.8/6.6）几乎对半砍下。在判别式 POPE 与 AMBER 判别任务上（表 3），PSRD 在 F1 分数上分别提升 5.6 个点（89.8 vs OPERA 系列）与 13.9 个点（85.0 vs 71.1），其中 POPE 的 ALL F1 高达 86.0。跨模型泛化实验（表 4）显示同一个由 LLaVA-1.5-7B 蒸馏出的奖励模型直接迁移到 InstructBLIP-7B（CHAIR 8.4→4.4、Hal 31.1→20.9）、LLaVA-NeXT-7B（CHAIR 7.1→4.7、Hal 37.6→21.1）、LLaVA-1.5-13B（CHAIR 6.7→4.7）均一致取得最佳，验证了奖励模型的跨架构可迁移性。幻觉传播实验（图 3）显示 LLaVA-1.5-7B 的平均阶段级幻觉累积率 $R_{\text{acc}}$ 为 0.3529%，M3ID 是 0.4012%，PSRD 仅 0.0734%，约为前两者的 1/7，说明在 phase 起始介入确实切断了后续阶段的连锁放大。Reward 模型自身的判别能力（表 5）在 AMBER HalDet 上达到 ACC=80.5、F1=88.7，显著高于 Open-CLIP（84.7）反向表现泛化（以小搏大）。人评对比（500 个 AMBER 样本）显示 PSRD 在 48.5% 案例上胜过 M3ID，仅在 37.5% 落败，其余 14.0% 持平，说明高质量抑制并未牺牲流畅性。

Comparison with the state-of-the-art methods for the generative hallucination mitigation tasks across three benchmarks
Table 1: Comparison with the state-of-the-art methods for the generative hallucination mitigation tasks across three benchmarks
Comparison with the state-of-the-art methods for the generative hallucination mitigation tasks across three benchmarks (Object HalBench view)
Table 2: Comparison with the state-of-the-art methods for the generative hallucination mitigation tasks across three benchmarks (Object HalBench view)
Comparison with the state-of-the-art methods for the discriminative hallucination mitigation tasks across two benchmarks
Table 3: Comparison with the state-of-the-art methods for the discriminative hallucination mitigation tasks across two benchmarks
Results on the AMBER generative benchmark for LLaVA-Next-7B, InstructBLIP-7B, LLaVA-1.5-13B
Table 4: Results on the AMBER generative benchmark for LLaVA-Next-7B, InstructBLIP-7B, LLaVA-1.5-13B
Experimental results on the AMBER HalDet and MHal-detect datasets
Table 5: Experimental results on the AMBER HalDet and MHal-detect datasets
Ablation study on the AMBER and MHal-Detect datasets
Table 6: Ablation study on the AMBER and MHal-Detect datasets
Ablation of hyperparameters in Efficient Reward-guided Targeted Intervention
Table 7: Ablation of hyperparameters in Efficient Reward-guided Targeted Intervention
Quantitative results of phase-specific hallucination mitigation
Figure 3: Quantitative results of phase-specific hallucination mitigation
Distribution of reward model output scores under different training settings
Figure 4: Distribution of reward model output scores under different training settings
Trade-off between hallucination mitigation effectiveness and efficiency of the proposed PSRD on the Object HalBench
Figure 5: Trade-off between hallucination mitigation effectiveness and efficiency of the proposed PSRD on the Object HalBench
查看结构化数据
任务指标本文基线提升
AMBER 生成式幻觉（CHAIR） CHAIR ↓ 3.9 7.8（LLaVA-1.5-7B 原始） ↓ 50.0%
AMBER 生成式（Hal） Hal ↓ 20.1 36.4（LLaVA-1.5-7B） ↓ 44.8%
MMHal-Bench Overall ↑ / Hal ↓ 2.92 / 0.49 1.55 / 0.76（LLaVA-1.5-7B） +88.4% / -35.5%
Object HalBench CHAIR$_S$ ↓ / CHAIR$_I$ ↓ 10.1 / 4.1 46.3 / 22.6（LLaVA-1.5-7B） -78.2% / -81.9%
POPE 判别式 ALL Accuracy / F1 86.1 / 86.0 82.0 / 80.4（LLaVA-1.5-7B） +4.1 / +5.6 pt
AMBER 判别式 Accuracy / F1 81.2 / 85.0 67.0 / 71.1（LLaVA-1.5-7B） +14.2 / +13.9 pt
幻觉传播累积率 $R_{\text{acc}}$ 阶段级累积率 ↓ 0.0734% 0.3529%（LLaVA-1.5-7B）/ 0.4012%（M3ID） 约 -4.8× / -5.5×

局限与改进

PSRD 的局限主要体现在以下几点：(1) 阶段切分依赖标点和句法分析，在没有明显分隔符的长句或非英语文本里可能切分失败（附录 D.6 显示基于熵的边界能给出接近但略低的 Cover=46.6 vs 48.2）；(2) $\mathcal{L}_{\text{Margin}}$ 移除后 CHAIR 退化 1.3，说明间隔 $\delta$ 与损失权重对训练动态敏感，需要靠 Figure 8 的'幅值平衡'论证来人工设定；(3) 训练奖励模型仍需约 7.5 小时 × 8×RTX 4090，相比纯 VCD 推理时开销不算极小；(4) 跨模型迁移文中只展示三种 LVLM，对更远离训练分布的模型（如闭源 GPT-4V）暂未验证；(5) Scout-and-Project 算法依赖阈值 τ 调参，附录 D 表 9 显示面对'对抗性强幻觉诱导 prompt'下 CHAIR 仅从 9.0→5.0，仍有 5.0 个单位的幻觉残余；(6) PSRD 与同类 post-hoc 方法一样，最终还是用 VCD 作为底层干预原语，因此 M3ID、AVISC 这类在注意力层做复杂操作的方案对其影响仍无法规避。

独立分析的弱点

独立分析可识别以下弱点：(1) 阶段切分对中文等无空格标点语言鲁棒性不强，且引号、对话描述常被错误切开，需要引入更强的句法/语义分割模型；(2) 不确定度信号完全依赖 LVLM 自身的置信度，如果 LVLM 在某类图像上系统性过度自信（如医学图像、细粒度场景），伪标签质量下降从而奖励模型判别能力下降，建议扩展为多 LVLM 投票的不确定度估计；(3) 当面对对抗性诱导 prompt（附录表 9）CHAIR 仍为 5.0，意味着局部干预对'全局规划型幻觉'无效，应结合句子级的全局修订后处理（如 Woodpecker 风格）补强；(4) 算法中 $\tau, K, \delta, \alpha_{\max}, \eta$ 共 5 个超参数需手动调整，对部署门槛较高，可考虑自适应阈值或元学习控制器；(5) 奖励模型架构用冻结 CLIP 限制了特征表达能力，对复杂细粒度物体的幻觉区分不如专门训练的视觉 grounding 模型，可能受益于 EAZY 那种'Hallucinatory Image Tokens'分析。

未来方向

基于本文发现和成果，可以延伸以下方向：(1) 文中提出了'识别比生成更可解'的不对称洞见（§6），未来可以探索把这种自奖励蒸馏扩展到对话、视频、3D 等更长 horizon 的多模态任务，甚至把奖励模型当作策略网络与底座 LVLM 形成在线协同进化；(2) 把 Phase-wise 概念推广到'语义跃迁'更普遍的场景，比如代码生成中的函数级、对话中的话轮级；(3) 与偏好强化学习结合：先用 PSRD 的轻量奖励做在线判别，再以 RLHF 形式微调底座 LVLM，预计可在保留 PSRD 推理效率优势的同时进一步降低幻觉率；(4) 把不确定性从 softmax 概率拓展到贝叶斯、集成、Dropout 等更可靠的估计；(5) 探索端到端联合训练 LVLM 与奖励模型，避免两阶段蒸馏所需的算力开销。

复现评估

本文给出的可复现性证据较为充分：算法 1 列出了完整伪代码；附录 C.1 详述奖励模型训练的超参 $(\lambda_1,\lambda_2,\lambda_3,\delta)=(1.0,2.4,0.1,0.3)$，优化器 SGD、lr=1e-4、batch_size=64、epochs=5；硬件为 8 块 RTX 4090，训练 7.5 小时；解码默认 $(K,\delta,\alpha_{\max})=(5,0.5,3.0),\tau=30\%$；评测基准 POPE、AMBER、MMHal-Bench、Object HalBench、AMBER HalDet、MHal-detect 全部是开源且标准化的；基线对比直接引用各篇论文原报告结果。代码和数据尚未在文中明确给出开源链接，相比同时期的 Octopus、MRGD 等工作复现门槛略高。一台单卡 A100/4090 即可重放单阶段实验，但完整训练流水线需要 8 卡。

论文图表

Characterization of dynamic hallucination patterns across and within generation phases
Figure 2: Characterization of dynamic hallucination patterns across and within generation phases

上方柱状图给出 COCO 上 500 张图 7.8 phase 位置的平均 phase-level hallucination rate（从首个 phase 的 14.6% 到后续阶段的 17–17.7% 平稳但偏高），下方曲线给出 phase 内 10 个归一化位置（j=0..9）的 word-level hallucination rate，从 j=0 的约 6.76% 显著下降到 j=9 的约 3.01%，清晰显示每个 phase 起始位置（j=0）出现幻觉的比例是 phase 中末段的近两倍。

这是'阶段式动态规律'发现的直接证据，下文 PSRD 的所有干预策略都从这里引出，是 motivation 与 method 之间承上启下的关键图。