OSCAR：在线自校准对抗视觉-语言模型幻觉 Online Self-Calibration Against Hallucination in Vision-Language Models

OSCAR实现分五环节。(1)句式化:图像与指令送入 $\pi_\theta$,句子边界截断,动作 $a_t$ 是完整一句话。(2)MCTS:Selection按PUCT $a^*=\arg\max_a Q+c_{puct}\cdot p(a|s)\sqrt{N(s)}/(1+N(s,a))$,$p(a|s)=\pi_\theta(a|s)/|a|^\lambda$;Expansion采样;Evaluation双粒度;Backpropagation按 $\gamma$ 更新 $Q$。(3)双粒度奖励:过程 $r_{proc}=p_\theta(\text{"No"})$;结果门控 $g=\mathbf{1}[O\subseteq O_{gt}]$,$g=1$ 才打分。(4)偏好对:全局 $y^+=\arg\max Q(y)$、$y^-=\arg\min Q(y)$;兄弟比较找最差兄弟。(5)迭代DPO:LoRA rank 128,学习率 $1\times 10^{-5}$,温度 $\beta=0.1$,每轮120k偏好对,迭代3轮。

技术新颖性体现在四个层面。第一,首次在LVLM幻觉缓解中把MCTS用于"偏好数据构造",利用lookahead抑制级联幻觉——beam search只能看一步,而MCTS能跨多句传播叶节点奖励,这是OSCAR能在CHAIR$_S$ 上比self-rewarding beam search基线再降6.4个百分点的关键机制。第二,提出Generative-Discriminative Gap作为"内置监督信号":模型在判别式prompt下能把CHAIR$_S$ 从49.0%自动校正到36.0%,这一观察此前未被用作训练信号,OSCAR把它直接形式化为过程奖励 $r_{proc}$,把"模型自己知道但说不出来"的知识转成训练信号。第三,门控结果奖励 $g$ 用COCO类别的硬包含校验,避免LLM-judge的"幻觉宽容",使结果奖励只在视觉忠实的前提下才生效。第四,迭代式DPO把"模型→数据→模型"做成闭环,使训练分布跟随模型能力演进——OSCAR在LLaVA-1.5-13B上Iter3的CHAIR$_S$ 5.4%相比Iter1的16.4%下降67%,证明在线学习确实在持续收紧感知边界。

独立分析OSCAR的弱点可归纳为四条。第一,Generative-Discriminative Gap虽被巧妙利用,但判别式prompt"图中是否有X?"对"X不存在"的回答依赖模型的yes/no对齐能力,当模型在抽象概念、属性形容词等类别上判别本身也弱时,过程奖励 $r_{proc}$ 就退化为噪声;改进方向是引入类别敏感的判别prompt。第二,门控 $g=\mathbf{1}[O(y_{rollout})\subseteq O_{gt}]$ 是硬包含,若数据集标注本身有漏标(如没标小物体),模型会因门控过严而得不到训练信号;改进方向是换成soft门控,用Recall/overlap ratio作为连续权重。第三,MCTS句级粒度使每轮偏好对规模很大(120k×3 iter),且必须等MCTS全部跑完才能做DPO更新,串行依赖严重;改进方向是异步并行化。第四,reward设计完全基于COCO物体集合,无法处理非物体幻觉(属性错误、空间关系、计数错误);改进方向是扩展到属性集、关系三元组,或引入VQA-based verifier代替noun matching。

作者在结论中明确指出,OSCAR"为构建更可靠的视觉-语言系统提供了尊重模型内在感知边界的新视角"。基于成果可延伸的方向至少有三个:一是把Generative-Discriminative Gap的思想扩展到其他模态(视频理解、音频-文本),验证其在时序幻觉、声音幻觉上是否同样适用;二是把MCTS+双粒度奖励与可解释性研究结合,显式可视化"哪些早期token被反传奖励抑制",辅助幻觉溯因;三是把在线自校准范式从LLaVA-1.5迁移到更强的backbone(Qwen2.5-VL、InternVL3)以及reasoning-enhanced LVLM,研究在已有CoT能力的模型上,OSCAR的句级MCTS是否能进一步提升视觉推理忠实度;此外,与RLHF/RLAIF结合做reward shaping、或把判别器换成专门训练的hallucination critic也是值得探索的方向。

论文复现难度中等偏上。作者给出了较完整的实现细节:base model为LLaVA-1.5-7B/13B,训练数据从LLaVA-150k采样,每轮构造120k偏好对,MCTS超参为 $c_{puct}=1.0$、$\lambda=1.25$、$\delta_Q=0.05$、$\tau_{sim}$ 未明确;DPO用LoRA rank 128、$\alpha=256$,Adam学习率 $1\times 10^{-5}$,温度 $\beta=0.1$,迭代3轮。评测基于POPE、AMBER、Object-HalBench、MM-VET四个公开基准,代码承诺开源。但仍有若干复现阻力:其一,MCTS需多次LLM forward和greedy rollout,7B模型3轮迭代估计需要数百GPU小时(作者使用内部集群,未公开具体卡数);其二,LLM-judge用于结果奖励评分,需调用开源LLM,具体型号与prompt未在正文给出;其三,门控中COCO同义词词典未在文中列出,需自行构建;其四,论文发布时未附代码链接,需等待官方repo放出后才能完整复现。