在不确定性中思考：利用潜在熵感知解码缓解多模态大推理模型的幻觉 Thinking in Uncertainty: Mitigating Hallucinations in MLRMs with Latent Entropy-Aware Decoding

LEAD 的完整解码流程如下：步骤一，模型正常进行自回归推理，在每一步 $t$ 输出词汇表上的概率分布 $p_t$ 并计算熵 $H_t = -\sum_v p_t[v] \log p_t[v]$。步骤二，判断是否需要模式切换：将当前熵 $H_t$ 与参考熵阈值 $\hat{H}$ 比较。如果 $H_t < \hat{H}$（不确定性下降），切换到离散模式，使用采样 token 的嵌入 $e(r_t)$ 作为下一步输入；如果 $H_t \geq \hat{H}$（不确定性上升或持平），切换到潜在模式，使用概率加权嵌入 $\mathbb{E}_{v \sim p_t}[e(v)]$ 作为下一步输入。步骤三，持久窗口控制：对于离散→潜在的切换，要求模型在离散模式至少持续 $W_{D \to L}$ 步后才允许切换（默认 128 步），避免频繁震荡；潜在→离散的切换则可以立即发生。参考阈值在每次模式切换时更新为当前熵值。步骤四，视觉锚点注入：当模型首次进入潜在模式的那一步 $t^\star$，将预训练视觉特殊 token 的平均嵌入 $e_{vis}$ 与当前加权嵌入混合：$\tilde{e}_{t^\star} = (1-\lambda)\mathbb{E}_{v \sim p_{t^\star}}[e(v)] + \lambda e_{vis}$，其中 $\lambda$ 为注入强度（实验最优值为 0.4）。步骤五，切换次数限制：设置全局切换上限 $C_{max}=5$，超过后模型强制进入离散模式生成最终答案。步骤六，答案生成：当模型生成 ⟨/think⟩ token 后，进入回答阶段，使用标准离散解码生成最终答案。

LEAD 的技术新颖性体现在以下几个方面：第一，首次系统地建立了'过渡词→高熵状态→幻觉'的因果链，这一发现本身就是一个重要洞察——之前的幻觉分析工作多从注意力分布或特征空间角度出发，而本文从 token 级概率分布的熵入手，提供了一个更直接、可操作的分析维度。第二，将'叠加表示'思想引入推理模型的解码阶段：已有工作（如 Hao et al. 2024 的 Coconut）在潜空间中进行整个推理过程，需要模型重新训练；而 LEAD 只在高熵阶段使用连续嵌入，且作为即插即用的解码策略，不需要任何额外训练。第三，'熵感知'的自适应切换机制是全新的——LEAD 不是简单地用连续嵌入替代离散嵌入（那样会导致语义漂移），而是根据模型的内部不确定性动态切换，让模型在'探索'和'收敛'之间取得平衡。第四，视觉锚点的'一次性注入'设计（只在高熵阶段的第一个 token 注入）既提供了视觉引导，又不会过度干扰后续的自适应推理。

从独立分析的角度看，LEAD 存在以下弱点和改进方向：（1）熵阈值的动态更新策略过于简单——每次模式切换时将参考熵更新为当前熵值，这意味着阈值会随推理进程自然下降（因为模型逐渐收敛），但在复杂推理中可能出现'熵反弹'，此时阈值可能不再适用。改进方向：可以引入指数移动平均（EMA）或多窗口统计来更稳健地估计阈值。（2）视觉锚点注入只使用视觉特殊 token 的平均嵌入，这是一种粗粒度的视觉引导。在实际场景中，不同问题关注的图像区域不同，改进方向：可以利用注意力图或显著性检测来提取与当前查询最相关的视觉区域嵌入，实现更精细的视觉引导。（3）持久窗口大小是固定的（默认 128），但不同推理任务的复杂度差异很大。简单问题可能不需要这么久的离散推理，而复杂问题可能需要更长时间。改进方向：可以设计自适应窗口大小，根据推理链的语义连贯性动态调整。（4）LEAD 对所有模型使用相同的超参数设置，但论文中不同模型的最佳超参数可能不同（如 Vision-R1 和 R1-Onevision 在不同注入强度上表现不同）。改进方向：可以引入自动超参数搜索或元学习策略。（5）论文发现高熵 token 与幻觉的相关性，但未深入分析因果关系——高熵是幻觉的'原因'还是'症状'？如果只是症状，那么在高熵阶段切换推理模式可能只是治标不治本。

基于 LEAD 的发现和成果，可以延伸出以下研究方向：第一，将 LEAD 扩展到视频多模态推理场景——视频中的时序信息引入了更多不确定性，LEAD 的熵感知切换机制可能对视频推理中的幻觉有独特价值。第二，探索 LEAD 与训练策略的结合——当前 LEAD 是纯解码阶段的方法，如果在 RL 训练过程中引入熵感知的奖励信号（如对高熵阶段的推理路径给予更细致的奖励），可能进一步提升模型的推理鲁棒性。第三，深入研究'叠加表示'在推理中的作用机制——LEAD 的潜在推理模式本质上是一种简化的叠加表示，可以探索更复杂的连续推理空间设计，如在高维潜空间中维护推理树而非线性链。第四，将 LEAD 的分析框架应用于其他类型的幻觉——如长文本生成、代码生成中的幻觉是否也与 token 级不确定性相关。第五，探索 LEAD 在多轮对话场景中的应用——每轮对话都可能引入新的不确定性，LEAD 的自适应切换机制可能有助于保持多轮推理的连贯性。

从复现角度来看，LEAD 的复现条件相当友好。论文已在 GitHub 上开源代码（https://mlrm-LEAD.github.io/），基于 PyTorch 实现。LEAD 作为一种解码策略，不需要修改模型权重或进行额外训练，只需要在推理时插入熵计算和模式切换逻辑。算力需求方面，所有实验在 7B 模型上进行，推理阶段需要一张中高端 GPU（如 A100 或 H100）即可运行，但论文未报告具体的 GPU 内存和推理时间数据。数据集方面，论文使用的所有 benchmark（VStar、MMEval-Pro、MMHalu、Bingo、POPE、MathVision、MathVista 等）均为公开数据集，获取门槛低。LEAD 的主要超参数包括熵阈值（论文推荐使用动态阈值策略）、持久窗口大小（推荐 128）、视觉注入强度（推荐 0.4）、最大切换次数（推荐 5），这些值在论文中都有明确说明。总体而言，复现难度为中等偏低，主要挑战在于需要加载多个 7B 模型进行对比实验，以及需要理解论文中的熵计算和模式切换逻辑。