世界模型中的幻觉是可预测和可预防的 Hallucination in World Models is Predictable and Preventable

方法分为四个主要步骤。第一步是构建MMBench2数据集并训练基础世界模型。MMBench2包含65600条轨迹（427小时224乘224视频，共2300万帧），跨越210个连续控制任务，涵盖10个领域（DMControl、Meta-World、MuJoCo、ManiSkill3、Box2D、RoboDesk、MiniArcade、OGBench、Continuous Atari等）。其中200个任务用于预训练，10个保留为未见过的迁移任务。世界模型采用Dreamer 4架构：对称编码器-解码器Transformer作为视频tokenizer（各50M参数），250M参数的块因果Transformer作为动力学模型。训练分为两阶段：先通过masked autoencoding训练tokenizer，然后冻结tokenizer通过flow-matching训练动力学模型。 第二步是识别三种幻觉模式。感知幻觉发生在tokenizer编码-解码对上：当观测超出训练分布时，tokenizer将未见过的场景结构投影到训练中见过的最接近的样本，例如将未见过的迷宫布局重建为训练中见过的不同布局。动作边缘化幻觉发生在动力学模型上：给定上下文，预测的下一个潜在状态对输入动作不敏感，rollout视觉上合理但坍塌到动作边缘化的未来。场景发散幻觉发生在多步rollout期间：随着预测水平增加，误差累积，但这里特指预测物理上不可能的事件（如乒乓球比赛中球传送回场内）。 第三步是开发三个幻觉预测器。预测器1是tokenizer往返残差：ur等于z-hat减去Encode Decode z-hat的范数，测量动力学模型预测的下一个潜在状态z-hat经过解码-编码往返后的残差。偏离tokenizer流形的z-hat（如损坏的场景布局或虚构对象）无法在重新编码后存活，产生大的ur。预测器2是流不稳定性：测量动力学头部在给定（上下文，动作）对处的flow不稳定性，具体是去噪器的clean-target预测x-hat-1在连续Euler积分子步之间的移动量，在子步的后半部分取平均。良好条件的动力学头部快速收敛到稳定的x-hat-1（低uf），条件信号弱的头部在子步间持续振荡（高uf）。预测器3是种子间方差：测量在固定过去和动作下，N独立去噪轨迹之间下一个潜在状态预测的方差。种子不agreeing的区域正是多步rollout会分散的区域。为了控制场景运动的混淆，作者提出动态归一化变体unorm等于u除以m，其中m是潜在表示的每步RMS变化。 第四步是提出两种缓解策略。覆盖感知训练通过重新加权现有数据集来上权重状态-动作空间中代表性不足的区域，具体将从按帧均匀采样改为按任务均匀采样。定向数据收集将幻觉预测器作为好奇心奖励驱动定向数据收集：在与实时环境交互时，候选轨迹在世界模型中rollout，用预测的幻觉评分，排名最高的轨迹在环境中执行，产生覆盖了之前导致模型幻觉的转换的数据。实践中，以预测水平H等于32、每K等于16步重新规划的方式进行闭环数据收集。

本文的技术新颖性体现在多个方面。首先，首次系统性地将世界模型幻觉分解为流水线三个阶段的失败模式，并建立了统一的覆盖缺口理论框架。这种分层诊断方法使得能够精确定位幻觉来源并设计针对性的预测器。其次，提出了三种机制上不同的预测器，它们都追踪相同的潜在错误，这提供了强有力的证据表明底层信号是真实的。更关键的是，这些预测器不需要任何标签或额外训练，使其特别适合运行时检测和在线使用。第三，将预测器双重使用——既用于检测又作为好奇心奖励——形成了闭环解决方案，这在世界模型研究中是首创的。第四，覆盖感知训练策略非常简单有效，仅通过改变采样方式（从按帧到按任务）就同时减少了所有三种失败模式，在rollout PSNR上获得了加0.88分贝的提升。第五，MMBench2数据集的独特之处在于同时提供了大规模训练数据（200个任务）、未见过的迁移任务（10个任务）和实时环境，使得能够同时研究训练分布内外的覆盖问题。最后，论文的实验设计非常全面，包括检测验证（AUROC、Spearman相关）、预训练（覆盖感知训练）、定向数据收集（多种数据源比较）和泛化（零样本迁移vs微调），为理解世界模型幻觉提供了全面的实证基础。

独立分析来看，论文存在几个可以改进的弱点。第一，实验规模虽然可观（350M参数，58 GPU天），但仍远小于当前最先进的大型世界模型（如十亿参数级别），作者承认不清楚发现是否扩展到更大规模。改进方向是在更大规模模型上验证相同的假设和预测器。第二，数据集虽然多样化但仍局限于模拟环境，真实机器人数据的缺乏限制了发现的真实适用性。改进方向是扩展到真实机器人数据集，测试传感器噪声、部分可观测性和领域转移对幻觉和缓解策略的影响。第三，定向数据收集实验仅使用50条轨迹，虽然效果显著但未探索更少或更多轨迹的权衡。改进方向是进行轨迹数量的消融实验，确定数据效率边界。第四，论文主要评估MPC性能，但世界模型还有其他重要应用场景。改进方向是扩展评估到策略学习、层次规划、世界模型作为环境模拟器等更多下游任务。第五，三个预测器之间的交互和互补性尚未充分探索。改进方向是分析预测器之间的相关性，研究如何组合它们以获得更强的检测信号。第六，覆盖感知训练仅改变了采样策略，未探索其他重加权方法。改进方向是系统比较采样重加权、损失重加权、困难样本挖掘等方法的效果。第七，未见任务集只有10个任务，可能不足以全面评估泛化能力。改进方向是增加未见任务的数量和多样性，特别是来自新领域的任务。

基于论文成果，有几个值得深入研究的未来方向。作者提出的主要方向是扩展到十亿参数规模和真实机器人数据，验证幻觉是否仍然是数据覆盖问题，以及提出的预测器和缓解策略是否仍然有效。另一个方向是探索更多样的下游任务评估，如策略学习、层次规划、多智能体交互等，以更全面地理解世界模型的实用价值。基于论文发现，可以延伸的方向包括：1）研究预测器的理论性质，建立数据覆盖与幻觉预测器之间的理论联系，可能需要新的数学工具；2）开发自适应数据收集策略，动态调整好奇心目标，平衡探索和利用；3）研究在线学习和持续学习场景，世界模型需要在部署过程中不断适应新环境；4）探索预测器在其他生成模型中的应用，如视频生成、图像生成等，看覆盖缺口理论是否适用；5）研究幻觉检测与可解释性的关系，可能预测器能够帮助理解模型的决策边界和失败模式；6）开发更高效的幻觉检测算法，减少计算开销使其适合实时应用；7）研究多模态世界模型中的幻觉，如结合语言指令、触觉反馈等；8）探索自动化数据生成方法，如使用其他世界模型或仿真器生成覆盖缺口的数据；9）研究人类反馈在幻觉缓解中的作用，可能结合人类判断来调整预测器或数据收集策略；10）开发标准化的幻觉评估基准，使不同方法能够公平比较。

论文的复现性评估相对较好。作者承诺发布完整数据集、训练和评估代码、模型检查点以及与世界模型进行开放式交互的浏览器界面（https://nicklashansen.com/mmbench2）。这是非常难得的，因为大多数世界模型研究只发布代码而不发布数据或检查点。数据集MMBench2包含65600条轨迹（427小时视频，2300万帧），跨越210个任务，规模足够进行充分的实验验证。计算资源需求明确：tokenizer预训练需要8乘NVIDIA H100 GPU训练300k步（14 GPU天），动力学模型预训练需要180k步（24 GPU天），最终检查点总共58 GPU天。虽然成本较高但并非不可企及，许多研究机构都有类似的计算资源。实现细节在附录中提供了充分的描述，包括超参数、训练配方和评估设置。论文还提供了详细的任务列表（附录C）和数据收集过程（附录D），这有助于理解数据的来源和多样性。潜在的限制是：1）MMBench2的某些任务可能依赖特定版本的模拟器或环境，版本兼容性可能影响复现；2）虽然承诺开源，但实际可用的代码质量和文档完整性还需验证；3）浏览器界面虽然有助于交互式探索，但其API是否公开允许自动化评估尚不明确；4）58 GPU天的计算成本对一些研究者可能仍是障碍。总体而言，论文的复现性处于良好水平，主要障碍是计算成本而非开放性或文档质量。