视觉生成通过多模态世界模型实现类人推理 Visual Generation Unlocks Human-Like Reasoning through Multimodal World Models
视觉生成作为世界模型在物理世界任务中显著优于纯语言推理
前置知识
世界模型（World Model）
世界模型是对环境内部结构和动态的抽象表征，能够支持推理和决策。在人类认知中，心理模型允许人们通过心理模拟来预测行动结果而无需实际执行。在AI中，世界模型通常通过学习状态转移函数 $p(s'|s,a)$ 来实现，可以支持两种核心能力：世界重建（从部分观测推断完整结构）和世界模拟（预测未来状态变化）。现代生成模型通过端到端的新视角生成 $p_\theta(o^{\phi_{n+1}} | o^{\phi_1}, \ldots, o^{\phi_n})$ 来隐式实现这些能力。
本文的核心论点是视觉生成可以作为世界模型来增强推理，因此理解世界模型的概念是理解整篇论文的基础
统一多模态模型（Unified Multimodal Model, UMM）
统一多模态模型是能够同时进行语言理解和生成、视觉理解和生成的单一模型架构。与传统的VLM（仅处理视觉输入但只输出文本）不同，UMM可以在同一个backbone中生成文本和图像。本文使用的BAGEL是一个代表性UMM，它使用flow-based建模处理连续视觉token，同时用自回归next-token预测处理语言。
本文研究的核心问题就是UMM的视觉生成能力是否能反过来增强推理能力，因此UMM是实验的基础设施
思维链推理（Chain-of-Thought, CoT）
思维链推理是一种让模型逐步展示推理过程的方法，而非直接给出答案。传统CoT是纯文本的，本文扩展了这一概念，提出三种CoT形式：隐式世界建模（不显式追踪状态）、语言世界建模（用文字描述状态）、视觉世界建模（在推理步骤中交织生成图像）。推理过程被形式化为 $R = (r_1, o_1), (r_2, o_2), \ldots, (r_H, o_H)$，其中 $r_i$ 是推理步骤，$o_i$ 是生成的观测。
本文的核心贡献之一就是提出了视觉-语言交织CoT的概念，通过在推理过程中生成图像来实现视觉世界建模
多可观测马尔可夫决策过程（MOMDP）
MOMDP是标准MDP的扩展，定义为 $M = (S, A, p, \Phi, O_\phi, e_\phi)$，其中状态 $s \in S$ 通常不可直接观测，而是通过不同视角的观测函数 $o = e_\phi(s)$ 来感知。这些视角可以跨越多种模态——例如不同相机位姿的视觉观测，或者不同重点的文字描述。本文用MOMDP形式化了任务世界，为分析不同世界建模方式提供了统一框架。
这是本文理论分析的数学基础，将世界模型与推理联系起来
双编码理论（Dual-Coding Theory）
双编码理论是认知心理学理论，认为人类通过两种互补的编码系统处理信息：言语系统（处理语言和符号）和表象系统（特别是视觉表象）。这两个系统可以独立运作，但通常协作支持推理。视觉表象在记忆编码和检索方面优于纯文字；缺乏视觉表象能力（aphantasia）的人在视觉搜索等任务中表现更差。
这是本文视觉优越性假说的认知科学基础，解释了为什么人类推理依赖视觉表征
GRPO（Group Relative Policy Optimization）
GRPO是一种强化学习算法，用于从可验证奖励中学习（RLVR）。在本文中，GRPO被应用于优化CoT中的语言生成部分，通过分组相对优势估计来更新策略。视觉生成部分则通过KL散度正则化来保持与SFT参考模型的一致性，避免视觉生成质量退化。
本文的RLVR实验使用GRPO算法，结果显示即使只优化语言部分，也能提升视觉世界建模的推理性能
研究动机
当前多模态AI系统（如VLM）在数学、编程等形式化抽象领域已经达到专家级水平，但在物理和空间智能任务上仍然远落后于人类。具体数据表明：在本文设计的VisWorld-Eval测试中，最先进的GPT 5.1在纸张折叠任务上仅6.4%准确率，o3在迷宫任务上准确率为0%，即使是表现最好的Gemini 3 Pro在球体追踪任务上也只有44.7%。这些问题的根源在于当前系统主要依赖纯语言推理（verbal CoT），将世界知识嵌入在LLM的语言空间中。然而，人类的心理模型同时依赖言语和视觉两种互补通道——认知科学的双编码理论已经证实了这一点。纯语言表征存在两个根本性问题：一是信息瓶颈，语言描述难以精确编码空间关系和物理动态；二是先验知识不足，大量物理直觉和空间变换知识存在于视觉数据中，而非文本中。
本文的目标是本文的目标是从世界模型的视角，首次系统性地研究视觉生成何时以及如何增强多模态推理。具体而言，作者希望：（1）建立理论框架，将世界模型与思维链推理形式化地联系起来；（2）设计评估任务套件VisWorld-Eval，隔离测试不同的世界建模能力；（3）通过控制实验验证视觉世界建模在哪些任务上优于语言世界建模；（4）提出并验证视觉优越性假说——对于物理世界相关的任务，视觉生成作为世界模型比纯语言世界模型提供更丰富的信息和更充足的先验知识。
与已有工作不同的是，本文的独特切入角度在于从世界模型视角进行原理性研究，而非像先前工作那样启发式地设计任务。先前研究（如RealUnify、Uni-MMMU、ROVER等）报告了混合结果，没有揭示视觉生成何时有益的清晰规律。MIRA通过提供人工标注的视觉线索绕过了视觉世界建模能力的评估，ThinkMorph将每个CoT限制为单张中间图像。本文的关键创新是：（1）将世界模型形式化为MOMDP，定义了世界重建和世界模拟两个原子能力；（2）理论分析了不同观测模态在信息量和先验知识两个维度上的差异；（3）提出视觉优越性假说，明确界定了视觉世界建模适用的任务类型——那些扎根于物理世界的任务。这种原理性方法使得实验结果不仅得到验证，还能得到系统性的解释。
核心方法
本文的方法论可以概括为：先理论建模，再实验验证。首先，作者将任务世界形式化为多可观测马尔可夫决策过程（MOMDP），定义了世界模型的两个原子能力——世界重建（从部分观测推断完整结构）和世界模拟（预测未来状态变化）。在此基础上，将思维链推理重新形式化为推理步骤和观测的交织序列，提出三种世界建模方式：隐式建模（不显式生成观测）、语言建模（用文字描述状态）、视觉建模（生成图像作为观测）。然后，作者提出了视觉优越性假说，并从信息量和先验知识两个角度进行了理论分析。理论指出，推理误差可以分解为推理误差和世界建模误差两部分，显式世界建模可以降低推理不确定性，但存在上界。最后，作者设计了VisWorld-Eval评估套件，包含7个任务，在BAGEL（最先进的开源UMM）上进行SFT和RLVR实验来验证理论预测。
本文的核心创新点是提出了视觉优越性假说（Visual Superiority Hypothesis），并给出了严格的理论和实验验证。这一假说的核心观点是：对于某些任务——特别是扎根于物理世界的任务——视觉生成比纯语言更自然地充当世界模型。这与已有方法的本质区别在于：（1）先前的VLM将视觉输入对齐到LLM的嵌入空间，推理仍在语言空间中进行，本质上是纯语言世界建模；（2）先前研究视觉生成用于推理的工作（如ROVER、MIRA）缺乏原理性的理论框架，无法解释何时视觉生成有益。本文从两个维度分析了视觉世界建模的优势：信息量方面，视觉观测直接编码物理属性如运动和空间关系，避免了语言描述的歧义和表征瓶颈；先验知识方面，大规模互联网预训练中包含丰富的视觉世界知识（如物体旋转、纸张折叠），使得视觉世界模型具有更高的样本效率（实验显示4倍提升）。
方法步骤详情
方法包含以下步骤：（1）世界建模形式化：将任务世界定义为MOMDP $M = (S, A, p, \Phi, O_\phi, e_\phi)$，状态 $s$ 通过观测函数 $o = e_\phi(s)$ 感知，可跨越视觉和语言模态。（2）原子能力定义：世界重建通过 $p_\theta(o^{\phi_{n+1}} | o^{\phi_1}, \ldots, o^{\phi_n})$ 实现新视角生成；世界模拟通过 $p_\theta(o_{t+1} | o_{\leq t}, a_{\leq t})$ 实现未来状态预测。（3）推理形式化：将CoT表示为 $R = (r_1, o_1), (r_2, o_2), \ldots, (r_H, o_H)$，其中 $r_i$ 是推理步骤，$o_i$ 是观测。（4）三种CoT实例化：隐式建模（$o_i = \emptyset$）、语言建模（$o_i$ 为文字描述）、视觉建模（$o_i$ 为生成图像）。（5）理论分析：证明推理误差可分解为推理误差和世界建模误差（Theorem 1），推理不确定性的降低受观测对状态的信息量和推理步骤对状态需求的信息量限制（Theorem 2）。（6）评估设计：构建VisWorld-Eval，7个任务分别测试世界模拟和世界重建能力。（7）模型训练：在BAGEL上进行SFT，损失函数结合交叉熵（语言）和flow-matching（视觉）；随后进行RLVR，仅优化语言生成部分，视觉生成通过KL正则化保持稳定。
技术新颖性
本文的技术新颖性体现在多个层面。首先，理论框架的新颖性：首次将世界模型与思维链推理通过MOMDP形式化地联系起来，建立了推理误差的分解定理（Theorem 1）和推理不确定性降低的上界定理（Theorem 2），这在先前工作中从未出现过。其次，方法论的新颖性：提出了视觉-语言交织CoT的概念，不同于先前将每个CoT限制为单张图像的做法，允许在推理过程中灵活地在多个步骤中生成图像。第三，评估设计的新颖性：VisWorld-Eval是首个基于世界模型能力原理设计的评估套件，每个任务精确隔离测试世界重建或世界模拟能力，而非启发式地选择任务。第四，实验设计的新颖性：通过控制CoT形式（隐式/语言/视觉）进行对比实验，消除了模型差异带来的混淆因素。最后，隐式世界建模的探针实验揭示了UMM内部涌现的状态表征，这是一个全新的发现。
实验结果
本文的核心实验发现可以归纳为以下几个方面。首先，在世界模拟任务上，视觉世界建模显著优于语言世界建模：在纸张折叠任务上，视觉WM达到76.8%准确率，而语言WM仅57.6%（提升19.2个百分点）；在多步操作任务上，视觉WM达到66.6%，语言WM为40.0%（提升26.6个百分点）；在球体追踪任务上，视觉WM达到63.7%，语言WM仅27.4%（提升36.3个百分点）。其次，在世界重建任务上同样有显著优势：在立方体三视图投影任务上，视觉WM为60.2%，语言WM为40.7%（提升19.5个百分点）；在MMSI相机-物体任务上，视觉WM为60.9%，语言WM为46.5%（提升14.4个百分点）。第三，样本效率分析显示视觉世界建模使用不到1/4的SFT数据即可达到语言WM相当的性能，体现了更强的先验知识。第四，世界模型保真度分析表明，语言WM在立方体三视图任务中的中间视图保真度接近零，而视觉WM始终超过50%。第五，对于简单的网格世界任务（迷宫、Sokoban），隐式建模已足够，视觉建模无明显优势——迷宫任务中隐式WM为39.2%，视觉WM为36.8%。第六，探针实验揭示预训练模型内部已涌现出迷宫状态的表征，微调后达到近乎完美的预测精度。第七，与VLM基线（Qwen2.5-VL-7B-Instruct）对比表明，UMM的优势来自视觉世界建模本身，而非语言推理能力的下降。第八，RLVR实验显示尽管能持续提升各种CoT形式的性能，但视觉WM的优势差距保持不变。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 纸张折叠（Paper Folding） | 准确率 | 76.8%（视觉WM） | 57.6%（语言WM）/ 21.1%（隐式WM） | 视觉WM比语言WM提升19.2个百分点 |
| 多步操作（Multi-Hop Manipulation） | 准确率 | 66.6%（视觉WM） | 40.0%（语言WM）/ 27.4%（隐式WM） | 视觉WM比语言WM提升26.6个百分点 |
| 球体追踪（Ball Tracking） | 准确率 | 63.7%（视觉WM） | 27.4%（语言WM） | 视觉WM比语言WM提升36.3个百分点 |
| 立方体三视图投影（Cube 3-View Projection） | 准确率 | 60.2%（视觉WM） | 40.7%（语言WM）/ 21.1%（隐式WM） | 视觉WM比语言WM提升19.5个百分点 |
| MMSI相机-物体（MMSI Cam.-Obj.） | 准确率 | 60.9%（视觉WM） | 46.5%（语言WM）/ 37.3%（隐式WM） | 视觉WM比语言WM提升14.4个百分点 |
| 迷宫（Maze） | 准确率 | 36.8%（视觉WM） | 39.3%（隐式WM）/ 29.6%（语言WM） | 隐式WM最优，视觉WM无明显优势 |
| Sokoban | 准确率 | 37.3%（视觉WM） | 40.7%（语言WM）/ 29.6%（隐式WM） | 语言WM略优，视觉WM无明显优势 |
局限与改进
本文存在以下局限性。作者承认的局限：（1）主要聚焦于空间和物理推理任务，未涵盖更广泛的任务类型如STEM推理、视觉拼图等；（2）未对视觉生成组件进行RL优化，仅通过KL正则化保持稳定，可能限制了视觉世界模型保真度的进一步提升；（3）隐式世界建模的分析仅限于迷宫任务的初步探针实验，需要更深入的研究；（4）期望随着基础模型的改进，当前在MMSI-Bench其他子任务上未观察到一致提升的限制能被缓解。作者自身的观察：（1）评估任务虽然有原理性设计，但合成任务（纸张折叠、多步操作、球体追踪等）与真实场景仍有差距；（2）视觉生成质量仍是瓶颈——论文中的定性分析显示生成的中间视图存在模糊和细节损坏问题；（3）实验仅在BAGEL一个UMM上进行，未验证结论的模型无关性；（4）理论分析中的一些假设（如两阶段观测函数分解）可能不完全成立；（5）样本效率实验仅在纸张折叠任务上进行，缺乏对其他任务的验证。
独立分析的弱点
本文的弱点和改进方向包括：（1）视觉生成质量瓶颈——当前UMM生成的中间推理图像存在模糊、细节损坏和颜色推断不准确的问题。在立方体三视图任务中，视觉WM的保真度虽然远超语言WM，但也仅超过50%。改进方向包括使用更高分辨率的生成模型、引入视觉生成质量的显式监督信号、或开发针对推理场景优化的生成架构。（2）RL未针对视觉生成优化——本文仅对语言部分使用GRPO，视觉部分仅通过KL正则化约束。这可能错失了通过RL提升视觉世界模型保真度的机会。改进方向是开发专门针对视觉-语言交织生成的RL算法，可能需要设计视觉中间步骤的可验证奖励信号。（3）任务覆盖范围有限——仅涵盖空间和物理推理，未涉及STEM推理、视觉拼图、数学几何等其他可能受益于视觉世界建模的任务。改进方向是将框架扩展到更多领域，特别是探索视觉草图在数学推理中的作用。（4）仅在BAGEL上验证——未在多个UMM上验证结论的普适性。改进方向是在更多模型（如不同的视觉tokenization方案）上重复实验。（5）隐式世界建模的分析仅用简单探针——仅使用两层MLP进行坐标预测，未探索更复杂的探针架构或与其他模型的比较。
未来方向
作者提出的未来方向包括：（1）开发专门针对视觉-语言交织生成的RL算法，释放交织CoT的全部潜力；（2）对隐式世界建模进行更深入的探针研究，比较VLM和UMM的内部表征差异；（3）将视觉世界建模应用于具身智能，使具身agent能够想象被遮挡区域、从第一人称视角理解用户意图。基于成果可延伸的方向：（4）探索视觉世界建模在数学推理中的作用，特别是利用视觉草图构造辅助几何线段；（5）研究更紧凑的视觉表征——当前方法生成完整图像可能冗余，可以探索抽象草图或结构化视觉表征；（6）将框架扩展到视频生成世界模型，支持更长时序的动态模拟；（7）研究视觉世界建模与外部工具（如物理引擎）的协同效应；（8）探索视觉世界建模在机器人规划和决策中的应用，使agent能够心理模拟动作的精确结果。
复现评估
本文的复现条件较好。代码和数据方面：作者公开发布了VisWorld-Eval评估套件，项目页面为 https://thuml.github.io/Reasoning-Visual-World。使用的BAGEL模型是开源的（GitHub: ByteDance-Seed/Bagel）。数据构建使用了规则模板加Gemini 2.5 Pro重写的方式，流程有详细描述。算力方面：SFT使用8块GPU，RLVR使用64块GPU，序列长度32K，这对大多数实验室来说可行但有一定门槛。训练细节方面：论文提供了完整的超参数表（学习率、batch size、训练步数等），以及损失函数的精确公式。复现难度方面：中等偏高——主要难点在于需要BAGEL这样的UMM作为基础模型，以及构建VisWorld-Eval数据集需要一定的工程工作。Qwen-VL基线使用了LLaMA-Factory和verl框架，都是成熟工具。总体而言，复现的关键瓶颈是UMM基础模型的可用性和训练所需的GPU资源。
论文图表
该图包含三个部分：(a) 展示人类心理模型通过语言和视觉两种互补通道表征信息支持推理；(b) 展示当前LLM/VLM主要依赖语言思维链推理，利用语言和符号世界知识，包含数学推理、旅行规划、日常活动规划的具体例子；(c) 展示统一多模态模型（UMM）通过视觉生成实现视觉世界建模的新范式，包含真实世界空间推理、折纸、多步操作的具体例子，展示了模型如何通过生成中间图像来辅助推理。
这张图是全文的纲领性图表，直观地展示了本文的核心论点：当前系统依赖纯语言世界建模，而UMM可以通过视觉生成实现更接近人类的推理方式。理解这张图是理解整篇论文的基础。
展示了两个失败案例：(a) 隐式WM产生幻觉——模型通过心理旋转试图定位黑色椅子，但推理过程包含错误的空间推理；(b) 视觉WM虽然生成了更忠实的世界模型，但仍存在生成质量不足（模糊、细节损坏）和方向理解不准确的问题。
展示了当前方法的局限性，特别是视觉生成质量和空间理解能力的不足。
对比了语言WM（产生几何对称性幻觉）和视觉WM（正确生成中间展开步骤）的推理过程。即使语言推理步骤出错，视觉WM凭借更强的先验知识仍能生成正确的中间图像。
这是视觉世界建模优势的最直观体现——视觉先验知识可以纠正语言推理的错误。
展示了4个案例，包括成功（a）和失败（b, c, d）的情况。视觉WM能在分布外大小（6个立方体）上近似生成新视图，但整体性能受限于微妙的形状生成错误和不准确的颜色推断。
展示了视觉WM在世界重建任务上的能力边界。