GeoWorld：几何世界模型——基于双曲几何的长程视觉规划 GeoWorld: Geometric World Models
通过双曲JEPA和几何强化学习，提升能量预测世界模型的长程规划能力
前置知识
能量预测世界模型 (Energy-based Predictive World Model)
这类模型在潜在空间学习一个能量函数，测量当前状态和目标状态之间的兼容性。低能量表示状态转换是合理的，高能量表示不兼容。不同于生成式世界模型需要生成像素或视觉token，能量预测模型直接在潜在空间操作，避免了像素级生成的计算开销和噪声。这种设计允许使用基于采样的规划方法（如交叉熵方法CEM）在潜在空间搜索最优动作序列，实现多步轨迹优化。
GeoWorld正是建立在能量预测世界模型的基础上，通过引入几何结构来改进其长程规划能力。理解这一范式是理解本文动机和方法的关键。
JEPA (Joint-Embedding Predictive Architecture)
JEPA是一种非生成式的预测架构，由Yann LeCun提出。它将观测（如图像或视频帧）编码为紧凑的潜在表示，并通过最小化编码目标和预测嵌入之间的能量或相似性目标来学习预测未来潜在状态。JEPA不生成像素，而是专注于高层结构、语义和时间依赖性。V-JEPA是其视频版本，通过预测被遮挡的时空patch特征来学习视频表示。V-JEPA 2进一步扩展到动作条件预测。
GeoWorld基于V-JEPA 2构建，但将其潜在表示从欧几里得空间映射到双曲空间，从而保持几何结构。理解JEPA的工作原理是理解H-JEPA创新点的基础。
双曲几何 (Hyperbolic Geometry)
双曲空间是一种具有恒定负曲率的黎曼流形，其体积随半径呈指数增长。与欧几里得空间中平行线保持等距不同，双曲空间中的直线会发散。这种指数扩展特性使其天然适合表示层级或树状数据结构——节点数量随深度指数增长。在深度学习中，双曲空间能够高效地编码层级关系，同时保持细粒度的局部关系。Poincaré球模型是双曲空间的一种坐标表示，将流形映射到有界单位球内。
本文的核心创新就是将JEPA的潜在表示映射到双曲空间，利用双曲几何的层级结构特性来改进世界模型的规划能力。理解双曲几何是理解本文技术路线的关键。
交叉熵方法 (Cross-Entropy Method, CEM)
CEM是一种基于采样的优化算法，用于在连续空间中搜索最优解。它通过迭代采样-评估-选择的过程来搜索最优动作序列：首先从多元正态分布采样候选动作序列，然后评估每个序列的代价（能量），选择代价最低的精英样本更新分布参数（均值和协方差），重复迭代直到收敛。CEM特别适合于能量规划场景，因为它可以高效地在高维动作空间中搜索，无需梯度信息。
GeoWorld在规划阶段使用CEM来搜索最小化双曲能量代价的最优动作序列。理解CEM的工作原理有助于理解GeoWorld的规划机制和计算开销。
路径值函数 (Path Value Function)
在强化学习中，值函数估计从给定状态出发，遵循特定策略所能获得的期望累积回报。路径值函数则特指从当前状态到目标状态的最优累积回报。本文将能量代价重新定义为奖励的负值，使得最大化累积回报等价于最小化总能量代价。最优路径值函数满足三角不等式：从状态s1到s3的最小代价不超过从s1到s2再到s3的代价之和。这一性质在双曲空间中尤为重要，因为双曲测地距离天然满足三角不等式。
GRL通过优化路径值函数来改进预测器，使其遵循双曲测地线。理解路径值函数的概念有助于理解GRL的优化目标和三角不等式正则化的作用。
研究动机
现有的能量预测世界模型在长程视觉规划中面临两个关键问题。首先，其潜在表示通常在欧几里得空间中学习，忽略了状态之间的几何和层级结构。这导致学习到的能量景观无法捕捉有意义的测地距离或层级嵌入，削弱了模型进行几何一致规划的能力。具体来说，欧几里得能量景观通常呈现平滑、几乎对称的抛物面形状，缺乏方向性结构，表明模型将扰动视为均质的。其次，由于多步视频数据稀缺且昂贵，现有预测世界模型主要在单步视频转换上训练。尽管在整个轨迹上学习能量景观概念上能够支持长程规划，但随着规划范围增加，性能迅速退化，暴露了建模长期时间依赖的弱点。在CrossTask数据集上，当规划范围从T=3增加到T=6时，V-JEPA 2的成功率从50.16%急剧下降到16.88%，T=8时进一步降至4.95%，显示了长程预测中严重的误差累积问题。
本文的目标是本文旨在从几何视角解决上述问题，提出GeoWorld几何世界模型。具体目标包括：（1）设计一种保持几何结构的潜在表示方法，使学习到的能量景观与物理世界的底层结构对齐，支持几何一致的规划；（2）开发一种几何感知的强化学习方法，优化预测器的多步预测能力，改善长程规划稳定性；（3）在CrossTask和COIN标准基准上验证方法的有效性，在多步目标条件视觉规划任务中实现一致改进，特别是在长程规划场景下。
与已有工作不同的是，本文的独特切入角度在于从几何视角重新审视世界模型的潜在表示问题。现有的预测世界模型（如V-JEPA 2）虽然在潜在空间进行多步层级规划，但其表示在欧几里得空间中学习，没有保持状态之间的底层几何关系。本文观察到世界状态转换（来自视频观测）自然形成适合在双曲空间表示的层级结构。当预测d步未来时，每个动作选择产生不同的未来轨迹，形成Bd个可能的未来状态，这些未来状态自然组织为层级结构：较小深度的状态代表粗糙的高层抽象，较大深度的状态对应更精细的详细未来。双曲几何的指数扩展特性能够自然地编码这种层级关系，使得测地距离能更好地反映状态之间的结构化关系。此外，本文引入强化学习来调整预训练模型的输出，通过几何感知的RL方法在潜在流形上获得最优轨迹。
核心方法
GeoWorld的整体思路可以类比为在弯曲的地球表面导航：在平面上（欧几里得空间）导航时，我们假设最短路径是直线，但当考虑地球的曲率（双曲几何）时，最短路径实际上是沿着大圆的测地线。GeoWorld的目标就是让世界模型的潜在表示遵循这种几何结构，使得规划时能够沿着测地线（最短路径）在潜在空间中导航。技术路线分为三个核心组件：（1）Hyperbolic JEPA (H-JEPA)将编码器输出从欧几里得空间映射到双曲流形，保持层级关系和底层几何一致性；（2）Geometric Reinforcement Learning (GRL)通过双曲能量最小化和三角不等式正则化优化预测器，实现测地线一致的轨迹；（3）基于能量的规划使用CEM在双曲潜在空间搜索最优动作序列。这三个组件共同实现了几何感知的多步规划。
GeoWorld的核心创新点在于将双曲几何引入能量预测世界模型，这是与现有方法最本质的区别。具体来说，H-JEPA将编码器输出sxt ∈ Rn解释为双曲流形原点处切空间T0Hn中的切向量，然后应用Poincaré球模型的指数映射exp0(·)将其投影到双曲流形上，得到双曲潜在状态sxt,H ∈ Bn_c。这一映射将欧几里得嵌入转换为双曲表示，使得测地距离能够自然编码状态之间的层级关系。预测器Pϕ在双曲空间中学习动态，沿双曲测地线进行预测，确保每次转换与流形上最低能量轨迹对齐。与V-JEPA 2在欧几里得空间中进行预测不同，GeoWorld的预测器产生的能量景观具有曲率感知特性——呈现更尖锐、方向性更明显的盆地结构，而非平滑的对称抛物面。这种曲率感知的能量景观使CEM能够自然地沿双曲测地线导航，产生更准确的多步轨迹优化。GRL进一步强化了这一特性，通过将路径值函数重新定义为能量最小化问题，使得预测器遵循测地线。
方法步骤详情
GeoWorld的方法步骤如下：第一步是编码阶段，将当前观测xt和目标观测x1+T通过预训练编码器Eθ(·)编码为欧几里得潜在状态sxt = Eθ(xt) ∈ Rn。第二步是双曲映射阶段，通过指数映射exp0(·)将欧几里得潜在状态投影到双曲流形：sxt,H = exp0(sxt) = tanh(√c||sxt||) · sxt/(√c||sxt||)，其中c是可学习的曲率参数。第三步是预测阶段，动作条件预测器Pϕ接收双曲潜在状态序列(sxt,H)Tt=1和对应的动作序列(at)Tt=1，预测下一状态表示(ŝxt+1,H)Tt=1。第四步是监督训练阶段，最小化双曲测地距离dH，包括教师强制损失LTF（单步预测准确性和rollout损失Lrollout（多步预测时间一致性）。第五步是几何强化学习阶段，将多步规划重新表述为能量函数优化，定义能量代价ct(sxt,H, sxt+1,H) = dH(ŝxt+1,H, sxt+1,H)，奖励rt = -ct，并通过三角不等式正则化L∆鼓励预测轨迹满足双曲测地性质。第六步是能量规划阶段，使用CEM搜索最小化双曲能量代价的最优动作序列：C((ât)Tt=1; sx1,H, sx1+T,H) = dH(P((ât)Tt=1; sx1,H), sx1+T,H)。CEM从多元正态分布采样800个候选序列，选择代价最低的80个精英样本更新分布，重复10次迭代后执行第一个动作，然后重新规划（滚动时域控制）。
技术新颖性
GeoWorld的技术新颖性体现在三个方面。首先，与V-JEPA 2等现有预测世界模型在欧几里得空间中学习表示不同，H-JEPA将潜在表示映射到双曲流形，利用双曲几何的指数扩展特性自然编码层级结构。这是首次将双曲几何引入能量预测世界模型用于视觉规划。其次，GRL提出了一种新的强化学习框架，将多步规划重新表述为能量函数优化，直接优化预测器而不训练额外的策略或奖励模型。通过双曲能量最小化和三角不等式正则化，GRL鼓励测地线一致的轨迹，有效改善长程稳定性和规划性能。第三，GeoWorld展示了如何将几何原理（如测地距离、指数映射、三角不等式）与现代世界模型架构相结合，为几何感知的规划提供了新的范式。实验表明，这种几何方法在能量景观中产生了更结构化、物理上更有意义的表示，支持更稳定的长程规划。
实验结果
GeoWorld在CrossTask和COIN两个标准基准上进行了广泛实验，展示了在多步目标条件视觉规划中的强大性能。在程序规划设置（观测和目标均为图像）中，GeoWorld ViT-g384在CrossTask上实现了47.47%的3步规划成功率（SR），比V-JEPA 2 ViT-g384的45.58%提高了1.89%；4步规划SR为31.48%，比V-JEPA 2的31.36%略有提升。在COIN上，GeoWorld实现了34.85%的3步SR（V-JEPA 2为34.08%）和27.79%的4步SR（V-JEPA 2为23.43%）。在视频规划设置（观测和目标均为视频）中，改进更为显著：GeoWorld ViT-g384在CrossTask上实现了51.71%的3步SR（V-JEPA 2为50.16%，提升1.55%）和37.04%的4步SR（V-JEPA 2为35.01%，提升2.03%）；在COIN上实现了45.29%的3步SR（V-JEPA 2为42.74%，提升2.55%）和33.29%的4步SR（V-JEPA 2为31.63%，提升1.66%）。值得注意的是，GeoWorld甚至能够与强大的LLM基方法竞争：在CrossTask视频规划中，GeoWorld的51.71% SR超越了GPT-5的50.03%和Gemini 2.5 Pro的48.91%。长程规划实验（Table 3）进一步展示了GeoWorld的优势：当规划范围从T=3扩展到T=8时，V-JEPA 2的SR从50.16%急剧下降到4.95%，而GeoWorld（SFT+GRL）在T=8时仍保持13.81%的SR，展示了显著更好的长程稳定性。消融研究证实了各组件的有效性：GRL单独使用可将SR从50.42%（SFT）提升到51.04%，SFT+GRL组合达到51.71%的最优性能。三角不等式正则化（β=0.1）和折扣因子（γ=0.99）的组合实现了最佳平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CrossTask 3步视频规划 | Success Rate (SR) | 51.71% (GeoWorld ViT-g384) | 50.16% (V-JEPA 2 ViT-g384) | +1.55% |
| CrossTask 4步视频规划 | Success Rate (SR) | 37.04% (GeoWorld ViT-g384) | 35.01% (V-JEPA 2 ViT-g384) | +2.03% |
| COIN 3步视频规划 | Success Rate (SR) | 45.29% (GeoWorld ViT-g384) | 42.74% (V-JEPA 2 ViT-g384) | +2.55% |
| COIN 4步视频规划 | Success Rate (SR) | 33.29% (GeoWorld ViT-g384) | 31.63% (V-JEPA 2 ViT-g384) | +1.66% |
| CrossTask 3步程序规划 | Success Rate (SR) | 47.47% (GeoWorld ViT-g384) | 45.58% (V-JEPA 2 ViT-g384) | +1.89% |
| CrossTask 8步视频规划 | Success Rate (SR) | 13.81% (GeoWorld SFT+GRL) | 4.95% (V-JEPA 2 ViT-g384) | +8.86% |
局限与改进
尽管GeoWorld展示了显著改进，但仍存在一些局限性。首先，GeoWorld需要一个明确的目标观测x1+T来计算目标条件能量，这意味着它并非自包含的模拟器，而是依赖于外部提供目标。其次，CEM规划过程需要采样800个候选序列并迭代10次，计算开销较大，可能限制实时应用场景。第三，虽然论文展示了在CrossTask和COIN上的改进，但这些数据集主要涉及日常活动的程序规划，对于更复杂的任务（如机器人操作、长视频生成）的泛化能力尚未验证。第四，消融研究表明全微调编码器可以带来约0.3-0.8%的SR提升，但代价是显著增加的可训练参数和较慢的优化，这表明当前的冻结编码器设计可能限制了性能上限。第五，论文承认其层级结构的直觉来自状态转换的多步未来展开，而非显式的子任务层级（如高层任务标签、中层动作、低层末端执行器），这可能限制了在需要多级规划的任务中的表现。最后，双曲几何引入了额外的复杂性（如指数映射、测地距离计算），可能增加实现和调试难度。
独立分析的弱点
基于独立分析，GeoWorld存在以下几个弱点及改进方向。首先，CEM规划的计算效率是一个问题——800个样本和10次迭代的规划过程在实时应用中可能成为瓶颈。可以考虑使用梯度优化方法替代CEM，或者设计更高效的采样策略，如利用双曲空间的几何结构指导采样方向。其次，GeoWorld依赖于预训练的V-JEPA 2编码器，这意味着其表示能力受限于预训练阶段。可以探索在双曲空间中进行端到端预训练，或者设计双曲感知的对比学习目标。第三，虽然三角不等式正则化鼓励测地线一致的轨迹，但论文未讨论如何处理非测地线最优的场景——在某些任务中，最优路径可能不是测地线。可以考虑设计自适应的几何约束，根据任务特性动态调整正则化强度。第四，当前框架仅处理视频观测，未考虑多模态信息（如语言指令、本体感觉）。可以探索将双曲几何扩展到多模态表示学习，例如使用双曲空间表示视觉-语言联合嵌入。第五，论文的实验设置使用256×256分辨率和4fps的视频，对于更高分辨率或帧率的场景，计算开销和内存需求可能显著增加。可以研究多分辨率或多尺度的双曲表示学习。
未来方向
论文作者提出了一些未来研究方向，包括：将框架扩展到具身规划（embodied planning）设置，这是一个计算机视觉会议的自然延伸；探索子任务层级，如高层任务标签、中层动作和低层末端执行器的多级规划。基于GeoWorld的成果，可以进一步延伸以下方向：（1）将双曲几何引入生成式世界模型，探索在双曲空间中生成视频或动作序列；（2）研究自适应曲率学习，让不同任务或不同规划深度自动调整双曲空间的曲率参数；（3）将GeoWorld与大规模语言模型结合，利用语言指令引导双曲空间中的规划；（4）探索双曲空间中的课程学习策略，从短程规划逐步扩展到长程规划；（5）将双曲几何原理应用于机器人操作、自动驾驶等实际应用，验证其在真实世界任务中的有效性；（6）研究双曲空间中的可解释性，分析测地线路径与人类规划策略的对应关系。
复现评估
论文提供了详细的实现细节，有利于复现。关键信息包括：（1）编码器使用V-JEPA 2的预训练权重，在VideoMix22M上预训练；（2）预测器网络是约300M参数的Transformer，包含24层、16头、1024维隐藏层和GELU激活；（3）训练使用AdamW优化器，恒定权重衰减0.04，学习率从7.5×10^-5预热到4.25×10^-4，然后衰减到0；（4）GRL使用较小学习率（5.0×10^-5到2.0×10^-4）和较短调度；（5）CEM参数：样本数N=800，精英集大小K=80，迭代次数I=10；（6）计算资源：4个节点，每个节点8块NVIDIA H100 GPU，48核Intel Xeon Platinum 8469C CPU，230GB RAM；推理使用单块H100 GPU。论文使用CrossTask和COIN两个公开数据集，其中CrossTask包含4700个视频、83个任务、105个动作，总时长375小时；COIN包含11287个视频、180个任务、778个动作，总时长476小时。然而，论文未明确说明是否开源代码，这可能影响复现的便利性。总体而言，复现难度中等偏高，需要显著的计算资源（H100 GPU集群）和深度学习框架（如PyTorch）的熟练使用。
论文图表
展示了CrossTask数据集上潜在四元组的Gromov δ-双曲性分布。GeoWorld表现出更集中的接近零的δ值分布，表明其学习到的表示空间具有更强的树状层级几何结构。
这张图从几何角度验证了GeoWorld的表示确实具有更强的层级结构，为双曲几何的有效性提供了理论支持。
展示了四个子图：(a)不同曲率K下的Poincaré圆盘测地线；(b)不同边界锚点诱导的测地线模式；(c)曲率与距离的关系；(d)训练期间可学习曲率c的变化趋势，从初始值1逐渐下降并收敛到稳定值0.3。
这些图展示了曲率参数如何影响双曲几何和规划性能，帮助理解GeoWorld的几何特性。