ThinkJEPA：用大型视觉语言推理模型赋能隐式世界模型 ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model
VLM引导JEPA隐式世界模型，双时序通路融合语义与动态建模
前置知识
JEPA (Joint-Embedding Predictive Architecture)
JEPA是一种自监督学习范式，核心思想是在表征空间而非像素空间进行预测。模型由编码器和预测器组成：编码器将输入映射到隐式表征空间，预测器则在该空间中预测未来或被遮蔽的表征。与生成式方法不同，JEPA不需要重建像素级细节，而是学习更高层次的结构信息（如运动模式、物理约束）。V-JEPA2是该范式的代表工作，通过掩码预测目标在视频理解任务上展示了良好的可扩展性。
本文的核心方法建立在JEPA隐式世界模型之上，理解JEPA的表征空间预测机制是理解ThinkJEPA如何注入VLM指导的前提。
Vision-Language Models (VLMs)
视觉语言模型通过大规模图文数据预训练实现视觉与语言模态的对齐。现代VLM（如Qwen3-VL、LLaVA系列）将视觉编码器与大型语言模型结合，能够识别视频中的实体、属性和事件级关系，并利用预训练获得的通用世界知识进行推理。VLM处理视频时通常采用均匀时间采样以覆盖长时间跨度，但由于二次注意力复杂度限制，单次处理的帧数有限。
本文将VLM作为语义指导提供者集成到JEPA框架中，理解VLM的能力边界（语义强但不适合作为稠密预测器）是理解本文动机的关键。
FiLM (Feature-wise Linear Modulation)
FiLM是一种条件化神经网络层的技术，通过可学习的仿射变换参数 $(\gamma, \beta)$ 对特征进行调制：$\text{FiLM}(z; \gamma, \beta) = \gamma \odot z + \beta$。给定条件信号，FiLM层生成逐层的缩放和偏移参数，实现样本特定的特征调制。这种机制允许外部信息（如VLM指导）以高效的方式注入到模型的任意层中，而不需要改变网络架构。
ThinkJEPA使用FiLM将VLM金字塔表征指导注入JEPA预测器的每一层，这是实现VLM-JEPA融合的核心技术手段。
Dual-Temporal Perception Field
双时序感知场是本文提出的架构设计思想，核心是为不同的建模目标分配不同的时间采样策略：均匀稀疏采样用于长时间跨度的语义理解（VLM分支），密集采样用于高频动态建模（JEPA分支）。这两种采样策略针对不同的失败模式——稀疏采样提供长程上下文但丢失运动细节，密集采样捕捉精细动态但时间跨度有限。
这一设计是ThinkJEPA的核心架构创新，解决了VLM推理能力与JEPA稠密预测能力之间的时序不匹配问题。
Recursive Rollout
递归展开是长程预测的常用策略。当预测时间窗口超过单次前向传播支持的长度时，模型将前一步预测的未来隐式表征作为下一步的输入，迭代预测后续表征。形式化表示为第 $k$ 步：$\hat{F}_{\text{fut}}^k = g(F_{\text{past}}^k)$，下一步输入 $F_{\text{past}}^{k+1} \leftarrow \hat{F}_{\text{fut}}^k$。该策略允许任意长度的长程预测，但面临误差累积问题。
ThinkJEPA在EgoDex和BAIR等基准上评估了递归展开性能，VLM指导的引入有助于稳定迭代预测并减少误差累积。
V-JEPA2
V-JEPA2是Meta提出的JEPA风格视觉表征学习模型，通过大规模视频数据上的掩码预测目标学习通用视觉表征。模型将视频帧编码为逐帧的patch token，然后在隐式空间中进行预测。V-JEPA2展示了JEPA范式在视频理解和世界建模任务上的可扩展性，是本文方法的直接基础。
ThinkJEPA的JEPA分支直接采用V-JEPA2作为视觉骨干，预测器在冻结的V-JEPA隐式空间中工作，理解V-JEPA2的表征能力是理解本文方法的基础。
研究动机
现有JEPA风格的隐式世界模型（如V-JEPA2）在视频预测任务上展示了良好前景，但面临两个关键限制。第一，有限的时间感知视角：大多数方法依赖短时间窗口内的密集采样观测帧来预测未来隐式表征。虽然密集采样能捕捉精细运动，但它限制了时间上下文，可能使预测器偏向局部动态外推，难以捕捉对鲁棒预测至关重要的长程语义和事件级线索。第二，弱语义接地和通用知识对齐：隐式空间通常通过自监督视觉表征学习获得，产生运动敏感特征但与开放词汇概念和组合知识的对齐有限，导致预测器能建模物体如何运动，但不理解实体是什么、哪些属性或关系重要，限制了跨领域泛化。在EgoDex基准上，纯V-JEPA预测器的轨迹准确率仅为0.471，表明现有方法在语义理解和物理预测之间存在显著差距。
本文的目标是本文提出ThinkJEPA框架，目标是将VLM作为思维者（thinker）集成到JEPA风格的隐式世界模型中，结合稠密帧动态建模与长程语义指导。具体而言，保留V-JEPA风格模型的稠密帧观测通路以保持精细运动和交互线索，同时引入第二分支将均匀采样的观测帧输入VLM以获取长程、知识丰富的指导信号。通过这种方式，ThinkJEPA旨在同时获得长程语义上下文和精细动态线索，提升未来隐式表征预测的质量和泛化能力。
与已有工作不同的是，本文的独特切入角度在于提出VLM不应该是独立的稠密预测器，而应该是语义和知识指导的提供者。已有工作（如VL-JEPA）探索了语言与JEPA表征的结合，但主要将JEPA特征作为语言模型的输入，将输出空间转向语言生成，未保持隐式世界模型接口。ThinkJEPA的关键区别是：保留JEPA风格的隐式预测作为主要输出，同时将VLM语义作为指导注入预测器。此外，本文提出层级金字塔表征提取模块，聚合VLM多深度表征而非仅使用最终层，因为更深的层越来越倾向于语言生成目标，中间层保留更丰富的视觉推理线索。这种设计使预测器能从VLM的渐进推理过程中获益，而非单一终端表征。
核心方法
ThinkJEPA的整体思路是将VLM的语义理解能力与JEPA的稠密动态建模能力通过双时序通路结合。直觉上，VLM擅长理解'是什么'（实体识别、语义推理），而JEPA擅长预测'如何动'（精细动态、物理交互），两者互补。技术路线如下：首先，对输入视频进行两种时间采样——密集采样给JEPA分支，均匀稀疏采样给VLM分支。JEPA分支使用V-JEPA骨干编码密集帧并预测未来隐式token，VLM分支使用Qwen3-VL（Thinking）处理均匀采样帧并缓存中间表征。然后，层级金字塔表征提取模块聚合VLM多个深度的表征（包括视觉token和语言模型中间隐状态），生成与预测器兼容的指导特征。最后，通过FiLM机制将这些指导特征逐层注入JEPA预测器，实现条件化的未来隐式表征预测。
ThinkJEPA的核心创新是双时序感知场设计与层级VLM指导注入。与已有方法的本质区别体现在三个层面。第一，角色定位不同：已有工作将VLM作为独立预测器或JEPA特征的消费者，ThinkJEPA将VLM定位为语义指导提供者，保留JEPA的隐式预测接口。第二，时序处理不同：统一的时间采样策略无法同时满足精细动态建模和长程语义理解的需求，ThinkJEPA显式分配两种采样策略——稠密采样（高FPS、短窗口）用于JEPA，均匀采样（长跨度、稀疏）用于VLM。第三，指导提取不同：仅使用VLM最终层特征是次优的，因为深层越来越倾向于语言生成目标。ThinkJEPA提出层级金字塔表征提取，聚合视觉编码器token和语言模型多层中间隐状态，保留低层视觉线索和高层语义推理痕迹。
方法步骤详情
ThinkJEPA的方法包含四个关键步骤。第一步，双时序感知场采样：给定输入视频 $v = \{I_t\}_{t=1}^N$，构造均匀采样片段 $v_u$ 供VLM分支使用（公式 $v_u = \{I_{s_i}\}_{i=1}^{N_u}$，$s_i = 1 + (i-1) \cdot \frac{N-1}{N_u-1}$），以及密集采样片段 $v_d$ 供JEPA分支使用（公式 $v_d = \{I_t\}_{t=t_0}^{t_0+N_d-1}$）。第二步，JEPA隐式token化与预测：V-JEPA骨干将 $v_d$ 编码为逐帧patch token $F \in \mathbb{R}^{B \times T \times P \times D}$，掩码token转换预测器从过去token $F_{\text{past}}$ 预测未来token $\hat{F}_{\text{fut}}$。第三步，层级金字塔表征提取：聚合VLM视觉编码器token和语言模型 $\{L_0, ..., L_N\}$ 层的中间隐状态，池化并投影到预测器空间，生成指导特征 $\phi(v_u)$。第四步，FiLM层指导注入：预测器第 $\ell$ 块接收指导生成调制参数 $(\gamma_\ell, \beta_\ell)$，执行 $\text{FiLM}(z; \gamma_\ell, \beta_\ell) = \gamma_\ell \odot z + \beta_\ell$。对于长程预测，采用递归展开策略，将预测的隐式token作为下一步输入。
技术新颖性
ThinkJEPA的技术新颖性体现在以下几个方面。首先，VLM作为思维者而非预测器的角色设计是新颖的——已有工作或让VLM独立预测，或让JEPA特征流入语言模型，而ThinkJEPA首次将VLM定位为隐式预测的语义指导者，保持了JEPA的隐式预测接口。其次，双时序感知场架构是首次在隐式世界模型中显式分离稠密动态建模和长程语义理解的时间采样策略，解决了两种建模目标对时间粒度需求的冲突。第三，层级金字塔表征提取模块的设计基于一个重要观察：VLM不同深度的表征承担不同角色——中间层保留视觉推理线索，深层偏向语言生成——因此需要多深度聚合而非单层使用。第四，VLM指导通过FiLM机制以逐层、样本特定的方式注入，实现了高效的条件化而不改变预测器架构。这些创新使ThinkJEPA在四个基准上一致性地超越VLM-only和JEPA-only基线。
实验结果
ThinkJEPA在四个互补基准上展示了全面的性能提升。在EgoDex手部轨迹预测基准上，ThinkJEPA相比V-JEPA预测器将ADE从0.071降至0.061，FDE从0.066降至0.056，轨迹准确率从0.471提升至0.596（提升26.6%）。相比纯Qwen3-VL Thinking，ThinkJEPA的优势更加显著，VLM-only的ADE高达0.142，准确率仅0.084，证明了VLM不适合作为独立稠密预测器。在EgoExo4D基准上，ThinkJEPA同样取得最佳性能，ADE从0.659降至0.622，准确率从0.074提升至0.171（提升131%）。在BAIR机器人推动任务上，ThinkJEPA在三步自回归展开中将FD从68.711降至67.049，SL1从1.117降至1.086，CD从0.301降至0.285，超越DINO-WM和持久性基线。在Physion物理场景预测上，ThinkJEPA将准确率从0.741提升至0.754，AUC从0.821提升至0.828。消融实验表明：单一VLM token源（仅编码token或仅自回归token）不足以提供有效指导，甚至可能降低JEPA-only预测器的性能；层级金字塔设计（聚合所有层）显著优于仅使用最终层或中间层，验证了多深度聚合的必要性。长程递归展开实验显示，Qwen3-VL Thinking在较长预测步数上急剧退化，而ThinkJEPA在所有预测步数上保持最佳性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| EgoDex手部轨迹预测 | ADE/FDE/Acc | 0.061/0.056/0.596 | V-JEPA Predictor: 0.071/0.066/0.471 | ADE降低14.1%，FDE降低15.2%，准确率提升26.6% |
| EgoExo4D手部轨迹预测 | ADE/FDE/Acc | 0.622/0.597/0.171 | V-JEPA Predictor: 0.659/0.636/0.074 | ADE降低5.6%，FDE降低6.1%，准确率提升131% |
| BAIR机器人推动隐式展开 | FD/SL1/CD | 67.049/1.086/0.285 | V-JEPA Predictor: 68.711/1.117/0.301 | FD降低2.4%，SL1降低2.8%，CD降低5.3% |
| Physion物体接触预测 | Acc/AUC | 0.754/0.828 | V-JEPA Predictor: 0.741/0.821 | 准确率提升1.8%，AUC提升0.9% |
| EgoDex轨迹预测（对比任务特定基线） | ADE/FDE | 0.061/0.056 | Decoder-only + BC: 0.0767/0.0818 | ADE降低20.5%，FDE降低31.5% |
局限与改进
本文存在以下局限性。第一，VLM指导依赖于缓存的中间表征，需要额外的前向传播计算VLM分支，增加了推理开销。虽然作者通过缓存机制缓解，但在实时应用场景下可能仍有延迟问题。第二，实验主要在四人第一人称视频和机器人操作数据集上验证，尚未在更广泛的领域（如自动驾驶、体育视频）上测试泛化能力。第三，递归展开虽然支持长程预测，但仍面临误差累积问题——在EgoDex上，32步展开的FDE从4步的0.073升至0.136。第四，VLM选择固定为Qwen3-VL（Thinking），未探索不同VLM架构和规模的影响。第五，层级金字塔表征提取模块的计算成本可能随VLM层数线性增长，缺乏效率分析。此外，论文未提供详细的计算资源消耗对比和推理速度基准测试，难以评估实际部署可行性。Physion基准上ThinkJEPA的提升相对较小（准确率仅提升1.8%），说明VLM指导在物理场景预测任务上的收益可能存在边界。
独立分析的弱点
ThinkJEPA存在几个可改进的弱点。第一，VLM指导是离线缓存的，无法根据预测器的反馈动态调整指导策略——考虑引入自适应指导机制，让VLM根据当前预测状态选择性关注相关语义信息。第二，FiLM调制是线性的，可能限制了VLM指导的表达能力——可以探索更复杂的条件化机制（如交叉注意力）以实现更细粒度的指导注入。第三，层级金字塔表征提取采用简单的池化和投影，未考虑不同深度表征的相对重要性——引入注意力机制自适应加权不同层的贡献可能进一步提升性能。第四，实验中VLM固定为Qwen3-VL且参数冻结，未探索VLM微调的影响——在目标领域数据上对VLM进行轻量级适配可能释放更多语义信息。第五，双时序采样的参数（Nu和Nd）未提供选择依据，缺乏超参数敏感性分析。第六，长程展开的误差累积问题仍未根本解决，可以考虑引入不确定性估计或置信度机制来检测和纠正预测漂移。
未来方向
作者在结论中提出几个未来方向：将ThinkJEPA扩展到闭环规划、更广泛的具身任务，以及更可扩展的VLM指导机制用于更长更复杂的视频。基于已有成果，可延伸以下研究方向。第一，闭环规划与控制：将ThinkJEPA的隐式预测能力与强化学习或模型预测控制结合，实现机器人操作的实时闭环决策。第二，多模态指导扩展：除视觉语言模型外，探索音频、触觉等其他模态信号作为指导源，丰富世界模型的语义接地。第三，自适应VLM指导：开发动态选择VLM层和token源的机制，根据任务和场景特征自动调整指导策略。第四，大规模预训练：在更广泛的视频数据集上预训练ThinkJEPA框架，探索VLM指导在大规模场景下的缩放规律。第五，效率优化：研究VLM指导的知识蒸馏方法，将VLM的语义知识压缩到轻量级模块中，减少推理开销。第六，多任务学习：探索ThinkJEPA框架在同时处理轨迹预测、动作预测、物理属性推断等多任务上的能力。
复现评估
论文提供了项目主页（https://www.zhanghaichao.xyz/ThinkJEPA/）和代码仓库（https://github.com/Hai-chao-Zhang/ThinkJEPA），开源情况良好。使用的数据集均为公开基准（EgoDex、EgoExo4D、BAIR Robot Pushing、Physion），数据获取无障碍。实验使用Qwen3-VL（Thinking）作为VLM，该模型可通过HuggingFace获取。JEPA骨干采用V-JEPA2，需确认是否有预训练权重可用。复现的主要挑战在于：VLM的前向传播需要较大显存，层级金字塔表征提取的缓存机制需要仔细实现；四个基准的数据预处理和评估协议各不相同，需要仔细遵循论文附录中的详细说明。论文提供了三组随机种子的平均结果和标准差，实验设置描述充分，复现难度中等。
论文图表
表格报告了BAIR基准上三步自回归展开的隐式指标（FD/L2↓、SL1↓、CD↓）。ThinkJEPA在所有指标上取得最佳（FD 67.049，SL1 1.086，CD 0.285），优于V-JEPA Predictor（FD 68.711）、DINO-WM（FD 71.720）和持久性基线（FD 86.385）。ThinkJEPA仅使用初始观测块x0:x4进行VLM条件化，证明了VLM指导在动作条件化场景下的有效性。
该表展示了ThinkJEPA在机器人操作场景下的能力，特别是VLM指导如何在长程递归展开中稳定预测并减少误差累积。
表格报告了Physion基准上动作自由物理场景预测的准确率和AUC。ThinkJEPA取得最佳准确率0.754和AUC 0.828，优于V-JEPA Predictor（0.741/0.821）和DINO-WM（0.648/0.705）。所有方法仅使用观测前缀，不使用动作标签。
该表展示了ThinkJEPA在动作自由物理场景预测上的能力，证明了VLM指导在不同任务范式下的通用性。