4DThinker：用 4D 心象进行动态空间推理的多模态框架 4DThinker: Thinking with 4D Imagery for Dynamic Spatial Understanding
让 VLM 在潜空间"想象"4D 动态以推理时空演化
前置知识
视觉-语言模型（VLM）
视觉-语言模型是把视觉编码器与语言模型拼接而成的多模态系统，输入图像或视频帧与文本提示，输出自然语言回答。Qwen2.5-VL、InternVL3.5 等开源模型是当前代表。
4DThinker 的全部工作都建立在 VLM 之上：它把一段段视频帧视作 token 输入，再让语言模型在文本与潜空间之间交替生成，因此必须先理解 VLM 的输入输出流程。
Chain-of-Thought（思维链）
CoT 指让模型在给出最终答案前先输出若干推理步骤，从而把多步问题拆解开来。Wei et al. (2022) 的开创工作证明 CoT 能显著提升 LLM 的复杂推理能力。
本文把 CoT 进一步推广为"文字 + 心象"交错的形式，传统 CoT 是其特殊情形；理解 CoT 才能看清 4DThinker 相比纯文本推理的扩展之处。
潜在推理（Latent Reasoning）
潜在推理把推理过程从显式 token 转移到连续隐空间中。代表工作包括 Pause-pretraining 的 token、COCONUT 的连续思维链以及 Mirage 的潜在视觉 token。
4DThinker 直接继承这条思路，将潜在 token 从静态 3D 场景推广到 4D 视频，是潜在视觉推理在动态领域的首次系统化落地。
GRPO 强化学习算法
GRPO（Group Relative Policy Optimization）由 DeepSeek 提出，对同一问题采样 G 条回答，按组内奖励归一化得到优势函数，再以 PPO 风格的截断目标进行策略优化，无需单独训练价值网络。
4DRL 是 GRPO 的修改版本，作者把策略梯度限定到文本 token 以避免连续-离散失配，所以必须先理解 GRPO 的组归一化与截断机制。
单目视频相机/物体运动解耦
在单目视频中，像素位移同时由相机自运动和场景中物体运动共同造成。DSI-Bench 等基准通过先验标注把二者解耦，分别考察模型对相机轨迹与物体轨迹的理解能力。
这是 4DThinker 任务定义的来源：它的标注管道同时生成相机运动和物体运动两类问题，并在评估时分别量化。
研究动机
现有 VLM 在动态空间推理上表现糟糕。即便 GPT-5、Gemini-2.5-Pro 等顶级闭源模型在 DSR-Bench 上也只能取得 30.8 / 31.7 的平均分，Qwen2.5-VL-3B 仅 24.6，Qwen3-VL-32B 也只有 28.0，几乎是随机猜测水平。现有两条改进路线都有明显缺陷：路线一通过 CoT 把时空推理完全"翻译"成自然语言，但文本天然冗长、无法精确表达 3D 布局与连续轨迹；路线二外挂几何模块（如 DSR Suite 的 GSM、SAM mask decoder、深度图/点云）来注入 3D 先验，但这增加推理复杂度、依赖外部模型、无法内化为模型自身能力。同时既有潜在视觉推理方法（COCONUT、Mirage、LVR、3DThinker）都还停留在静态 2D 或 3D 场景，且需要人工标注参考图像或蒸馏基础模型，无法扩展到视频。
本文的目标是本文提出第一个让 VLM "用 4D 思考"的框架 4DThinker，目标是把动态时空推理能力内化到模型自身的连续隐空间中，无需任何外部几何模块、无需人为标注即可在单目视频上完成相机运动与物体运动的细粒度推理。作者期望模型在推理时能像人类一样"在脑海里"动态模拟场景演化，从而在 DSR-Bench、Dyn-Bench 等基准上全面超越闭源模型与专用空间模型，并把 4D 推理从外挂模块时代推进到内化于心象的时代。
与已有工作不同的是，4DThinker 的独特切入角度在于同时满足三个此前无法兼得的设计目标：(D1) Imagery-Dynamic，把潜在视觉推理从静态扩展到 4D 时空演化；(D2) Model-Intrinsic，把 4D 推理能力嵌入模型权重而非依赖外部几何模块；(D3) Data-Scalable，用 MegaSaM + SAM3 自动从原始视频合成训练数据，完全摆脱人工标注。具体抓手是引入"潜在视觉 token"作为"动态心象"，通过 Dynamic-Imagery Fine-Tuning（DIFT）把文本监督与潜空间余弦相似度监督联合训练，再用仅在文本 token 上计算梯度的 4DRL 进一步优化复合运动推理。
核心方法
4DThinker 模仿人类"内心可视化"机制。技术分三部分：(1) 无标注数据生成——从 SpatialVID 取视频，MegaSaM 估相机轨迹，Gemini-3-Pro 选静态/动态地标，SAM3 跨帧追踪并按 $\hat{I}_t=(1-\alpha M_t)\odot I_t+\alpha M_t\odot c$ 生成高亮叠层，做一致性过滤。(2) DIFT 训练——叠层送入冻结视觉编码器 $f_{\text{vis}}$ 得 patch 嵌入 $E_t^i\in\mathbb{R}^{L\times D}$，池化为 $K$ 个潜在视觉 token，损失 $\mathcal{L}_{\text{DIFT}}=\lambda_{\text{ce}}\mathcal{L}_{\text{ce}}+\lambda_{\text{sim}}\mathcal{L}_{\text{sim}}$ 同时约束文本与潜空间。(3) 4DRL 是修改版 GRPO，仅在文本位置 $\mathcal{T}_{\text{txt}}^{(i)}$ 上算策略梯度，避免连续-离散失配。
核心创新是把"心象"具体化为连续潜在视觉 token，并提出 DIFT 把它们嵌入自回归生成循环。推理时若当前位置 $t\in\mathcal{T}_{\text{lat}}$，输入嵌入直接取上一时刻隐状态 $h_{t-1}$，模型用自己的"想象"为下一步提供上下文，形成一个自条件化的循环回路。关键区别在于：相比 3DThinker 用 3D 基础模型蒸馏静态几何，4DThinker 完全用动态叠层掩膜作为视觉证据，不依赖任何外部 3D 网络；相比 DSR Suite 引入 GSM 这种外部几何选择模块，4DThinker 把 4D 知识内化到模型权重中；相比 COCONUT/Mirage 停留在静态潜在推理，4DThinker 首次把"潜在视觉 token"扩展到时空维度，并设计 $\mathcal{L}_{\text{sim}}$ 余弦相似度损失显式监督隐状态对齐视觉嵌入。
方法步骤详情
方法分四步。Step 1 预处理：采样 $\{I_t\}$，Gemini 选静态/动态地标，SAM3 跟踪并按 $\hat{I}_t=(1-\alpha M_t)\odot I_t+\alpha M_t\odot c$ 合成叠层，$\mathcal{T}_{\text{valid}}$ 过滤。Step 2 QA 构建：相机数据基于 MegaSaM 12 类标签切段生成 $(Q_s,A_s)$；物体数据按方向/距离/速度/空间四类生成 $(Q_d,A_d)$。Step 3 心象 CoT：Gemini 生成 $r=.........$，样本 $\mathcal{S}$ 共 38K。Step 4 两阶段训练：DIFT 优化 $\mathcal{L}_{\text{DIFT}}$；推理时 $t\in\mathcal{T}_{\text{lat}}$ 取 $e_t=h_{t-1}$；接着在 37K DSR-Train 上做 4DRL，仅在 $\mathcal{T}_{\text{txt}}^{(i)}$ 上施加截断目标。
技术新颖性
技术上三个新颖之处值得强调。第一，作者设计了无标注、可扩展的数据生成管道，把 MegaSaM、SAM3、LLM 三者拼装起来合成"心象 CoT"，与 DSR Suite 等仍依赖人工几何先验的工作形成鲜明对比。第二，DIFT 提出的双目标损失 $\mathcal{L}_{\text{DIFT}}=\lambda_{\text{ce}}\mathcal{L}_{\text{ce}}+\lambda_{\text{sim}}\mathcal{L}_{\text{sim}}$ 是首个把文本交叉熵与潜在 token 余弦相似度联合训练的方案，其中 $\mathcal{L}_{\text{sim}}$ 通过"下一嵌入预测"把视觉语义注入自回归流。第三，4DRL 创新性地只在文本位置计算策略梯度，回避了连续-离散优化失配这一潜在推理中较少被讨论的稳定性问题，为后续"潜空间 + RL"工作提供了直接可借鉴的工程经验。
实验结果
在 DSR-Bench 上 4DThinker 对所有基座 VLM 都带来大幅提升：Qwen3-VL-32B 从 28.0 涨到 62.0 (+34.0 pp)，超过 Gemini-2.5-Pro 的 31.7 与 SOTA DSR Suite-Model 的 58.9，且无需任何外部几何模块；InternVL3.5-38B 同配置拿到 59.4 同样反超 DSR Suite-Model。Dyn-Bench 上 Qwen3-VL-32B 达到 75.4 (+10.9 pp) 新 SOTA，相机-物体维度从 56.5 涨到 68.7，证明模型真正学到 4D 表示。绝对距离 (A.Dis) 等"近随机"子任务提升最显著，例如 Qwen3-VL-32B 在 A.Dis 上从 14.5 跃升到 84.3。消融显示 DIFT (31.1) 优于 Raw QA SFT (25.1) 与 CoT SFT (26.8)，DIFT+4DRL (34.2) 又优于 vanilla GRPO (27.1)；$\mathcal{L}_{\text{sim}}$ 贡献 -5.7 pp，$K=4$ 时最优。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DSR-Bench 细粒度 4D 推理 (Qwen3-VL-32B) | 13 子任务平均准确率 | 62.0 | 28.0 (基座) / 58.9 (DSR Suite-Model) | +34.0 pp vs 基座，超过 SOTA +3.1 pp |
| DSR-Bench (InternVL3.5-38B) | 13 子任务平均准确率 | 59.4 | 26.7 (基座) / 58.9 (DSR Suite-Model) | +32.7 pp vs 基座，超过 SOTA +0.5 pp |
| Dyn-Bench 全局动态理解 (Qwen3-VL-32B) | 三轴平均分 | 75.4 | 64.5 (基座) / 61.4 (GPT-5) | +10.9 pp vs 基座，超 GPT-5 +14.0 pp |
| Dyn-Bench (Qwen2.5-VL-7B) | 三轴平均分 | 65.9 | 54.3 (基座) / 59.2 (SpaceR-7B) | +11.6 pp vs 基座，超专用空间模型 +6.7 pp |
| A.Dis 绝对距离 (Qwen3-VL-32B) | 准确率 | 84.3 | 14.5 (基座) | +69.8 pp，近随机→高精度 |
| Cam-Obj 相机-物体维度 (Qwen3-VL-32B) | 准确率 | 68.7 | 56.5 (基座) | +12.2 pp，证明 4D 表示解耦能力 |
局限与改进
作者坦承两个局限。其一，数据管道依赖 MegaSaM 等现成几何估计器，它们的误差会传播到训练标签中；尽管 4DRL 的 outcome-based reward 能在一定程度上缓解噪声，但若几何先验本身在长视频或极端运动下崩溃，数据质量仍会受损。其二，评估完全集中在多选题形式，开放生成式任务（如具身规划、轨迹预测、自由问答）尚未被验证，模型能否把这些 4D 表示迁移到非选择题场景仍是未知数。从读者角度还可补充三点观察：(a) DIFT 训练需要为每条样本运行一次 SAM3 跟踪 + MegaSaM 估计 + Gemini 推理，38K 数据合成代价高昂，扩展到更大规模时成本曲线需要重估；(b) 4DRL 只在 DSR-Train 上做了一阶段 RL，作者并未给出 RL 是否会损害 DIFT 已学到的潜空间对齐的细致分析；(c) 推理时心象 token 数量 $K=4$、层数固定，缺乏对不同视频长度自适应机制，理论上长视频需要的潜空间容量应不同。
独立分析的弱点
独立分析可指出四点可改进方向。第一，叠层掩膜设计依赖"静态地标 + 动态地标"二选一的二元假设，对多物体交互、群体运动或纯旋转场景的覆盖不足，建议未来引入基于显著性或场景流的多地标选取，让心象捕捉更丰富的运动语义。第二，潜在 token 通过分块均值池化得到，丢弃了 patch 之间的空间结构信息，可改用可学习的 Q-Former 或交叉注意力 token 化以保留细粒度几何。第三，4DRL 阶段只用了 37K DSR-Train，规模相对偏小，且奖励只有 $R_{\text{acc}}+R_{\text{fmt}}$ 二元信号，缺乏对推理过程正确性的细粒度塑形，建议引入过程奖励模型或基于视觉一致性的辅助奖励。第四，推理时心象生成依赖预定义占位符的固定序列，无法在推理过程中根据场景复杂度自适应地插入更多心象步骤，这限制了模型在极长或极复杂视频上的表现。
未来方向
作者在 Limitations 中已点出未来方向：用更鲁棒的几何先验替代 MegaSaM，以及把框架扩展到开放生成式任务。基于成果还可延伸出多条线索：(1) 把 4D 心象与具身智能结合，让机器人或自动驾驶 agent 在做路径规划前先"想象"未来 4D 演化；(2) 把心象 token 的扩散式生成引入推理，允许并行预测多条轨迹并选择最一致者；(3) 与世界模型（world model）联合训练，使 4D 推理与未来帧预测互为正则化；(4) 探索更稀疏的心象策略，例如只在模型置信度低时触发心象插入，节省推理成本；(5) 把这套"潜在视觉 token + RL"范式推广到音频或多模态传感器的时空推理中。
复现评估
作者在论文与项目页 (https://github.com/zhangquanchen/4DThinker) 公开了代码与数据生成管道，复现性较高。训练数据基于公开的 SpatialVID 自动合成，无需额外人工标注；合成阶段需要调用 Gemini-3-Pro 与 SAM3 等较昂贵 API，可能成为个人研究者复现的主要门槛。模型层面 DIFT 训练冻结视觉编码器 $f_{\text{vis}}$，超参 $\lambda_{\text{ce}}, \lambda_{\text{sim}}$、潜在 token 数 $K=4$、CoT 占位符结构都明确给出；4DRL 部分公开了奖励权重、截断系数 $\epsilon$、KL 系数 $\beta$ 与组大小 $G$。实验覆盖 6 个开源基座 + 2 个闭源对比 + 5 个专用空间模型 + 2 个基准；复现门槛主要是多机多卡 RL 训练（具体算力未在正文披露），论文附录较为详尽，对学术复现较友好。
论文图表
潜空间容量 $K\in\{1,2,4,8,16\}$ 下 DSR-Bench 平均分依次为 29.6、30.4、31.1、30.8、29.3。
揭示潜在 token 容量与文本上下文之间的权衡，$K=4$ 是经验最优，并为后续研究选择 $K$ 提供了基准参考。