Token Warping：让多模态大模型从邻近视角看世界 Token Warping Helps MLLMs Look from Nearby Viewpoints

完整 backward token warping 流水线如下。输入：源图像 $I\in\mathbb{R}^{H\times W\times 3}$、深度 $D\in\mathbb{R}^{H\times W\times 1}$（GT 或 Depth Anything v2 / Depth Pro 估计）、相机内参 $K\in\mathbb{R}^{4\times 4}$、相对位姿 $\Pi_{S\to T}=\Pi_T\Pi_S^{-1}$。Step 1 构造目标网格：与 ViT patch 划分一致，在目标视图定义 $M=(HW)/l^2$ 个规则网格中心 $g\in\mathbb{R}^{M\times 2}$。Step 2 构造 3D 代理网格 $M_S$：对 $I$ 中每个像素 $p_i=(u_i,v_i)$，用 $d_i$ 和 $K_{3\times 3}$ 反投影 $x_i=d_i K_{3\times 3}^{-1}\tilde p_i$，$\tilde p_i=[u_i,v_i,1]^\top$，得到 3D 点；相邻 2×2 像素构造两个三角面形成 $M_S$。Step 3 反向 ray casting：对每个 $g_j$，从目标相机按 $\Pi_T$ 和 $K$ 发射光线，与 $M_S$ 求交得到击中点 $x^*_j$；若未命中（遮挡/视野外）则标记无效。Step 4 投影回源图：计算 $\tilde p^*_j=K\Pi_{T\to S}\tilde x^*_j$，取 $g^*_j=\pi(\tilde p^*_j)$，其中 $\pi([u,v,w,1]^\top)=(u/w,v/w)^\top$。Step 5 token 取回（两种策略）：(a) Nearest——找到源图固定 patch 网格中心 $c\in\mathbb{R}^{M\times 2}$ 中欧氏距离 $g^*_j$ 最近的 $c_{i'}$，把该 patch 编码得到的 token 赋给 $g_j$，即 $i'=\arg\min_i\|g^*_j-c_i\|_2$；(b) Adaptive——以 $g^*_j$ 为中心从 $I$ 重新裁 $l\times l$ patch、重新过 ViT patch 嵌入得到 token。Step 6 送入 MLLM：把取回后的 $M$ 个 token 按目标视图规则网格的位置编码排列，与问题文本 token 拼接，送入冻结的 Qwen2.5-VL-7B 出答案。整条流水线只新增一次 unproject + 一次 ray cast + 一次 re-patchify，对 MLLM 主体完全黑盒。

技术新颖性可拆为三点。第一，token 作为 warping 单位的论证——Sec. 3.2 的扰动实验（Fig. 5）首次定量证明 ViT token 对 0–20 像素的取 patch 偏移几乎无精度损失（Qwen2.5-VL 在 CV-Bench-2D 上保持稳定），并把这种鲁棒性显式归因到 mental imagery 的 part-level 假设，这在前人 object-centric mental imagery（Lee et al. 2025）和 pixel warping 之间填补了粒度空缺。第二，backward warping 形式的系统性设计——论文不是简单用 backward，而是把它形式化为 $f_{T\to S}$：unproject→triangulate→ray cast→project 的完整几何管线，并讨论 nearest/adaptive 两种 fetch 的等价性（Tab. 1 中 Backward-Nearest 74.87% 与 Backward-Adaptive 77.89% 接近），证明核心收益来自目标视图规则网格这一约束而非 re-patchify 本身。第三，与生成式 novel view synthesis 的对比——同样用扩散模型 GenWarp 做对照，token warping 在 ViewBench-Text 5–15% 上以 74.87% 超过 GenWarp 的 69.35%，且不需要任何生成训练，展示了几何变换优先于像素合成的工程优越性。

弱点 1：仅适用于邻近视角——backward token warping 假设源图能看到目标视图的大部分内容；当视角变化大、目标视图有大量源图未覆盖区域时（如 360° 旋转 90° 后的另一面墙），所有 backward-warped 坐标要么落在源图外，要么命中错误内容。改进方向：可与扩散式 NVS（如 GenWarp）混合，对 warping 命中失败的区域触发局部 inpainting；或者先用 VGGT/DUSt3R 重建稀疏 3D，再决定哪些区域用 token warping、哪些用 NVS。弱点 2：依赖高质量深度——即使 token 比像素更鲁棒，本质上仍受 $D$ 误差影响。Tab. A2 显示从 GT 70.99% 降到 DA-v2 65.84%，绝对值 5p+ 的下降在安全敏感场景不可忽略。改进方向：可以引入 depth uncertainty 估计，对低置信度区域降权或融合多帧深度（NeRF-style 的多视角一致性正则），或把 warping 与 monocular 3D 重建结合（类似 MonST3R）以获得更稳的 3D proxy。弱点 3：网格与位置编码耦合——adaptive fetching 虽然更精确，但需要重新 patchify 整张图并重新计算位置嵌入，与 ViT 训练时的固定网格不严格一致；nearest fetching 又会因为取错相邻 token 在剧烈深度变化处失真。改进方向：探索 deformable attention（Deformable DETR 类）让 token 取样位置可微学习；或对 backward warping 后的 token 加一层 learnable refinement adapter，但需注意不破坏 MLLM 通用能力。弱点 4：评测场景单一——所有定量结果都来自室内 ScanNet 衍生数据。改进方向：补充室外街景（KITTI、nuScenes）、动态场景（Waymo、Ego4D）、艺术/抽象场景的测试，验证方法对非刚性对象、纹理贫乏区域、强烈光照变化下的鲁棒性。

作者明确提出的方向：(1) 论文 Conclusion 与 Sec. 5 都强调 backward token warping 是对认知科学 part-level mental imagery 的工程实现，未来可探索 token warping 与 LLM 推理链结合（如 CoT prompting 在 warp 后再让模型自检）；(2) 与 generative warping（GenWarp）的混合方案已在前文 Sec. A.3 部分隐含，作者暗示可以在 token 搬运失败时回退到 NVS。基于成果可延伸的方向：(1) 多帧输入——把单图扩展到多源图 backward token warping，相当于在 target grid 上做多视角 token 融合，类似 NeRF 的多视角一致性，可处理更大视角变化；(2) 视频时序扩展——连续帧间复用 token warping 的几何代理网格 $M_S$，做成 video-as-token-stream 的 MLLM 推理加速，避免逐帧重新编码；(3) 3D-aware 预训练目标——把 backward token warping 作为预训练 augmentation：在训练时随机对图像做几何变换，让 MLLM 学会看 token 就能反推视角，理论上可以替代或补充现有 3D 注入式微调（Spatial-MLLM、VG-LLM 路线），且无需 3D 标注；(4) 机器人/导航落地——结合 VLN-R1、EmbodiedBench 等具身基准，把 token warping 作为 agent 在未知视角下的低成本 mental rotation 模块；(5) 与 diffusion 联合——把 warped token 作为 cross-attention 条件喂给图像生成模型，实现可控的 token-driven novel view synthesis，结合两者优势。

开源情况：作者在文末给出 project page https://token-warping-mllm.github.io/，并在论文多处引用 ViewBench、ScanNet、Depth Anything v2、Depth Pro、VGGT、DUSt3R、GenWarp、Qwen2.5-VL 等成熟开源资源；没有显式声明代码仓库链接（论文中无 GitHub URL），但 viewBench 数据集、warping 函数（Eq. 3.1, B.4）描述详尽到变量级。数据规模：训练/评测完全基于已有数据集——ScanNet 提供 1613 个室内场景的 RGB-D + 位姿，Depth Anything v2 / Depth Pro 是开源的 monocular depth model，无需自行训练。算力需求：核心是推理 pipeline，不需训练，单卡 A100/A800 即可在数小时内完成全部 ViewBench 评测（571+744+300 题 × 17 个 baseline × 2 种 depth × 3 个 overlap 区间）。复现难度：中等偏低——需要实现 (a) 3D proxy mesh 构造（unproject + triangulate，约 50 行 PyTorch）；(b) ray casting（推荐用 PyTorch3D 或 nerfacc，约 100 行）；(c) nearest/adaptive token fetching（两段 indexing 代码）；(d) 与 Qwen2.5-VL-7B 的 token-level 接口对接（参考 HuggingFace transformers + 一个 custom vision encoder wrapper）。潜在坑点：(1) target grid 的 patch size $l$ 必须与底座 ViT 完全一致（Qwen2.5-VL 用 14×14 patch、448×448 输入、1024 tokens），改分辨率需重新校准；(2) ScanNet 的 overlap 计算公式 Eq. C.6 依赖完整 3D 点云与可见性判断，需要预先 unproject 所有帧；(3) ViewBench-Object 评测依赖 Qwen2.5-14B 作为 LLM-judge，prompt 模板（Sec. C.2）必须严格照抄以保证可比性。