Spatial-Interactor：通过与可观测物理世界交互学习空间推理 Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World
用三级交互课程与特权在线蒸馏，教会VLM建模状态转移并提升长时程空间推理
前置知识
VLM（视觉语言模型）
以视觉编码器（如 ViT）加多模态投影器接语言模型的架构，输入图像/视频与文本，输出文本回答。本文使用 Qwen2.5-VL-3B/7B 和 Qwen3-VL-4B/8B 作为骨干，视频输入统一采样 32 帧，多视角任务输入全部视图。训练时只更新语言模型与投影器，视觉编码器冻结。
本文的全部训练方法（SFT、OPD）都作用在 VLM 上，理解哪些模块被训练、视频如何被采样为帧序列，是读懂实验设置的前提。
状态转移（State Transition）
动态环境中的观测变化可分解为世界状态 $W_t$ 与观察者位姿 $E_t$ 的变化：物体移动、被操作属于前者，相机平移/旋转属于后者。本文用三元组 $\delta_t = (O_t, a_t, O_{t+1})$ 表示一次局部转移，即前观测、动作、后观测，其物理变化可从交互元数据验证。
这是全文的核心抽象：论文主张静态空间 QA 缺少的正是对转移的直接监督，三级课程和 OPD 都围绕“如何学转移、如何整合转移”展开。
GRPO（组相对策略优化）
一种可验证奖励的强化学习算法：对每个问题采样一组（group）回答，用组内标准化后的答案奖励计算裁剪的策略梯度损失 $\mathcal{L}_{answer}$，无需训练价值网络。本文将其作为 OPD 的 RL 骨架，答案正确性完全交给确定性奖励（选择题精确匹配、数值题相对误差）。
OPD 是“GRPO 加过程蒸馏”的扩展，论文的关键消融就是同设置下 GRPO 基线（59.2）与 OPD（60.1）的对比，不懂 GRPO 就无法理解该对比隔离了什么。
特权信息与在线策略蒸馏（OPD）
特权信息指仅训练时可见、推理时不可得的额外信号，这里是冻结标注器生成的分段转移描述 $z = (z_1, z_2, z_3, z_4)$。特权教师以 $(x, z)$ 为条件，学生只以 $x=(V,q)$ 为条件，但两者对学生自己采样的同一段推理前缀 $y_{<t}$ 计算教师 top-k token 支撑集上的前向 KL，作为过程损失 $\mathcal{L}_{process}$。
这是本文最核心也最难懂的创新：同前缀评测把“特权证据如何改变下一步推理分布”从最终答案模仿中剥离出来，是理解方法章节的钥匙。
SFT（监督微调）
用（输入，目标回答）对直接最大化似然的训练方式。本文第一阶段在 82,596 条 L1–L2 交互样本加 80K 公开空间 QA 上做 SFT，让模型学会由物体操作和自我运动引起的局部状态转移，为后续长时程 RL 提供初始化。
论文是“先 SFT 后 OPD”的两阶段配方，消融表（Table 3）逐级叠加外部 SFT、交互 SFT、GRPO、OPD，只有理解各阶段作用才能读懂 35.1 到 60.1 的提升来源。
研究动机
现有视觉语言模型在动态物理世界中的空间推理能力严重不足。作者设计了两个诊断实验：一是在 VSTI-Bench 上随机打乱每段视频的 32 个采样帧，Qwen2.5-VL-3B 和 7B 的准确率仅下降 0.9 和 0.8 分（没有任何子任务变化超过 1.4 分），说明模型主要依赖顺序不变的视觉线索，根本没有建模连续空间演化中的局部状态转移；二是局部到长时程的对比测试，Qwen2.5-VL-7B 在 SAT-Real 局部交互任务上得 54.7 分，但在需要沿长轨迹累积运动信息的 VSTI-Bench 相机位移任务上暴跌至 8.6 分，GPT-5.5 也从 88.7 掉到 23.9，说明即便感知到局部变化，模型也无法在完整轨迹上整合连续转移。根因在于现有空间训练几乎全是关于物体属性和空间关系的静态问答，对“状态如何变化、变化如何累积”缺乏直接监督，导致模型在多视角推理、3D 路径理解和长时程任务上丢失空间状态、混淆先前观测、漏掉细粒度变化。
本文的目标是本文的目标是让视觉语言模型通过与可观测物理世界的交互来建模状态转移，并把局部转移整合成长时程一致的空间状态。具体拆解为三级递进课程：L1 学习被动观测到的外部世界变化，包括物体位移、属性与铰接变化、遮挡与可见性、单步与多步操作及其先后顺序与结果；L2 学习自身运动如何改变视觉观测，包括相机平移/旋转/升降的运动推断、幅度比较与合成、跨视角对应、基于锚点的定位、视差和运动后的关系预测；L3 学习在完整交互轨迹上按序整合连续局部转移，涵盖路径长度、端点位移、轨迹形状、转弯区间和重访位置的全局任务。作者还要求整个过程低成本可扩展：由模拟器和真实轨迹的几何元数据自动生成可验证 QA，共 108K 对，最终在 Qwen2.5-VL-3B/7B、Qwen3-VL-4B/8B 四个骨干上取得一致大幅提升。
与已有工作不同的是，论文的独特切入角度是把交互轨迹作为状态转移的直接监督信号。形式化地，轨迹 $\mathcal{T} = (\delta_1, \ldots, \delta_{T-1})$，每条记录 $\delta_t = (O_t, a_t, O_{t+1})$ 将前一观测、动作与后观测对齐，物理变化可从交互元数据验证——这与传统空间 QA 保留“孤立证据”的范式本质不同。灵感来自人类婴儿通过观察和主动交互理解物理世界的发展过程：交互天然编码了“什么动作导致什么视觉变化”的因果结构。第二个独特设计源于一个诊断发现：给 GPT-5.5 提供自生成的分段局部转移文字描述，能把相机位移分数从 23.9 提到 35.5，说明显式转移描述能帮助长时程整合。作者据此把分段转移描述作为仅训练时可见的特权信息，通过在线策略蒸馏（OPD）教会学生在推理时自己内化这种整合能力，而非依赖推理时的外部提示。
核心方法
直觉上，动态空间理解等于知道每两次观测之间“发生了什么变化”，并按时间顺序把变化累加成连贯的空间状态。技术路线分三步：首先把交互轨迹表示为有序记录序列 $\mathcal{T} = (\delta_1, \ldots, \delta_{T-1})$，其中 $\delta_t = (O_t, a_t, O_{t+1})$ 包含前后观测与中间动作，物理变化由状态、位姿与轨迹元数据验证；然后按“变化来源 + 时间跨度”两个维度组织三级课程——L1 被动世界状态转移（占 LSI-108K 的 14.1%）、L2 主动自我状态转移（64.6%）、L3 长时程转移整合（21.3%），数据来自模拟（ProcTHOR 46,766、AI2-THOR、HSSD、Replica）、真实相机（42,180，含 RoomTour3D、ARKitScenes、ScanNet++ 等）与真实机器人（BridgeData V2 10,000）；最后两阶段训练：SFT 学 L1/L2 局部转移建模，OPD 在 GRPO 框架内用特权自蒸馏学 L3 长时程整合。
核心创新是特权状态转移轨迹加在线策略同前缀蒸馏（OPD）。具体做法：把每个长视频均匀采样 32 帧并切成 4 个连续区间，用冻结的视觉语言标注器在不接触问题和答案的情况下描述每段的环境、可见变化与粗略相机运动，按时间顺序拼接为 $z = (z_1, z_2, z_3, z_4)$，同一视频的所有问题共享。训练时特权教师（更新前策略的 stop-gradient 快照，不是 EMA 模型）额外以 $z$ 为条件，学生只见标准视频-问题输入 $x = (V, q)$；关键在于两者对“学生自己采样出的同一段推理前缀 $y_{<t}$”分别评估——教师多看一个 $z$——从而把“特权证据如何改变下一步推理的 token 分布”从学生实际访问的状态中隔离出来。这与模仿教师答案或固定离线 rationale 的传统知识蒸馏本质不同：监督发生在学生自己探索的策略分布上，最终答案的正确性仍由可验证奖励独立负责，二者解耦。
方法步骤详情
第一步数据构建：模拟 agent 在场景中执行相机运动或物体操作，真实轨迹提供相机位姿、末端状态与物体追踪；用确定性模板把元数据渲染成 QA，过滤可忽略转移与歧义目标，冻结 VLM 验证器拒绝视觉上不可回答的实例，产出 LSI-108K（模拟 55,338 占 51.5%、真实相机 42,180 占 39.2%、真实机器人 10,000 占 9.3%）。第二步 SFT：在 82,596 条 L1–L2 样本与 80K 公开空间 QA 上微调，输入为转移前后观测加问题，输出为变化的物理原因或空间后果。第三步 OPD：在 10,712 条 L3 RoomTour 与 10,783 条 VSTI-Bench 样本上，每次更新前采样一组回答；答案奖励为选择题精确匹配、数值题相对误差、多字段取平均，组内标准化得 $\mathcal{L}_{answer}$；过程损失 $\mathcal{L}_{process}$ 是教师 top-k token 上的前向 KL，仅作用于推理位置；总目标 $\mathcal{L}_{OPD} = \mathcal{L}_{answer} + \beta \mathcal{L}_{KL-ref} + \lambda_t \mathcal{L}_{process}$，$\lambda_t$ 逐渐衰减。两阶段只更新语言模型与投影器，视觉编码器冻结。
技术新颖性
技术新颖性体现在三方面。其一，监督信号的结构创新：现有空间训练（VSI-590K、SpatialLadder 等）用静态 QA 提供孤立证据，本文用可验证的交互三元组 $O_t \xrightarrow{a_t} O_{t+1}$ 直接监督“状态如何改变”，且同一条交互记录可多尺度复用——局部窗口与有序动作序列支撑 L1/L2，完整相机轨迹支撑 L3——无需单独采集管线。其二，OPD 的过程监督设计：传统 GRPO 只有最终答案奖励，无法定位是哪步中间推理出错；OPD 加入仅训练时可见的特权转移描述，通过同前缀前向 KL 在学生自己的策略分布上做逐 token 过程引导，同时保留可验证答案奖励，二者严格解耦（独立冻结的参考策略不看 $z$、不提供过程监督；特权教师不生成独立回答）。消融证明设计有效：同初始化同数据的 GRPO 基线 59.2，OPD 60.1。其三，帧序敏感性反证：训练后打乱帧序使 3B/7B 掉 6.6/7.0 分（基线仅 0.9/0.8），证明模型确实学会了利用时间顺序而非静态线索。
实验结果
主实验（Table 1）：四个骨干 Overall 提升 16.4–25.0 分——3B 33.9→55.6、4B 47.3→63.7、7B 35.1→60.1、8B 48.4→65.9，8B 超过 GPT-5.5 的 53.4 与 Gemini-2.5-Pro 的 51.1；单项上 8B 的 MindCube 达 88.4（+59.0），7B 的相机位移 36.6（+28.0）。跨基准泛化（Table 2）：四个未见基准提升 4.3–10.6，主要来自 SFT，OPD 再加 1.0–1.4。消融（Table 3，Qwen2.5-VL-7B）：基线 35.1→外部 SFT 56.0→Full SFT 58.4→GRPO 59.2→OPD 60.1，OPD 相对 GRPO 在 Route Planning +5.1、Camera Displacement +3.1。课程消融（Figure 7）：L1→L2 顺序训练平均 44.1→49.8，唯一四基准全升。训练动态（Figure 8）：任务奖励升 6.8–8.9 分，过程分歧降 27–56%。帧预算与轨迹实验（Figure 9）：OPD 在 16/32/64 帧均最佳；无轨迹 32.6、4 段有序 35.4、打乱降至 33.8，顺序比段数更重要。闭环（Table 4/5）：WalkerBench 成功率 7.0→14.0；ESI-Bench 32.9→41.2。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 四基准综合（VSI/MindCube/VSTI/SPBench-MV 平均） | Overall 平均分 | Spatial-Interactor-8B 65.9 | Qwen3-VL-8B 48.4（GPT-5.5 为 53.4） | +17.5（相对自身基线） |
| MindCube 多视角推理 | 准确率 % | 88.4（8B） | Qwen3-VL-8B 29.4 | +59.0 |
| VSTI-Bench 相机位移（长时程） | 准确率 % | 36.6（7B） | Qwen2.5-VL-7B 8.6 | +28.0 |
| 跨基准泛化（MMSI/ViewSpatial/SAT-Real/SAT-Syn） | 平均准确率 % | 52.5（8B） | Qwen3-VL-8B 41.9 | +10.6 |
| OPD 与 GRPO 消融（VSTI 相机位移） | 准确率 % | OPD 36.6 | GRPO 33.5（同初始化同数据） | +3.1 |
| WalkerBench 闭环导航（Standard-100） | 成功率 % | 14.0（平均动作数 6.52） | Qwen2.5-VL-7B 7.0（17.71 步） | +7.0 分且动作数减 63% |
| ESI-Bench 闭环交互（8 类 × 30 题） | 成功率 % | 41.2（轮数 10.55） | Qwen2.5-VL-7B 32.9（12.34 轮） | +8.3 分 |
局限与改进
作者承认的局限：闭环评测中 WalkerBench 的距离与可见性类别得分仍为 0，说明能力边界明显；结论部分明确未来需要自适应轨迹分割（当前固定切 4 段）和更多样的真实交互。我自己的观察：第一，特权信息依赖外部冻结 VLM 标注器生成转移描述，其质量与成本成为瓶颈，且推理时学生无法访问特权轨迹，只能靠蒸馏间接内化，性能上限受师生能力差限制；第二，数据以室内场景与相机/机械臂运动为主（仅 ProcTHOR 就占 46,766 条），户外场景、可变形物体与非刚性动力学覆盖不足；第三，帧预算实验中 16→64 帧仅带来约 1 分提升（33.4→34.4），对更长视频的可扩展性存疑；第四，OPD 训练中过程分歧仅下降 27–56% 而非收敛，特权信号与学生分布间仍有差距；第五，跨基准中 MMSI 提升有限（8B 仅 +1.4：30.8→32.2），多视角对应能力提升不均衡；第六，8B 基线在 SAT-Syn 上只有 43.6 分，起点异常低，使 +15.9 的提升幅度解释需谨慎；第七，开放性空间推理（自然语言解释质量）缺乏评估，只有客观题指标。
独立分析的弱点
独立分析几个弱点。第一，特权轨迹生成是单点故障：冻结标注器若在某段描述错误（如把右移说成前移），学生会系统性学偏，论文未做描述噪声鲁棒性实验；改进方向是多标注器投票，或用几何元数据（真实相机位姿差）校验/替代文字描述。第二，分段固定为 4：轨迹实验显示 8 段（35.3）与 4 段（35.4）几乎无差，固定分段已饱和，对超长或变速轨迹可能不适配，可按场景变化率自适应分段。第三，数据配比缺乏消融：L2 占 64.6% 而 L1 仅 14.1%，L1 的世界变化理解可能欠训练——ESI-Bench 中刚性与稳定性类别仅从 33.3/26.7 升到 40.0/36.7，是最弱的提升项。第四，视觉编码器全程冻结，限制了小幅位移、慢速旋转等细粒度运动感知的上限（7B 的 Camera Displacement 也只有 36.6），可对 ViT 尾层做低秩适配。第五，闭环成功率仍低（WalkerBench 14%），开环 QA 分数与闭环执行间存在鸿沟，可加入动作条件预测的辅助损失。第六，$\beta$、$\lambda_t$ 的取值与衰减调度未披露敏感性分析，复现调参成本高。
未来方向
作者明确提出的方向有两个：自适应轨迹分割——让分段粒度随场景变化率与任务难度动态调整，而非固定 4 段；以及更多样的真实交互——当前真实数据主要是室内相机漫游与桌面机械臂（BridgeData V2），可扩展到户外导航、人机协作与可变形物体操作。基于本文成果还可延伸：其一，把特权轨迹从训练时外部给定变为模型自生成——训练模型先输出自己的分段转移描述再推理，推理时保留该能力，绕开特权信息不可得的限制，这也与诊断实验中提供 Trace 使 GPT-5.5 提升至 35.5 的发现呼应；其二，将 OPD 迁移到具身 VLA 模型与在线世界模型，让状态转移预测与动作决策联合优化；其三，引入几何先验（深度、点云、重投影误差）作为特权信息或直接监督，弥补纯 2D 观测差在度量估计上的模糊性；其四，把三级课程思想推广到其他动态能力，如物理常识（重力、碰撞后果）与时序因果推理；其五，测试时扩展：帧预算实验显示 OPD 在 64 帧仍最佳，可结合关键帧选择或流式记忆支持小时级长视频；其六，研究过程分歧与学生性能的因果关系，判断分歧降到多少是充分的停止信号。
复现评估
复现评估：论文给出项目主页（https://zju-omniai.github.io/Spatial-Interactor/），但正文未明确承诺开源代码与 LSI-108K 数据集，需关注主页是否放出资源。有利因素：骨干全部公开（Qwen2.5-VL-3B/7B、Qwen3-VL-4B/8B）；数据构建流程可操作——模拟器（ProcTHOR、AI2-THOR、HSSD、Replica）与真实数据集（ScanNet++、ARKitScenes、RoomTour3D、ScanNet v2、BridgeData V2）均开源，配确定性模板生成加冻结 VLM 验证，无需人工标注；评测基准全部公开且遵循官方协议，训练/评测在场景与视频级不重叠。不利因素：OPD 需在 GRPO 框架内实现同前缀双分支前向 KL，要魔改 veRL/OpenRLHF 类框架；特权标注器的具体模型未指明；GPU 卡数与训练时长未披露，按 7B/8B 模型加 RL 训练估计需 8×A100 量级；混入的 80K 公开数据的具体配比要从其他论文核对。总体难度：中高——数据侧可复现性好，训练管线工程量较大。
论文图表
两个诊断实验：左侧帧打乱实验显示 Qwen2.5-VL-3B/7B 打乱 32 帧后准确率仅降 0.9/0.8 分，暴露对时序不敏感；右侧显示长时程任务上 GPT-5.5 从 88.7 掉到 23.9，而提供局部转移描述（+Trace）可使其相机位移分数回升到 35.5。
这两个实验是全文动机的实证基础，直接催生了三级课程与 OPD 特权轨迹的设计。