Spatial-TTT：基于测试时训练的流式视觉空间智能 Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training
用测试时训练在线更新快权重，实现长视频流式空间理解
前置知识
Test-Time Training (TTT)
测试时训练是一种在推理阶段动态更新模型参数的范式。与传统推理中参数完全冻结不同，TTT 维护一组称为"快权重"(fast weights)的可更新参数，在处理每个测试序列时通过梯度下降在线更新这些参数，使模型能够自适应地编码当前输入的上下文信息。快权重本质上充当一个紧凑的非线性记忆模块，将历史信息压缩编码到参数中。TTT 的核心操作交替进行：更新操作（将当前 key-value 对通过自监督损失编码到快权重中）和应用操作（用更新后的快权重处理 query 产生输出）。
本文的核心方法就是建立在 TTT 范式之上，理解 TTT 的更新-应用机制是理解 Spatial-TTT 如何在推理时积累空间证据的基础。
快权重 (Fast Weights)
快权重是 TTT 框架中的一组特殊参数 $W \in \mathbb{R}^{d_{out} \times d_{in}}$，它们参数化一个小的神经网络 $f_W$，在推理过程中通过梯度下降持续更新。与训练后固定的模型参数不同，快权重充当自适应记忆，将输入流中的上下文信息逐步编码。在 Spatial-TTT 中，快权重使用无偏置的 SwiGLU-MLP 实现：$f_W(\mathbf{x}) = W_2[\text{SiLU}(W_1\mathbf{x}) \odot (W_3\mathbf{x})]$，其中 $W = \{W_1, W_2, W_3\}$ 是可学习的快权重，$\odot$ 是逐元素乘法。
快权重是 Spatial-TTT 实现恒定内存流式处理的关键机制，理解其结构和更新方式直接关系到论文方法的核心。
滑动窗口注意力 (Sliding Window Attention, SWA)
滑动窗口注意力是一种限制注意力范围的高效注意力机制。每个 token 只关注其前后固定窗口大小 $w$ 内的 token，而非全部历史 token，从而将注意力计算复杂度从 $O(n^2)$ 降低到 $O(nw)$。在 Spatial-TTT 中，SWA 与 TTT 分支并行运行，共享 Q/K/V 投影，窗口大小不小于 chunk 大小，以确保 chunk 内因果结构的完整性。SWA 负责建模局部时空连续性，而 TTT 分支负责跨 chunk 的长程信息压缩。
SWA 在 Spatial-TTT 中解决了一个关键问题：大 chunk 更新策略虽然提高了并行性，但破坏了 chunk 内 token 之间的交互，SWA 补偿了这一缺失。
VSI-Bench
VSI-Bench 是一个评估多模态视觉空间智能的基准测试，包含超过 5000 个问答对，来自 288 个真实世界室内视频（来自 ScanNet、ScanNet++ 和 ARKitScenes 验证集）。涵盖家庭、办公室、实验室、工厂等多种环境。任务分为数值问题（对象计数、绝对距离、物体大小、房间大小，使用 MRA 指标）和多选题（相对距离、相对方向、路线规划、外观顺序，使用 ACC 指标）。
VSI-Bench 是本文评估通用空间理解能力的主要基准，Spatial-TTT 在此基准上取得了最优整体性能（Avg. 64.4）。
VSI-SUPER
VSI-SUPER 包含两个子任务：VSI-SUPER-Recall (VSR) 和 VSI-SUPER-Count (VSC)，专门评估模型在任意长度自我中心视频中的持续空间感知能力。视频时长从 10 分钟到 120 分钟不等，以 1fps 采样。VSC 要求模型在长序列中计数对象，VSR 测试模型能否回忆插入对象的时间顺序。该基准的核心挑战在于需要持续积累证据并维护长期时空记忆。
VSI-SUPER 直接评估论文的核心目标——流式空间感知，是验证 Spatial-TTT 在长视频上持续空间理解能力的关键基准。
MindCube
MindCube 是一个评估细粒度空间能力的基准，将多视角图像组与空间推理问题配对。它特别测试两个方面：(1) 跨视角对象一致性，(2) 在变化的相机视角下对遮挡或不可见元素的推理能力。评估使用 MindCube-Tiny 子集，包含 1050 个问题（600 个 AMONG、250 个 AROUND、200 个 ROTATION），使用准确率 (ACC) 作为指标。
MindCube 测试的是跨视角空间推理能力，Spatial-TTT 在此基准上以 76.2% ACC 大幅超越所有基线，验证了其在视角变化下的空间推理优势。
研究动机
多模态大语言模型（MLLMs）在 2D 视觉理解上取得了令人瞩目的成果，但在需要精确 3D 空间对齐的任务上表现显著下降。这一问题的核心原因在于这些模型主要在 2D 语义级图像-文本对上训练，缺乏 3D 几何先验的监督。虽然已有工作尝试通过增强输入表示（如几何线索）或使用更多 3D 空间 VQA 数据来提升空间能力，但这些方法仍然局限于单张图像或短视频片段（通常 16 或 32 帧），无法扩展到实际场景中遇到的长时域视频流——在这些场景中，空间线索散布在数千帧中，必须随着观察者在环境中的导航而逐步聚合。朴素地扩展输入序列会导致由于二次注意力复杂度 $O(n^2)$ 带来的计算成本过高，而激进的时间子采样不可避免地丢弃了对准确 3D 推理至关重要的细粒度空间细节。此外，现有空间数据集通常是稀疏和局部的，提供的目标答案往往是短文本（如多选选项或整数），只能监督底层 3D 场景状态的一小部分，为学习快权重更新动态提供低覆盖度的梯度信号。
本文的目标是本文的核心目标是构建一个能够从无界视频流中流式地维护和更新空间证据的框架，实现真正的流式视觉空间智能。具体而言，Spatial-TTT 旨在：(1) 通过在线更新快权重作为紧凑的非线性记忆来积累长时域视频流中的 3D 空间证据；(2) 设计高效的混合架构实现长空间上下文的压缩和推理；(3) 引入空间预测机制捕获几何对应关系和时空连续性；(4) 构建密集场景描述数据集为学习有效的快权重更新动态提供丰富监督。最终，该框架需要在各种视觉空间理解任务上实现最先进的性能。
与已有工作不同的是，本文的独特切入角度在于将测试时训练（TTT）范式引入视觉空间智能领域。与现有方法专注于预训练或后训练阶段不同，Spatial-TTT 探索了一种全新的策略：在推理时通过在线更新模型参数来原生适配多样化的流式数据。这一角度的核心洞察是：空间理解的核心挑战不是简单的更长上下文窗口，而是如何在时间上选择、组织和保留空间信息。传统 MLLM 的固定参数无法动态适应不断变化的视觉输入，而 TTT 的快权重机制恰好提供了一种紧凑的非线性记忆来逐步编码 3D 空间证据。此外，本文还识别出现有 TTT 实现中 Q/K/V 通过逐点线性投影生成的问题——这忽略了视觉 token 之间的邻域结构，使得记忆更新缺乏空间一致性，因此提出了空间预测机制来注入时空归纳偏置。
核心方法
Spatial-TTT 的整体思路可以从直觉层面理解为：想象一个人在陌生的建筑中导航，他不会一次性记住所有空间信息，而是随着移动逐步积累空间认知——记住走廊的走向、房间的布局、物体的位置关系。Spatial-TTT 让模型也具备这种能力：通过测试时训练（TTT）机制，在处理视频的每一帧时在线更新一组"快权重"，这些快权重充当一个紧凑的空间记忆，逐步积累 3D 证据。技术路线包括三个关键设计：(1) 混合 TTT 架构——交替放置 TTT 层和自注意力层（3:1 比例），既保留预训练模型的语义推理能力，又实现高效的长上下文压缩；(2) 空间预测机制——在 TTT 层的 Q/K/V 投影上应用轻量级 3D 时空卷积，注入局部邻域归纳偏置，使快权重学习时空上下文之间的预测映射而非孤立 token 之间的映射；(3) 密集场景描述监督——构建包含全局上下文、物体计数和空间关系的详细 3D 场景描述数据，为学习有效的快权重更新动态提供高覆盖度的梯度信号。
Spatial-TTT 与已有方法的本质区别在于其"推理时自适应"的范式。现有空间智能方法（如 VST、Cambrian-S、Spatial-MLLM 等）都在训练阶段固定模型参数，推理时使用固定的权重处理所有输入，这意味着模型无法根据当前视频的具体空间特征进行动态调整。Spatial-TTT 的核心创新是维护一组在线更新的快权重 $W_t$，在每个时间步交替执行更新操作 $W_t \leftarrow W_{t-1} - \eta \nabla_W \mathcal{L}(f_{W_{t-1}}(k_t), v_t)$ 和应用操作 $o_t = f_{W_t}(q_t)$。这使得模型能够将历史空间信息压缩编码到快权重中，并在推理时持续积累和更新空间认知。另一个关键创新是空间预测机制：传统 TTT 使用逐点线性投影生成 Q/K/V，忽略了视觉 token 之间的空间结构；而 Spatial-TTT 使用深度可分离 3D 卷积 $\tilde{x}_{t,h,w}^i = \sum_{\delta \in \mathcal{N}} \theta_\delta^i \cdot x_{t+\delta_t, h+\delta_h, w+\delta_w}^i$ 聚合局部邻域信息，使快权重学习几何对应关系和时间连续性。此外，采用 Muon 更新规则替代 vanilla 梯度下降，通过正交化梯度和动量积累提高更新的稳定性。
方法步骤详情
Spatial-TTT 的方法分为架构设计、训练数据构建和训练策略三个层面。架构设计方面，基于 Qwen3-VL-2B-Instruct 初始化，将 Transformer 的 75% 注意力层替换为 TTT 层，25% 保留为自注意力锚点层（3:1 比例）。每个 TTT 层内，滑动窗口注意力（SWA）和 TTT 分支并行运行，共享 Q/K/V 投影（TTT 分支的 Q/K 有轻量的可学习缩放和偏移参数）。TTT 分支使用大 chunk 大小 $b=2648$ 个 token 进行快权重更新，chunk 内部通过 SWA（窗口大小 $w \geq b$）保持时空连续性。快权重网络使用无偏置 SwiGLU-MLP，更新使用 Muon 规则：先计算正交化带动量的梯度 $G_t = \text{MuonUpdate}(G_{t-1}, \nabla_W \mathcal{L})$，再 L2 归一化更新权重。空间预测机制对 TTT 层的 Q/K/V 应用 kernel size $\kappa=3$ 的深度可分离 3D 卷积，Dirac delta 初始化保持恒等映射。训练数据方面，从 SceneVerse 注释构建密集场景描述数据集（约 16k 样本：3.6k ScanNet + 12.5k ARKitScenes），要求模型生成包含全局上下文、物体及计数、物体关系的完整 3D 场景描述。训练策略分两阶段：第一阶段在密集场景描述数据上训练，滑动窗口大小从 $w_{max}=5600$ 线性退火到 $w_{min}=b=2648$（前两个 epoch），采样 32 帧；第二阶段在 3M 大规模空间 VQA 数据上微调（含 2M 自建 VQA 样本），采样 64-128 帧，窗口大小固定为 chunk 大小。推理时使用双 KV 缓存机制：滑动窗口 KV 缓存（固定长度 $w$，超出时丢弃最早条目）和 TTT 待处理 KV 缓存（累积 key-value 对直到达到 chunk 大小后执行快权重更新，然后清空），实现恒定内存的流式处理。
技术新颖性
Spatial-TTT 的技术新颖性体现在多个层面。首先，它是首个将测试时训练范式应用于视觉空间智能的工作，开辟了一个全新的研究方向——不同于现有方法在训练阶段优化空间能力，Spatial-TTT 在推理时通过在线参数适应来积累空间认知。其次，混合 TTT 架构的 3:1 比例设计巧妙地平衡了效率和能力保留：TTT 层提供线性复杂度的长程信息压缩，锚点层保持预训练模型的跨模态对齐和语义推理能力，这种设计避免了纯 TTT 架构导致的预训练知识破坏（实验显示纯 TTT 架构 Avg. 从 64.4 降至 53.9）。第三，大 chunk 更新策略与并行 SWA 的结合是一个重要的工程创新：大 chunk（2648 token）显著提高了 GPU 利用率和并行性，保持空间连贯的视觉内容在同一更新单元内，而 SWA 补偿了大 chunk 带来的 chunk 内 token 交互缺失。第四，空间预测机制首次将 3D 时空卷积引入 TTT 框架，使快权重学习空间上下文之间的预测映射而非孤立 token 之间的映射，这是一个概念性的突破。第五，密集场景描述数据集的构建解决了 TTT 在空间任务上的核心瓶颈——稀疏监督无法有效指导快权重更新动态的学习。
实验结果
Spatial-TTT 在多个空间理解基准上取得了全面的最先进性能。在 VSI-Bench 上，Spatial-TTT-2B 以 64.4 的平均分取得最佳整体性能，超越了所有专有模型和开源模型，尽管其参数量仅为 2B。特别值得注意的是，在多选空间推理任务中，Spatial-TTT 在相对方向（73.0%）和路线规划（77.0%）上表现出显著优势，表明其在方向推理和导航规划方面能力更强。在数值问题上，模型在绝对距离上取得最高分（71.7%），在房间大小（65.9%）上也表现出色。在 MindCube-Tiny 基准上，Spatial-TTT 取得 76.2% 的 ACC，大幅超越最强专有基线 Gemini-3-pro（63.9%）和最强开源空间模型 MindCube-3B（51.7%），分别提升 12.3 和 24.5 个百分点，验证了其在视角变化和遮挡下的强空间推理能力。在流式空间感知方面，VSI-SUPER-Count 上 Spatial-TTT 在所有视频长度上都显著超越基线（10min: 31.8%, 30min: 45.6%, 60min: 36.2%, 120min: 38.4%），而其他模型在长视频上性能崩溃到 0%。VSI-SUPER-Recall 上也保持稳定性能（120min: 30.0%）。消融实验验证了各组件的有效性：移除空间预测机制 Avg. 降至 62.1，移除密集数据降至 61.3，移除混合架构降至 53.9。在效率方面，1024 帧时 Spatial-TTT 相比 Qwen3-VL-2B 在 TFLOPs 和内存上都实现了超过 40% 的降低。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VSI-Bench 通用空间理解 | Avg.（数值问题 MRA + 多选 ACC 宏平均） | 64.4 | Gemini-3-pro 56.0 / Qwen3-VL-8B 57.9 / Cambrian-S-3B 57.3 | 超越最强开源模型 Qwen3-VL-8B 约 6.5 个百分点 |
| VSI-Bench 相对方向 | ACC | 73.0 | Cambrian-S-3B 61.9 / VST-7B-SFT 55.8 | 超越 Cambrian-S-3B 约 11 个百分点 |
| MindCube-Tiny 空间推理 | ACC（微平均） | 76.2 | Gemini-3-pro 63.9 / MindCube-3B 51.7 | 超越最强专有模型 12.3 个百分点，超越最强开源空间模型 24.5 个百分点 |
| VSI-SUPER-Count 120min | MRA | 38.4 | 所有基线均为 0.0 | 基线完全崩溃，Spatial-TTT 独立实现长视频计数 |
| VSI-SUPER-Recall 120min | ACC | 30.0 | Flash-VStream 28.3 / Cambrian-S-7B 0.0 | 保持稳定性能，其他空间模型完全失效 |
| 1024 帧内存效率 | Peak Memory (GB) | 11.9 | Qwen3-VL-2B 21.2 / Spatial-MLLM-4B OOM | 相比 Qwen3-VL-2B 降低 44% 内存，Spatial-MLLM-4B 直接 OOM |
局限与改进
尽管 Spatial-TTT 取得了显著成果，但仍存在一些局限性。首先，模型基于 Qwen3-VL-2B-Instruct 初始化，参数量仅为 2B，虽然在空间任务上表现出色，但在通用视觉语言理解能力上可能不如更大的模型（如 7B 或 72B 模型），这在需要同时进行空间推理和复杂语义理解的场景中可能成为瓶颈。其次，密集场景描述数据集仅包含约 16k 样本（3.6k ScanNet + 12.5k ARKitScenes），数据规模相对较小，且场景类型局限于室内环境，对室外场景、大规模城市场景或动态场景的泛化能力有待验证。第三，虽然论文展示了线性复杂度的理论优势和实际效率提升，但在 VSI-SUPER 基准上的性能在某些时间点（如 10min vs 60min Recall）存在波动，说明流式空间记忆的稳定性仍有提升空间。第四，论文未充分讨论 TTT 更新的学习率敏感性——学习率 $\eta$ 的选择对快权重更新动态有重要影响，但论文缺乏对此的详细分析。第五，当前方法的 chunk 大小固定为 2648，在不同视频密度和空间复杂度场景下可能不是最优的，缺乏自适应 chunk 大小的机制。此外，论文主要在自我中心视角视频上评估，对第三人称视角或全景视角的空间理解能力尚未探索。
独立分析的弱点
Spatial-TTT 的一个明显弱点是数据规模和场景多样性有限。密集场景描述数据集仅 16k 样本且全部来自室内场景（ScanNet 和 ARKitScenes），这意味着模型的空间先验主要局限于室内环境。改进方向可以是扩展到室外场景数据集（如 Waymo、nuScenes）或多尺度场景（从桌面到城市级别）。另一个弱点是空间预测机制使用固定 kernel size 3 的 3D 卷积，这可能无法适应不同尺度的空间结构——小物体可能需要更细粒度的局部聚合，而大尺度布局可能需要更大的感受野。可以探索多尺度卷积或自适应 kernel 大小。此外，模型的快权重更新使用固定的 Muon 规则，缺乏根据输入复杂度动态调整更新强度的机制——简单的静态场景和复杂的动态场景可能需要不同的更新策略。在效率方面，虽然相比 Qwen3-VL-2B 有显著提升，但 chunk 大小 2648 在极长视频（如数小时）上的处理效率和内存管理仍有优化空间，可以探索层次化的快权重结构或多级记忆机制。
未来方向
基于 Spatial-TTT 的成果，有几个有前景的研究方向。首先，可以将 TTT 范式扩展到其他空间智能任务，如 3D 场景重建、机器人导航中的实时空间规划、AR/VR 中的空间交互理解等。其次，探索自适应快权重更新策略——根据视频内容的空间复杂度和变化率动态调整更新频率和学习率。第三，将 Spatial-TTT 与强化学习结合，让模型不仅记住空间信息，还能基于空间记忆做出决策（如主动探索策略）。第四，扩展到多模态融合场景，结合深度传感器、LiDAR 或触觉信号来增强空间感知。第五，探索更高效的快权重结构，如低秩分解或稀疏更新机制，进一步降低计算开销。第六，将密集场景描述监督的思想推广到其他需要结构化记忆的任务，如长时间对话中的实体关系追踪或视频中的事件因果推理。最后，可以探索将 Spatial-TTT 与测试时扩展（TTS，如多次采样和最优选择）结合，同时利用两种推理时优化策略的优势。
复现评估
从复现角度来看，Spatial-TTT 具有较好的可复现基础。基座模型 Qwen3-VL-2B-Instruct 是公开可用的开源模型，降低了复现门槛。论文详细描述了关键超参数：chunk 大小 2648、窗口大小从 5600 退火到 2648、学习率 1e-6（预训练骨干）和 1e-5（TTT 相关参数）、warmup 1000 步、cosine 学习率调度等。训练数据方面，密集场景描述数据集基于公开的 SceneVerse 注释构建，VQA 数据部分来自开源数据部分自建。然而，复现的主要挑战包括：(1) 自建的 2M VQA 数据的详细构建流程和数据质量控制未完全公开；(2) 3D 时空卷积的具体实现细节（如如何将视觉 token reshape 为时空网格）需要仔细理解；(3) 双 KV 缓存机制的实现需要对 TTT 框架有深入理解；(4) 训练需要的算力未明确说明，但从 2M VQA 数据和 64-128 帧的训练配置来看，计算需求不低。论文是否开源代码和预训练权重将直接影响复现难度。
论文图表
