MJev-Spatial：基于原生注意力匹配的系统一空间智能 MJev-Spatial: System One Spatial Intelligence via Native Attention Matching
把三类空间任务统一为候选分类，复用预训练注意力投影直接决策，比自回归快5.6倍。
前置知识
自回归文本生成
自回归 VLM 把答案表示成 token 序列，逐个预测下一个 token 直到生成完整回答，之后还需要从文本中解析出最终答案（如从字符串中提取坐标或数值）。每生成一个 token 都要跑一次解码前向，答案越长延迟越高。
本文的核心出发点是：空间任务的答案空间其实非常紧凑（三选一、一个标量、一个 2D 点），用自回归生成纯属浪费。理解自回归的开销来源，才能理解为什么换成单次前向的分类决策能带来 5.6 倍加速。
Query/Key 注意力投影
Transformer 注意力层中，每个位置的隐状态经 $W_Q$、$W_K$ 两个投影矩阵变换后计算内积相似度，决定信息聚合的权重。这些投影矩阵在大规模预训练中已经学会了"表示匹配"的能力：判断一个表示与另一个表示的相关程度。
本文最大胆的设计是不新增任何预测头，直接把候选文本的表示当作 Key、决策位置的表示当作 Query，复用骨干最后一层预训练的 $W_Q$/$W_K$ 来打分。理解 Q/K 机制是看懂其"零参数分类器"的前提。
粗到细分类（Coarse-to-Fine）
当输出是连续值（距离、坐标）时，直接在所有可能取值上分类会让候选集爆炸。粗到细策略先在少量粗区间上分类（如 30 个对数区间），再在选中区间内细分（4~8 格），两三步就把分辨率提到足够细，每次决策的候选数始终很小。
本文的数值预测（两阶段）和点预测（三级 3×3 区域）完全建立在这个思想上，有效网格达 27×27 却每次只需 9 路分类。不理解粗到细就无法理解其推理流程和阶段数设计。
Teacher Forcing（教师强制）
训练序列模型时，把真实答案（而非模型自己的预测）拼在输入后面，使整条序列可以在一次前向传播中并行计算所有位置的损失。本文把多阶段决策（粗区间→细格→再细格）串成一条因果序列，配合真实答案确定的目标路径和裁剪区域，一次前向算完全部阶段损失。
这是本文训练效率的关键：一个三点定位样本有 3 个受监督决策和 2 次裁剪，若逐步 rollout 需要 3 次前向，teacher forcing 压缩为 1 次，且保证早期决策看不到后期候选和裁剪。
System 1 / System 2
借自《思考，快与慢》的认知分类：System 1 是快速、直觉、无推理链的即时判断；System 2 是缓慢、逐步推理。本文把"选空间关系、估距离、指位置"归为 System 1 任务——输出空间小、判断需在交互速率内完成，适合直接分类而非生成推理文本。
标题里的"System One"界定了论文定位：不追求链式思维，而是把预训练多模态知识蒸馏成即时决策。理解这一定位才能明白为什么作者认为放弃文本生成是合理取舍。
RoPE 与分组查询注意力
旋转位置编码（RoPE）通过旋转变换把相对位置信息注入 Q/K 内积；分组查询注意力（GQA）让多个查询头共享一个键头以省显存。Qwen3.5-4B 最后一层有 16 个查询头、4 个键头，每 4 个查询头共享一个键头。
论文的打分公式 $g(h)=\lfloor h/4\rfloor$ 正是 GQA 的头分组规则：候选得分是 16 个查询头与对应共享键头缩放内积的平均。保留 RoPE 和归一化意味着这个分类器完整继承了预训练的匹配几何。
研究动机
视觉语言模型回答空间问题的方式几乎都是自由文本生成：无论是判断"椅子是否在桌子前面"这类选项题、估计两物体距离的数值题，还是指出"把抱枕放在沙发上哪个位置"的指向题，模型都要把答案编码成 token 序列逐个自回归解码，之后再做文本解析才能恢复出空间预测。这在认知上极不匹配——选项题的答案只是三个候选之一，数值是一个标量，指向是一个归一化 2D 坐标，输出空间本非常紧凑，却要为自回归解码和答案解析支付额外延迟。训练侧同样有问题：把答案写成文本，意味着模型要同时学习空间判断本身和答案的文本形式（格式、单位、模板样板），引入了任务无关的监督噪声。对机器人抓放、导航判断这类要求交互速率（毫秒级）的场景，SpatailVLM、Molmo、RoboPoint 等生成式方案的解码加解析开销成为直接瓶颈。
本文的目标是本文要构建一个 System 1 式多模态决策模型：不生成任何答案 token，用预训练的视觉与语言知识对空间问题直接做出判断。具体目标有三：其一，用统一的分类框架覆盖三类空间输出——选项任务直接在给定选项中选一个；数值任务先选粗区间再选细分格；点任务在 3×3 图像区域上逐级细化；其二，每次分类决策只花一次前向传播，推理时不产生答案 token、不需要文本解析；其三，在 12 个空间理解基准上同时超越自回归基座模型和更大的自回归 VLM，并大幅降低推理延迟，证明"直接候选决策"是空间理解的可行路线。
与已有工作不同的是，已有工作的切入点要么延续自回归路线（SpatialVLM、SpatialRGPT 用空间标注训练文本生成），要么为定位任务设计专属接口（MolmoPoint 用 grounding token 序列回归坐标、V* 用视觉搜索裁剪证据区域）。本文的独特观察有两点：第一，三类空间输出本质上都可以表示为有限候选集——选项天然有限，数值和坐标可以在声明范围内离散化，这打开了"统一分类"的大门；第二，受 Jev（在声明的答案空间上直接输出概率分布而不生成文本）启发，可以不加任何预测头，直接复用骨干最后注意力层预训练的 Query/Key 投影来计算候选得分，让分类器从预训练中免费获得"表示匹配"能力。这与加回归头、检测头或学习式打分头（KEV）的路线形成鲜明对比。
核心方法
直觉上，本文把"回答空间问题"重构为"在候选中挑一个"。输入是有序图像、空间问题和任务相关的候选描述（选项原文、带单位的区间文本、或 top-left/center 这类区域名），拼成一条因果序列送入 Qwen3.5-4B。每个候选描述后跟一个 option-end 标记，候选列表末尾是 decision 标记；前 31 层语言层正常编码，在最后一个全注意力层处，取每个 End 位置的隐状态经预训练 $W_K$ 得到候选键，取 Decide 位置的隐状态经 $W_Q$ 得到决策查询，打分公式为 $z_{t,i}=\frac{1}{H}\sum_{h=0}^{H-1}\frac{Q_{t,h}^\top K_{t,i,g(h)}}{\sqrt{d}}$，其中 $H=16$、$d=256$、$g(h)=\lfloor h/4\rfloor$，softmax 后 argmax 即为选择。数值任务两阶段（30 个对数粗区间→区间内 4/8 细分格，共 216 个叶子格），点任务三级 3×3 决策且每级之间从原图裁剪选中区域重新编码，最终解码为数值区间中点或区域中心，整套机制零新增参数。
核心创新是"原生注意力匹配"（Native Attention Matching）：把候选分类实现为决策表示与候选表示在预训练注意力投影下的匹配，而不是外加分类头。与线性分类头或 KEV 那样新初始化 Q/K 投影的方案相比，它完整保留了该层的输入归一化、头归一化和旋转位置变换，FreeRet 的观察（最终 MLP 会使表示偏向词汇预测而损害语义匹配）支持在最终 MLP 之前取状态打分。72K 混合数据上的对照实验显示三种读出没有一致赢家：Native Q/K 在 RefSpatial 上 51.00% 最佳、VST-300 长度 MAE 0.3341 m 最低，线性头在 Where2Place 上更好，但 Native Q/K 可训练参数最少、训练成本最低。第二个关键创新是 teacher forcing 联合阶段监督：所有细化阶段因果串行、一次前向算完损失，并按问题平均各阶段损失，使一个三阶段点样本与一个一阶段选择题权重相同。
方法步骤详情
第一步，数据构建：从 RefSpatial、SAT、SenseNova-SI、VSI-590K-image、VST-P 五个公开空间数据集经审计转换出 12.3M 问答对，含选择题 7.1M、点定位 3.5M、长度估计 1.6M、角度估计 12 万、计数 3.8 万。第二步，候选构造：长度码本用 30 个对数间隔粗区间覆盖 $(0, 16384]$ 米（边 $e_j = s\exp(\frac{j}{30}\log(1+U/s)-1)$，$s=0.01$），细分为 4/8 格共 216 叶子格，量化误差上界 $\max(1\text{cm}, 5\%y)$；计数编码 $n=(\lfloor n/32\rfloor, n\bmod 32)$ 精确覆盖 $[0,1023]$；角度用 12 个 30° 区间各分 32 格；点任务固定 3×3 九区域顺序（中心、左上……）。第三步，训练：目标答案预先确定每个阶段的目标类和裁剪框，全部阶段串成因果序列，损失 $\mathcal{L}=\frac{1}{N}\sum_q\frac{1}{S_q}\sum_t-\log p_\theta(a^*_{q,t}|\cdot)$；全局批内按长度排序组成等长微批，最长优先跨 GPU 分配，padding 从 35.17% 降至 1.77%。第四步，推理：每次决策一次前向，数值取细格中点，点取末级格中心（有效 27×27 网格）；多点预测用概率树展开 91 个决策节点得 729 格，保留超过峰值 10% 的格子并按连通域取点。第五步，训练配置：8 GPU、全局 batch 512、AdamW 学习率骨干 $5\times10^{-6}$、读出 $2\times10^{-4}$，BF16 计算加 FP32 状态，视觉编码器与 merger 冻结，语言骨干全参数微调。
技术新颖性
与最近邻工作的本质区别有三层。对生成式空间 VLM（SpatialVLM、RoboRefer）：本文把输出结构从"文本形式"解耦为"候选集合"，监督信号只含任务相关的预测本身，推理无解码无解析。对专属定位接口（MolmoPoint 的 grounding token 序列）：本文用同一个候选分类机制覆盖选项、数值、点三种输出，任务差异只体现在候选构造规则上，且区域选择本身被端到端监督为分类，而非启发式视觉搜索；多点预测通过条件概率树扩展实现（每格得分为路径条件概率乘积），不需要额外训练或可学习的停止决策，这与生成变长坐标串的方案完全不同。对离散化先验（DORN 的深度序数回归）：本文的区间是让语言骨干打分的候选描述而非专用回归头，长度用对数粗区间加线性细分，并实证发现更粗的 216 格码本反而比 960 格误差更低（0.3202 对 0.3277 m）。工程上，全局长度分组加跨 GPU 负载均衡在不破坏 optimizer batch 成员的前提下把吞吐提高 30.78%。
实验结果
主实验（Table 2）：在 SAT、CV-Bench、BLINK、MMSI、RefSpatial-Bench、Where2Place、Point-Bench、RoboSpatial VQA/pointing、ERQA、EmbSpatial、VSI-Bench 十二个基准上，MJev-Spatial 平均 65.64% 为八模型最高，领先 Qwen3-VL-8B-Instruct（62.79%）、Spatial-SSRL（60.08%）、Molmo2-ER（59.06%）、SenseNova-SI（56.90%）、基座 Qwen3.5-4B（54.80%）、InternVL3.5-8B（48.24%）、SpatialThinker（39.68%）；7/12 基准排名第一，且在全部 12 个基准上超过自回归基座，其中 RoboSpatial VQA 提升 22.89 个百分点（79.06% 对 56.17%）、RefSpatial 提升 12.50 个百分点（58.50% 对 46.00%）；VST-300 开发集长度 MAE 0.103 m。效率：B200 上平均查询延迟 160.6 ms 为全场最低，比最快自回归基线快 2.5 倍、比基座快 5.6 倍。消融方面：读出方式无一致赢家但 Native Q/K 参数与成本最少；更粗的 216 格码本使 MAE 从 0.3277 降至 0.3202 m，argmax 解码（0.3202）优于条件期望（0.3300）；视觉消融中，对已训练模型移除裁剪使 RefSpatial 从 51.00% 崩到 9.00%，用无裁剪数据重训恢复到 46.50%，裁剪重编码以 51.00%/56.84% 取得 RefSpatial 和 Point-Bench 最佳；多点概率树把 Point-Bench 计数成功率从 19.39% 提到 38.78%，根剪枝保持成功率同时把决策节点从 91 降到 51.10、单题耗时从 4.716 s 降到 2.638 s（1.79 倍）；调度研究显示全局分组加负载均衡把吞吐从 99.06 提到 129.54 QA/s（+30.78%），padding 从 35.17% 降到 1.77%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 空间理解总评（12 基准平均） | 平均得分 | 65.64% | Qwen3-VL-8B-Instruct 62.79% | +2.85 个百分点，8 模型中第一，且 7/12 基准单项第一 |
| 对比自回归基座 | 平均得分 | 65.64% | Qwen3.5-4B 54.80% | +10.84 个百分点，12/12 基准全部超越（RoboSpatial VQA +22.89、RefSpatial +12.50） |
| 推理延迟（NVIDIA B200） | 12 基准平均查询延迟 | 160.6 ms | 最快自回归基线 / 基座 Qwen3.5-4B | 2.5× 加速 / 5.6× 加速 |
| 长度估计 | VST-300 开发集 MAE | 0.103 m | 自回归基线 | 全部对比模型中最低误差 |
| 点定位（Point-Bench macro） | 准确率 | 64.38% | Molmo2-ER 53.47% | +10.91 个百分点 |
| 训练吞吐（72K 语料、8×L20D） | QA/s | 129.54（padding 1.77%） | 原始顺序布局 99.06（padding 35.17%） | +30.78% 吞吐，同等任务量省 23.53% 时间 |
局限与改进
作者明确承认的局限包括：训练速度研究只测吞吐不做收敛或最终质量评估（每条件仅 100 updates）；三级 3×3 的 1/54 误差界只是码本几何性质，早期决策出错仍会排除正确区域，不构成精度保证；数值适配器只支持米、度、计数三种量纲，遇到不支持的量或模糊单位会直接拒绝。我的补充观察：其一，模型放弃了自由文本生成，开放问答、解释和 System 2 推理能力是否退化没有评估，模型实际是专用决策器；其二，Where2Place 上 Native Q/K（59.98%）明显落后线性头（67.99%），说明读出方式仍是任务相关的，统一机制有代价；其三，输出粒度被码本锁死——27×27 网格意味着指向误差下限约 3.7% 图宽，精细操作场景不够用；其四，多点概率树即使剪枝后仍需 2.638 s/题，与单点 160.6 ms 的快节奏不匹配；其五，评测集中在 4B 模型，该范式在更大或更小骨干上的可扩展性未验证。
独立分析的弱点
弱点一：码本刚性。米、角度、计数各有独立码本，新增物理量（体积、速度、3D 方向）都要人工设计区间方案并重训，适配器只能拒绝而非泛化；改进方向是引入可学习或分层的通用量纲编码，或用对数域统一不同量纲的区间构造。弱点二：指向精度天花板。27×27 有效网格的量化下限约 3.7% 图宽，抓取插孔、按钮点按等精细任务不够；可在第三级之后加第四级裁剪细化，或借鉴 MolmoPoint 在末级引入局部偏移回归。弱点三：多点预测成本失控。概率树全展开 91 节点 729 格，剪枝后单题仍 2.638 s，不满足交互速率；可改用 top-k 束搜索或先预测点数再展开固定宽度的树。弱点四：System 2 缺失。模型无法解释判断依据，也无法处理需要多步推理的复杂空间问题（MMSI 上仅 45.60%）；可用级联架构——快分类先答，置信度低时触发生成式慢推理。弱点五：读出任务相关性。Where2Place 上原生 Q/K 比线性头低约 8 分，说明没有免费午餐；可按任务在少量校准数据上自动选择读出方式，或混合多种读出的集成。
未来方向
作者在相关工作中已经指出的延伸方向：VideoJev 等并发工作把共享候选打分器用于视频时序定位和视频问答，说明该范式可迁移到时序维度；与骨干效率研究（剪枝、量化、自适应执行）结合可进一步压缩 160.6 ms 的延迟。基于本文成果我认为值得延伸的方向：一是 System 1/2 级联——用该模型做毫秒级粗判，低置信度样本路由给生成式推理模型，兼顾延迟与难题精度；二是把候选分类从 2D 推向 3D 和具身动作空间（FBddcz 等已把决策接口用于技能选择），候选即离散动作；三是开放词汇候选——目前候选必须预先声明，结合检索可让模型对无限开放选项打分；四是码本自动学习，用向量量化学出任务自适应的区间划分；五是把这个 4B 决策器蒸馏到 1B 以下边缘设备，配合量化服务机器人实时控制；六是在训练侧把全局长度分组与负载均衡的思想推广到任意多阶段 teacher forcing 训练场景，这一 30.78% 的吞吐收益对所有多阶段序列训练都有参考价值。
复现评估
复现条件总体较好。代码已在 GitHub 开源（Fr0zenCrane/MJev-Spatial）；基座 Qwen3.5-4B 是公开模型；训练数据全部来自五个公开数据集（RefSpatial、SAT、SenseNova-SI、VSI-590K-image、VST-P），12.3M QA 的转换管线经过审计并承诺码本随 checkpoint 一起存储，附录 B 给出逐任务的数据来源分解与转换验证细节。算力方面，最终模型用 8 卡全参数微调 4B 语言骨干（全局 batch 512、每卡微批 8、梯度累积 8），需要多张高端 GPU（论文调度研究用 L20D，主实验在 B200 上测延迟），粗估 A100/H100 级别 8 卡可承担。论文对复现关键细节覆盖充分：附录 A.2 给出精确序列布局，A.4 给出多点解码规则，C.2 给出完整训练配置，C.3 给出批次分配与分布式归一化规则。难度评估为中等：teacher forcing 多阶段序列的构造和条件树解码有一定工程复杂度，但都有明确规格可循；数据转换工作量最大。
论文图表
三联概览图：(a) 展示 MJev-Spatial 在 12 个空间理解基准中的 7 个上取得最高分（含 SAT、RoboSpatial VQA、RefSpatial 等，对比 Molmo2-ER、Qwen3-VL-8B 等模型）；(b) 以分数-延迟散点图展示各模型的表现-延迟权衡，MJev-Spatial 以 65.64% 平均分、160.6 ms 平均延迟位于最优位置；(c) 图示统一分类框架：选择题 1 次决策、数值题 2 次决策（粗 bins→细 bins）、指向题 3 次决策（粗 crop→细 crop），决策间伴随重编码。
一图看懂论文的两大卖点——精度第一和延迟最低——以及三类任务如何在同一框架下统一为不同次数的分类决策，是快速把握全文贡献的入口。