SLA：通过持续预训练扩展空间-语言-动作模型 SLA: Scaling Spatial-Language-Action Model via Continual Pre-training
以π0.5为基座做空间对齐持续预训练，真实世界操作成功率较π0.5提升24个百分点
前置知识
VLA（Vision-Language-Action）模型
将预训练视觉-语言模型（VLM）与动作专家结合的机器人基础模型：多视角图像经视觉编码器（如 SigLIP、DINOv2）转为视觉 token，任务指令转为文本 token，动作专家（flow-matching 头或 MLP）在这些 token 的条件下生成连续动作块。代表工作有 π0、π0.5、OpenVLA、GR00T N1。π0.5 采用 PaliGemma 主干（18 层语言骨干）加 flow-matching 动作专家，可输出动作块（action chunk）。
SLA 完全构建在 π0.5 之上，理解其架构与动作训练目标 $\mathcal{L}_{action}$ 是理解空间对齐如何作为辅助分支挂在训练流程上的前提。
持续预训练
NLP 领域成熟范式：在已有基础模型权重基础上用领域相关的大规模语料继续预训练（而非随机初始化），既注入领域能力又保留原有知识，如 Llemma 在数学文本上持续预训练强化数学推理。区别于后训练（post-training）：后训练面向特定任务的小数据适配，持续预训练面向大规模通用能力的塑造。
本文的核心主张是把空间理解从『后训练补丁』升级为『持续预训练阶段塑造的基础能力』，这一范式转换是理解全文动机和方法定位的钥匙。
隐式表征对齐
不给策略输入显式 3D 数据（深度图/点云），而是在训练时用损失函数把 VLA 的中间视觉嵌入与外部 3D 感知模型（教师）输出的空间表征拉近（本文用余弦相似度），使几何信息被『蒸馏』进视觉 token。教师、投影器、门控在推理时全部丢弃，策略的输入输出与原架构完全一致。
这是 SLA 实现『零推理开销获得空间智能』的关键机制，也是它与显式 3D 输入方法（GeoVLA、PointVLA、FALCON）的本质分界线。
旋转向量与 SO(3) 旋转合成
用三维向量表示旋转：方向为旋转轴、模长为旋转角（弧度）。计算相对旋转时不做欧拉角直接相减，而是通过 $\Delta R_t = R_t R_0^{\top}$ 做 SO(3) 矩阵乘法，再用 $\Delta r_t = \mathrm{Log}(\Delta R_t)^{\vee}$ 把相对旋转矩阵映射回旋转向量，避免角度在 ±π 回绕处产生数值跳变。
论文发现欧拉角直接减法会在动作分布中制造 ±2π 离群值，压缩归一化后的有效动作范围；旋转向量是四种表示中最优的（79.2% vs 欧拉角 65.5%），这类数据工程细节对最终性能影响巨大。
本体感知捷径
机器人策略训练中，本体感知状态（关节角、EEF 位姿）与演示轨迹高度相关，策略可能学会『看状态抄轨迹』而不依赖视觉观测。一旦部署时物体被移动或场景几何变化，这种捷径即失效。缓解手段是训练时随机丢弃状态输入，强迫策略从图像推断动作，本文以 25% 概率整段丢弃状态 token。
状态 dropout 消融（Table 8）中 0% 与 25% 概率之间相差 41.1 个百分点（38.1% vs 79.2%），是理解 SLA 真实世界泛化能力来源的关键一环。
研究动机
当前 VLA 基础模型（π0、π0.5、OpenVLA 等）的视觉表征继承自 2D 图像-文本对预训练的 VLM，三维空间知识只能在下游任务的后训练阶段补救。直接在后训练引入深度图或点云的做法面临三重障碍：实测深度图噪声大且不完整；机器人传感器类型、安装位姿和标定状态各异，几何数据异构严重；Open X-Embodiment、DROID 等大规模公开数据集本身不含深度，显式 3D 路线天然无法随数据规模化。前作 Spatial Forcing 用隐式 3D 表征对齐绕开了传感器依赖，但它只发生在后训练阶段，空间理解仍是任务专属的附加能力而非可迁移的基础模型能力。论文的深度探测实验（Figure 2）给出了直接证据：冻结 VLA 仅训练 DPT 头做线性探测，纯 2D 预训练的视觉嵌入无法还原有意义的深度结构，说明现有视觉 token 中几何信息严重不足，而动作生成恰恰条件于这些 token。
本文的目标是本文目标是把空间理解升级为基础模型的可迁移能力：以预训练 π0.5 为起点，先在精心策划、统一处理的持续预训练语料（6 个数据源、约 171.4 万条 episode、14,330 小时、1,504 个任务）上做隐式空间对齐的持续预训练，再在下游后训练中保留同样的对齐目标，形成『预训练塑形 + 后训练强化』的双阶段方案。硬性约束是部署形态不变：教师模型、对齐投影器、层选择门控全部只在训练期存在，推理架构与原始 π0.5 完全一致，不需要深度相机、点云或标定输入。量化目标体现在四个基准和真实部署：在 LIBERO-Plus、RoboTwin 2.0 Clean2Random、RoboCasa-Panda、RoboDojo-Real 上达到 SOTA，真实世界 8 个部署条件平均成功率较 π0.5 提升 24.0 个百分点（59.8%→83.8%），同时保持跨本体、少样本适配与指令跟随能力。
与已有工作不同的是，本文的独特切入是把 NLP 社区的持续预训练范式首次带到机器人空间智能上，抓住了三个被忽视的点。其一是监督位置：动作 token 以视觉 token 为条件自回归生成（$x^A_t \sim p_\theta(x^A_t \mid \{x^V_i\}, \{x^L_j\}, x^A_{<t})$），与其在动作头上做几何融合，不如直接监督视觉嵌入的几何质量，从源头改善动作生成。其二是训练时机：ROCKET、VEGA、Mind-VLA 等对齐方法都止步于后训练，本文证明对齐必须同时存在于持续预训练和后训练两阶段——Table 6 显示双阶段 72.3% 优于仅预训练 63.2% 和仅后训练 57.1%，且该优势在 5% 到 100% 所有数据比例下成立。其三是几何标注的不完整利用：放弃深度/标定标注会浪费信息、要求完整标注会丢弃数据，OmniVGGT 的 GeoAdapter 用占位符 token 兼容任意标注组合，让 171 万条异构数据都能产出有效监督。
核心方法
直觉上，VLA 的动作生成完全条件于视觉与语言 token，视觉 token 就是策略眼中的『场景坐标纸』——如果纸上只有 2D 语义而没有几何结构，动作专家再强也只能猜。SLA 的做法是训练时给这张纸『描红』：把多视角 RGB 送入冻结的 3D 感知基础模型 OmniVGGT，取其末层表征加位置嵌入 $E$，双线性重采样到 VLA token 分辨率得到逐 token 空间目标 $y = \mathcal{R}(f^{3D}(I) + E)$；VLA 各注意力层的视觉 token $x^{(\ell)}_V$ 经共享 LayerNorm 和两层 MLP 投影后，由特征依赖门控加权聚合为 $z$；用余弦相似度最大化 $z$ 与 $y$ 的对齐：$\mathcal{L}_{align} = \frac{1}{N}\sum_i [1 - \mathcal{S}(z_i, y_i)]$。最终目标为 $\mathcal{L} = \mathcal{L}_{action} + \alpha \mathcal{L}_{align}$，与动作损失联合优化。工程上先持续预训练 36k 步（全局 batch 4,608，48 块 H100 约 110 小时），再在下游后训练保留对齐，推理时辅助分支整体移除，部署零开销。
核心创新是把『隐式空间对齐』从任务专属的后训练技巧升级为基础模型训练原则，且全程不触碰预训练 VLA 的架构与权重初始化路径。与显式 3D 输入方法（PointVLA、GeoVLA 融合点云、BridgeVLA 投影 3D 观测、FALCON 在动作头融合几何 token）的本质区别：深度知识被蒸馏进 2D 视觉嵌入内部，部署时不依赖任何几何传感器，这使空间能力可以随数据规模化而非随传感器配置碎片化。与后训练对齐方法（Spatial Forcing、VEGA、Mind-VLA）的本质区别：对齐同时作用于持续预训练和后训练两个阶段，Table 6 显示双阶段在 100% 数据下达 72.3%，比仅预训练阶段高 9.1 点、比仅后训练阶段高 15.2 点，证明空间监督既要塑造基础表征、也要引导下游适配，二者不可互相替代。围绕这一原则还有三个配套设计：跨 18 层的自适应层选择门控、25% 概率状态 dropout、旋转向量 + SO(3) 合成的动作表示，分别化解异构数据下单层对齐失配、本体感知捷径与角度回绕离群值三个实际问题。
方法步骤详情
完整流程分五步。第一步数据策划与统一：汇集 InternData-A1（63 万条）、AgiBotWorld-Beta（16.8 万）、RoboCasa365-Pretrain（63 万）、RoboCOIN（18.3 万）、DROID（9.5 万）、MolmoAct（7,900 条）共约 171.39 万条 episode；统一为机器人中心 EEF 坐标（单臂以臂基座为原点、双臂取两基座中点），观测用绝对 EEF 状态、目标用 chunk 内 delta EEF 动作，相对旋转按 $\Delta R_t = R_t R_0^{\top}$、$\Delta r_t = \mathrm{Log}(\Delta R_t)^{\vee}$ 计算；对重复度高的仿真任务做 3%~15% 下采样，过滤灵巧手、底座运动、异常臂速与静止帧。第二步教师信号生成：多视角 RGB 及可用深度/标定输入冻结 OmniVGGT，末层特征加位置嵌入后重采样为对齐目标 $y$。第三步持续预训练：从 π0.5 初始化，36k 步、全局 batch 4,608、学习率 warmup 到 $5\times10^{-5}$ 后余弦衰减至 $10^{-5}$，更新 VLA 主干、投影器与门控，教师冻结。第四步状态 dropout：每个训练样本独立以 25% 概率整段丢弃状态 token（指令与图像保留）。第五步下游后训练：LIBERO-Plus batch 512/30k 步、RoboTwin 256/30k 步、RoboCasa-Panda 64/60k 步、RoboDojo-Real 512/40k 步、真实部署 64/20k 步，均保留对齐；推理时教师、投影器与门控全部丢弃。
技术新颖性
新颖性可从四层拆解。范式层：此前 3D-aware 预训练（自我中心空间嵌入、自我中心 3D 标注、物体位姿估计）规模远小于主流 2D VLA 预训练，本文首次把隐式 3D 对齐推到 171 万条 episode、14,330 小时的持续预训练规模，把空间理解定位为可迁移的基础能力。架构层：对齐损失只挂在训练辅助分支，PaliGemma 主干与 flow-matching 动作专家原样保留，与必须改造动作头或增加点云分支的 GeoVLA、FALCON 形成鲜明对比，部署零额外计算。监督层：门控 $g^{(\ell)}_i = \sigma(W_g x^{(\ell)}_i + b_g)$ 对全部 18 层做逐 token、逐通道加权聚合，Clean2Random 达 72.3%，比最优固定层（第 12 层 67.3%）高 5.0 点；OmniVGGT 用占位符 token 兼容缺失标注，RGB-only 数据也能产出监督。数据层：EEF 统一表示配合旋转向量 SO(3) 合成，比欧拉角高 13.7 点，解决了跨本体动作空间不兼容与角度回绕离群值两个被普遍忽视的数据工程问题。
实验结果
四大基准与真实部署均验证有效性。LIBERO-Plus：加权成功率 87.4%，超 π0.5（84.4%）3.0 点、超 Spatial Forcing（85.1%）2.3 点、超 Qwen-RobotManip（87.1%）0.3 点，七个扰动维度全面优于 π0.5（观测噪声 89.0%→95.4%、背景 94.1%→98.0%），光照 98.8% 为全场最高。RoboTwin 2.0：Clean2Clean 86.0%、Clean2Random 72.3%、平均 79.2%，Clean2Random 较 π0.5（46.0%）提升 26.3 点、较最强对手 ME-Dex-1.0（68.1%）高 4.2 点，平均较 Spatial Forcing（68.7%）高 10.5 点。RoboCasa-Panda：仅 50 条演示/任务达 68.4%，超过同预算的 Cosmos Policy（67.1%）和用 300~3000 条的 DP-VLA（57.3%）、FLARE（66.4%），24 个任务中 10 个超 80%。RoboDojo-Real：单策略跨 ARX X5/Piper/Piper X 三本体，Score 42.3、SR 33.9%，较 π0.5（22.9、12.8%）提升 19.4 分和 21.1 点，Piper 上 SR 55.0% 领先。真实部署 8 个条件全部第一：双臂传递 A 94%、干扰恢复 B 82%、动态抓取 C 76%、少样本跨本体 D 78%、动态桌面 G 78%、未见物体指令跟随 H 80%，平均 83.8% 较 π0.5（59.8%）+24.0 点。消融：双阶段对齐 72.3% > 仅预训练 63.2% > 仅后训练 57.1% > 无对齐 48.2%；25% 状态 dropout（79.2%）比无 dropout（38.1%）高 41.1 点；旋转向量 79.2% > 四元数 74.3% > 欧拉角 65.5% > Rot6D 62.9%；教师加相机标定再 +3.2 点（42.8%→46.0%）；双阶段对齐从 5% 数据的 49.2% 单调升至 100% 的 72.3%，无对齐仅从 43.8% 到 48.2%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO-Plus（七维扰动鲁棒性） | 加权成功率 (%) | 87.4 | π0.5 84.4 / Spatial Forcing 85.1 / Qwen-RobotManip 87.1 | 较 π0.5 +3.0 点，较 Spatial Forcing +2.3 点，七个维度全面超越 π0.5 |
| RoboTwin 2.0（50 个双臂任务） | Clean2Random 成功率 (%) | 72.3 | π0.5 46.0 / ME-Dex-1.0 68.1 | 较 π0.5 +26.3 点，较最强对手 ME-Dex-1.0 +4.2 点；平均 79.2% 较 π0.5 +20.9 点 |
| RoboCasa-Panda（24 个厨房任务） | 平均成功率 (%) | 68.4（每任务仅 50 条演示） | Cosmos Policy 67.1（50 条）/ DP-VLA 57.3（3000 条）/ π0 62.5（300 条） | 用最少的演示数据取得最高成功率，+1.3 点超 Cosmos Policy |
| RoboDojo-Real（3 本体 18 任务） | Score / 成功率 (%) | 42.3 / 33.9 | π0.5 22.9 / 12.8；InternW0-Δ 38.9 / 31.7 | 较 π0.5 +19.4 分 / +21.1 点，较 InternW0-Δ +3.4 分 / +2.2 点 |
| 真实部署（8 个条件 A~H） | 物体级成功率 (%) | 83.8（平均，全部条件第一） | π0.5 59.8 / Spatial Forcing 68.0 / SpatialVLA 53.5 | 较 π0.5 +24.0 个百分点，较 Spatial Forcing +15.8 点 |
| 持续预训练数据缩放（RoboTwin Clean2Random） | 成功率 (%)，100% 数据 | 72.3（双阶段对齐） | 无对齐 48.2 / 仅后训练对齐 57.1 / 仅预训练对齐 63.2 | 双阶段较无对齐 +24.1 点，且 5%~100% 所有数据比例下均最优 |
局限与改进
作者层面可观察到的局限：RoboTwin 2.0 的 Clean2Clean 上 SLA（86.0%）落后于 ME-Dex-1.0（89.6%），说明空间对齐并非在所有设置下都占优；RoboDojo-Real 的 Piper X 本体上 SLA（Score 16.3、SR 10.0%）明显弱于自身在 ARX X5（50.3/36.7%）和 Piper（60.3/55.0%）的表现，也略低于 InternW0-Δ（17.8/13.3%），跨本体收益不均衡；持续预训练成本高——48 块 H100 训练约 110 小时、全局 batch 4,608，且语料中仿真数据（InternData-A1 与 RoboCasa365 合计约 126 万条）占约 73%。我的补充观察：其一，空间监督质量完全取决于教师 OmniVGGT 的表征上限，论文没有对教师选择的消融，也未分析教师在透明/反光物体上的失效如何传导给策略；其二，真实部署 A~H 为作者自建协议，每条件 50 个物体实例，94% 与 98% 之间的差距仅 2 个实例，缺乏统计显著性检验；其三，25% 的状态 dropout 最优概率响应非单调（50% 时跌至 53.9%），论文只有直觉性解释，缺乏机理分析；其四，对齐可能影响 π0.5 原有语言/视觉能力，论文未报告灾难性遗忘评估。
独立分析的弱点
独立分析四个弱点。其一，教师单点依赖：所有对齐目标来自 OmniVGGT 末层特征，真实厨房中透明玻璃杯、反光金属表面恰是深度估计的重灾区，教师错了监督就错，且余弦相似度对错误方向没有抵抗力；改进方向是多教师集成，或按教师预测的不确定性对每个 token 的对齐损失加权。其二，余弦相似度只约束嵌入方向不约束幅值，几何信息密集的 token 与稀疏 token 在损失中被同等对待，可能稀释关键区域的学习信号；改进方向是引入幅值敏感的度量或难负样本对比。其三，空间知识只能压进主干权重：推理时门控与投影器被丢弃，对 3B 量级的 PaliGemma 主干可能造成表征容量挤压，论文未评测对齐对预训练语义能力的遗忘程度；改进方向是增加通用 VLM 基准的回归测试，或在持续预训练语料中混入视觉-语言数据。其四，评测样本量与协议：每条件 50 个物体实例对小差距不敏感，相机标定消融（Table 10，+3.2 点）只在自采 RoboTwin 数据上验证，外部有效性存疑；改进方向是报告置信区间并将消融放到官方基准协议下重复。
未来方向
作者在结论中把『持续预训练塑形空间表征 + 后训练强化』定位为通往空间化机器人基础模型的实用路径，自然延伸是继续扩大语料规模与本体覆盖（当前为控制范围过滤掉了灵巧手和底座运动）。基于成果可延伸的方向：其一，把静态几何对齐扩展到动态世界模型目标（视频预测、光流一致性），进一步压缩 G 条件（动态桌面 78% vs 静态桌面 84%）仍存在的差距；其二，蒸馏或在线更新教师，在保持监督质量的同时降低 48 块 H100 级别的训练成本；其三，系统分析门控权重分布与任务类型、数据域的关联，回答『哪类任务依赖哪一层空间特征』，为层选择提供可解释依据；其四，将 A~H 部署协议标准化并开源，弥补真实机器人评测可比性短板；其五，附录 B 的记忆机制目前只在 RoboDojo-Real 后训练阶段引入，可探索把它纳入持续预训练的统一框架以处理长时程任务；其六，结合语言-空间推理的中间监督（如 3D 指代消解），把 H 条件 80% 的指令跟随推向开放词汇。
复现评估
论文提供 GitHub 代码和项目网站，教师 OmniVGGT 与基座 π0.5 均为公开模型，6 个预训练数据源（InternData-A1、AgiBotWorld-Beta、RoboCasa365-Pretrain、RoboCOIN、DROID、MolmoAct）全部公开可下载，数据工程关键细节（EEF 坐标统一、旋转向量 SO(3) 合成、下采样率 3%~15%、过滤规则）在正文有较完整描述，具体实现依赖代码开源质量。主要门槛是算力：持续预训练约 5,280 GPU 时（48 块 H100 × 110 小时、全局 batch 4,608），下游后训练还需 256~512 batch 规模数万步，全流程复现对非大厂实验室不现实。可行的降级路径：从公开 π0.5 出发只复现『后训练 + 对齐』部分，Table 6 显示该配置在 100% 数据下达 57.1%，相对 π0.5 基线 46.0% 已有 11.1 点收益，单节点多卡即可尝试。仿真评测免费但耗时（RoboTwin 每任务 100 次 rollout、LIBERO-Plus 共 10,030 次）；真实部署需要双臂 Piper 和 Franka 加 Realsense D435 相机，普通实验室难以完整复现 A~H 条件。
论文图表
深度探测实验：冻结 VLA 全部参数，只训练 DPT 头把视觉嵌入转换为深度图。结果显示纯 2D 图像学习的嵌入无法产生有意义的深度结构，而经过空间对齐的嵌入可恢复清晰的空间信息。
这是『2D VLA 视觉 token 缺乏 3D 信息』这一核心动机假设的直接实验证据，也是全文立论的起点。