接地动作模型：以三维视觉定位为基座的机器人操作 Grounded Action Model: 3D Grounding as a Foundation for Robotics
用冻结的可提示3D定位骨干替代语言/视频基座，让机器人操作策略直接建立在显式物体几何之上
前置知识
视觉-语言-动作模型（VLA）
在预训练视觉-语言骨干上用机器人演示微调出的操作策略，如π0、π0.5、OpenVLA。它们把动作当作语言续写式的输出，语义知识来自大规模图文对预训练，但预训练目标并不要求给出物体的精确三维位置与尺寸，度量级定位只能靠演示隐式学出。
本文的对比对象与批评靶子：GAM主张用3D定位骨干替代这类语言生成骨干作为基础模型底座。
世界-动作模型（WAM）
以预训练视频生成骨干为基座的机器人策略，把预测的未来视觉表征与动作耦合，代表工作有AHA-WAM、FastWAM、X-WAM。视频预训练带来时空先验，但其目标偏好外观、纹理和背景变化，这些往往与要执行的交互无关。
论文指出的另一类主流基座，GAM在RoboTwin 2.0的官方榜单上与该系列逐一对比。
可提示3D定位（Promptable 3D Grounding）
给定语言、2D点或2D框等提示，在图像中找到目标物体并输出其2D框、度量级3D框与稠密深度。本文采用WildDet3D作为定位骨干，真实图像上预训练、冻结使用，仅在仿真域做一次与策略无关的适配。
GAM整个方法的地基：动作头观测的每个组成部分都来自该骨干的定位输出。
流匹配（Flow Matching）
一种生成式训练范式：把数据 $A_t$ 与高斯噪声 $\epsilon$ 线性插值为 $A_t^\tau=\tau A_t+(1-\tau)\epsilon$，训练网络 $v_\theta$ 预测速度场 $A_t-\epsilon$；推理时从纯噪声出发，用 $K$ 步欧拉积分把 $\tau$ 从0积到1还原动作块。
GAM动作头的训练目标与推理方式，理解论文公式(3)的前提。
MM-DiT多流Transformer
源自FLUX等图像生成模型的多模态扩散Transformer结构：每条模态流拥有独立的QKV、输出投影和自适应层归一化参数，同时在拼接后的全部token上做联合注意力实现跨流信息交换，时间步与语言条件经自适应层归一化注入。
GAM用12块MM-DiT把图像、检测、状态历史与噪声动作四条流耦合起来预测动作块。
点云编码与八分象限池化
对每个物体从深度反投影点云中采样512个点，先用共享逐点MLP提特征，再做全局最大池化、全局平均池化以及围绕质心8个象限的最大池化，拼接成512维形状特征 $\phi(P_i)$，兼顾整体形状与局部几何。
检测token中度量几何信息的来源，是GAM区别于DP3那种整场景点云输入的关键设计。
CoTracker3点跟踪
Meta开源的半监督点跟踪器，可在视频中对指定像素点做长时程跟踪。GAM在首帧检测框内采样并跟踪点，把跟踪结果作为后续每帧的定位提示，保证跨帧目标关联不漂移。
部署时GAM靠它把首帧选定的目标一路传给每一步的定位骨干，是点接口能落地真机的保障。
RoboTwin 2.0与LIBERO-PRO基准
RoboTwin 2.0含50个双臂操作任务，分干净场景（Easy）与强随机化（Hard）两档评测，官方榜按两档平均排名；LIBERO-PRO在LIBERO固定布局上沿物体外观尺寸、摆放位置、指令措辞、任务目标四轴做16种测试时扰动，专门检验模型是理解指令还是背轨迹。
论文两大主实验平台，Hard随机化与Pos/Task扰动正是GAM优势最明显之处。
研究动机
机器人操作策略必须知道'哪些物体重要、它们在哪里'，但当前两类主流基座都不直接提供这种度量级定位。以π0、π0.5、OpenVLA为代表的视觉-语言-动作模型（VLA）构建在语言生成骨干上，语言目标只奖励'识别物体并描述其关系'，不要求给出精确3D位置与尺寸；以AHA-WAM、FastWAM、X-WAM为代表的世界-动作模型（WAM）构建在视频生成骨干上，学到的是外观、纹理和背景变化的时空先验，这些往往与交互无关。两者的接地能力只能从有限的机器人演示里隐式学出，一旦物体移动、背景改变或目标换人就失效：在RoboTwin 2.0上，DP3干净场景55.24%、随机化后暴跌到4.96%；共同训练50任务的Spatial Forcing干净77.2%、随机化仅26.7%，FastWAM更是从77.8%跌到1.9%。在LIBERO-PRO上，π0.5等基线在改变目标位置的Pos与换目标的Task扰动下成功率普遍低于0.26，多数模型直接归零，说明它们背轨迹而非理解指令。
本文的目标是本文提出'接地动作模型'（Grounded Action Model, GAM）这一新范式：不再以语言生成或视频生成为预训练基座，而是用可提示的3D定位模型充当机器人基础模型的底座。目标是让策略在动作学习之前就拥有'哪些物体重要、在哪里、占多大几何体积'的显式表征，机器人演示只需教它'如何对已定位的物体施力'。具体要同时做到：语言、2D点、2D框三种提示统一接入同一套物体中心观测；定位骨干冻结、仅训动作头，把接地能力获取与动作学习解耦；在RoboTwin 2.0随机化场景、LIBERO-PRO位置/目标扰动、双臂YAM视觉偏移、Franka长时程与记忆任务上验证泛化；并支持人类点选和VLM规划器直接指定目标，实现长时程、记忆依赖的多步操作。
与已有工作不同的是，切入角度的独特之处在于换掉了'基础模型该预训练什么'这个问题的答案。前人要么把显式几何塞进VLA（如SpatialVLA的空间表征对齐），要么用体素、点云或多视角投影增强策略输入（DP3、RVT），要么给语言配3D价值图（VoxPoser）、空间可供性（RoboPoint）或轨迹引导（HAMSTER），但没有人把'可提示3D定位'本身当作冻结的预训练基础、让动作头直接建在它的输出之上。GAM还把任务规约变成统一接口：语言只是指定目标的一种方式，点和框让VLM规划器（Molmo2）能把已选目标以2D点直接传给低层策略，长时程任务中规划器还能凭观察历史在子任务切换时重新点选。这种'定位来自冻结骨干、动作来自演示微调'的彻底解耦加上物体中心观测，是本文与全部先前工作的本质区别。
核心方法
直觉上，GAM把'看什么'与'怎么动'拆开：一个冻结的3D定位骨干在每个时刻把任务提示解析成任务物体的框与几何，动作头只在这些物体中心的观测上学习控制。技术上分四步。第一步'提示到检测'：输入RGB图 $o_t$ 和任务规约 $\ell$（语言、2D点或2D框），WildDet3D为每个目标物体输出2D框 $u_i$、度量3D框 $b_i$、稠密单目深度图 $\hat{D}_t$ 与稠密视觉特征 $F_t$。第二步'检测到观测'：把 $F_t$ 池化成16×16网格并只保留压到检测框或机械臂剪影上的格子得到图像token；把深度反投影成点云、裁出每个物体的512个点，编码后连同3D框中心、尺寸、旋转组成每物体8个检测token。第三步'观测到动作'：图像、检测、状态历史token与噪声动作块一起进入12块MM-DiT，用流匹配预测一段绝对关节位置目标。第四步部署时由CoTracker3跨帧跟踪目标点，保持物体关联，使接地观测逐帧更新。
核心创新是把3D grounding从'辅助特征'升格为'预训练基础'。已有工作中3D信息要么是策略输入的一部分（DP3直接吃整场景点云），要么是VLA的附加空间编码，定位模型本身从不作为可复用的底座。GAM的骨干在真实图像上预训练过3D框检测（WildDet3D），只需一次与策略无关的仿真域适配——直接用模拟器状态导出的2D框、3D框和深度微调，零人工标注——随后永久冻结，动作学习完全建立在它输出的物体中心观测上。第二个关键是物体中心过滤：图像token只保留检测框和机械臂剪影覆盖的格子，点云只保留3D框内的512个点，干扰物、背景与外观变化在很大程度上进不了观测，这正是随机化场景下GAM保持47.6%而DP3跌到5.0%的机理解释。第三是统一提示接口：语言、点、框都映射到同一套物体中心表征，使VLM规划器可用点直接驱动低层策略，动作头跨子任务保持不变。
方法步骤详情
步骤A（提示→检测）：语言经冻结Flan-T5上的跨度标注头（合成指令模板训练）抽出目标短语，点/框直接指定；WildDet3D输出每物体2D框 $u_i$、度量3D框 $b_i$（中心 $c_i$、尺寸 $e_i$、旋转 $r_i$）、深度图 $\hat{D}_t$ 与特征 $F_t$。步骤B（检测→观测）：$F_t$ 池化到 $G=16$ 网格，仅保留被 $u_i$ 覆盖≥30%或被机械臂剪影（URDF正运动学投影）覆盖>10%的格子，线性适配器输出256个图像token；深度反投影到基座系，取膨胀 $b_i$ 内512个点，编码器 $\phi$ 用逐点MLP加全局最大/平均池化与8象限池化得512维特征，描述子 $z_i=[\tilde{u}_i, c_i, \gamma(c_i), \phi(P_i), e_i, r_i]$ 经线性层变为 $M=8$ 个检测token（未检出用可学习空token占位）；当前与上帧关节位置拼成状态历史token；三类token加模态嵌入经共享自注意力融合为 $C\in\mathbb{R}^{L\times d}$，$L=G^2+MN+1$。步骤C（观测→动作）：12块MM-DiT在图像、检测、状态、动作四条流上联合注意力，句嵌入 $e_s$ 经零初始化 $W_\ell\in\mathbb{R}^{576\times768}$ 注入自适应层归一化；流匹配损失 $\mathcal{L}=\mathbb{E}\|v_\theta(A_t^\tau|\tau,C,e_s)-(A_t-\epsilon)\|_2^2$，推理用 $K$ 步欧拉积分输出动作块。步骤D（部署）：CoTracker3在初始框内跟踪点作为后续帧提示，每步重建接地观测；长时程任务由Molmo2规划器在子任务切换时重新点选目标。
技术新颖性
新颖性体现在四个层面。范式层面：首次把可提示3D检测模型（WildDet3D）作为冻结的预训练基础，对'机器人基础模型应预训练什么'给出与VLA/WAM不同的第三种答案——度量级接地本身。数据层面：骨干的仿真域适配完全用模拟器状态导出的框和深度，独立于策略训练一次性完成，无需人工标注，这种'先适配定位、再冻结、只训动作头'的流程把接地与动作学习彻底解耦。表征层面：图像token（外观+与夹爪的空间关系）与检测token（点云形状+度量3D框）互补，消融证明二者缺一不可（只留检测16.0%，只留图像20.3%，全量46.8%），且收益来自'选什么进观测'而非更强的感知骨干。系统层面：点接口使Molmo2规划器能直接指定目标，动作策略跨子任务不变，在真实Franka的64.7%/49.8%长时程与记忆任务结果中得到验证，同时注意力图显示GAM的注意力在分布偏移下仍集中在目标上。
实验结果
四个实验问题逐一回答。Q1 RoboTwin 2.0：单任务协议下GAM平均成功率55.29%（干净62.96%/随机化47.62%）居50任务榜首，比同协议最强基线π0.5（45.0%）高10个点；随机化档比次优Abot-M0（30.4%）高17.2个点，保留干净性能的76%（63.0%→47.6%）；共同训练的Spatial Forcing干净77.2%但随机化仅26.7%。Q2 LIBERO-PRO：16种扰动平均0.61对π0.5的0.53；位置扰动上Spatial-Pos 0.60、Object-Pos 0.47，为最强基线的2-3倍；换目标任务上Spatial-Task 0.88、Object-Task 0.50，而所有基线的Task扰动全部≤0.11；弱点在物体外观尺寸扰动（Goal-Obj 0.69、LIBERO-10-Obj 0.50），Goal-Pos输给π0.5（0.19 vs 0.38）。Q3 真机：双臂YAM分布内19/20、视觉偏移下17/20（保持率89%），π0.5为19/20与4/20（21%）；Franka上GAM+Molmo2规划器分布内步完成率64.7%、分布外49.8%（保持77%），π0.5为42.4%/24.0%（57%），MolmoAct2为35.3%/17.1%（48%）。Q4 消融（10个RoboTwin任务）：去图像掩码降至22.3%，去点云裁剪12.8%，两者皆去仅10.3%（干净51.5%→17.0%、随机42.0%→3.5%）；只留检测token 16.0%、只留图像token 20.3%，均远低于全量46.8%。Fig.4注意力图显示基线注意力被扰动背景分散，GAM保持集中在目标上。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0（50任务平均，单任务协议） | 成功率 % | 55.29（Easy 62.96 / Hard 47.62） | 同协议π0.5 44.95；榜一Spatial Forcing 52.0 | 较同协议π0.5 +10.3；较榜一 +3.3 |
| RoboTwin 2.0 随机化（Hard） | 成功率 % | 47.62 | Abot-M0 30.4；π0.5 25.9 | +17.2（并保留干净性能的76%） |
| LIBERO-PRO（16种扰动平均） | 成功率 | 0.61 | π0.5 0.53；Flex-π 0.51 | +0.08，且在Pos/Task类扰动上为基线2-3倍 |
| LIBERO-PRO Spatial-Task（换目标） | 成功率 | 0.88 | 所有基线≤0.10（X-VLA 0.09最高） | +0.78 |
| 双臂YAM视觉偏移（OOD） | 20次试验成功率 | 17/20（保持率89%） | π0.5 4/20（保持率21%） | +13次成功，保持率+68个百分点 |
| Franka长时程+记忆任务（ID，Molmo2规划器） | 步完成率 % | 64.7 | π0.5 42.4；MolmoAct2 35.3 | +22.3 |
| Franka分布外（OOD，背景/光照/物体实例变化） | 步完成率 % | 49.8（保持ID的77%） | π0.5 24.0（57%）；MolmoAct2 17.1（48%） | +25.8 |
| RoboTwin观测消融（10任务平均） | 成功率 % | 46.8（全量GAM） | 无图像掩码22.3 / 无点云裁剪12.8 / 两者皆无10.3 / 仅检测16.0 / 仅图像20.3 | 物体中心过滤带来+36.5（46.8 vs 10.3） |
局限与改进
作者承认两点：接地错误会不加恢复地传导到动作——定位错了或漏了，策略就在错误的物体/位置上执行；物体中心过滤会丢掉未被选中的相关上下文，比如可能碰撞的障碍物。我补充几点观察：其一，RoboTwin上采用单任务协议（每任务50条演示训一个策略），与共同训练模型的参数效率和部署成本相比存疑，GAM在50任务共同训练设定下的表现文中未报告；其二，物体外观/尺寸扰动（Obj）是GAM的系统性弱项，LIBERO-Goal上仅0.69、LIBERO-10上0.50，作者归因于抓取动作未能适应训练中没见过的物体尺寸，说明点云虽有几何信息、动作层泛化仍不足；其三，定位骨干需要为每个新渲染域做一次适配（真实→仿真），纯真实新环境若检测质量下降会直接拖垮策略；其四，3D框是较粗的几何代理，对形状不规则、透明反光物体的深度估计误差会污染检测token；其五，CoTracker3长序列跟踪漂移在长时程任务中的影响未被量化，跟踪丢失时缺乏兜底机制。
独立分析的弱点
独立分析四点弱点。第一，无恢复机制的级联失败：定位是单点故障，一次漏检会让该物体的8个槽位全变为空token，策略可能对着空气抓取且无法自救；改进方向是把检测置信度作为条件输入，或引入接地感知的异常检测与自动重试。第二，上下文盲区：过滤把未选中的障碍物、桌面边缘全部抹掉，在狭窄空间或易碎物旁操作有安全隐患，GAM自己也承认会'omit relevant context'；可按距离阈值自适应保留候选障碍的粗几何。第三，尺寸泛化断层：点云里明明包含新尺寸信息，动作头却抓不好训练中没见过的尺寸（Obj扰动上落后π0.5），说明动作对几何的条件化仍浅，可用关键点或抓取位姿预测作为中间监督显式对齐几何与动作。第四，单任务训练的扩展性：每任务一策略、每任务50条演示，在真实部署中采集成本随任务数线性增长，与π0.5式跨任务共同训练的路线相比扩展性存疑；值得检验把冻结定位骨干配上跨任务共同训练的动作头能否保住随机化优势。
未来方向
作者明确提出的方向：构建更多样、更完整的3D定位数据集与跨物体、跨场景泛化更强的定位模型；用稠密3D实例分割等更细粒度的几何监督替代3D框；研究接地感知的失败恢复机制；面向安全执行的自适应上下文选择。基于本文成果还可延伸：把点接口开放给更多VLM规划器，形成'语义推理+度量执行'的标准分层范式，甚至接入人类的实时点击遥操作；将骨干适配从仿真推广到真实世界新域，探索少样本适配或域泛化训练；在共同训练设定下检验接地基础的可复用性，构建跨任务的单一GAM；把检测token扩展到铰接物体（抽屉、柜门）的关节状态估计，覆盖更多操作原语；在WAM或VLA骨干上嫁接接地观测构成混合架构，定量分析两类预训练先验的互补性；结合目标点跟踪做丢失检测，提升长时程部署可靠性。
复现评估
复现难度中等偏上但可行性好。有利条件：项目页grounded-action-model.github.io；核心组件全是公开模型——WildDet3D（定位骨干）、CoTracker3（点跟踪）、Flan-T5（语言编码）、Molmo2（规划器）；架构与训练细节交代较完整（G=16网格、P=512点、M=8 token/物体、12块MM-DiT、$W_\ell\in\mathbb{R}^{576\times768}$ 零初始化、K步欧拉积分、图像掩码阈值30%/10%、流匹配目标）；评测基准RoboTwin 2.0与LIBERO-PRO公开，π0.5、Flex-π等基线有官方榜单或公开checkpoint。不确定项：论文未给出训练算力、batch size、学习率与训练时长；动作头与适配器权重是否开源未知；RoboTwin域适配所需的仿真框导出脚本需自行实现。真机部分（YAM、Franka）需要对应硬件与Molmo2集成，普通实验室难以完整复现Q3。仅复现仿真结论（Q1/Q2/Q4）约需数张A100级别GPU训练数天，属可承受范围。
论文图表
论文范式的总览图：左侧展示语言、2D点、2D框三种任务规约方式；中间是预训练3D定位基础模型，把提示解析成物体中心的视觉特征与度量几何，编码为图像token和检测token；右侧展示得到的策略在域内与域外环境（物体、背景、场景配置变化）中执行操作。
一图概括GAM范式的完整闭环——提示如何进、定位骨干如何转、动作策略如何出，是理解'3D grounding作为基础模型'这一核心主张的最佳入口。
注意力可视化：清桌任务在分布内（上排）与分布外（下排）条件下，π0.5、MolmoAct2与GAM动作头注意力的热力图对比。基线的注意力被扰动的背景和干扰物分散，GAM的注意力始终集中在被选定的目标物体上。
为'物体中心过滤带来鲁棒性'的机理提供了定性证据，直观解释为什么GAM在OOD下性能保持率远高于基线。
RoboTwin 2.0全部50任务的成功率对比，方法按骨干家族分组：动作策略（DP、ACT、RDT、DP3）、VLA（starVLA、π0、GalaxeaVLA、Xiaomi Robotics-0、EventVLA、Abot-M0、X-VLA、π0.5、Spatial Forcing）、WAM（AHA-WAM、FastWAM、X-WAM）与GAM。GAM平均55.29%居首，Easy 62.96%、Hard 47.62%；共同训练的Spatial Forcing干净77.2%但Hard仅26.7%，DP3干净55.24%但Hard暴跌至4.96%。
Q1的核心证据表：按骨干家族分组的设计直接支撑'语言/视频预训练不提供度量接地'的论点，Hard档17.2个点的领先幅度是本文最重要的数字之一。
LIBERO-PRO四个套件×四类扰动的16种设置成功率：GAM平均0.61居首（π0.5为0.53）。GAM在Pos和Task类扰动上大幅领先（Spatial-Pos 0.60、Spatial-Task 0.88、Object-Task 0.50），所有基线在Task类全部≤0.11；但在Obj类上是弱项（Goal-Obj 0.69、LIBERO-10-Obj 0.50），Goal-Pos也输给π0.5（0.19 vs 0.38）。
Q2的核心证据表：清晰展示GAM的优势集中在'改变布局/目标'的扰动上、劣势在'改变外观尺寸'上，揭示了方法的泛化边界。
双臂YAM真机结果：分布内GAM与π0.5均为19/20；视觉偏移下GAM保持17/20（保持率89%），π0.5跌至4/20（保持率21%），两者用各自原生接口、均无规划器。
证明GAM支持人类直接点选/框选目标且在真实视觉变化下远比语言接口鲁棒，是Q3人类直接指定目标部分的关键数据。
观测消融：全量GAM 46.8%（Easy 51.5/Hard 42.0）；去除图像掩码降至22.3%，去除点云裁剪降至12.8%，两者皆去除仅10.3%（Easy 17.0/Hard 3.5）；只留检测token 16.0%，只留图像token 20.3%。所有变体共享同一冻结骨干。
Q4的核心证据表：说明收益来自'选择什么进入观测'而非更强的感知骨干，且外观与几何两条信息流互补、缺一不可。