几何动作模型：把几何基础模型改造为统一的机器人感知—预测—动作骨干 Geometric Action Model for Robot Policy Learning

（1）切分骨干：选取 split layer $L_s=12$，令 $E_{\le L_s}=f^{(L_s)}\circ\cdots\circ f^{(1)}$，$D_{>L_s}=f^{(M)}\circ\cdots\circ f^{(L_s+1)}$；前 13 个 block 冻结不动以保留几何先验，block 13–39 与 predictor 一起训练。（2）观测编码：对窗口内每个时刻 $t'\in\{t-H+1,\ldots,t\}$，先按 GFM 原生 patch embedding 得到 $Z^{(0)}_{t'}\in\mathbb{R}^{V(1+P)\times d}$，再过 $E_{\le L_s}$ 得到每个时刻的几何 latent $Z^{(L_s)}_{t'}$。（3）构造 predictor 输入：把语言 token $L_\ell$（冻结 T5 编码）、本体感知 token $p_{t'}=\psi_s(s_{t'})$、上一动作 token $q_{t'}=\psi_a(a_{t'-1})$ 与几何 latent 拼成 $X=[L_\ell;U_{t'-H+1};\ldots;U_{t'}]$，其中 $U_{t'}=[p_{t'};q_{t'};Z^{(L_s)}_{t'}]$。（4）因果预测：用 block-causal self-attention 的 12 层因果 Transformer $g_\phi$ 处理 $X$，从最后一层读出未来几何 slot 的预测 $\tilde{Z}^{(L_s)}_{t'+1}$ 和动作 slot 的预测 $\tilde{a}_{t'}$，并对 $\tilde{Z}^{(L_s)}_{t'+1}$ 施加 feature alignment loss 对齐冻结 GFM 给出的下一帧真实 latent $Z^{(L_s)}_{t'+1}$。（5）回灌解码：把 $\tilde{a}_{t'}$ 按视图复制 $V$ 份，与各视图的 $\tilde{Z}^{(L_s)}_{v,t'+1}$ 拼好后送入 $D_{>L_s}$，在保持因果 mask 扩展到 GFM 全局 attention 层的前提下，一次前向得到 $\tilde{Z}^{(M)}_{t'+1}$。（6）双头输出：原始 DPT depth head $h_{\mathrm{depth}}$ 输出未来深度 $\tilde{D}_{t'+1}$（用 simulator ground truth 或 GFM 自身伪深度做监督），轻量 action head $h_{\mathrm{act}}$ 聚合所有上下文时间步的 action token，回归 $\hat{a}_t\in\mathbb{R}^{C\times d_a}$，$C=8$。（7）多任务损失：$\mathcal{L}_{\mathrm{total}}=\lambda_{\mathrm{act}}\mathcal{L}_{\mathrm{act}}+\lambda_{\mathrm{feat}}\mathcal{L}_{\mathrm{feat}}+\lambda_{\mathrm{depth}}\mathcal{L}_{\mathrm{depth}}$，权重分别取 3、1、3，$\mathcal{L}_{\mathrm{act}}$ 为 $\ell_1$ 回归、$\mathcal{L}_{\mathrm{feat}}$ 为 $\tilde{Z}^{(L_s)}_{t'+1}$ 与 $Z^{(L_s)}_{t'+1}$ 的 $\ell_1$ 对齐、$\mathcal{L}_{\mathrm{depth}}$ 采用原 GFM 的 scale-invariant + gradient-matching 深度损失。（8）推理：用 KV-cache 单次前向只跑当前观测 $o_t$ 和上一动作 $a_{t-1}$，在 GH200 + CUDA Graphs 下达到 6.9 ms 每步。

技术新颖性体现在三层叠加的耦合：（a）共享骨干设计——以往要么是 GFM 静态特征提取器，要么是 VLM/视频模型外挂 GFM，GAM 第一次把 GFM 自身劈成 encoder+decoder 并在中间塞入世界模型；（b）动作与几何在 latent 层共享一段自回归序列，而不是各用各的扩散/flow-matching head，由此天然解决『动作要落在正确的 3D 位置上』的对应问题；（c）极小参数预算下获得强鲁棒性——总参数 1.4B、可训练 983.2M，却比 2–7B 的 VLA/WAM 在相机扰动、真实场景 OOD 上更稳，证明几何先验比语言/视频先验对接触式操作更关键。

（1）语言瓶颈：$L_\ell$ 用冻结 T5-Small 提取，对指令里多对象关系、否定、复合条件的解析能力弱，比如 LIBERO-Plus Language 84.8% 已被 $\pi_0.5$ 的 86.5% 反超，可补一条 LLM-as-token 路径或换成更强开源 LLM。（2）伪深度自监督循环：真机训练时未来深度 $\tilde{D}_{t'+1}$ 的 ground truth 直接来自同一 GFM 的推理——若 GFM 在新场景下深度估计有偏，训练信号也偏，等于闭环自证，可改为引入 LiDAR、立体相机或 NeRF-derived depth 作为独立监督来源。（3）真机样本极少：每个任务 169–284 次示教（共约 800 次），远小于仿真 pretraining 的 784K，迁移到新任务需要重新收集大量数据，可补 self-collected data、PlayData 或短视频先验。（4）单模态架构：动作空间固定为末端增量位姿 + 夹爪 7 维（$d_a=7$），没有覆盖关节空间控制或连续抓取力度；同理单臂操作，没有双手机器人或四足手臂平台，限制了在装配、长程、家务等场景的适用性。（5）split layer 敏感性高：$L_s$ 一旦选错就完全崩溃（$L_s=27/33/39$ 直接 0%），意味着对不同 backbone 需要重新搜索，缺乏自动选择机制，是部署门槛。（6）evaluation 协议不完全统一：作者同时『用公开 checkpoint 重跑』与『直接引用文献数字』，给对比带来一定噪声。

作者在结论明确把『集成 LLM 或外部推理模块』列为最直接的下一步；基于本文结果，我观察还可以向以下方向延伸：（i）把 split 设计做成 NAS-style 的可学习结构，让模型自己发现最优 $L_s$；（ii）把 action chunk 从 $C=8$ 扩到长程，并设计配套的分层 controller 处理长任务；（iii）把 T5 替换为冻结或微调的 7B 级 LLM，通过 cross-attention 把语言 token 注入 predictor 而不是简单拼接；（iv）在真机引入主动感知（比如额外可动相机）与深度传感器，破解伪深度自监督闭环；（v）把 GAM 扩展到 dual-arm / dexterous hand / quadruped arm 等本体，并在更难的真实任务（如整理桌面、烹饪辅助）上验证；（vi）借鉴 WAM 思路，把 diffusion 用在 action head 同时保留 GFM 几何解码，但用 predictor 的 latent 作为条件；（vii）做端到端的 sim-to-real：直接把仿真 pretrain 模型零样本搬到真机，并在真机只用少量 fine-tune。

论文的复现性总体较好：作者来自 KAIST CVLab 和 ETH Zurich，列出项目主页 https://cvlab-kaist.github.io/Geometric-Action-Model；backbone 公开（DA3-Giant）；训练数据使用 OpenX-Embodiment、MimicGen、RoboCasa365，全部开源下载；评测协议沿用 OpenVLA/OpenVLA-OFT 在 LIBERO + LIBERO-Plus 上的标准；消融做了 split layer、预测损失、context horizon、action 监督位置四项，数字稳定可重复。算力门槛偏高：pretrain 用 64 张 NVIDIA GH200、batch 1024、约 96 小时；post-train 16 张 GH200、batch 160、约 48 小时。模型相对小（1.4B），单卡 GH200 + CUDA Graphs 就能跑推理；用户需熟悉 PyTorch + AdamW + DPT head + Hugging Face Transformers，可改写为 LoRA 微调以进一步压低资源。代码仓库未在 README 明确给出，但作者大概率会开源；目前来看主要复现挑战在 64 张 GH200 的算力而非代码细节。