GroundingPI：以视觉基元构建面向物理智能的接地基础模型 GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives

第一步，数据引擎（输入：多教师模型预测；输出：字段级验证的实例标注）：候选预测映射回原图做字段级融合，逐字段标记接受/拒绝/未决，全实例查询需通过区域覆盖校验，“目标不存在”本身也是待验证事实；已接受标注训练统一接地专家做迭代标注，用互补教师与局部裁剪观察消解不确定样本，修订向依赖任务传播。第二步，Stage 1–3 底座训练：Stage 1 冻结视觉与语言模型、仅用图文对齐投影器；Stage 2 解冻全部模块做文本+图文联合预训练（语言峰值学习率 $10^{-5}$，视觉与投影器 $10^{-6}$）；Stage 3 在 32K 上下文做通用视觉/视频问答。第三步，Stage 4 坐标对齐（SFT）：在检测、GUI、指代框、指代点、OCR、文档版面、密集点数与视觉提示 8 组任务上最小化 $\mathcal{L}_{\mathrm{SFT}} = -|S|^{-1}\sum_{t\in S}\log p_\theta(y_t \mid I, P, y_{–<999> 词表（$x\in[-60,60]$、$y\in[-20,20]$ 米），用 response-only 交叉熵适配；机器人上把骨干 8 个深度的隐层投影、加深度嵌入并经共享重采样器压成每层 64 个 1024 维条件 token，注入固定 Action DiT 的 8 个交叉注意力块做流匹配去噪，每基准 4 万步。

区别体现在三个层面。输出表示上，Rex-Omni、SEED1.5-VL 等用文本 token 串表示坐标，LocateAnything 探索并行框解码，GroundingPI 用原子量化坐标 token 序列化——COCO 每框仅 7.6 token、Dense200 上 5.1 token，比 SEED1.5-VL 的 148.8/74.5 少约 19.6×/14.6×。训练范式上，π0.5 等在 VLA 训练内部加框预测辅助目标，依赖稀缺动作数据顺便学感知；本文把接地预训练与动作适配彻底解耦，先修好“看”再学“动”，并证明该感知可跨双臂桌面、人形灵巧手两种本体与驾驶任务复用。评测方法上，作者构建 44 基线 × 34 基准 × 11 能力的系统对照，设计“固定 Action DiT、动作数据、优化预算、推理流程，只换预训练骨干”的受控迁移协议，把感知基础的价值从动作头工程差异中剥离，自评结果为 5 seed × 2 run 共 10 次平均——这种严格性在同类工作中少见。此外，论文对 OCR“感知催化剂”假设给出形式化框架：把 SFT 损失分解为框、转录、协议三部分，用梯度对齐不等式 $\mathcal{L}_g(\theta_v-\eta g_t)-\mathcal{L}_g(\theta_v) \le -\eta\langle g_g, g_t\rangle + \tfrac{H\eta^2}{2}\|g_t\|_2^2$ 说明转录梯度何时能局部降低非文本接地损失。

弱点一：感知-动作迁移机制不透明。消融只有任务组级 leave-one-out（A 与 D 总是绑定出现，无法分离各自贡献），不能进一步分离物体尺寸、拥挤度、标注覆盖度的作用；OCR“催化剂”假设虽有梯度对齐不等式支撑，设计好的 box-only 对照实验却未实际运行。改进方向：做固定条件下的转录损失消融，并测量八深度条件 token 的动作梯度范数以检验特征可及性。弱点二：输出效率优势缺闭环证据。每框 5.1 token 是序列化长度而非实测时延，Figure 12 显示生成时间随框数持续增长（Dense200 平均 87.2 框/图），自回归解码难以支撑“快到足够闭环控制”的初衷；改进方向是报告端到端观测-动作延迟或引入并行框解码头。弱点三：ID 与 OOD 权衡未解释——RoboCasa Full 输给 RynnBrain（37.75 vs 39.00）而四个 OOD 全面领先，暗示感知基础可能牺牲部分域内拟合，论文未分析容量分配或过拟合机制。弱点四：VisDrone（40.44，低于 SenseNova 42.35）与 ScreenSpot-Pro（65.78 vs 93.17）暴露极端小目标与高分辨率 GUI 短板，1024 视觉 token 预算对超高清输入可能不足，可引入动态分辨率调度。弱点五：评测依赖自建解析器，部分基线分数引自外部论文且本地仅 3 次平均（自评 10 次），跨协议可比性有噪声。

作者提出的方向（Sec. E 与 D.4）：其一，物理提示——用点/框作为语言之外的交互指定接口，让动作模型直接接收“目标、位置、结构”基元，与语言指令并行；其二，双系统分工——Astra 级前沿模型负责 System 2 规划，感知原生基础模型负责 System 1 快速执行，并建议用“固定 planner 换感知底座”与“固定执行层换 planner”两组干预实验验证分工收益；其三，相对深度监督（如 [0,1] 场景归一化深度）替代绝对米制深度，作为培养空间智能的补充目标，因为绝对尺度在图像中本就不可判定；其四，OCR 催化剂假设的因果验证（box-only 对照、AdamW 实际更新的一阶诊断 $\langle g_g, \Delta\theta_v\rangle$）；其五，共享 vs 深度专属投影器的匹配容量对比，以检验多级视觉注入与动作读出的兼容性假说。基于本文成果可自然延伸：(1) 把接地预训练扩展到 3D 基元（表面点、6D 位姿、affordance 区域）以直接服务抓取规划；(2) 在真机闭环与时延敏感场景验证数据效率和泛化优势能否兑现；(3) 建立“接地分→动作成功率”的定量预测关系，把感知质量变成动作学习的先行指标；(4) 用数据引擎思路自举具身难例（遮挡、透明体、反射面）的密集标注，进一步放大密集接地的优势。

复现条件较好但完整成本很高。开源方面：论文承诺公开代码（github.com/groundingpi/GroundingPI）、模型权重（HuggingFace GroundingPI/GroundingPI）与评测数据；附录 A.1–A.6 给出输入/输出协议、词表 ID（坐标 token ID 151669–152668）、架构与参数明细（总计 4,843,664,384）、四阶段训练配置表与 RL 配置表，坐标量化公式 $q(v)=\lfloor(999v+500)/1000\rfloor$、奖励公式、匈牙利匹配细节均完整；附录 F 列出全部基准的逐项分数。算力方面：监督阶段每阶段 128 GPU（共 4 阶段、约 721.6B token），RL 阶段 256 GPU，下游每个骨干 40 加速器 × 4 万步——学术实验室端到端复现训练不现实，但若权重开源，复现下游迁移实验只需单节点规模。难度评估：基于官方权重做微调与评测是中等难度（标准 SFT/GRPO 栈、公开基准、指标定义清晰）；最大缺口是数据引擎不可复现——多教师融合与专家迭代依赖未公开的教师模型组合与标注流程，从零重建 221B token 的空间预训练数据几乎不可行；另外部分基线分数引自外部论文，严格复现整张对比表需要本地重跑。总体判断：用官方权重验证下游结论容易，完整复现属工业级工程。