F2G-Pose：几何感知基础特征提升的直接 RGB-D 类别级物体位姿估计 F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
单次前向直接输出类别级6D位姿、尺寸与完整形状，28 FPS 兼顾精度与实时
前置知识
类别级 6D 位姿估计
目标是在测试时不依赖实例专属 CAD 模型或参考图，仅凭单张 RGB-D 观测恢复未知物体的三维旋转 $R\in SO(3)$、平移 $t$ 与公制尺寸。与实例级方法不同，它要求泛化到训练时未见过的同类实例（比如各种没见过的杯子），因此必须借助类别级形状先验或规范坐标系来处理类内差异与旋转对称带来的歧义。
这是本文的任务设定，理解方法设计与评测指标的前提。
6D 旋转表示
Zhou 等人提出的连续旋转参数化：取旋转矩阵的前两列拼成 6 维向量，回归后再用 Gram-Schmidt 正交化恢复合法的旋转矩阵。相比欧拉角或四元数，它在神经网络回归中梯度更稳定、没有奇异点，已成为位姿估计领域的标准输出方式。
本文位姿头直接回归的就是这种 6D 表示，旋转损失也定义在其原始输出上。
DGCNN 动态图卷积
EdgeConv 式的点云网络：在特征空间中动态构建 k 近邻图，对中心点与邻居的边特征做卷积，从而捕获局部几何结构且对点的输入顺序不敏感。本文用它把逐点拼接后的「3D 坐标 + 视觉特征」集合编码为 128 个 token，交给 Transformer 做全局整合。
DGCNN 是把提升后的 RGB-D 融合特征变成局部几何 token 的关键编码器。
混合专家 MoE
把 Transformer 的 FFN 替换为多个并行专家网络加一个线性门控路由器：每个 token 只送进门控得分最高的 top-k 个专家，输出按门控概率加权聚合，并用负载均衡辅助损失防止所有 token 涌向少数专家。稀疏激活让参数容量扩大而推理代价近似不变。
本文用 8 专家 top-2 路由的 MoE Transformer 提供横跨 149 个类别的条件容量。
视觉基础模型特征提升
RADIOv2.5 是蒸馏了 SAM、DINOv2 等多个视觉基础模型的统一骨干网络，输出稠密语义特征图。「特征提升」指按投影关系把 2D 特征图上每个 patch 的向量贴到对应 3D 点上（本文按 patch 索引 16 直接查表），让公制几何观测获得语义与外观线索，延续 DenseFusion 的逐点融合思想。
几何感知基础特征提升是方法名的来源，也是消融实验中收益最大的组件。
形状补全与 Chamfer 距离
从部分观测点云推断完整几何的任务。Chamfer 距离（CD）计算预测点集与真值点集之间最近点距离的平均值，是形状生成的主流损失与评价指标；本文采用 L1 版本，同时监督粗、细两级重建输出。
相机系形状分支既是可用输出又是位姿表示的稠密监督，CD 是其核心指标。
研究动机
类别级 RGB-D 位姿估计要在没有实例 CAD 模型的条件下，从单张部分观测恢复旋转、平移与公制尺寸，天然充满歧义：类内形状尺寸差异大、旋转对称使多个姿态等价、遮挡与深度缺失让证据不完整。现有方法在可靠性与效率间难以两全。确定性方法（NOCS 规范坐标系、对应关系、形变模型、直接回归等）推理高效，但依赖中间结构：遮挡或域偏移下，最终度量估计对 canonical 对齐等中间结果的可靠性非常敏感，误差沿流水线累积。生成式方法 GenPose/GenPose++ 把位姿建模为条件分布，采样多个假设再打分聚类，但存在「候选到决策」鸿沟：作者实测其候选集虽含精确解（oracle Best-of-50 中位旋转误差 1.78°、79.3% 实例可在 5° 内命中），完整管线最终预测中位误差却升至 5.2°、平均 30.7°，且完整采样管线仅约 4 FPS、延迟 256 ms，无法满足 50 ms 机器人控制预算；削减候选数虽提速，却因候选提取不可靠而掉精度。
本文的目标是本文要构建一个单次前向、免采样、免测试时优化的直接框架 F2G-Pose：输入一张分割好的 RGB 裁剪图与部分点云，一次前向同时输出 6D 位姿 $T=(R,t)$、公制尺寸 $s\in\mathbb{R}^3$ 和相机坐标系下的完整形状 $P_{dense}$。目标可量化为三点：(1) 在 SOPE/ROPE 基准上超越 GenPose++ 等最强基线，例如 SOPE 的 IoU50 AUC 从 31.9 提升到 43.7；(2) 位姿推理达到 28 FPS、含形状补全 23.7 FPS，比 GenPose++ 的 4 FPS 快约 7 倍，可进入机器人实时控制回路；(3) 只用带位姿标注的合成 SOPE 数据（149 类、5K 实例）训练、RADIO 主干全程冻结，并在 HouseCat6D、HANDAL 和真实机械臂抓放实验中验证迁移与部署能力。
与已有工作不同的是，本文的独特切入有三点。其一，不做「采样-挑选」，而是直接优化最终决策，正面绕开生成式方法的候选到决策鸿沟——Table 2 显示候选集质量与部署精度并不等价，作者由此判断单次前向的可靠直接回归是更优解。其二，提出几何感知基础特征提升：把 RADIOv2.5 的稠密特征按 patch 索引贴到部分点云上，让公制 3D 观测获得逐点语义与外观线索；不同于 SecondPose 的 SE(3) 一致表示，也不同于把基础模型当独立图像先验的用法。其三，让形状补全分支直接在相机坐标系重建完整几何，把它同时当作可用输出和稠密几何监督来正则化共享表示，使位姿头隐式学到「可见部分到完整物体」的结构关系；再配合 MoE Transformer 提供跨类别的条件容量。三者共享一个表示，组合起来使直接回归在歧义观测下依然可靠。
核心方法
直觉：与其让委员会先提 50 个候选再打分投票（GenPose++），不如培养一位看过海量同类案例的专家，看一眼就给出唯一可信的决定。技术路线分四步。第一步特征提升：冻结的 RADIOv2.5 融合第 8/16/23 层得到稠密特征 $F_{rgb}\in\mathbb{R}^{h\times w\times 1024}$，按 patch 索引 $f_i=F_{rgb}[\lfloor\pi(P_i)/16\rfloor]$ 把特征贴到部分点云每个 3D 点上。第二步局部编码：逐点拼接坐标与视觉特征，经 DGCNN 编码为 128 个 512 维 token。第三步全局编码：MoE Transformer（8 专家、top-2 路由、软负载均衡）整合出物体级表示。第四步双头解码：位姿尺寸头用 6D 旋转表示加 Smooth L1 直接回归；形状头把粗 512 点经置信度融合与每点偏移细化到 2048 点的相机系完整形状。训练只用合成 SOPE 数据，联合位姿、尺寸、Chamfer 重建与 $\lambda=0.01$ 的负载均衡损失。
最本质的区别是「用稠密几何监督换取直接回归的可靠性」。已有直接回归方法依赖 canonical 对齐等中间结构，歧义观测下容易碎裂；生成式方法靠采样表达不确定性，却要付出候选提取与延迟的代价。F2G-Pose 的答案是三合一：(1) 基础特征提升——稠密视觉特征不是替代几何而是附着在公制 3D 点上，DGCNN 局部编码保留可见表面证据，化解了「纯几何不懂语义、纯图像缺度量」的矛盾；(2) 相机系形状补全作为辅助任务——Chamfer 监督迫使共享表示理解从可见点到完整物体的几何结构，消融显示去掉形状监督后 ROPE IoU50 从 27.8 跌到 23.2，证明这种稠密正则真实有效；(3) MoE 条件容量——149 个类别的形状模式差异巨大，8 专家 top-2 路由让不同形状走不同专家，IoU50 比参数量等同的稠密 FFN 高 3.8 个点且保持 23.7 FPS。对称性歧义则由训练时的等价旋转集合最小损失处理，而非推理时采样。全部模块共享一个表示，一次前向完成，无采样、无对齐、无测试时优化。
方法步骤详情
步骤一：RGB 裁剪 $I$ 经冻结 RADIOv2.5 取第 8/16/23 层特征，经 1×1 卷积压缩、softmax 加权求和、3×3 卷积精炼为 1024 通道。步骤二：对每点 $P_i$ 按 patch 索引取特征 $f_i$，得到带视觉线索的点集。步骤三：逐点拼接坐标与 $f_i$，DGCNN 编码为 128 个 512 维 token。步骤四：MoE Transformer 每 token 从 8 个专家按门控 softmax 选 top-2、按重归一化概率加权输出，加软负载均衡损失后池化得物体表示。步骤五：位姿尺寸头直接回归 6D 旋转、平移与尺寸，旋转损失 $\mathcal{L}_{rot}=\min_{R_{gt}^i\in\mathcal{G}_R}\mathrm{SmoothL1}(\hat{r},r_{gt}^i)$ 对等价旋转集合取最小。步骤六：形状头以 MLP 回归 512 点粗形状，与最远点采样的观测点拼接、Sigmoid 筛点，再逐点拼全局特征回归 4 个偏移细化到 2048 点，两阶段用 Chamfer-L1 监督。
技术新颖性
与 NOCS 系确定性方法的区别：不需要 canonical 空间对齐、对应关系或形变场等中间结构，形状监督直接在相机坐标系进行，免去 canonical-to-camera 的后处理环节。与 GenPose/GenPose++/Joint-RegDiff/RFMPose 的区别：完全去掉扩散采样与候选打分聚类，把不确定性交给 MoE 条件容量和对称性感知损失（对无对称、90°、180°、任意角对称分类生成等价旋转集合再取最小损失），推理从迭代生成变为单次前向。与 SecondPose 的区别：同样组合基础模型特征与几何，但 F2G-Pose 额外预测相机系完整形状提供稠密监督，并用 MoE 而非 SE(3) 一致表示编码。与 FoundationPose、Any6D 等实例级方法的区别：不需要 CAD 或参考图，靠类别级规范监督泛化到未见实例，只需分割好的 RGB-D 输入。消融还表明收益主要来自架构与监督设计而非特定骨干——换成 DINOv2 或 CLIP 仅小幅下降（IoU50 分别 27.0/26.3 对 27.8）。
实验结果
T1：SOPE IoU25/50/75 AUC 59.6/43.7/16.5，超 GenPose++ 50.1/31.9/6.4；ROPE 46.5/27.8/5.8 超 RFMPose 42.1/21.0/2.2；位姿 28 FPS（全模型 23.7），基线仅 4 FPS。T2：GenPose++ 候选中位 8.2° 但均值 39.3°、26.9% 超 45°，oracle 中位 1.78° 而管线 5.2°，5° 命中率 79.3%→48.3%。T3：SOPE/HouseCat6D Chamfer-L1 仅 5.42/7.1，超 AdaPointr 24.41/32.3。T4-T6：去 RGB 掉最狠（27.8→16.2），去 MoE 24.0，去形状监督 23.2；换 DINOv2/CLIP 仅降 0.8/1.5 点。T8：HANDAL IoU25 35.0，超 Any6D 14.5、GenPose++ 16.7。T9：80 次抓放 74 抓/68 放，延迟 36 ms、Ready@50 100%；GenPose++ 全管线 256 ms、Ready@50 0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SOPE 类别级位姿估计 | AUC IoU50 | 43.7 | GenPose++ 31.9 | +11.8 |
| ROPE 类别级位估计（合成到真实迁移） | AUC IoU50 | 27.8 | RFMPose 21.0 | +6.8 |
| SOPE 旋转精度 | 平均旋转误差（°） | 15.7 | GenPose++ 19.9 | 降低 4.2° |
| SOPE 相机系形状补全 | Chamfer-L1（×10⁻³） | 5.42 | AdaPointr 24.41 | 降低约 78% |
| HouseCat6D 形状补全 | Chamfer-L1（×10⁻³） | 7.1 | AdaPointr 32.3 | 降低约 78% |
| 位姿推理速度 | FPS（RTX 4090） | 28 | GenPose++ 4 | 约 7 倍 |
| HANDAL 跨数据集真实物体迁移 | AUC IoU25 | 35.0 | GenPose++（零参考）16.7 | +18.3 |
| 真实机械臂抓放（80 次） | 抓取成功数 | 74 | GenPose++ 限时版 56 | +18 |
局限与改进
作者承认的局限：推理时假设输入已分割好，mask 失败或深度严重损坏会直接传播到位姿、尺寸和形状三个输出；对薄壁与非对称部件、重度遮挡敏感；对称低纹理物体在 90°/180° 歧义下仍可能选错；跨数据集域偏移下高精度对齐弱（HANDAL 上 IoU75 仅 0.3）；对称性监督不能消除歧义，且模型不提供校准的不确定性或弃权机制。我的补充观察：评估完全限定在 SOPE/ROPE 的 149 类固定分类体系内，「类别级」能力依赖这一分类法，开放词表场景未验证；ROPE 上 IoU75 只有 5.8、HANDAL 只有 0.3，说明高精度箱体对齐普遍偏弱，需要毫米级精度的任务仍要后端细化；28 FPS 是 RTX 4090 加冻结 RADIO 前向的数字，边缘设备上未必可行；机械臂实验（Table 9）的物体掩码由分割提供，与真实部署的完整感知链条仍有差距。
独立分析的弱点
弱点一，无不确定性表达：直接回归是点估计，面对对称物体或重度遮挡时无法输出「可能多解」，机器人侧也无法据此降速或换策略；改进方向是在保持单次前向的前提下加轻量旋转分布头（如矩阵 Fisher），一次采样近似替代 GenPose++ 的 50 次采样。弱点二，强依赖分割掩码：真实流水线中 mask 错误会级联成全链失败；可与分割器联合训练，或输出逐点置信度对不可靠区域降权。弱点三，高精度对齐不足：ROPE IoU75 仅 5.8、HANDAL 仅 0.3，对毫米级装配任务不够；既然已输出相机系完整形状，可在预测位姿附近做一步可微 ICP 或局部配准，把形状当对齐先验。弱点四，骨干推理开销：28 FPS 建立在 RTX 4090 与 RADIOv2.5 之上，边缘设备难达标；Table 5 显示换 DINOv2 仅掉 0.8 点，提示可蒸馏轻量骨干。弱点五，MoE 工程复杂：top-4 只比 top-2 高 0.2 点 IoU50 却掉到 18.5 FPS，说明 8 专家已近收益上限，落地可考虑共享专家或剪枝。
未来方向
作者提出的方向：mask-free 运行（摆脱对外部分割的依赖）、覆盖更广的真实物体、扩展到铰接或可形变类别、针对重度遮挡的主动感知。基于本文成果可延伸：(1) 把相机系形状输出从「仅用于碰撞检查」升级为接入可微物理仿真或抓取规划器，形成感知-规划闭环；(2) 把对称性等价旋转集合的最小化损失推广到铰接物体的部件级对称建模；(3) 利用专家偏好与类别相关的发现（附录 B.3）做持续学习——新增类别时只扩专家而非全量重训；(4) 把 Table 2 式的 oracle 与管线差距诊断作为通用评估工具，校准其他生成式感知系统的真实部署精度；(5) 蒸馏基础特征并量化 MoE，验证在 Jetson 级硬件上的实时性，推动真实产品化。
复现评估
开源情况：项目页 https://jrryzh.github.io/F2G-Pose/ 提供代码与预训练模型，复现门槛较低。数据全部公开：训练只用 SOPE（Omni6DPose 的 149 类合成集，5K 实例），评测 SOPE/ROPE 同源，HouseCat6D、HANDAL 均为公开数据集；骨干 RADIOv2.5 公开发布且全程冻结，无需微调。算力：论文在单张 RTX 4090 上按统一协议做推理基准（batch 1、GPU 同步计时），训练显存与时长未明确报告，但 8 专家 top-2 稀疏激活加冻结主干的配置预计中端多卡即可完成。难度评估：中等——DGCNN、MoE、PoinTr 式形状头都是成熟组件，主要风险点在 MoE 负载均衡系数 $\lambda=0.01$ 的训练稳定性、对称性等价旋转集合的生成需要照 SOPE 基准实现、以及推理输入依赖外部分割掩码的质量。对想复用思路的团队，「基础特征提升到点云」和「形状补全作辅助监督」两个组件都可以独立移植到其他 RGB-D 任务。
论文图表
在 ROPE 上把 GenPose++ 的扩散候选数从 K=1 扫到 50，画出 AUC@50 与 VUS@5°2cm 对每物体延迟的帕累托曲线，并标注本文方法的位置：减少候选虽降延迟但精度明显下滑，本文以约 40 ms 延迟同时占住精度与效率的最优点。
直接可视化「候选到决策」鸿沟与本文的效率优势，是论文核心动机的最有力证据。