SeededGrasp：基于语言引导的复杂场景多本体抓取框架 SeededGrasp: Language-Guided Grasping in Complex Scenes with Multiple Embodiments
用VLM预测种子点，再用流匹配生成多本体抓取姿态。
前置知识
Flow Matching（流匹配）
一种生成式建模方法，通过学习一个时变的速度场 $u_\theta(t, g_t, f_r, f_c)$，把一个简单分布（如噪声）沿常微分方程 ODE 连续地"运送"到目标数据分布。训练目标是让模型预测从当前噪声样本 $g_t$ 到真实样本 $g_1$ 的向量场 $u_t$，损失记作 $\mathcal{L}_{cfm}$。采样时对 ODE 做数值积分（如前向欧拉法）即可从噪声得到干净样本。相比扩散模型，流匹配路径更直、训练更稳。
SeededGrasp 的核心抓取生成模块就是用 flow matching 建模多模态的稳定抓取分布 $p(g|f_r, f_c)$，理解 $g_t$ 从 $t=0$ 到 $t=1$ 的去噪过程，才能看懂它的 DiT 架构、L1 损失、Beta 时间采样和分类器自由引导。
视觉语言模型 VLM 与零样本接地（zero-shot grounding）
VLM 是同时理解图像和自然语言的大型多模态模型（如 Gemini、GPT、Qwen-VL）。零样本接地指不经过任何专门微调或 few-shot 示例，直接用自然语言提示让 VLM 在图像中定位与指令相关的区域或坐标。本文中 VLM 接收鸟瞰图（BEV）场景图像和用户指令（如"抓篮子的把手"），直接输出一个像素坐标作为种子点，再投影到 3D 点云。
本文最大的卖点之一是"无需语言标注数据集"，靠的正是把现成 VLM 当作即插即用的语义接地模块。不懂 VLM 零样本能力，就无法理解为什么作者敢用 Gemini 3.1 Flash 替代原本需要专门训练的种子点预测模块（DGN2.0 的 Graspness）。
多本体抓取（multi-embodiment grasping）
本体（embodiment）指机器人的物理形态，即末端执行器/夹爪。不同夹爪自由度与几何差异巨大：Franka Panda 是两指平行夹爪（自由度低），Robotiq 3-Finger 是三指夹爪，Allegro 是高自由度灵巧手（16 关节）。多本体抓取指用一个共享模型同时为多种夹爪生成抓取姿态，通常通过对夹爪几何或运动学结构做条件化，而非为每个夹爪单独训练一个策略。
SeededGrasp 的多本体能力是它区别于单夹爪方法（如 DGN2.0 只支持 Allegro）的关键卖点。看懂它如何用一个可学习的夹爪查询向量 $q_r$ 加夹爪点云统一三种截然不同的夹爪，是理解 Table 2 右半部分和 Table 4 消融的前提。
点云编码与图卷积网络（GCN / GeoMatch 风格）
点云是无序的三维点集，需要专门网络提取特征。本文沿用 GeoMatch 的做法：对每个点用 k 近邻（k=16）建图，用图卷积网络（GCN）聚合邻域信息，输出每点 512 维特征向量 $f_p$。再通过 max 池化和 mean 池化得到全局表示。此外点坐标先做 Fourier 编码，并拼接局部法向量 $n$ 和曲率 $\sigma(p)$（由 PCA 估计）以丰富表面信息。
场景点云（2048 点）和夹爪点云（1024 点）的特征提取是整个流水线的输入端。种子点的距离特征、k 近邻局部特征都被显式拼入场景全局特征 $f_c$，这是理解抓取生成条件信号构成的基础。
种子点条件化与 DGN2.0（DexGraspNet2.0）
DGN2.0 是本文方法的直接灵感来源，它在 DexGraspNet2.0 数据集上提出用"种子点"标示抓取应居中的位置，并训练一个 Graspness 分数模块来预测种子点，再据此生成抓取。但 DGN2.0 只支持单一夹爪、需要显式物体分割掩码，且种子点预测需要专门训练。本文沿用"种子点"这个接口思想，但用现成 VLM 零样本替换掉训练好的种子点模块。
Table 2 左半部分把本文和 DGN2.0 放在相同的种子点输入下公平对比（Graspness 种子和 VLM 种子两种），理解 DGN2.0 的设计才能看懂本文"去掉了显式分割掩码和 graspness 特征向量"这一改进的意义，以及为什么单本体也能提升 13%。
研究动机
复杂场景下的实用机器人抓取同时需要三维空间推理和与任务语义的对齐。现有方法各存在硬伤：一类只在孤立物体（mid-air）上工作，简化了感知和接触推理，却无法反映真实杂乱场景的复杂性；另一类语言接地方法要么需要大规模语言标注数据集并做昂贵的 VLM 端到端联合训练（如 GraspMAS、若干端到端 flow matching 系统），要么借用预训练 VLM 预测高层表示后再接复杂的姿态优化管线（如 ShapeGrasp、IK 求解），在杂乱多物体、密集遮挡场景下既不精确也不可扩展。更关键的是，现有抓取数据集（如 MGG、DexGraspNet2.0）从未同时提供"杂乱多物体场景"和"多本体抓取姿态"两类数据，导致多本体在杂乱场景下的研究长期缺数据。此外，简单两指夹爪对复杂几何只能做夹持（pinch grasp），高自由度灵巧手（如 Allegro 16 关节）虽灵活却难控制，进一步抬高了统一建模的门槛。
本文的目标是本文目标是设计一个模块化、数据高效的框架 SeededGrasp，在杂乱场景下同时实现语言引导和多本体抓取。具体而言：第一，用一个预训练 VLM 零样本从鸟瞰图和用户指令中选出一个"种子点"，指示抓取应居中的位置，从而把高层语义意图编码成一个最小但有效的几何信号；第二，训练一个轻量级 flow matching 模型，以种子点为条件为任意目标夹爪生成抓取姿态，绕开昂贵的端到端训练和对语言标注数据集的依赖；第三，构建并发布首个同时覆盖杂乱场景和多本体的桌面抓取数据集（2.56M 抓取、610 场景、334 物体、三种夹爪）；第四，在仿真中超过所有基线，并在真实世界实验中验证 sim-to-real 迁移能力。
与已有工作不同的是，本文的独特切入角度在于"解耦"二字：把高层语义推理（由 VLM 负责）和底层几何执行（由 flow matching 模型负责）用一个极简的"种子点"接口连接起来，而非像端到端方法那样把两者焊死在一起、也非像传统管线那样用复杂姿态优化桥接。种子点既是 VLM 能可靠预测的最小信号（一个像素/3D 点），又足以让抓取生成模型在"如何抓"上保持灵活。这一设计同时填上了两个空白：方法上首次把现成 VLM 与学习型 flow matching 抓取生成模块以零语言标注的方式耦合；数据上首个同时具备杂乱多物体场景与多本体姿态的数据集，弥补了 MGG（多本体但 mid-air）与 DexGraspNet2.0（杂乱但单本体）各自的缺口。
核心方法
SeededGrasp 的整体设计哲学是"VLM 选在哪抓，flow matching 决定怎么抓"，灵感来自 DGN2.0 的种子点思想但做了根本替换：去掉需要专门训练的种子点预测模块，改用现成 VLM 零样本完成。流水线分两阶段：第一阶段，VLM 接收场景鸟瞰图（BEV）和自然语言指令，零样本识别一个与指令对齐的稳定抓取位置，输出像素坐标后投影到 3D 场景点云得到种子点；第二阶段，一个训练好的 flow matching 模型以种子点、当前预测点云和目标夹爪查询向量为条件，从噪声或规范姿态去噪出最终抓取姿态。这种模块化设计使方法不绑定特定 VLM，能自然受益于未来 VLM 的进步，同时以低训练成本支持多本体，且无需生成和筛选大量候选姿态。
核心创新点是引入"种子点"作为 VLM 与抓取生成模块之间的高效接口。它与现有方法的本质区别有三：(1) 相对"用 VLM 直接预测抓取姿态"的路线，种子点只要求 VLM 输出一个点而非完整 6D 姿态，回避了 VLM 空间感知精度不足的问题，把几何细节交给专门的 flow matching 模型；(2) 相对"VLM 与抓取模型联合端到端训练"的路线，种子点接口让 VLM 保持冻结、零样本调用，完全不需要语言标注数据集和昂贵的联合训练；(3) 种子点本身语义明确（标示目标物体及其相关部位），又给生成模型留足"如何抓"的自由度，从而天然兼容多种几何差异巨大的夹爪。这种"最小但充分的接口"思想是本文贯穿始终的设计哲学。
方法步骤详情
完整方法可拆为五步。第一步点云编码：场景点云 $p_c \in \mathbb{R}^{2048\times3}$、夹爪点云 $p_r \in \mathbb{R}^{1024\times3}$ 的坐标先做 Fourier 编码，再拼接局部法向量 $n$、曲率 $\sigma(p)$（由 PCA 估计）以及每点到种子点的距离；用 GeoMatch 风格的 GCN（k=16 近邻）得到每点 512 维特征，经 max+mean 池化得全局特征，并把种子点的 16 近邻局部特征与全局场景特征拼接，最终场景特征 $f_c \in \mathbb{R}^{18\times512}$、夹爪特征 $f_r \in \mathbb{R}^{3\times512}$；每个夹爪还引入一个可学习查询 $q_r \in \mathbb{R}^{512}$ 编码夹爪选择。第二步姿态参数化：$g=(T, R, \theta)$，其中平移 $T\in\mathbb{R}^3$、旋转 $R\in SO(3)$ 用欧拉角、$\theta$ 为关节角，统一填充到 16 维（Allegro 手的最大自由度）。第三步 flow matching 生成：用 DiT 架构、cross-attention 注入 $f_r, f_c$ 条件，学习速度场 $u_\theta(t,g_t,f_r,f_c)$。第四步训练：条件 flow matching 损失 $\mathcal{L}_{cfm}=\mathbb{E}_{t\sim\beta(1.5,1.0)}|u_\theta-u_t|$ 采用 L1（而非 L2）以提升对场景几何的贴合精度，总损失 $\mathcal{L}=0.4\mathcal{L}_{trans}+0.04\mathcal{L}_{rot}+0.8\mathcal{L}_{joints}$，未用关节维度被 mask，时间步 $t\sim\text{Beta}(1.5,1.0)$ 偏向后期，并使用分类器自由引导（随机丢弃条件、推理时 $w=1.1$）；数据增强含 Z 轴随机旋转、XY 平移、高斯噪声，姿态 min-max 归一化到 $[-1,1]$，并按夹爪/场景/物体均匀采样以防过拟合；训练时地面真值种子点取目标物体上离掌心最近的 8 个点之一。第五步推理：VLM 预测种子点投影到点云后，初始状态 $g_0$ 取种子点邻域的规范抓取姿态（而非纯噪声）以简化轨迹、减少数值误差累积，用前向欧拉法步长 0.2 从 $t=0$ 积分到 $t=1$ 得最终姿态。整个 flow matching 模型在两块 A100 上训练 48 小时。
技术新颖性
技术新颖性可归纳为五点。第一，种子点接口是首个把冻结的预训练 VLM 与学习型 flow matching 抓取生成模块以"零语言标注"方式耦合的设计，从根本上消除了对语言标注数据集和端到端联合训练的依赖。第二，模块化使方法对 VLM 不可知，能直接受益于 VLM 的后续进步（Table 5 已显示换更强 VLM 即可观提升）。第三，多本体能力通过共享 flow matching 模型加双重夹爪编码（夹爪点云 + 可学习查询向量 $q_r$）实现，Table 4 消融证明两者缺一不可，尤其对运动学复杂的 Robotiq 3-Finger 和 Allegro。第四，训练侧的三个工程组合（L1 损失代替 L2、Beta(1.5,1.0) 时间偏置、分类器自由引导 $w=1.1$）共同提升生成姿态对场景几何的贴合精度。第五，数据集层面首次同时提供杂乱多物体场景与多本体抓取姿态（2.56M 抓取、610 场景、3 夹爪），填补了 MGG 与 DexGraspNet2.0 的共同空白。
实验结果
实验沿三个正交轴展开并辅以消融与真实世界测试。轴一单本体种子点对比（Table 2 左，仅 Allegro 数据）：在相同 Graspness 种子点下 SeededGrasp 66.22% 显著优于 DGN2.0 的 53.15%（+13%）；换成 Gemini 3.1 Flash 的 VLM 种子点后两者都提升，本文达 72.97%、DGN2.0 66.67%，证明 VLM 种子点比专门训练的种子模块更好，且本文模型无需显式分割掩码和 graspness 特征向量。轴二多本体对比（Table 2 右，对比 GeoMatch）：SeededGrasp 在 Franka/Rbotiq/Allegro 上分别取得 71.38%/72.16%/72.07%，远超 GeoMatch 的 25.35%/35.71%/37.97%，提升约 35 个百分点，原因是 GeoMatch 依赖接触点预测+IK 优化的脆弱管线在复杂几何与不完整点云上频繁失败。轴三语言条件对比（Table 3，对比 ShapeGrasp 与 GraspMAS，226 对场景-提示，164 易/62 难）：在物体与部位识别准确率上，易提示 89.6% vs 57.5%/42.5%、难提示 80.6% vs 51.6%/29.0%；在指令被正确遵循时的整体抓取成功率上 58.2% vs 31.1%/24.5%，两个基线因仅依赖 BEV 图像、无法利用点云而全面落后。消融方面：夹爪编码（Table 4）去掉查询向量后 Allegro 从 72.07% 跌到 59.01%、去掉夹爪点云后跌到 62.16%，证明双重编码对复杂夹爪至关重要；VLM 选择（Table 5）Gemini 3.1 Flash 平均 71.87% 大幅领先 Qwen 3.5 Flash 54.42% 和 GPT 5.4 的 42.61%，且更高推理等级无益；数据规模实验显示性能随场景数增长并在约 71.5% 处饱和。真实世界实验（Section 5.3）：用 Delto DG-3F-B 三指夹爪（未参与训练，靠常量偏移从 Robotiq 3-Finger 预测映射），对 15 个未见物体各做 10 次试验、每次 4 个随机干扰物，整体成功率 78%，验证了 sim-to-real 能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 单本体（Allegro）种子点条件抓取 | 仿真抓取成功率 (%) | Graspness 种子 66.22%；VLM 种子 72.97% | DGN2.0：Graspness 种子 53.15%；VLM 种子 66.67% | 相同种子下 +13.07 个百分点；VLM 种子下 +6.30 个百分点，并证明 VLM 种子优于专门训练的种子模块 |
| 多本体杂乱场景抓取 | 仿真抓取成功率 (%) | Franka 71.38% / Robotiq 72.16% / Allegro 72.07% | GeoMatch：Franka 25.35% / Robotiq 35.71% / Allegro 37.97% | 三种夹爪分别 +46.03/+36.45/+34.10 个百分点，整体约 +35 个百分点 |
| 语言条件抓取（物体与部位识别） | 识别准确率 (%) — 易提示 / 难提示 | 89.6% / 80.6% | ShapeGrasp w/ Obj.Seg 57.5% / 51.6%；GraspMAS 42.5% / 29.0% | 易提示 +32.1 个百分点，难提示 +29.0 个百分点，显著领先两个零样本基线 |
| 语言条件抓取（指令正确时的整体抓取） | 整体抓取成功率 (%) | 58.2% | ShapeGrasp 31.1%；GraspMAS 24.5% | +27.1 个百分点，且基线仅支持平行夹爪、只看 BEV 图像 |
| VLM 主干选择消融 | 三夹爪平均成功率 (%) | Gemini 3.1 Flash 71.87% | Qwen 3.5 Flash 54.42%；GPT 5.4 42.61% | 比 Qwen +17.45、比 GPT +29.26 个百分点，证明种子点预测对 VLM 选择高度敏感 |
| 真实世界抓取（sim-to-real） | 真实抓取成功率 (%) | 78%（Delto DG-3F-B 三指夹爪，15 未见物体×10 次） | 无直接基线（夹爪经 Robotiq 预测映射） | 在未训练夹爪、依赖关节偏移映射的劣势下仍达 78%，验证跨本体迁移与 sim-to-real |
局限与改进
作者承认的局限主要有四：其一，模型预测抓取姿态时不感知机械臂运动学，可能提出手臂无法到达或需绕障的姿态，尤其在真实部署中（夹爪装在机械臂末端）这一问题突出；其二，当前仅用单张 BEV 图像给 VLM 做种子点选择，当最优抓取区域在某些视角被遮挡时鲁棒性下降，多视角融合有望改善；其三，本体表征采用每个夹爪专属的可学习查询向量，迁移到未见硬件的能力受限，统一到关节空间的表示更利于跨形态泛化；其四，训练数据（源自 MGG）中 power grasp 过多，导致模型对贴在桌面上的扁平物体抓取效果不佳。笔者额外观察到：种子点只是一个粗粒度 3D 点，丢失了"抓哪个具体部位"的细粒度信息，对需要精确部位区分的指令可能不足；真实世界仅测试了 Delto 一种夹爪且靠固定关节偏移从 Robotiq 映射，泛化到更多未见夹爪的稳健性未经充分验证。
独立分析的弱点
独立分析存在以下弱点并给出改进方向。第一，种子点粒度问题：单个 3D 点难以表达"把手""杯沿"等细长或曲面部位的完整抓取约束，改进方向是让 VLM 输出一个小区域或方向向量而非单点，或结合部位分割掩码。第二，BEV 单视角依赖：杂乱场景下目标物体常被遮挡，仅靠 BEV 易选错种子点，改进方向是融合多视角点云或多视角图像喂给 VLM。第三，数据集分布偏斜：Table 1 显示 Franka 占 1.61M 训练抓取而 Robotiq 仅 246K、Allegro 仅 161K，分布严重偏向简单运动学的 Franka，改进方向是针对性补采 Robotiq/Allegro 的可行抓取以平衡分布。第四，启发式碰撞检查近似真实：可行性判定用的是夹爪接近角 $\geq0.5$ rad、离桌间隙 $\geq0.5$ cm、物体互穿 $\leq10$ mm 等启发式，未做动态抬升测试，可能引入假阳性，改进方向是引入轻量化物理仿真验证。第五，真实世界夹爪映射脆弱：Delto 实验靠常量偏移把 Robotiq 预测映射过去，Delto 手指更短更细导致映射损失信息，改进方向是直接在统一关节空间训练以支持零样本新夹爪。
未来方向
作者明确提出的方向包括：把抓取选择与机械臂运动规划联合优化，使模型在预测姿态时即考虑手臂可达性与避障；从单图像 VLM 条件化扩展到多视角输入，提升杂乱遮挡场景下的空间推理与鲁棒性；用统一的关节空间表示替代每个本体专属的可学习查询，改善跨形态、跨硬件的泛化；扩充训练数据多样性，缓解 MGG 中 power grasp 过度代表、扁平物体抓取不足的问题。基于本文成果可延伸的方向有：把种子点接口推广到双手协同抓取或可变形物体操作（种子点可标示接触起始位置）；探索更强 VLM（如具 3D 空间推理能力的模型）作为种子点预测器以进一步提升上限；将 flow matching 生成模块替换为更快的蒸馏/一致性模型以降低推理延迟，满足实时部署；利用已发布的 2.56M 多本体数据集训给"抓什么之后做什么"的下游操作策略，打通抓取与后续任务。
复现评估
复现评估总体较好。代码与数据已通过项目主页 https://uoft-isl.github.io/seeded-grasp/ 公开承诺发布，包含训练好的 flow matching 模型与 2.56M 抓取数据集（610 场景、334 物体、3 夹爪）。数据生成管线基于公开的 MultiGripperGrasp（MGG）数据集与 Google Scanned Objects、YCB 物体库，杂乱场景用随机采样 1–10 个物体自由落体生成，过程可复现。算力需求明确：flow matching 模型在两块 A100 GPU 上训练 48 小时，对学术实验室属于可接受但非轻量的规模。种子点预测依赖 Gemini 3.1 Flash（商业 API），复现者需准备对应 API 访问；真实世界实验使用 Delto DG-3F-B 夹爪与两台固定 ZED 立体相机，硬件配置具体可循。潜在门槛在于：合成场景与真实点云的 domain gap、VLM API 版本漂移（论文用 Gemini 3.1 Flash，未来 API 可能变化）、以及 Delto 映射所需的关节偏移常量等工程细节，这些需作者补充开源配置才能完全复现真实世界 78% 的结果。
论文图表
