接触锚定策略：接触条件化构建强大的机器人工具模型

用3D接触点替代语言条件，仅23小时数据实现强泛化机器人操控

前置知识

行为克隆 (Behavior Cloning, BC)

行为克隆是一种从人类示范数据中学习机器人策略的监督学习方法。给定一个包含人类示范轨迹的数据集 $\mathcal{D} \subset \mathcal{O} \times \mathcal{A}$，其中 $\mathcal{O}$ 是观测空间、$\mathcal{A}$ 是动作空间，BC 定义策略类 $\Pi$ 和损失函数 $\mathcal{L}$，训练策略 $\pi \in \Pi$ 使损失函数最小化。这种方法将机器人学习转化为标准的监督学习问题，无需强化学习的探索过程。

本文的核心方法 CAP 本质上是一种行为克隆的变体，理解 BC 的基本框架是理解本文技术路线的基础。

VQ-BeT (Vector Quantized Behavior Transformer)

VQ-BeT 是一种专为机器人行为学习设计的行为克隆算法，采用两阶段训练。第一阶段通过残差向量量化变分自编码器 (Residual VQ-VAE) 学习数据集动作的自监督离散表示；第二阶段训练一个自回归 Transformer，在给定观测序列的条件下预测量化后的动作 token。相比扩散模型，自回归架构在条件化方面更直接，且能产生更小更快的模型。

VQ-BeT 是 CAP 策略网络的具体实现，理解其工作原理对于理解整个系统的架构至关重要。

接触锚点 (Contact Anchor)

接触锚点是一个 3D 坐标 $p \in \mathbb{R}^3$，表示策略预期与物体交互的空间位置。在训练时，通过事后标注 (hindsight labeling) 从演示数据中提取：首先检测接触时刻 $t=c$（手指停止运动时），然后取夹爪中心的 3D 坐标作为锚点 $p_c$，最后利用相机位姿将锚点回溯到之前所有时间步。在推理时，可通过用户点击或 VLM 生成初始锚点 $p_0$。

接触锚点是本文最核心的创新——用物理接触点替代语言作为策略的条件信号，这是 CAP 区别于所有现有方法的根本所在。

事后标注 (Hindsight Relabeling)

事后标注是一种数据增强技术，将已有的轨迹数据重新标注为不同目标条件下的轨迹。在 CAP 中，对于接触时刻之前的每个时间步 $t < t_c$，利用记录的相机位姿 $A_t \in SE(3)$ 反投影接触锚点：$p_t = A_t^{-1} A_c p_c$。这使得训练数据中包含了「接近目标接触点」的丰富信号，而不仅仅是「已经接触后」的动作。

事后标注使得仅用 23 小时的手持演示数据就能训练出强大的策略，是数据效率的关键来源。

零样本泛化 (Zero-shot Generalization)

零样本泛化指模型在未见过的环境、物体或任务上直接执行，无需任何额外的微调或适应。在本文中，CAP 在完全陌生的场景和物体上评估，没有任何额外训练数据或环境适配，直接部署到新环境中执行 Pick、Open、Close 三个任务。

零样本泛化是本文的核心评估指标，CAP 在此方面相比大规模 VLA 模型有 56% 的优势。

研究动机

当前机器人学习领域的主流范式是使用语言提示来引导策略在运行时泛化到不同的环境、机器人形态和任务。然而，这种方法存在一个根本性张力：语言往往过于抽象，无法为鲁棒操控所需的精确物理理解提供足够指导。具体来说，语言存在两个关键问题：首先，语言不精确——机器人操控需要精确的空间感知，而自然语言难以准确传达这种空间信息，例如「拿起我放在爆炸小猫旁边的 AirPods」这样的指令在空间定位上是模糊的；其次，语言理解的代价是越来越大的模型尺寸，导致推理效率低下。现有的通用策略模型（如 $\pi_0.5$）通常需要 1,000 到 10,000 小时的训练数据，需要大规模 GPU 集群，且即使是这些资源投入，泛化能力仍远不及幼儿或家养宠物。

本文的目标是本文的目标是提出一种更高效的策略条件化方法，用物理接触点替代自然语言作为策略的条件信号，从而以极少的数据量（仅 23 小时）、极小的模型尺寸（5200 万参数）和极低的计算成本，实现跨环境、跨物体、跨机器人形态的零样本泛化。具体目标包括：（1）在 Pick、Open、Close 三个基础操控任务上实现强大的零样本泛化；（2）在同一策略检查点下部署到多种机器人形态；（3）通过工具调用组合原子技能实现长时程操控。

与已有工作不同的是，本文的独特切入角度体现在三个层面。第一，条件化模态的根本转变：现有工作要么用语言（太抽象）、要么用目标图像（需要未来状态信息），CAP 提出了一个极简但有效的中间方案——物理接触点，它既有语言的灵活性（用户可以指定任意接触位置），又有足够的空间精确性。第二，策略架构的模块化分解：与追求单一通用大模型的主流范式不同，CAP 将策略分解为模块化的工具模型库，每个模型专注于一个原子技能（Pick/Open/Close），通过高层控制器的工具调用组合实现复杂行为。第三，开发流程的创新：利用 EgoGym 这一轻量级仿真基准进行仿真循环开发，在真实部署前快速发现失败模式并迭代改进。

核心方法

CAP 的整体思路可以概括为「用物理接触点替代语言，用模块化工具库替代单一通用模型」。具体技术路线如下：首先，设计一个兼容手持采集和机器人部署的低成本 3D 打印夹爪，使用 iPhone 作为传感器套件；然后，收集三个任务（Pick、Open、Close）的演示数据，共 20,365 条轨迹、23.1 小时、424 个环境；接着，通过事后标注自动生成接触锚点标签；随后，使用 VQ-BeT 作为策略网络，将视觉特征和接触锚点嵌入拼接后输入模型预测动作；推理时，通过用户点击或 VLM 生成初始接触锚点，利用正向运动学在相机坐标系中追踪锚点。为了加速开发迭代，构建 EgoGym 仿真基准，在训练循环中直接评估检查点。

CAP 的核心创新在于一个简单但深刻的观察：物理接触是比语言更合适的策略条件信号。这与现有方法有本质区别：（1）与语言条件化方法（如 $\pi_0.5$、RT-2）相比，CAP 用 3D 坐标 $p_t \in \mathbb{R}^3$ 替代语言 token，既有精确的空间信息又不引入语言理解的计算开销；（2）与目标图像条件化方法相比，CAP 不需要获取未来状态的图像，只需指定一个接触点；（3）与轨迹条件化方法（如 RT-Trajectory）相比，CAP 只需要一个点而非完整轨迹，条件化信号更简洁。另一个关键创新是将 VQ-BeT 的动作表示与接触锚点条件化结合：视觉嵌入 $z_v \in \mathbb{R}^{256}$ 和接触嵌入 $z_c \in \mathbb{R}^{256}$ 拼接形成观测 token $s_t = [z_v, z_c]$，输入 VQ-BeT 预测动作。

方法步骤详情

CAP 方法包含以下完整步骤：（1）数据采集：使用 3D 打印手持夹爪配合 iPhone 13 Pro，以 30Hz 采集同步 RGB-D 流和 6-DoF 相机位姿（通过 ARKit 视觉惯性里程计），共采集 20,365 条演示轨迹。（2）数据预处理：将 RGB 和深度图像缩放至 224×224，进行水平翻转增强；动作空间为末端执行器位姿增量和夹爪开合度，通过 SAM2 从视觉观测中提取夹爪状态标签。（3）接触标注：检测接触时刻 $t=c$（Pick/Open 任务中夹爪停止运动的帧），定义接触锚点 $p_c$ 为夹爪中心的 3D 坐标，然后对 $t < t_c$ 的时间步通过 $p_t = A_t^{-1} A_c p_c$ 回溯标注，对 $t > t_c$ 的时间步冻结锚点。（4）策略学习：使用 ResNet-50（MoCo 预训练）提取视觉特征 $z_v \in \mathbb{R}^{256}$，将接触锚点 $p_t \in \mathbb{R}^3$ 线性投影为 $z_c \in \mathbb{R}^{256}$，拼接后输入 VQ-BeT 预测动作，观测上下文长度 $k=3$。（5）推理：通过用户点击或 VLM 获取初始像素坐标 $(u,v)$，利用深度图和相机内参 $K$ 反投影得到 $p_0 = d_{u,v} K^{-1} [u, v, 1]^T$，通过正向运动学追踪锚点：$p_t = A_t^{-1} A_0 p_0$。（6）仿真迭代：使用 EgoGym（基于 MuJoCo）在训练循环中评估检查点，通过程序化场景生成引入多样性。

技术新颖性

CAP 的技术新颖性体现在多个方面。首先，条件化信号的创新选择：这是首次系统性地使用物理接触点（而非语言、图像或轨迹）作为策略条件信号，并证明了这种极简条件化方案的强大能力。其次，事后接触标注的自动化流程：利用夹爪运动学自动检测接触时刻并回溯标注，无需人工标注，且能自然处理接触前后的数据分布差异。第三，VQ-BeT 与接触条件化的有效结合：通过将 3D 接触坐标线性投影为与视觉特征同维的嵌入并拼接，实现了简单而高效的多模态融合。第四，EgoGym 仿真基准的设计理念：与追求视觉真实感的现有仿真基准不同，EgoGym 牺牲视觉保真度换取场景多样性和执行速度，通过程序化生成（915 个 Objaverse 物体、随机化的门/抽屉几何参数、随机纹理和干扰物）直接在训练循环中评估策略。第五，模块化工具模型的理念：将原子技能（Pick/Open/Close）封装为可组合的工具，通过高层 VLM 控制器的工具调用实现长时程行为，挑战了「必须用单一端到端大模型」的主流范式。

实验结果

CAP 在多项实验中展示了强大的性能。在零样本环境泛化方面，CAP 使用 Oracle 接触提示在三个任务上的单次尝试成功率分别为：Pick 83.2%、Open 81.0%、Close 96.0%。使用 VLM（Gemini Robotics-ER 1.5）生成的接触提示时，性能几乎不降：Pick 81%、Open 80%、Close 97%，验证了自动化接触提示的有效性。加入 VLM 验证器引导的重试机制后，成功率进一步提升至 Pick 90.4%、Open 91.0%、Close 98.0%。在跨形态泛化方面，同一个检查点部署到 4 种不同机器人（Stretch、Franka FR3、XArm 6、UR3e）上，Pick 任务成功率分别为 83%、79%、83%、70%，展示了出色的跨形态能力。在基线对比中，CAP 大幅超越现有方法：$\pi_0.5$-DROID 仅 25%、AnyGrasp 47%、Stretch-Open 58%，CAP 领先 23% 到 56%。在仿真-真实相关性验证中，EgoGym 评估与真实世界评估结果高度相关，验证了仿真迭代的有效性。在消融实验中，去除接触锚点后 Close 任务成功率从 96% 骤降至 58%，证明了接触锚点的关键作用。在长时程任务中，使用工具调用组合 CAP 策略，取咖啡豆任务成功 6/10 次，清理桌面任务成功 10/10 次。

**Figure 7**: 跨形态部署：Franka、XArm、UR3e 和 iPhone

查看结构化数据

任务	指标	本文	基线	提升
Pick（零样本，Stretch 机器人）	成功率	CAP: 83.2%, CAP+Retry: 90.4%	AnyGrasp: 46.7%, $\pi_0.5$-DROID: 25.0%	CAP 比 AnyGrasp 高 36.5 个百分点，比 $\pi_0.5$-DROID 高 58.2 个百分点
Open（零样本，Stretch 机器人）	成功率	CAP: 81.0%, CAP+Retry: 91.0%	Stretch-Open: 58.0%	CAP 比 Stretch-Open 高 23 个百分点
Close（零样本，Stretch 机器人）	成功率	CAP: 96.0%, CAP+Retry: 98.0%	无直接基线	达到近乎完美的成功率
Pick（跨形态，Franka 机器人）	成功率	CAP: 79.0%, CAP-VLM: 81.0%	$\pi_0.5$-DROID: 25.0%	CAP 比 $\pi_0.5$-DROID 高 56 个百分点
Pick（跨形态，XArm 6）	成功率	CAP: 83.0%	无直接基线	与 Stretch 性能相当
Pick（跨形态，UR3e）	成功率	CAP: 70.0%	无直接基线	因臂展限制略低，但仍具实用性

局限与改进

尽管 CAP 取得了显著成果，但仍存在多个局限性。首先，当前系统仅支持单一接触锚点，无法处理需要多点接触的任务（如双手协作或需要多个接触位置的复杂操作），这限制了其适用范围。其次，CAP 依赖两个输入模态（视觉和接触锚点），但论文未深入研究这两个模态在决策过程中如何动态加权，这可能导致在某些场景下的次优表现。第三，验证器引导的重试机制虽然提升了成功率，但大多数失败案例来自验证器的误判（将失败任务分类为成功），这说明高层监督组件仍有改进空间。第四，UR3e 机器人的成功率较低（70%）主要由于其臂展限制，说明策略对机器人运动学约束的适应能力有限。第五，虽然 EgoGym 仿真与真实世界表现相关，但仿真中缺乏视觉真实感可能导致某些视觉相关的失败模式无法被发现。第六，长时程任务（如取咖啡豆）的成功率仅 60%，主要瓶颈在于部分开门导致的后续硬件碰撞，说明组合策略的鲁棒性仍需提升。最后，数据采集使用 iPhone 和手持夹爪，虽然成本低但可能引入人类行为偏差，影响策略在某些极端场景下的表现。

独立分析的弱点

CAP 存在以下几个独立分析的弱点，每个都指向具体的改进方向。首先，单锚点限制：当前系统仅支持单个 3D 接触点作为条件，这在处理需要多点接触的任务（如双手协作、需要同时接触多个位置的物体）时会失效。改进方向是扩展为多锚点预测，可能需要模型输出一个接触点分布而非单一坐标。其次，验证器可靠性不足：GPT-4o 验证器存在大量误判，直接影响重试机制的效果。改进方向包括训练专门的任务完成验证器、引入多帧时序信息判断、或使用置信度阈值过滤不确定判断。第三，跨形态适配的局限：虽然同一检查点可部署到不同机器人，但 UR3e 等受限机器人的成功率明显较低，说明策略对运动学约束的隐式适应不够。改进方向是在训练数据中加入运动学约束信息或在推理时引入约束投影。第四，缺乏自动化的接触提示生成的鲁棒性评估：虽然 VLM 生成的接触提示与 Oracle 性能相当，但在干扰物增加时性能下降明显（见 Figure 11）。改进方向是开发更鲁棒的物体定位和接触点预测模块。第五，仿真与真实之间仍存在 gap：EgoGym 牺牲了视觉真实感，某些视觉相关的失败模式可能被遗漏。改进方向是在 EgoGym 中引入更真实的渲染或使用域随机化技术缩小视觉 gap。

未来方向

论文作者提出了三个明确的未来研究方向，同时基于现有成果可以延伸更多方向。作者提出的第一个方向是将 CAP 扩展到多接触锚点或双臂任务，这需要模型能够预测和处理多个接触点甚至接触点分布。第二个方向是研究视觉和接触两个输入模态在策略决策中的相对权重动态，这可能揭示监督策略学习的基本动力学特性。第三个方向是将验证器引导的重试过程融入端到端策略学习，通过真实世界或仿真强化学习来实现。基于现有成果可以延伸的方向包括：（1）将 CAP 框架扩展到更多任务类型（如推、旋转、插入等），构建更完整的工具模型库；（2）研究自动化的任务分解和工具组合，使高层控制器能更智能地调用原子技能；（3）探索自监督的接触锚点发现，无需人工标注或 VLM 辅助；（4）将 CAP 与大语言模型结合，实现更自然的人机交互；（5）研究 CAP 在动态环境（移动物体、变化场景）中的适应能力。

复现评估

CAP 的复现条件相对友好，这是该工作的一大优势。在开源方面，论文明确承诺将开源所有模型检查点、代码库、硬件设计（3D 打印夹爪）、仿真环境和数据集，这为社区复现提供了完整的基础。在数据方面，23.1 小时的演示数据量相对较小，使用 iPhone 13 Pro 和 AnySense iOS 应用采集，硬件成本低（主要是 iPhone 和 3D 打印部件），数据采集流程相对简单。在算力方面，模型仅 5200 万参数，甚至可以在 iPhone 上实时推理，说明训练和推理的算力需求都不高，无需大规模 GPU 集群。在难度方面，EgoGym 基于 MuJoCo 实现，程序化场景生成降低了仿真环境构建的门槛。然而，复现仍面临一些挑战：（1）VQ-BeT 的两阶段训练（VQ-VAE + 自回归 Transformer）需要仔细调参；（2）SAM2 用于提取夹爪状态标签的流程需要一定的视觉分割知识；（3）跨形态部署需要适配不同机器人的逆运动学控制器。总体而言，CAP 的复现门槛在机器人学习领域属于中等偏低水平。

接触锚定策略：接触条件化构建强大的机器人工具模型 Contact-Anchored Policies: Contact Conditioning Creates Strong Robot Utility Models