面向部分可观测机器人操作的技能级记忆:基准测试与增强 Benchmarking and Enhancing Skill-Level Memory for Partially Observable Robotic Manipulation
提出HIDE隐状态记忆基准与SEEK三记忆机制框架,平均成功率较最强基线提升11.7个百分点
前置知识
部分可观测马尔可夫决策过程(POMDP)
一类决策问题:智能体无法直接观测环境完整状态,只能获得与之部分相关的观测。当两个不同的底层状态产生几乎相同的观测(观测混淆,observation aliasing)但最优动作不同时,智能体必须利用交互历史 $(o_{1:t}, a_{1:t-1})$ 推断隐状态。本文的形式化直接沿用该框架:把状态分解为可观测部分 $x_t$ 与隐状态 $z_t$,最优策略满足 $\pi^*(a_t \mid h_t, g) = \pi^*(a_t \mid o_t, z_t, g)$,并用『观测距离 $d(o_t, o'_t) \le \epsilon$ 但 $z_t \neq z'_t$、最优动作不同』来判定任务是否真正依赖记忆。
HIDE 基准的任务定义和 SEEK 的三种记忆设计,全部建立在『隐状态 $z_t$ 决定最优动作』这一 POMDP 直觉之上。
粗到细(coarse-to-fine)3D 操作策略
RVT、RVT-2、SAM2Act 一类策略的通用范式:先把多相机 RGB-D 融合成点云,渲染为若干虚拟视图,在整个工作区上预测一张粗粒度平移热图(heatmap)定位交互目标的大致区域;再对该区域裁剪放大渲染,精细预测末端执行器的位置、旋转与夹爪开合。动作以关键帧(keyframe)形式输出,交给 OMPL 运动规划器执行。
SEEK 直接构建在 SAM2Act 这一粗到细骨干上,理解『记忆先影响粗目标选择、再由细分支局部精修』是读懂方法结构的前提。
记忆注意力(Memory Attention)
源自 SAM 2 视频分割架构的机制:当前帧视觉特征作为 query,对历史帧存下的记忆条目做交叉注意力,把历史证据『读』进当前特征。每条记忆保留空间特征图而非压缩向量,因此检索结果是局部化的,能指出证据在场景中的位置。SEEK 的三种记忆组件最终都通过这一统一接口注入策略。
它是 SEEK 框架的骨架:WCM、PAM、SCM 三种记忆拼接后都经 MemoryAttn 读入,理解它才能理解记忆如何影响动作预测。
行为克隆(Behavior Cloning)
模仿学习中最直接的方法:给定专家演示的状态-动作对,用监督学习拟合专家动作,即最大化 $\sum_i \log p(a_i \mid s_i)$。机器人操作中常用脚本专家(scripted expert)在仿真中自动生成大量演示,无需人工遥操作。SEEK 的训练目标是行为克隆加一个阶段边界预测项:$\mathcal{L} = \mathcal{L}_{act} + \lambda_{stage}\mathcal{L}_{stage}$。
SEEK 与 HIDE 上所有基线都用行为克隆训练,阶段边界损失 $\mathcal{L}_{stage}$ 正是为训练进度计数器 SCM 而加的。
视觉-语言-动作模型(VLA)
在大规模机器人数据上预训练的多模态基础模型,接收图像与语言指令、直接输出动作,代表有 π0、π0.5、OpenVLA、GR00T N1。它们强调跨任务与跨环境泛化,但绝大多数只依赖当前观测或极短的时间窗口,对历史的显式建模非常薄弱,高层语言子目标也不提供执行进度等隐状态。
VLA 是 HIDE 上表现最差的基线家族(OpenVLA 平均成功率仅 1.6%),这一系统性失败正是论文要解决的问题的最有力证据。
研究动机
现有操作策略——包括 π0、OpenVLA、GR00T N1 等基础模型和 RVT-2、SAM2Act 等 3D 策略——主要依赖当前观测或很短的时间窗做决策。但真实执行中大量决策相关信息是『隐状态』:指令『把按钮按 N 次』并不告诉机器人已经按了几次;物体颜色、位置等早期观察可能随后被遮挡;多阶段任务的中间观测无法唯一确定完成了哪一步。这些情形对应 POMDP 中的观测混淆:两个不同历史产生视觉上几乎相同的当前观测 $d(o_t, o'_t) \le \epsilon$,却要求不同的最优动作。已有记忆导向基准(MemoryBench、RoboMME、RoboMemArena、RMBench、LIBERO-Mem)多以任务长度、场景复杂度或需保留上下文的数量衡量记忆需求,而非显式构造『当前观测不足、必须回查历史』的决策点。实际差距有多大?HIDE 实测给出答案:无记忆基线中 SAM2Act 平均成功率仅 42.7%,RVT-2 为 42.9%,OpenVLA 只有 1.6%,VLA 家族几乎全军覆没;即便加了记忆,单一机制也严重偏科——MME 在历史回忆类有 35.2%,在重复计数类却只有 2.4%。
本文的目标是论文设定了两个互补目标。基准层面:构建 HIDE——基于 RLBench 的 15 任务基准,按『决策所需的隐变量类型』组织为重复计数(RC)、历史状态回忆(HSR)、执行进度跟踪(EPT)三类,每类 5 个任务;任务带随机化初始配置与外观变化(颜色、材质),由脚本专家自动生成演示,并按操作关键点自动分割出阶段标注,使『哪类记忆机制对应哪类隐状态需求』可以被可控地测量。方法层面:提出 SEEK 记忆增强框架,用三种互补机制(近期交互上下文、可检索的历史锚点、显式进度计数)增强策略,要求在不损害标准任务性能与扰动鲁棒性的前提下显著提升隐状态任务表现——最终在 HIDE 上把平均成功率从最强基线 SAM2Act+ 的 51.2% 提升到 62.9%,并在真机四任务上把平均成功率从 47% 提高到 89%。
与已有工作不同的是，本文的独特切入角度是把『记忆』拆开成三个正交问题:存什么、存多久、怎么读,并让记忆设计显式匹配任务的隐状态信息需求。已有记忆增强方法——SAM2Act+ 的视觉记忆库、MemoryVLA 的感知-认知双层记忆、µVLA 的循环记忆、Mem-0 的锚点加滑动窗口——大多是单一、同质的记忆形态;RoboMME 虽已观察到记忆有效性因任务而异,但没有据此给出系统性的设计原则。作者的关键洞察是:不同隐状态需要不同生命周期的信息——重复计数需要显式进度信号,历史回忆需要长期可检索证据,进度跟踪需要近期上下文——因此任何单一记忆形态都必然在某些类别上失效甚至有害(MME 在 RC 类 2.4% vs HSR 类 35.2% 即为佐证)。SEEK 据此把三种机制正交组合,并用渐进叠加与单组件对照两组消融,首次在统一基准上量化了『记忆组件-隐状态类别』的对应关系。
核心方法
直觉上,可靠的执行者需要三种记忆:工作记忆(刚才发生了什么)、参考记忆(早前看到、现在被遮挡的证据)和进度感(做到哪一步了)。就像人收拾桌面时记得『刚擦过哪块区域』『之前看见钥匙在那个抽屉里』『还剩两个杯子没摆』。技术上,SEEK 建立在语言条件的粗到细多视角策略(即 SAM2Act)之上:四个相机的 RGB-D 观测经点云重建后渲染成三个虚拟视图;共享记忆编码器把每个视图的视觉特征 $X_t^v$ 与当前预测的粗平移热图 $H_t^v$ 结合成『交互记忆』条目,把场景内容与预测的操纵目标绑定;随后三种记忆组件——WCM(先进先出保留最近 $K=6$ 条)、PAM(从窗口外的历史档案按相似度检索 1 条锚点)、SCM(离散阶段计数器加可学习阶段嵌入)——拼接为 $M_t^v = [W_t^v;\, m_{a_t}^v;\, S_t]$,通过记忆注意力注入当前特征:粗分支用记忆条件化特征预测工作区平移热图、选定局部区域,细分支在该区域裁剪放大后预测精确的平移、旋转与夹爪状态。记忆在动作预测之后才写入供后续读取,阶段边界预测则驱动计数器推进。
核心创新是把『保留历史』细化为『按隐状态的信息生命周期分别建模』,并用有界的注意力读取接口统一三者。与已有方法的本质区别有三点。第一,WCM/PAM/SCM 不是同一记忆的三份拷贝,而是三种信息类型:近期交互(WCM,滑动窗口)、超出窗口的持久证据(PAM——每个决策步用当前观测的池化描述子 $k_t$ 做内容检索 $a_t = \arg\max_{i \in \mathcal{A}_t} \cos(k_t, k_i)$,候选集 $\mathcal{A}_t$ 排除已被 WCM 覆盖的条目,检索键与用于动作预测的空间特征分离),以及显式进度(SCM——计数器只在策略预测的阶段边界推进,而非每个控制步,使重复动作导致的视觉回归不再依赖外观来区分)。第二,采用读后写(write-after-read)时序:记忆在动作预测完成后才写入,保证检索只面向过去、满足因果性。第三,读取预算有界——每个视图最多读 $K$ 条近期记忆、1 条锚点、1 个阶段表示,与回合长度无关。相比之下,SAM2Act+ 只是被动堆叠历史帧,Mem-0 的锚点是固定的首帧参考,均不区分信息类型与生命周期。
方法步骤详情
完整流程分四步。第一步,观测编码:前视、左肩、右肩、腕部四个相机的 RGB-D 在 128×128 分辨率下融合成点云,渲染为三个虚拟视图,每视图以 224×224 输入网络,同时输入语言指令与本体感知。第二步,交互记忆写入:共享记忆编码器将视觉特征与当前预测的粗平移热图结合,生成带空间特征图的记忆条目;动作预测完成后,该条目连同池化检索键一起存档;WCM 窗口满 6 条后最旧的条目移出窗口,但保留在回合档案中成为 PAM 的候选。第三步,记忆读取与动作预测:当前特征通过 MemoryAttn 对 $[W_t^v; m_{a_t}^v; S_t]$ 做交叉注意力(回合初期无档案时省略锚点),粗分支输出热图定位目标区域,细分支在该区域渲染放大后预测位置、旋转、夹爪状态,动作由 OMPL 运动规划器执行;同时策略输出阶段边界预测,一旦判定跨越边界,SCM 计数器加一并切换到新的可学习阶段嵌入。第四步,两阶段行为克隆训练,损失为 $\mathcal{L} = \mathcal{L}_{act} + \lambda_{stage}\mathcal{L}_{stage}$,监督粗细平移、旋转、夹爪、碰撞预测与阶段边界;Stage 1 用 LoRA(rank 16)微调预训练视觉骨干学无记忆策略(8 卡、batch 56 帧、峰值学习率 $7\times10^{-4}$),Stage 2 从 Stage 1 第 20 轮 checkpoint 出发冻结骨干,只训练记忆编码器、记忆注意力、阶段参数与两个动作分支(64 条 7 帧时序序列、学习率 $2\times10^{-4}$、记忆预算 6 条)。回合之间所有记忆与计数器清零。
技术新颖性
技术新颖性体现在三点正交设计与一份系统性实证分析。设计上:其一,PAM 是『按内容检索的持久锚点』,区别于 Mem-0 的固定首帧参考和 SAM2Act+ 的全历史拼接;其检索键融合了预测热图信息,使检索对齐『操纵目标』而非整幅图像外观。其二,SCM 把执行进度表示为离散计数器加可学习嵌入,且只在预测的阶段边界推进——这直接针对重复任务中『第 2 次和第 3 次按下按钮看起来一模一样』的观测混淆,是单纯堆叠视觉历史无法解决的。其三,读后写与有界读取预算共同保证了因果性与计算可控性,记忆成本不随回合长度增长。分析上:论文在统一基准上用『渐进叠加』(Base→+SCM→+WCM→+PAM)与『单组件对照』两种消融交叉验证记忆组件与隐状态类别的对应(SCM 对 RC +14.0 个百分点、WCM 对 EPT +12.0、PAM 对 HSR +11.6),把 RoboMME 等工作中『记忆有效性因任务而异』的定性观察,升级为可量化、可指导设计原则的实证结论。
实验结果
主实验(Table 1)显示 HIDE 对现有策略极难:VLA 家族 OpenVLA 平均仅 1.6%、OpenVLA-OFT 13.9%、π0 22.1%、π0.5 14.4%、GR00T-N1.7 26.4%;3D 策略 RVT 35.7%、RVT-2 42.9%、SAM2Act 42.7%;记忆增强基线参差不齐——µVLA 18.1%、MME 18.4%,最强的 SAM2Act+ 也只有 51.2%。SEEK 达到 62.9%,领先最强基线 11.7 个百分点,且三个类别全部第一:RC 61.6%(超最强类别基线 15.2pp)、HSR 59.2%(+9.6pp)、EPT 68.0%(+7.2pp)。基线的类别失衡极具启发性:SAM2Act+ 在 EPT 达 60.8% 但 RC/HSR 仅 46.4%,MME 在 HSR 有 35.2% 而 RC 仅 2.4%,非记忆基线中 HSR 反而由 GR00T-N1.7 领跑(49.6%),印证『单一记忆机制无法覆盖不同隐状态需求』。消融(Table 2):把记忆内容从本体感知换成视觉特征,平均成功率 42.5%→62.9%,RC 增益最大(+30.4pp),其次 HSR(+17.6)、EPT(+13.4);记忆长度从 0 加到 6,平均 46.7%→53.7%→57.2%→62.9%,其中 RC 在长度 2 时反而从 46.4% 跌到 44.2%,说明重复计数需要足够长的时间上下文才能可靠计数。组件分析(Figure 4):渐进叠加 SCM、WCM、PAM 时,每步最大增益分别落在 RC(+14.0)、EPT(+12.0)、HSR(+11.6);单组件对照中 SCM 领跑 RC、PAM 领跑 HSR、WCM 领跑 EPT,而三者组合在全部三类最强。泛化实验(Table 3):RLBench 18 标准任务上 SEEK 84.7%,略高于自复现的 SAM2Act 84.1% 与 RVT-2 81.4%(原论文报告 86.8%、官方权重复现 84.0%),说明加记忆不以标准性能为代价;The Colosseum 上 Clean 68.6%、扰动平均 61.9%(相对下降 9.8%),与 SAM2Act 复现(68.4%/61.5%,↓10.1%)持平略优。真机实验(Table 4):四个任务上 SEEK 平均 89%(按钮 ×N 76%、叠杯 100%、清洁桌面 80%、搜索白片 100%),大幅超过 SAM2Act+ 的 47% 和 π0.5 的 13%,验证了记忆设计能迁移到物理执行。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HIDE 基准(15 个隐状态任务,单策略联合训练) | 平均成功率(%) | SEEK 62.9 | 最强基线 SAM2Act+ 51.2 | +11.7 个百分点 |
| HIDE 重复计数(RC)类 | 类别平均成功率(%) | 61.6 | SAM2Act+ 46.4 | +15.2 个百分点 |
| HIDE 历史状态回忆(HSR)类 | 类别平均成功率(%) | 59.2 | GR00T-N1.7 49.6 | +9.6 个百分点 |
| HIDE 执行进度跟踪(EPT)类 | 类别平均成功率(%) | 68.0 | SAM2Act+ 60.8 | +7.2 个百分点 |
| RLBench 18 标准任务 | 平均成功率(%) | 84.7 | SAM2Act 官方权重复现 84.0(原论文 86.8)、RVT-2 81.4 | 持平略升,证明记忆不损害标准性能 |
| The Colosseum 扰动鲁棒性 | 扰动平均成功率(%) | 61.9(Clean 68.6,相对下降 9.8%) | SAM2Act 复现 61.5(Clean 68.4,相对下降 10.1%) | 相对降幅略优 |
| 真机四任务(重复按钮/叠杯/清洁桌面/搜索白片) | 平均成功率(%,每任务 25 次测试) | SEEK 89 | SAM2Act+ 47,π0.5 13 | +42 个百分点 |
局限与改进
作者在结论中明确承认:HIDE 目前聚焦『可控、可解释』的隐状态形式,尚未覆盖更丰富的真实世界设置、更多样的部分可观测来源以及更通用的记忆机制。我的独立观察还有几点。其一,最强方法平均也只有 62.9%,RC 类中 Stack Blocks 仅 48%、Stack Cups 仅 36%,问题远未解决,说明当前记忆机制对长程计数仍然吃力。其二,SCM 的阶段边界由策略自己预测、再由预测驱动计数器推进:训练时用脚本专家的真值阶段标注,推理时却依赖自预测,存在训练-推理分布偏差与误差累积风险,而论文未报告阶段边界预测本身的准确率。其三,15 个任务的变化数差异悬殊(wipe_desk_rubbish 仅 1 种变化,lift_and_check 有 80 种),每类只有 5 个任务,『哪种记忆对哪类任务有效』的类别级结论统计基础偏薄。其四,仿真演示全部由脚本专家生成,轨迹近乎最优,与真实执行的失败-重试分布不同;真机每个任务仅 25 次测试,89% vs 47% 的差距虽大但置信区间较宽。
独立分析的弱点
弱点一:SCM 假设任务可分解为离散、可数的阶段,这对『按 N 次』类任务天然成立,但对连续进度(如擦拭不规则污渍的完成比例)或阶段边界模糊的任务,硬计数器可能失效——改进方向是用有序进度回归或学习式进度分布替代离散计数。弱点二:PAM 每步用池化视觉描述子做余弦检索,而在重复任务中历史条目彼此高度相似(第 1 次与第 2 次按钮交互的画面几乎相同),检索可能选错锚点甚至选中刚离开窗口的重复帧——改进方向是引入语言条件或阶段条件化的检索键、检索 top-k 条目交由注意力加权,或对候选集做去重。弱点三:记忆长度固定为 6,长度消融显示 RC 尚未饱和(46.4%→61.6% 仍在上升),数百帧的超长任务下固定窗口加单锚点可能不够——改进方向是学习式写入/遗忘策略(何时把条目升级进持久档案)或分层记忆摘要。弱点四:HIDE 的隐状态由脚本专家和关键点标注定义,演示全是最优轨迹;真实执行包含失败与重试,记忆需要区分『做错了要撤销』与『做完了该进行』,当前框架未处理——改进方向是在记忆条目中加入结果反馈信号。弱点五:两阶段训练、8 卡 GPU、每任务 100 条演示的组合对小团队偏重,且 Stage 2 冻结视觉骨干可能限制表征与记忆的协同适配——可探索记忆模块的参数高效联合微调。
未来方向
作者提出的方向包括:把 HIDE 扩展到更丰富的真实世界场景、纳入更多部分可观测来源(遮挡之外的传感器噪声、语言歧义、动力学不可预测性),以及研究更通用的记忆机制。基于论文成果还可延伸:第一,把 SEEK 的三记忆架构嫁接到 π0/OpenVLA 等大规模 VLA 骨干——论文显示 VLA 在隐状态任务上几乎全败,记忆增强是最直接的补丁,且 Stage 2 只训记忆参数的做法天然适合 LoRA 式适配;第二,让记忆组件学习任务条件化的读写策略(何时写入档案、何时遗忘、检索几条),统一 WCM/PAM/SCM 的固定边界;第三,把阶段边界预测与 world model 的时序一致性目标结合,用隐状态标注作为自监督训练信号;第四,突破『回合内清零』设定,研究跨任务、跨回合的持久记忆(物体永久性、用户偏好),这是真实家庭长时程部署的必要条件;第五,从理论上刻画『记忆预算-任务隐状态维度』的关系,为记忆架构设计提供原则性指导而非经验消融。
复现评估
复现条件明确但门槛不低。基准方面,HIDE 构建在开源的 RLBench/CoppeliaSim(PyRep)之上,使用 Franka Emika Panda 7 自由度机械臂;15 个任务的语言模板、平均帧数、关键帧数、变化数在附录 Table 5 完整列出,脚本专家自动生成演示,每任务 100 条训练演示加 25 条测试回合,单策略联合训练 15 个任务。训练配置在 Table 7 给出得非常细:两阶段、8 卡 GPU、混合精度;Stage 1 batch 56 帧、峰值学习率 $7\times10^{-4}$(LAMB+Adam)、LoRA rank 16;Stage 2 从第 20 轮 checkpoint 出发、64 条 7 帧序列、学习率 $2\times10^{-4}$、记忆预算 6 条,两阶段共约 12 万步。论文给出项目页(HIDE-SEEK),但正文未明确承诺开源代码与预训练权重,需关注项目页动态。基线中 SAM2Act 有官方权重可直接复跑,注意作者复现为 84.0% 而原论文报 86.8%,存在约 2.8pp 的环境差异。真机部分需要 Franka 加 Robotiq 夹爪与 RealSense D455,每任务采集 50 条演示,无机械臂的团队无法复现。总体:仿真部分复现难度中等(主要成本是 8 卡训练与 RLBench 工程调试),含真机的完整复现难度高。
论文图表
总览图:上半部分展示 HIDE 的三类隐状态需求——重复计数(按了几次?)、历史状态回忆(之前发生了什么?)、执行进度跟踪(已经检查过哪些?),并示意 HIDE 提供比标准 RLBench 更长、更多样的轨迹;下半部分展示 SEEK 在该基准上取得最高的整体性能。
一张图同时交代了基准的分类逻辑和方法的名字定位,是理解全文框架的入口。
泛化性结果:RLBench 18 任务上 SEEK 84.7%(SAM2Act 复现 84.1%、RVT-2 81.4%);The Colosseum 上 Clean 68.6%、扰动平均 61.9%,相对下降 9.8%,略优于 SAM2Act 复现的 10.1%。
证明引入记忆不以标准任务性能和扰动鲁棒性为代价,回应『记忆是否只在专门任务上有效』的质疑。