RoboMemArena:一个全面且具有挑战性的机器人记忆基准

大规模长程机器人记忆基准(26任务/68.9%记忆依赖)与双系统VLA模型PrediMem,以预测编码提升关键帧选择能力

前置知识

VLA模型 (Vision-Language-Action)

VLA模型是同时处理视觉观测、自然语言指令并直接输出机器人动作(连续控制信号或离散动作token)的端到端策略网络,典型代表如RT-2、OpenVLA、π0.5。它通常以预训练视觉语言模型(VLM,如Qwen3-VL)为底座,再用机器人轨迹数据微调,使语言和视觉语义能直接驱动低层级动作生成。

本文的PrediMem是一种VLA模型,S2高层用Qwen3-VL-8B-Instruct,S1低层用π0.5;不熟悉VLA就无法理解'双系统'和'动作分块(action chunk)'的设计动机。

双系统架构 (Dual-System)

受人类System 1(快速反应)与System 2(慢速推理)启发,双系统机器人策略把高频低层动作执行(S1,如π0.5,3-5 Hz)与低频高层任务规划(S2,如VLM,1 Hz)解耦,S2周期性输出子任务描述或关键帧决策,S1据此执行精细动作。两者通过异步调度共享一个记忆库。

PrediMem完全是双系统设计,S2预测子任务和关键帧决策,S1消耗最新子任务做动作分块;理解异步频率耦合(S2 1.06 Hz覆盖约2.92个S1分块)是看懂论文推理流程的关键。

关键帧 (Keyframe) 与关键帧库

关键帧是从连续轨迹中按物理/运动信号筛选出的稀疏代表性帧,本文用两条规则:gripper状态跳变(开↔闭)和末端速度极小/方向剧变。关键帧库是FIFO或可溢出的图像队列,用以持久保存任务早期的决策关键事件。

PrediMem的核心数据结构就是Mkey,移除它时TSR从38.5%跌到17.7%,证明关键帧库是长程任务记忆的物理载体,理解其选取准则才能把握预测编码头的作用。

预测编码 (Predictive Coding)

预测编码是让模型从当前帧的视觉隐状态预测下一帧视觉特征,损失函数通常结合潜空间MSE与余弦距离,迫使表征对状态变化敏感。在本工作中该目标仅参与训练,不增加推理成本,改写的是共享VLM隐空间。

预测编码是PrediMem相对MemER等基线的关键差异:它让S2在标准LM头下直接输出'当前帧是否关键帧'和子任务,无需额外的检索模块;同时t-SNE显示它让同类关键帧聚类更紧致。

长程任务 (Long-Horizon) 与部分可观察马尔可夫决策过程

长程任务指完成所需控制步数极大的任务(本文定义平均>1000步),其核心挑战是部分可观察:当关键信息被遮挡(放进抽屉关上)或需要计数/记忆序列时,当前观测不足以决策,需要从历史中恢复信息。这正是记忆机制要解决的核心痛点。

RoboMemArena 26个任务平均1076步,68.9%子任务需历史信息;只有先理解'为什么长程=记忆瓶颈'才能体会本文基准与基线模型设计的合理性。

研究动机

近年来机器人基础策略(π0.5、GR00T等)开始装配记忆模块,但现有评测基准在三个维度上同时存在缺陷:第一,缺乏多模态记忆监督——多数数据集只提供最终动作标签,不给出子任务指令、关键帧或物理交互锚点,无法直接监督双系统的高层规划器;第二,任务覆盖与结构复杂度过低,例如MemoryBench平均轨迹仅312步、MIKASA仅92.8步,子任务记忆依赖比也偏低(38.4%-58.7%),且很多任务在当前观测下就能完成,并未真正考验记忆;第三,几乎全部基准停留在仿真层面,缺少对应的真实机器人评估,导致仿真中的记忆增益能否迁移到物理世界存疑。反应式策略如π0.5在抽屉任务中会出现两种典型失败:开过第一个抽屉后场景'视觉重置',它会重复打开同一个抽屉陷入死循环;以及找到第一个空抽屉就立即放东西,忘记'逐个检查'的全局约束。

本文的目标是本文的核心目标有三:其一,构建一个大规模、长程、真正需要记忆的仿真基准RoboMemArena,具备26个任务、平均1076步轨迹、68.9%记忆依赖子任务比,并配对5个真实世界记忆任务;其二,设计一条可扩展的数据生成流水线,把VLM任务分解、AnyGrasp自主执行、多条件关键帧提取无缝串起来,既能大规模产出轨迹又能保留时间结构;其三,提出一个轻量且推理代价不增的双系统VLA基线PrediMem,用预测编码目标提升S2对物理状态跃迁的敏感性,从而在标准LM头下精准选择关键帧。

与已有工作不同的是，本文的独特切入角度是'基准+模型'联合设计:与RoboMME(只关注子任务边界关键帧和阶段信号)不同,RoboMemArena提供多模态原生监督(子任务指令+关键帧+物理/运动锚点);与RMBench、MemoryBench(任务规模小、记忆依赖低)不同,它在26个任务、1076步/任务和68.9%记忆依赖上都做到最大规模;与所有现有基准不同,它在八个维度(长程、自动指令生成、原子子目标、可扩展生成、自主抓取、状态oracle、原生关键帧、真实评估)上全部为✓。在模型侧,PrediMem的关键创新在于把'何时写入记忆'这个核心决策交给预测编码重塑后的标准LM头,而不是引入额外的检索模块或工作记忆token,这一点与MemER(检索关键帧)、MemoryVLA(token级记忆)有本质区别。

核心方法

RoboMemArena是一套'基准+模型'联合方案,方法包含两层。基准层(第3节)用VLM把自然语言任务分解为带planner标签的子任务序列,再通过AnyGrasp点云抓取估计和后置条件检查器在仿真中闭环自主执行,最后用物理交互(gripper开闭)与运动学拐点(速度极小/方向剧变)两条规则从轨迹中提取关键帧集K=Kphys∪Kkin;模型层(第4节)PrediMem是一个双系统VLA:S2为Qwen3-VL-8B-Instruct,管理由最近窗口Mrec(W=5帧)与关键帧库Mkey组成的记忆库Mt=Mkey∪Mrec,S1为π0.5,以S2最新子任务为条件输出动作分块;训练时S2额外接一个预测编码头fPre,从当前隐状态ht预测下一帧视觉特征Ẑt+1,损失为MSE+余弦距离的加权和,迫使隐空间对状态跃迁敏感;推理时fPre被移除,不影响延迟。整体直觉是:让记忆系统'知道该记什么',不是靠启发式规则或检索模块,而是让VLM自身学会预测下一刻变化,这种'变化剧烈'的时刻恰好就是关键帧。

PrediMem的核心创新是预测编码驱动的关键帧选择,和已有方法的本质区别有三。第一,MemER等方法依赖独立的视觉检索模块从候选池中挑选关键帧,PrediMem则把关键帧决策直接表达为S2 LM头输出的二值token,简化了推理管线;第二,MemoryVLA把历史压成一组transformer token作为工作记忆,这种密集记忆与稀疏物理跃迁不对齐,PrediMem用显式稀疏关键帧库,保留事件级证据;第三,HiF-VLA只建模运动表征(后视/洞察/前瞻)而不存储任务级事件,PrediMem用预测编码让S2的隐空间在物理状态跳变处自然产生判别性响应(论文Figure 5c的t-SNE验证了同类别聚类更紧),从而在SFT监督不完美的情况下也能学到鲁棒的关键帧表征。

方法步骤详情

PrediMem的运行可拆为离线训练与在线推理两条流水线。训练阶段:Step 1用VLM在仿真中对每条高层指令做任务分解,得到带planner的子任务序列;Step 2用AnyGrasp对每个子任务生成6-DoF抓取位姿,失败时由后置条件检查器重试,闭环采集完整轨迹;Step 3用两条规则提取关键帧:gripper状态跳变(gripper state 0→1或1→0)、末端线速度‖vt‖<ϵ或相邻速度向量余弦相似度<cos(θ),并集即K;Step 4在Qwen3-VL-8B-Instruct上以多图像提示格式微调2个epoch,学习率1e-5,4×H100,S2的损失为LS2=Ltext+0.1LPre,其中LPre=MSE(Ẑt+1,sg(Zt+1))+1-cos(Ẑt+1,sg(Zt+1)),预测目标是冻结ViT编码的下一帧特征;S1沿用π0.5的flow-matching目标。推理阶段:Step 1将当前观测o0写入最近窗口Mrec,初始化Mkey=∅;Step 2高频循环中S1按3.40 Hz输出动作分块at=πS1(ot,ct),ct为最近一次S2结果;Step 3当S2空闲时,异步以1.06 Hz触发S2(ℓ, ot, Mrec, Mkey),输出新子任务ct和关键帧决策kt;Step 4若kt=1则将oτ写入Mkey,FIFO更新Mrec的W帧,实现S2覆盖约2.92个S1分块的耦合节奏。整个流水线无需在推理时调用预测编码头,因此延迟与标准双系统持平。

技术新颖性

技术新颖性体现在三个层面。其一,数据侧,首次把VLM任务分解、AnyGrasp自主抓取与物理/运动双条件关键帧提取整合成端到端可扩展流水线,实现26任务×100成功演示=2600条长程轨迹,15,100个关键帧对齐短片段;MemoryBench等基准仍依赖人工或简化抓取,无法保证这种规模和标注一致性。其二,模型侧,把预测编码从自监督表征学习领域迁移到机器人记忆管理,损失权重0.1是关键超参(论文消融显示0.1最优,0.5/1.0反而退化到31.0%/29.8%),让S2在共享隐空间中自然编码时间动力学,而无需引入新检索器或新记忆token。其三,系统侧,设计了1.06 Hz S2与3.40 Hz S1的异步调度协议,每个S2更新覆盖约2.92个S1分块,既保证高层决策不被低层阻塞,又允许突发重写最新子任务,这是双系统落地的重要工程细节。

**Figure 4**: The PrediMem pipeline. The pipeline comprises two asynchronously coupled components: S1, a low-level action policy that executes the current subtask, and S2, a high-level planner that predicts keyframes and dispatches the next subtask. The predictive coding head path is training-only.

**Figure 5**: Analyses of memory behavior. (a) and (b) shows the sensitivity of average CSR to the recent-buffer size and keyframe-bank capacity. (c) is a t-SNE view showing that predictive coding yields tighter, more discriminative keyframe clusters.

实验结果

实验围绕Q1-Q5展开。Q1(记忆缺口与PrediMem):在RoboMemArena 26任务上,PrediMem取得38.5% TSR / 55.2% CSR,显著优于MemER的27.3% / 49.1%、π0.5的21.5% / 38.7%、HiF-VLA的16.9% / 39.8%、MemoryVLA的15.0% / 35.3%,其中Occlusion类别提升最明显(从π0.5的12.7%到27.3% TSR),证明关键帧+预测编码对遮挡类记忆最有效。Q2(端到端训练vs闭源VLM):GPT-5.4仅8.7% TSR、Qwen3-VL-8B冻结版仅6.0% TSR,远低于PrediMem,说明在记忆密集型机器人任务上,VLM必须用机器人数据微调才能胜任S2。Q3(组件消融):去掉预测编码头后TSR从38.5%跌到32.3%,Transferring类影响小(20.0%→25.0%略升,因其状态变化直接),而Occlusion(38.4%→30.2% CSR)、Counting(69.3%→61.8% CSR)、Sequence(89.5%→80.7% CSR)均明显下降;去掉关键帧库则TSR骤降到17.7%,CSR降到41.6%,证明关键帧库是核心组件;LPre权重0.0/0.1/0.5/1.0对应TSR 32.3/38.5/31.0/29.8%,0.1最优;Figure 5c的t-SNE显示加预测编码后同类别关键帧聚类更紧,异类分离更清晰。Q4(规模律):S2从Qwen3-1.7B升到4B再升到8B,TSR单调提升(19.9%→31.9%→38.5%),CSR也单调提升(41.4%→51.7%→55.2%),表明更大模型提供更强的记忆与推理能力;recent buffer 3-5帧最优,keyframe bank不封顶最佳。Q5(真实世界):在AgileX双臂平台上5任务×10次评估,PrediMem平均52%,MemER 40%,π0.5仅20%;其中最长程3分钟的'模仿人类做早餐(IHMB)'只有PrediMem成功(10%),MemER和π0.5均为0%,凸显长程真实世界任务对记忆的极端依赖。

**Table 1**: Comparison with Popular Benchmarks used in the Robot Learning Literature. RoboMemArena features long-horizon memory tasks, multimodal memory-related annotations, scalable generation pipelines, and paired real-world evaluations.

**Table 2**: Comparison on RoboMemArena. Per-category TSR/CSR (%) and overall averages. Ground Truth shown in gray as an oracle reference.

**Table 4**: Real-world success rates (%). Each task is evaluated over 10 rollouts on a dual-arm platform.

查看结构化数据

任务	指标	本文	基线	提升
Multi-Object Transferring (4任务,综合)	TSR / CSR (%)	22.5 / 45.2	π0.5: 20.0/42.8, MemER: 20.0/36.1, MemoryVLA: 15.0/37.2, HiF-VLA: 17.5/38.9, GPT-5.4: 13.8/32.9, 真实上限Ground Truth: 32.5/54.8	相对π0.5 TSR+2.5pp CSR+2.4pp,相对GPT-5.4 TSR+8.7pp CSR+12.3pp;但与Ground Truth仍有10pp以上差距,说明Transferring仍有较大提升空间
Multi-Object Occlusion (11任务,综合)	TSR / CSR (%)	27.3 / 38.4	π0.5: 12.7/17.2, MemER: 16.4/33.2, MemoryVLA: 7.3/13.1, HiF-VLA: 12.7/27.1, GPT-5.4: 1.8/9.2, Ground Truth: 33.6/49.8	相对最佳基线MemER TSR+10.9pp CSR+5.2pp,相对π0.5 TSR翻倍以上;遮挡类记忆受益最显著,验证关键帧+预测编码对'被遮挡后还需记住位置'这一痛点的针对性
Multi-Object Counting (7任务,综合)	TSR / CSR (%)	45.7 / 69.3	π0.5: 14.3/50.9, MemER: 27.1/65.1, MemoryVLA: 14.3/55.1, HiF-VLA: 8.6/45.9, GPT-5.4: 12.9/50.7, Ground Truth: 51.4/75.6	相对MemER TSR+18.6pp CSR+4.2pp,接近Ground Truth的88.9%,说明计数类任务相对容易,但仍要求显式记忆次数;CSR的69.3%意味着大部分阶段都被完成,失败集中在最后阶段
Multi-Object Sequence (4任务,综合)	TSR / CSR (%)	72.5 / 89.5	π0.5: 60.0/71.6, MemER: 65.0/79.1, MemoryVLA: 37.5/65.2, HiF-VLA: 42.5/70.2, GPT-5.4: 15.0/47.3, Ground Truth: 85.0/92.3	相对MemER TSR+7.5pp CSR+10.4pp,CSR接近Ground Truth的97.0%,说明序列类任务在双重监督下已基本解决,差距主要在TSR的最后阶段精度
真实世界5任务综合(Pour×2/Brush/Transfer/Shell/IHMB)	平均成功率(%, 10次评估)	52.0	π0.5: 20.0, MemER: 40.0	相对MemER+12pp,相对π0.5+32pp;IHMB(3分钟模仿早餐)上PrediMem 10% vs MemER和π0.5均为0%,是显著长程突破
S2规模缩放(1.7B/4B/8B)	平均TSR / CSR (%)	1.7B: 19.9/41.4; 4B: 31.9/51.7; 8B: 38.5/55.2	1.7B可视为内部最小基线	1.7B→8B TSR翻倍(+18.6pp),CSR+13.8pp,显示S2规模与记忆推理能力正相关

局限与改进

作者在论文中没有专门的'Limitations'章节,但从数据和实验可以观察到以下局限。其一,与Ground Truth仍有明显差距:整体TSR 38.5% vs 46.1%、CSR 55.2% vs 64.8%,且Occlusion类TSR 27.3% vs 33.6%说明在多抽屉/多容器场景下PrediMem仍未充分利用历史。其二,S1采用π0.5的flow-matching策略,需要大量机器人轨迹数据微调,在真实世界任务中Transfer Objects上PrediMem只与MemER持平(80%),Brush Plates with Swap上PrediMem 60% vs MemER 50%差距不大,说明关键帧库对纯转移类任务收益有限。其三,关键帧库不封顶带来长期占用与潜在冗余,论文未给出具体的存储开销与检索效率分析。其四,真实世界只有5个任务,样本量有限(10次评估),且PrediMem在IHMB仅10%成功率,3分钟以上的任务仍是非常前沿的开放问题。其五,基准的可扩展性依赖AnyGrasp+后置检查器闭环,对未见物体或极端姿态的泛化能力未做系统评估;VLM分解后的'unsuitable'子任务仍需人工refine,流水线并非完全无人介入。

独立分析的弱点

独立分析的弱点及对应改进方向:第一,PrediMem把关键帧决策简化为S2 LM头的二值token,但这种'硬决策'可能错过软置信度信息——若把kt改为概率或附加置信度,可在关键帧库接近饱和时主动丢弃冗余帧。改进方向是引入容量感知的稀疏化(如Top-K注意力)或基于熵的关键帧筛选。第二,预测编码目标只在相邻帧对上做监督,缺少对更长时序动态(如5步以上)的建模;当任务要求'记住第一次开抽屉看到的东西'时,这种短程预测可能不足以让隐空间保持判别性。可考虑引入对比时序预测(类似TCL)或多步预测损失。第三,recent buffer固定W=5帧,keyframe bank不封顶,在真实世界长程任务中存储与延迟会随时间累积。可学习一个压缩/汇总模块,把历史关键帧蒸馏为少量'情景摘要',既保留决策证据又控制规模。第四,S1固定为π0.5未做任务自适应,在低层动作需要更精细的视觉伺服时可考虑把关键帧也注入S1做conditioning,或换成支持多帧历史的动作头。第五,基准评估主要靠仿真+5个真机任务,缺少对不同光照、桌面布局、物体外观的鲁棒性测试,引入扰动集(sim-to-real扰动)能更准确衡量记忆机制的泛化。第六,AnyGrasp+VLM分解的流水线假设物体几何可被点云处理,对透明/反射/软体物体不友好,可换成基于语言的抓取合成或扩散式抓取生成。

未来方向

作者在结论与附录中明确提到的未来方向包括:扩大真实世界任务规模与多样性(目前仅5任务),把benchmark扩展到双臂协作和移动操作,以及进一步研究长程任务下关键帧库的可扩展性。基于本文成果还可延伸的方向有:第一,把预测编码从S2扩展到S1,使底层动作头也对物理跃迁敏感,从而在'关抽屉'瞬间主动调整末端姿态;第二,探索分层记忆:关键帧之上再聚合出'情景记忆'或'语义记忆',例如'我曾打开过左抽屉发现里面是空的',把关键帧与自然语言摘要关联起来;第三,把RoboMemArena与具身问答(EQA)、视频问答(VideoQA)结合,让模型既会做也会解释,便于诊断失败;第四,引入人类示范或干预作为外部记忆源,IHMB任务可自然扩展为人机协作记忆;第五,研究跨任务记忆迁移:用26个任务预训练一个通用S2,再在小样本任务上微调,验证记忆机制的可迁移性;第六,把LPre损失与强化学习奖励结合,直接优化任务级CSR指标,有望进一步缩小与Ground Truth的差距。

复现评估

复现性评估:作者公开了代码(github.com/RoboMemArena)、数据集(RoboMemArenaBenchmark/RoboMemArena)、模型权重(huashuolei/PrediMem)以及项目主页和leaderboard,资源齐备。数据侧,每个任务100条成功演示由AnyGrasp+后置检查器自动生成,关键帧用确定性规则(物理+运动学)提取,流水线可重现;但VLM任务分解阶段有'unsuitable子任务人工refine'步骤,这部分人力投入未量化,可能影响跨实验室一致性。训练侧,4×H100、2 epoch、lr=1e-5,配置明确;但完整训练S2(8B)+S1(π0.5)需要约数十到上百GPU小时,中型实验室可承担。评测侧,仿真基准基于RoboSuite(可推断),TSR与CSR均有明确的阶段级谓词定义;真机部分在AgileX Cobot Mobile Aloha上完成,需采购该平台。整体而言仿真部分复现难度中等,真机部分需要硬件投入;论文附录给出了完整prompt模板、子任务标注规则、记忆依赖比计算协议和异步调度细节,降低了实现门槛。

RoboMemArena:一个全面且具有挑战性的机器人记忆基准 RoboMemArena: A Comprehensive and Challenging Robotic Memory Benchmark