RoboMME：机器人通用策略的记忆基准测试与理解 RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies
大规模机器人操作基准测试，系统评估记忆增强型策略
前置知识
记忆增强型策略
在机器人操作中，记忆增强型策略是指能够保留和利用历史信息来做出当前决策的策略。这类策略通过不同的记忆表示（如符号记忆、感知记忆、循环记忆）来编码过去观察和动作的信息，从而支持需要历史推理的长时域任务。例如，机器人需要记住已经放置了多少个物体，或者需要跟踪被遮挡物体的位置。记忆机制使策略能够超越仅基于当前观察的马尔可夫决策，实现真正的历史依赖行为。
本文的核心研究对象就是记忆增强型策略，理解其基本概念和不同实现方式是理解论文技术贡献的基础。论文系统地比较了符号记忆、感知记忆和循环记忆三种表示形式及其集成机制，这需要读者对记忆增强策略有基本认识。
视觉语言动作模型（VLA）
视觉语言动作模型是一类将视觉感知、语言理解和动作生成统一在单一框架中的机器人学习模型。典型代表如π0.5，它通常包含一个视觉编码器（如ViT）处理图像输入，一个语言编码器处理任务指令，以及一个动作解码器生成机器人控制信号。VLA模型通过大规模预训练获得通用操作能力，然后可以通过微调适应特定任务。在本文中，所有记忆增强变体都基于π0.5骨干网络构建。
本文所有实验都是在VLA模型框架下进行的，特别是基于π0.5骨干网络。理解VLA的基本架构和训练方式对于理解记忆机制如何集成到现有模型中至关重要。论文探索了将不同记忆表示集成到VLA模型中的多种技术路径。
非马尔可夫任务
非马尔可夫任务是指当前最优动作不仅取决于当前观察，还依赖于历史观察序列的任务。在机器人操作中，这类任务通常涉及需要记忆的场景，如计数（需要记住已经执行了多少次动作）、遮挡物体跟踪（需要记住物体最后出现的位置）、或重复演示（需要记住之前的动作模式）。RoboMME中的所有任务都是故意设计为非马尔可夫的，相同的观察可能来自不同的历史，但需要不同的动作。
论文明确指出RoboMME中的任务都是非马尔可夫的，这是设计基准测试的核心原则。理解非马尔可夫性的概念有助于理解为什么这些任务需要记忆机制，以及为什么基于当前观察的策略会失败。这也是评估记忆增强策略有效性的关键。
记忆表示
记忆表示是指编码历史信息的不同技术方法。本文研究三种主要表示：（1）符号记忆：使用离散的语言标记（如子目标）来总结历史，例如把绿色方块放入盒子中；（2）感知记忆：将历史编码为可微分的视觉或跨模态特征，如多帧视觉令牌或记忆库；（3）循环记忆：通过循环模型将上下文特征压缩为固定大小的隐状态，如状态空间模型。每种表示都有不同的计算特性和信息保留能力。
记忆表示是论文技术贡献的核心，理解这三种表示的区别和权衡是理解论文实验设计和结果分析的关键。论文系统地比较了这三种表示在不同任务上的表现，并分析了它们的互补性。
记忆集成机制
记忆集成机制是指如何将记忆信息注入到模型决策过程中的技术。本文研究三种机制：（1）记忆作为上下文：将记忆令牌与观察令牌连接后共同处理；（2）记忆作为调制器：通过自适应层归一化（AdaLN）将记忆信息注入动作专家；（3）记忆作为专家：引入专门的记忆专家，通过块级因果注意力与其他专家交互。这些机制在计算效率、对预训练模型的干扰程度和记忆信息利用方式上各有特点。
记忆集成机制是论文技术贡献的另一个核心维度。理解这些机制如何工作以及它们的优缺点对于理解为什么某些记忆表示在特定任务上表现更好至关重要。论文发现记忆作为调制器在感知记忆上效果最佳，这一发现对后续研究有重要指导意义。
研究动机
现有机器人操作基准测试在评估记忆机制方面存在严重不足。大多数基准测试如RLBench、CALVIN、LIBERO等虽然涉及长时域任务，但主要是隐式要求时间记忆，策略仅基于当前观察就能达到高成功率，这意味着成功往往依赖于局部感知而非真正的基于历史的推理。MemoryBench是第一个明确引入记忆要求的基准测试，但仅关注空间位置记忆，且任务过于简单接近解决。MIKASA-Robo虽然包含一些记忆相关任务，但时域短、长期依赖有限，且缺乏足够的高质量演示用于有效的模仿学习。现有记忆策略通常在狭窄的自设计任务上评估，阻碍了系统比较和理解。具体来说，现有工作缺乏对记忆类型的全面覆盖（时间、空间、物体、程序记忆），缺乏标准化的评估协议，以及缺乏支持大规模模仿学习训练的高质量数据集。
本文的目标是本文旨在建立一个统一、大规模、标准化的基准测试RoboMME，用于系统评估和推进视觉语言动作（VLA）模型在长时域、历史依赖场景中的表现。具体目标包括：（1）基于人类记忆认知理论，设计一个覆盖四种记忆类型（时间、空间、物体、程序记忆）的任务分类体系；（2）构建包含16个多样化长时域任务、1600个演示、77万时间步的高质量数据集；（3）在统一的π0.5骨干网络上系统比较不同记忆表示（符号、感知、循环）和集成机制（上下文、调制器、专家）；（4）提供第一个全面理解操作中记忆的框架，为开发可靠的长时域历史依赖机器人通用策略奠定基础。
与已有工作不同的是，本文的独特切入角度体现在三个方面。首先，认知启发式的任务设计：基于经典人类记忆理论，将记忆分为时间记忆（事件累积和排序）、空间记忆（遮挡下的物体位置跟踪）、物体记忆（跨时间的参考身份解析）和程序记忆（重复演示的运动模式），这四种记忆类型分别对应计数、持久性、参考和模仿四个任务套件。其次，统一框架下的系统比较：在相同的π0.5骨干网络上构建14种记忆增强变体，控制变量地比较不同记忆表示和集成机制，而现有工作使用不同的策略骨干和不一致的评估协议。第三，大规模高质量数据：16个任务、1600个演示、77万时间步，支持大规模模仿学习训练和评估，而现有基准测试数据量不足或质量不高。这种设计使得RoboMME成为第一个系统覆盖多种记忆类型、提供标准化测试床的基准测试。
核心方法
本文的方法整体思路遵循认知理论指导任务设计到基准测试构建到记忆增强策略开发到系统评估的路线。首先，从人类记忆的认知理论出发，将长期记忆分为程序性和陈述性记忆，陈述性记忆进一步分为情景记忆和语义记忆。情景记忆支持对事件和经验的回忆，包括时间顺序、空间上下文和物体身份，而程序记忆编码通过实践获得的运动技能。这四种记忆类型对应四个认知维度：何时（时间）、何地（空间）、什么（物体）、如何（程序）。基于此，设计了四个任务套件：计数套件（时间记忆）、持久性套件（空间记忆）、参考套件（物体记忆）、模仿套件（程序记忆）。然后，在ManiSkill模拟器中构建基准测试，使用7自由度Franka Panda机器人臂，生成1600个演示，共77万时间步。最后，基于π0.5骨干网络开发14种记忆增强变体，系统比较三种记忆表示和三种集成机制。
本文的核心创新点在于提出了一个统一的认知启发式记忆分类体系和相应的基准测试框架。与已有工作的本质区别体现在：（1）记忆类型的全面覆盖：现有工作如MemoryBench仅关注空间记忆，MIKASA-Robo的记忆分类不全面，而RoboMME首次系统覆盖时间、空间、物体、程序四种记忆类型；（2）标准化评估框架：在相同的π0.5骨干网络上构建所有变体，控制变量地比较不同记忆设计，而现有工作使用不同骨干和评估协议；（3）大规模高质量数据：77万时间步支持大规模模仿学习，而现有基准测试数据不足；（4）任务的非马尔可夫性：所有任务都故意设计为历史依赖的，相同观察可能需要不同动作，这真正测试了记忆能力。此外，本文还提出了三种记忆集成机制（上下文、调制器、专家），为记忆如何融入VLA模型提供了系统的技术路径。
方法步骤详情
本文方法包括以下步骤：1）任务设计：基于认知理论定义四种记忆类型，每种对应一个任务套件，每个套件4个任务，共16个任务。任务挑战包括计数、遮挡跟踪、视觉参考、动作参考、语言参考、接触模式、精确运动等。2）基准构建：在ManiSkill模拟器中，使用7自由度Franka Panda机器人臂和桌面环境。观察包括多视角RGB图像（前视角和腕部相机，256x256分辨率）和本体感受状态（关节位置、末端执行器姿态、夹爪状态）。动作空间为绝对关节空间（8维：7关节+夹爪）或绝对末端执行器空间（7维：3D位置、欧拉方向、夹爪）。3）数据生成：通过回放预定义关键帧路径点生成训练轨迹，注入5%噪声增强行为多样性，包括失败恢复。任务分为简单、中等、困难三个级别。4）记忆增强策略开发：基于π0.5骨干网络，开发三种记忆表示（符号、感知、循环）和三种集成机制（上下文、调制器、专家）。符号记忆使用语言子目标，感知记忆使用令牌丢弃或帧采样，循环记忆使用测试时训练或循环记忆变换器。5）评估协议：固定记忆预算为512个令牌，每个任务50个episode，共800个episode，最大时域1300步，结果取最后三个检查点和三个随机种子的平均值（共9次运行）。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在任务设计层面，首次将认知科学的记忆理论系统地引入机器人操作基准测试设计，建立了从认知维度到任务类型的直接映射。这种设计确保了记忆类型的全面覆盖和任务间的互补性。其次，在基准构建层面，通过注入可控扰动（5%噪声）增强行为多样性，特别是失败恢复，这对模仿学习很重要。任务进一步分层为简单、中等、困难级别，基于场景杂乱度、时域长度和环境动态。第三，在记忆表示层面，系统比较了三种表示的互补性：符号记忆提供高级推理但缺乏低级细节，感知记忆保留丰富视觉信息但计算开销大，循环记忆提供紧凑表示但训练不稳定。第四，在集成机制层面，提出了三种机制：记忆作为上下文（最简单但可能干扰原始表示）、记忆作为调制器（通过AdaLN注入记忆，保持主VLM流不变）、记忆作为专家（专门路径处理记忆，限制跨专家干扰）。实验发现记忆作为调制器在感知记忆上效果最佳，这一发现对后续架构设计有重要指导意义。最后，本文是第一个在真实机器人上验证模拟趋势的研究，证明了模拟到真实的迁移能力。
实验结果
本文的核心发现基于对14种MME-VLA变体和4种现有方法的系统评估。主要发现包括：1）没有单一的记忆表示或集成策略在所有任务上都表现最佳。整体上，感知记忆方法表现最好，其中FrameSamp+Modul达到最高的整体成功率44.51%，大多数感知记忆变体优于最佳符号和循环对应方法。2）记忆表示的有效性高度依赖任务特性。符号记忆在计数和短期推理任务上表现优异，如PickXTimes（SimpleSG+Oracle达99.78%），而感知记忆在运动中心、时间敏感和长时域任务上更有效，如PatternLock（FrameSamp+Modul达53.56%）。3）记忆作为调制器是感知记忆最有效的集成策略，可能因为它保持了原始π0.5架构，而其他修改可能破坏预训练表示。4）循环记忆方法表现最差（TTT平均22.28%，RMT平均19.46%），可能因为微调π0.5与浅层循环层结合导致训练不稳定。5）符号记忆中，有基础的GroundSG一致优于SimpleSG（使用QwenVL时平均32.70% vs 29.00%），突出了准确基础对操作的重要性。6）人类在RoboMME上达到90.5%的整体成功率，但在长时域任务如PatternLock和时间敏感任务如StopCube上仍有错误，表明基准测试具有固有挑战性。7）记忆提高了历史依赖性但引入了额外计算成本。感知记忆在效率-性能平衡上最有利，FrameSamp+Modul随记忆预算增加提供一致性能提升，而依赖外部VLM推理的方法计算开销显著更高。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PickXTimes（计数任务） | 成功率(%) | GroundSG+Oracle: 100.0 | π0.5 (无记忆): 42.89 | 提升57.11个百分点 |
| BinFill（计数任务） | 成功率(%) | GroundSG+Oracle: 85.78 | π0.5 (无记忆): 30.00 | 提升55.78个百分点 |
| VideoUnmaskSwap（空间记忆任务） | 成功率(%) | GroundSG+Oracle: 99.22 | π0.5 (无记忆): 20.44 | 提升78.78个百分点 |
| PickHighlight（物体记忆任务） | 成功率(%) | MemER: 70.67 | π0.5 (无记忆): 11.33 | 提升59.34个百分点 |
| PatternLock（程序记忆任务） | 成功率(%) | FrameSamp+Modul: 53.56 | π0.5 (无记忆): 2.89 | 提升50.67个百分点 |
| RouteStick（程序记忆任务） | 成功率(%) | FrameSamp+Modul: 66.67 | π0.5 (无记忆): 4.67 | 提升62.00个百分点 |
| 整体平均 | 成功率(%) | FrameSamp+Modul: 44.51 | π0.5 (无记忆): 17.93 | 提升26.58个百分点 |
局限与改进
本文的局限性包括作者承认的和我观察到的。作者承认的局限性：1）RoboMME专注于桌面操作，使用固定资产集，主要评估单一预训练骨干（π0.5），移动操作和替代架构（如记忆库方法和其他VLA骨干）留待未来研究。2）结果表明记忆表示是互补而非排他的，这激发了结合多种形式记忆的统一框架，但本文未探索这种组合。3）实验发现循环记忆方法表现最差，可能需要更深层的架构集成和更强的循环导向预训练，而本文的浅层集成可能不足。我观察到的局限性：1）任务多样性有限：虽然覆盖了四种记忆类型，但每个套件只有4个任务，可能无法完全代表真实世界的记忆需求复杂性。2）计算成本分析不够深入：虽然提供了TFLOPs比较，但未详细分析内存使用和实际推理延迟。3）真实世界验证有限：仅在4个任务上验证，且演示数量相对较少（350个），可能不足以证明广泛的模拟到真实迁移。4）记忆预算固定为512个令牌，未探索动态或自适应记忆分配策略。5）评估主要关注成功率，未考虑任务完成质量、效率或鲁棒性等其他重要指标。
独立分析的弱点
本文的弱点可以从多个维度分析。首先，任务设计方面：虽然基于认知理论，但四种记忆类型的划分可能过于简化，真实机器人任务往往需要多种记忆类型的复杂交互。例如，一个长时域组装任务可能同时需要时间记忆（记住步骤顺序）、空间记忆（跟踪零件位置）和程序记忆（重复操作模式）。改进方向是设计需要多种记忆类型协同的任务，评估记忆组合能力。其次，记忆表示方面：符号记忆依赖外部VLM生成子目标，引入了额外的推理成本和潜在错误传播；感知记忆的令牌丢弃可能丢失重要信息；循环记忆训练不稳定。改进方向是探索混合记忆表示，如结合符号记忆的高级推理和感知记忆的低级细节。第三，集成机制方面：三种机制都是单向的（记忆影响动作），未探索双向交互（动作影响记忆更新）。改进方向是设计记忆和动作的协同演化机制。第四，评估协议方面：固定记忆预算可能不是最优的，不同任务可能需要不同记忆容量。改进方向是探索自适应记忆分配。最后，计算效率方面：虽然记忆作为调制器效率较高，但总体计算成本仍显著高于无记忆基线，可能限制实际部署。改进方向是开发更高效的记忆压缩和检索机制。
未来方向
基于本文成果，未来研究方向可以从多个方面展开。作者提出的未来工作：1）扩展到移动操作和替代架构，如记忆库方法和其他VLA骨干；2）探索结合多种形式记忆的统一框架，利用记忆表示的互补性。基于成果可延伸的方向：3）动态记忆管理：开发根据任务需求和当前状态自适应调整记忆容量和内容的机制，如重要性加权的记忆存储和遗忘机制；4）记忆与规划的结合：将记忆机制与任务规划器集成，支持层次化决策，如符号记忆用于高层规划，感知记忆用于低层控制；5）多模态记忆融合：探索视觉、语言、触觉等多模态记忆的融合，支持更丰富的历史信息编码；6）记忆的可解释性：开发能够解释记忆内容和决策过程的方法，提高系统的可信度和调试能力；7）在线记忆学习：在部署过程中持续更新和优化记忆表示，适应新环境和任务；8）记忆共享与迁移：在多个机器人或任务间共享记忆表示，加速新任务学习；9）记忆鲁棒性：研究对抗噪声、遮挡和传感器故障的记忆鲁棒性；10）真实世界大规模验证：在更多样化的真实世界任务上验证记忆增强策略的有效性。
复现评估
本文的复现性评估总体较好。开源情况：论文提到代码和视频可在https://robomme.github.io/获取，这表明核心代码和演示数据应该是开源的。数据可用性：基准测试包含1600个演示，77万时间步，数据量足够支持研究。模拟环境基于ManiSkill，这是一个广泛使用的开源模拟器。算力要求：所有模型训练80k步，批大小64（循环记忆变体为16），使用9次运行（3个检查点×3个种子）取平均，计算需求适中但对单个研究者可能较高。复现难度：1）环境设置相对简单，基于标准ManiSkill模拟器；2）记忆增强策略的实现需要修改π0.5骨干网络，这需要一定的深度学习工程经验；3）符号记忆需要训练或使用外部VLM（如Qwen3-VL-4B），增加了复现复杂性；4）评估协议明确（50 episodes/任务，最大1300步，9次运行平均），便于标准化比较。潜在复现挑战：1）π0.5骨干网络的访问可能受限；2）真实世界实验需要硬件设备和数据收集；3）循环记忆变体的训练可能不稳定，需要仔细调参。总体而言，本文提供了相对完整的复现指南，但完全复现可能需要中等以上的计算资源和深度学习经验。
论文图表
