EmbodiedMemory-Bench：面向长程具身任务的具身记忆基准

提出EMem-Bench基准与EMem记忆系统，诊断并缓解具身智能体的四大记忆缺陷

前置知识

具身智能体与长程任务

具身智能体是在 3D 物理环境中通过感知（观察）与执行（动作）循环完成任务的模型，典型动作包括导航、抓取、打开、放置等原子操作。长程任务指跨越数十到数百步、涉及多个房间和阶段目标的任务，例如“加热土豆、切片后放进垃圾桶”需要检索、加热、切割、放置等多个环节依次正确完成。

本文所有实验片段都包含 70-140 步的交互历史和跨房间导航，理解“长程”带来的记忆压力是读懂任务设计的出发点。

世界状态与世界状态跟踪

世界状态指环境中所有物体位置与属性（开/关、持有者、可用性）的快照。跟踪指智能体在环境被自己或他人改变后，持续把内部记录更新为最新已知状态，而不是停留在首次观察到的旧状态。例如书从床上被移到桌上后，正确的记忆应指向书桌。

Dynamic Tracking 任务族直接考察这一能力，且 EMem 系统的空间记忆核心设计（关系族替换）就是为状态更新服务的。

AI2-THOR 与 ProcTHOR 模拟器

两者是 AI2 开源的交互式室内环境模拟器：AI2-THOR 提供精细的单房间场景与物体状态交互；ProcTHOR 可程序化生成多房间整宅，支持大规模场景采样。智能体的每个动作会返回新的 RGB 观察和执行反馈，模拟器可精确判定任务终态是否达成。

EMem-Bench 的 2,554 个片段全部构建在这两个模拟器上（352 个 AI2-THOR、2,202 个 ProcTHOR 片段），评测以模拟器终态判定成功。

外部记忆系统与检索

外部记忆指在模型参数之外维护的可读写存储，智能体通过写工具把观察、动作结果存入，通过查询工具按需检索。检索通常分三级：结构化约束匹配（实体名、关系、场景范围）、词法匹配、语义相似度兜底。Agent 记忆系统的关键在于写什么、何时更新、如何检索。

EMem 就是这样一套系统（三个存储、六个工具），实验还对比了 MIRIX、TeleMem、MMA 等同类记忆系统，不熟悉这个框架就看不懂方法部分。

LoRA 参数高效微调

LoRA 冻结原模型权重，只在注意力等层注入低秩矩阵 $\Delta W = BA$（秩 $r \ll d$）进行训练，大幅降低显存与数据需求。关键超参包括秩 $r$、缩放系数 $\alpha$ 和学习率。

EMem-8B 是用 LoRA（秩 4、$\alpha=8$、学习率 $10^{-4}$、1,816 步）微调 Qwen3-VL-8B 得到的，理解这一设定才能评估复现成本。

PDDL 规划器

PDDL（Planning Domain Definition Language）是经典符号规划的形式语言，给定动作前置/效应与初始状态即可求出可执行的动作序列。在本文中被用来基于当前场景状态自动生成与任务无关的干扰轨迹。

EMem-Bench 构建流水线的第三步（注入干扰轨迹）依赖 PDDL 规划器，这是保证“记忆必须穿透噪声”的关键机制。

研究动机

LLM 智能体在纯文本数字环境中已能凭借长期记忆完成跨数小时甚至数天的任务，但进入真实 3D 物理世界后记忆问题急剧复杂化：具身记忆不仅要保留语言与图像信息，还必须维持“观察—动作—反馈”之间的因果链，因为动作会改变环境，其结果揭示的状态（如抽屉上锁、容器被堵）往往视觉不可见。作者人工分析了 Gemini-3-Flash 与 Qwen3-VL-32B 在 EmbodiedBench 的 EB-ALF 和 EB-Hab 上的 100 条失败轨迹，发现四类失败占比惊人：遗忘细粒度视觉线索 35%、忽视环境变化 18%、未记录交互结果揭示的世界状态 31%、未从先前经验泛化 7%，四类合计约 91%。后续评测进一步证实普遍性：最强模型 Gemini-3-Flash 在新基准上的平均成功率也只有 64.2%，开源模型除一个外全部低于 45%，且 400 条抽样失败中 61.3% 始于模型依据与交互历史相矛盾的记忆行动。

本文的目标是本文目标有两个层面。其一是诊断与度量：把上述四类高频错误对应为四种基本具身记忆能力——细粒度视觉记忆、动态世界状态跟踪、记录交互结果揭示的状态、经验泛化——并构建一个能在长程交互中直接、可执行地评测这四种能力的基准 EMem-Bench，包含 2,554 个精心设计的交互片段，要求智能体先从给定的多模态交互历史中构建记忆，再通过环境动作完成目标任务；同时提出错误复发率（ERR）这一新指标，专门衡量智能体是否重演历史本可避免的错误。其二是缓解：给出一个简单有效的外部具身记忆系统 Embodied-Memorizer（EMem），把多模态经验组织为空间、事件、场景三类互补记忆，并训练 EMem-8B 策略学会写入、检索和使用这些记忆，为开源与闭源模型提供统一的改进基线。

与已有工作不同的是，现有基准存在明显的评测真空：具身基准要么是单轮问答，要么让智能体在无任何先验上下文的情况下自行探索执行任务（如 EmbodiedBench），记忆只是任务副产品而从未被直接评测；专门的记忆基准（LoCoMo、LongMemEval、MemoryAgentBench、WorldMemArena）停留在“给出正确答案”，不要求被记住的信息转化为物理动作；具身方向的记忆评测又各自割裂——FindingDory 与 LMEE-Bench 只测视觉历史导航，SpaMEM 只测空间状态修订，WorldLines 只测状态问答与规划。表 1 的对比清楚显示没有一个已有基准同时覆盖视觉、动态、交互、经验四种记忆。EMem-Bench 的独特切入是把“离线给定的交互历史 + 必须依赖该历史的可执行任务”作为统一协议，用四个任务族在同一环境下联合且可区分地考察四种记忆能力，并用 ERR 把“记不住”从“做不好”中分离出来。

核心方法

整体分两部分。第一部分是基准：每个片段由按时间排序的多模态交互历史 $\mathcal{H}=\{o^h_1,\ldots,o^h_N\}$、目标任务 $\mathcal{T}$ 和合法动作空间 $\mathcal{A}$ 组成，智能体按 $a_t \sim \pi(\cdot \mid \mathcal{H}, \mathcal{T}, \hat{o}_{1:t}, \hat{a}_{1:t-1})$ 逐步行动，只有环境终态满足 $\mathcal{T}$ 才算成功。构建走四步流程：挑选多房间场景（AI2-THOR 单房间拼成虚拟住宅并扩展 LeaveRoom/EnterRoom/MoveToRoom 动作；ProcTHOR 按连通性、可导航空间、物体可见性与可执行交互过滤）、构造任务专属记忆线索、用 PDDL 规划器在线索前后注入干扰轨迹、最后做自动校验加人工复审（共拒绝 143 个候选）。第二部分是 EMem 系统：把经验写入空间（实体图）、事件（动作结果序列）、场景（视觉快照）三个存储；任务到来时按需检索再行动；并用教师模型轨迹对 Qwen3-VL-8B 做 LoRA 微调得到 EMem-8B 策略。

核心创新是“记忆中心式”的评测设计与配套的结构化记忆系统。与已有工作不同，EMem-Bench 把决定性证据刻意埋在过去：线索与目标任务之间隔着中位数 46-56 步的间隔，且线索前后都被 PDDL 生成的无关干扰轨迹包围，任何干扰都不泄露答案，从而把“能否记住并更新世界状态”从感知和规划能力中剥离出来单独考察；ERR 指标进一步把“重演历史本可避免的错误”量化为独立于最终成功率的信号。EMem 的本质区别在于三类记忆各司其职且带状态替换语义：空间记忆用互斥关系族维护“最新已知状态”，新证据 $r$ 按公式 $R_t(v)=R_{t-1}(v) \setminus F(r) \cup \{r\}$ 直接淘汰冲突旧关系（例如 $in$、$on$、$held\_by$ 同属物理位置族，不可并存），而不是把历史堆成流水账；事件记忆同时保留成功与失败反馈——锁住的抽屉视觉不可见、只能靠交互得知——并在至少两条同类纠正后聚合成可复用规则；场景记忆把物体绑定到房间，解决不同房间同名实体（厨房和卧室各有一个杯子）的歧义。

方法步骤详情

基准构建四步：第一步选房间，将 AI2-THOR 单房间场景拼成多房间虚拟住宅并扩展跨房间动作，ProcTHOR 住宅按连通性等条件过滤，并指定一个承载记忆关系的“线索房间”；第二步构造记忆线索，四个任务族各不相同——被动观察选稠密视野中可见的物体供日后检索，动态跟踪在模拟器中改变物体位置或状态并让任务依赖更新后状态，交互失败执行一个会暴露物体状态的失败动作，经验泛化由 Claude-4.6-Sonnet 从结构化场景信息生成“规律+若干纠正案例+目标任务”再落地到具体物体执行；第三步用 PDDL 规划器生成线索前后的无关干扰轨迹，凡触碰关键物体、泄露答案或改变任务所需状态的轨迹都被丢弃；第四步自动校验（可导航、可执行、证据存在且不泄露）加五人专家人工复审。评测协议：full_context 条件保留完整净化文本历史与当前 500×500 RGB 观察及完整合法动作列表，动作预算 8 步，四族成功率等权平均，错误复发率按 $\mathrm{ERR}_f=\frac{1}{N_f}\sum_{i=1}^{N_f}\min(1,\, E_i/\max(1,K_i))$ 计算。EMem 运行循环：历史摄入阶段逐段调用 update_object、remember_event、remember_scene 三个写工具（此时看不到未来任务指令）；任务阶段先选择查询工具（检索优先结构化匹配、其次词法、语义相似仅兜底，每次上限 12 条记录），再把检索结果与当前观察、合法动作一起生成动作序列，执行中遇失败或状态大变即中断并重开“记忆—行动”回合。训练：在 ProcTHOR 训练集上用教师模型生成轨迹，共 8,852 个监督回合（3,930 上下文写入 + 2,461 记忆 + 2,461 动作），LoRA 秩 4、$\alpha=8$、学习率 $10^{-4}$、单轮 1,816 步微调 Qwen3-VL-8B 得到 EMem-8B。

技术新颖性

技术新颖性体现在四点。其一，评测范式：首个在同一交互协议下联合评测四种具身记忆能力的可执行基准，此前工作要么只测单一记忆（导航记忆、空间修订），要么停留在问答输出；EMem-Bench 要求记忆真正决定动作并改变环境终态。其二，ERR 指标：从绑定后的动作轨迹与冻结的探针标注出发，用确定性规则检测智能体重演历史本可避免的错误（再次打开已知锁住的抽屉、走向已被挪走的旧位置、违反已学到的归置规律），与只看终态的 SR 形成互补，且四族规则都允许 Sink/SinkBasin 这类别名以免误罚。其三，EMem 的关系族替换语义 $R_t(v)=R_{t-1}(v) \setminus F(r) \cup \{r\}$ 让空间记忆天然实现“状态更新”而非“状态堆叠”，直接针对 Dynamic Tracking 暴露的失败模式。其四，把可复用经验作为事件记忆内部的聚合规则（至少 2 条同类纠正触发聚合，显式持久失败单条即可保留），而非独立的“经验库”，并由确定性后端承担全部记录更新与检索、只让可训练策略决定写什么/查什么/怎么动，模块边界清晰。三个运行常数（余弦 0.995 近似去重、12 条检索上限、8 步动作预算）跨任务族固定，未按任务族调参。

**Figure 3**: Overview of EMem-Bench. Representative examples cover fine-grained visual memory, dynamic world-state tracking, recording world state through interaction, and experience generalization.

**Figure 4**: Construction pipeline of EMem-Bench.

**Figure 5**: Distributions of interaction-history length and cue-to-target-task distance.

**Figure 6**: EMem architecture. Scene memory stores visual context, spatial memory maintains current object states, and event memory records interactions and reusable experience.

实验结果

主实验（表 2）显示当前模型普遍薄弱且严重偏科：16 个模型中，最强的 Gemini-3-Flash 平均 SR 仅 64.2%，最强开源 Qwen3.6-27B 为 58.2%，其余开源模型全部低于 45%；Qwen3-VL-32B 在 Dynamic Tracking 上只有 20.3% 而在 Experience Generalization 上达 63.1%。具身专用模型反而更差：Cambrian-S-7B 仅 0.8%、RynnBrain-8B 3.6%、RoboBrain2.5-8B-NV 20.0%、MiMo-Embodied-7B 38.8%、Robotics-ER 1.5 为 52.4%，均不超过最强通用开源模型，说明空间感知/具身定位专精并不等于记忆能力。EMem 取得记忆系统最佳整体成绩 58.9% 平均 SR，比最强对照 TeleMem（37.8%）高 21.1 分且 ERR 降低 11.4 分；在三个开源骨干上分别提升 10.8/14.1/16.4 分，在 GPT-5.4-mini 上提升 23.6 分；EMem-8B 达 46.0%，比骨干 Qwen3-VL-8B 高 20.6 分，比冻结骨干+EMem 再高 9.8 分。消融（表 4）显示三类记忆各有分工：去掉空间/事件/场景记忆分别降到 47.9/46.9/47.3，其中 Dynamic Tracking 最依赖空间记忆、Interaction Failure 与经验泛化最依赖事件记忆、被动观察最依赖场景记忆。表 3 证明堆上下文无效：给 GPT-5.4-mini 塞满历史图像使平均 SR 从 36.6% 降到 26.2%（配对 -10.4 分），输入 token 增 4.9 倍、每步延迟增 9.5 倍。跨基准（表 5）：EMem-8B 在 EB-ALF 上 +5.0、BLINK 上 +1.3、MMMU-Pro 上 +0.5、HallusionBench 上 -0.4，说明记忆训练主要迁移到交互执行且不损害通用能力。因果干预（表 12）：删除决定性线索使 Qwen3-VL-8B 与 GPT-5.4-mini 分别掉 11.1 分（95% CI [8.1,14.1]）和 21.4 分（[17.8,25.0]）；只给最小 oracle 则升到 58.2/69.1，证明瓶颈在记忆检索而非执行。错误分析（图 7）：400 条失败中记忆使用错误主导三个任务族，Interaction Failure 的失败多为上下文推理错误，动作错误普遍少见；图 12 显示四族 SR 排名的 Spearman 相关为 0.52-0.94，能力互补且不均衡。

**Table 1**: Comparison with existing benchmarks.

**Table 2**: Full results on EMem-Bench (%).

**Table 3**: Expanding historical visual context on the same 800 episodes with GPT-5.4-mini.

**Table 4**: Ablation of the three memories in EMem.

**Table 5**: Cross-benchmark generalization results.

**Table 6**: Model-visible EMem interface.

**Table 7**: Memory-operation training corpus.

**Table 12**: History interventions for Qwen3-VL-8B and GPT-5.4-mini.

**Figure 7**: Error distribution of GPT-5.4-mini failures.

**Figure 12**: Spearman correlations between model SR rankings across task families.

**Figure 13**: Passive Observation and Dynamic Tracking cases.

**Figure 14**: Interaction Failure and Experience Generalization cases.

查看结构化数据

任务	指标	本文	基线	提升
EMem-Bench 四任务平均（记忆系统对比，固定 GPT-5.4-mini 骨干）	平均 SR (%) / ERR (%)	EMem：58.9 / 24.3	GPT-5.4-mini full_context：35.3 / 38.8；最强对照记忆系统 TeleMem：37.8 / 35.7	较自身骨干 +23.6 分；较最强对照 +21.1 分，ERR 降低 11.4 分
EMem-Bench 四任务平均（训练策略）	平均 SR (%)	EMem-8B：46.0	骨干 Qwen3-VL-8B-Instruct：25.4；冻结骨干+EMem：36.2	较骨干 +20.6 分；较冻结骨干+EMem 再 +9.8 分
EMem-Bench 整体排行榜（12 个 full_context MLLM）	平均 SR (%)	Gemini-3-Flash：64.2（全场最佳）	最强开源 Qwen3.6-27B：58.2；其余开源模型均低于 45；具身专用 Cambrian-S-7B 仅 0.8	闭源最佳领先最强开源 6.0 分，暴露开源模型记忆能力差距
长历史视觉上下文扩展（800 片段子集，GPT-5.4-mini）	平均 SR (%)	标准 full_context + 最大量历史 RGB：26.2	标准 full_context：36.6	-10.4 分（95% CI [-14.4, -6.5]），token 增 4.9 倍、延迟增 9.5 倍——堆上下文反而更差
跨基准迁移（EB-ALF 具身执行）	平均 SR (%)	EMem-8B：23.3	Qwen3-VL-8B：18.3	+5.0 分（BLINK +1.3、MMMU-Pro +0.5、HallusionBench -0.4）

局限与改进

作者承认的主要局限是模拟环境：所有评测都在 AI2-THOR/ProcTHOR 中进行，无法覆盖真实部署中的传感器噪声、执行误差、开放世界变化与模糊的人类反馈，结果不能直接推断真机长时记忆表现。我补充几点观察：第一，两个受控任务族偏小（Interaction Failure 仅 263 条、Experience Generalization 仅 203 条），统计功效有限，且经验线索由 Claude-4.6-Sonnet 生成，规律分布可能偏向该模型的先验；第二，目标任务动作预算仅 8 步、历史每会话文本截断 80 步，更长的真实任务无法覆盖；第三，full_context 条件只保留最后一张视觉观察，纯文本历史可能低估多模态模型本可从历史图像提取的信息——尽管表 3 表明塞满图像反而更差，但图像选择策略本身（均匀采样）可能次优；第四，ERR 基于冻结标注的确定性规则，只覆盖四类预定义错误，无法刻画错序、过早终止等其他记忆失误；第五，记忆是片段级的，每条轨迹从空记忆开始，完全未测试跨任务终身记忆与遗忘；第六，Interaction Failure 族只含 18 种目标物体和 5 种容器，类别多样性明显低于其他族。

独立分析的弱点

第一，模拟到现实的鸿沟：所有 2,554 个片段都在理想渲染的住宅模拟器中，真机的遮挡、光照变化与执行噪声会显著改变“细粒度视觉记忆”的难度，改进方向是构建保留可复现性的真机测试床，或先做 sim2real 扰动（噪声渲染、位姿误差注入）。第二，EMem 的手工阈值可能不迁移：近似重复场景去重用余弦 0.995、单次检索上限 12 条记录、动作预算 8 步，这些常数在其他环境或更难任务上未必合适，可改为自适应或学习式阈值。第三，经验聚合要求至少两条同类纠正才生成规则，单次失败无法固化——真实机器人往往一次代价高昂的失败就应记住，可引入代价敏感的单事件固化机制。第四，检索以结构化与词法匹配为主、语义相似仅作兜底，面对措辞差异大的查询可能漏检，可用带证据链的神经检索器增强。第五，数据不平衡：被动观察与动态跟踪两族占 81.8%，经验泛化只占约 8%，训练语料也偏向写操作（3,930 对 2,461），可能弱化归纳能力。第六，基准依赖专有模型生成经验线索与教师轨迹，规模化和中立性都受制于外部模型。第七，EMem 记忆为片段级，跨任务复用与终身学习完全未触及。

未来方向

作者明确提出将评测扩展到更长时间跨度与更真实的环境，包括在保持可复现与安全的前提下建立标准化真机测试套件。基于本文成果还可延伸：其一，跨片段终身记忆——目前记忆每片段清零，未来可测试记忆在数天、数周跨任务中的巩固、干扰与遗忘；其二，用强化学习或结果反馈替代纯监督微调，让模型自己学会“何时写、写多细、何时遗忘”，EMem-8B 比冻结骨干+EMem 再高 9.8 分说明记忆操作本身存在可观的学习空间；其三，把 EMem 式结构化记忆接入 VLA 与低层控制栈，验证其对连续控制的增益；其四，把 ERR 扩展到更多错误类型（错序、过早终止、冗余探索）并引入部分得分；其五，多智能体与人机共改环境下的记忆维护——环境被他人改变正是 Dynamic Tracking 的现实来源；其六，把本文的 minimal oracle 干预协议推广为通用的“记忆信息充分性”诊断工具，分离检索失败与执行失败；其七，研究历史图像的自适应选择策略，替代表 3 中均匀采样这一明显次优的做法。

复现评估

复现条件总体友好。基准方面：项目主页 https://zju-omniai.github.io/EmbodiedMemoryBench/ 公开；底层 AI2-THOR/ProcTHOR 开源免费；2,554 个片段的任务族构成（表 9）、历史难度统计（表 10）与评测协议（净化文本历史、500×500 RGB、8 步动作预算、确定性解码）在附录 C 完整定义；PDDL 规划器是经典工具。主要成本在于扩展基准时的人工复审——论文动用了五名领域专家、拒绝了 143 个候选。方法方面：EMem 的 6 个工具接口（表 6）、两个完整 prompt 模板（图 8/9）、Algorithm 1 伪代码与全部关键超参（LoRA 秩 4、$\alpha=8$、零 dropout、学习率 $10^{-4}$、批大小 1、梯度累积 4、最大序列长 8,192、单轮 1,816 步）均已公开，8B 模型的 LoRA 微调一张工作站级 GPU 即可完成，训练语料仅 8,852 回合。完整复现 16 模型榜单需要多个专有 API（GPT-5.4、Gemini-3-Flash 等），有一定费用；Robotics-ER 1.5 因 API 不稳定只在 10% 子集上评测，严格复现该行有难度。总体：复现 EMem-8B 与单模型评测为中等偏低难度，复现完整排行榜为中等难度。

EmbodiedMemory-Bench：面向长程具身任务的具身记忆基准 EmbodiedMemory-Bench: Benchmarking Embodied Memory for Long-Horizon Embodied Tasks