WorldMemArena：通过动作-世界交互评估多模态智能体记忆

提出WorldMemArena基准，将智能体记忆定义为动作-世界交互循环的四阶段生命周期

前置知识

多模态记忆

多模态记忆系统能够同时处理和存储不同模态信息，如文本、图像、音频、视频等。通常使用向量嵌入表示每种模态，通过跨模态注意力机制或联合嵌入空间实现模态间关联。视觉记忆需保留空间和时序信息，文本记忆则关注语义关系和事实知识。

本文核心关注多模态智能体在长周期任务中的记忆能力，理解多模态记忆如何编码、维护和检索视觉与文本证据是读懂本文的基础。论文显示当前系统在将视觉观察转化为可用的长期记忆方面存在严重缺陷，这正是多模态记忆研究的核心挑战。

长时记忆

长时记忆是系统能跨越多个会话持久保存和利用过去信息的能力。与短期工作记忆不同，它需要支持存储、更新、检索和遗忘机制。技术实现包括外部记忆库、记忆压缩模块、更新策略和检索算法。关键挑战是平衡记忆完整性和效率。

本文评估的是长周期智能体的记忆能力，这些智能体需要在多个会话间保持对世界状态的准确追踪。理解长时记忆的机制和挑战对于掌握论文提出的四阶段生命周期框架（写入、维护、检索、使用）至关重要。

智能体记忆

智能体记忆是指智能体在与环境交互过程中形成和使用的记忆，与传统问答系统的记忆有本质区别。智能体记忆不仅仅是静态的信息缓存，而是动态参与决策过程的知识库。在交互循环中，智能体需要从观察中识别值得保存的信息、当世界状态变化时更新已有记忆、在决策时检索相关证据、将检索到的记忆转化为合适的行动。

本文的核心贡献是将智能体记忆重新定义为动作-世界交互循环，而非静态的存储-检索模块。理解智能体记忆与静态记忆的本质区别，是掌握论文问题框架和方法论的关键前提。

多会话交互

多会话交互是指任务跨越多个时间分隔的交互阶段，每个阶段智能体只能看到局部信息，但世界状态在会话间持续存在和演化。例如，第一天讨论项目范围，第二天获得预算批准，第三天发现风险。关键特征是当前决策需要依赖早期会话中获得的证据，但这些证据在当前上下文中不再直接可见，智能体必须维护对长期目标的追踪。

WorldMemArena的核心设计就是多会话多模态任务，每个任务平均包含18.4个会话。理解多会话交互的特殊挑战（跨会话证据依赖、状态追踪、长期目标维护）对于掌握论文的评估维度和发现至关重要。

研究动机

现有记忆基准存在三个关键缺陷。首先，它们大多围绕长对话或扩展上下文构建，测试模型能记住什么，而不是如何利用过往经验指导未来行动。例如，LoCoMo、LongMemEval等基准仅关注静态回忆，缺乏动态交互压力。其次，许多评估（如HaluMem、AMA-Bench）只报告最终问答准确率，不检查相关证据是否在正确时间被写入、更新、检索和使用，导致难以定位记忆失败发生在哪个阶段。最后，现有基准如Mem-Gallery、MMRC主要基于文本，常在评估前将图像转换为标题，缺乏真实交互且对多模态证据使用的压力不足。更深层次的问题是，随着OpenClaw、Codex等智能体框架的出现，智能体现在可以自主编写和重组记忆，但我们缺乏原则性的方法来比较人工设计的管线与自主管理的替代方案。

本文的目标是本文的具体目标是构建一个评估框架，将多模态智能体记忆视为一个过程而非静态快照。论文提出将记忆重新定义为动作-世界交互循环，每一步智能体观察部分可见的世界，采取行动，接收反馈，并使用记忆指导未来行动。在这个框架下，记忆具有可观察的生命周期，涵盖写入什么、如何随世界变化维护、检索什么证据、以及如何使用检索到的证据。目标是构建一个统一的基准，能够比较三种主流记忆范式：长上下文智能体、人工设计记忆系统和基于框架的记忆智能体。

与已有工作不同的是，本文的独特切入角度是质问：当智能体能够在现实环境中持续行动并管理自己的经验时，智能体记忆应该被评估为预定义的写入-更新-检索管线，还是作为通过交互形成并用于支持未来决策随时间发展的能力？这个问题的本质是挑战当前将记忆视为独立模块进行优化的范式，提出记忆应该被视为通过任务压力塑造的能力。WorldMemArena的独特性在于它不仅评估最终答案正确性，而是将记忆分解为四个可观测阶段进行诊断：从观察到写入、更新与整合、检索以决策、使用与行动，使研究者能够精确定位记忆失败发生在哪个阶段。

核心方法

WorldMemArena的方法整体思路是将智能体记忆形式化为动作-世界交互循环，并构建一个多会话多模态基准来评估这一循环的四个生命周期阶段。直觉上，当智能体在动态环境中行动时，它需要从观察中识别未来有用的信息并写入记忆，当世界状态变化时更新记忆，在未来需要决策时检索相关证据，将检索到的证据转化为正确的行动或回答。技术路线上，论文首先形式化了这个交互循环，定义每阶段的数学表示：观测ot、动作at、环境响应。然后将完整轨迹分割为会话，每会话仅暴露局部上下文。在统一设置下评估三种范式：长上下文智能体、人工设计记忆系统和基于框架的记忆智能体。

核心创新点是提出记忆的四阶段生命周期诊断框架，与现有基准仅关注最终准确率有本质区别。现有工作如MEMORYARENA、AMA-Bench仅测量端到端成功率，而WorldMemArena在每阶段都使用共享轨迹证据进行评估，而非从单一准确率分数推断。这种细粒度评估揭示了关键发现：高记忆质量不一定导致高问答质量。例如，Qwen3-VL-Embedding和M2A在记忆存储和召回上表现良好，但最终答案质量仍然有限。另一个本质区别是记忆被定义为过程而非模块。传统的RAG系统将记忆视为独立模块，而基于框架的智能体在交互中自主编写、维护、检索和使用记忆。论文的评估能够比较这两种范式，发现框架记忆更灵活但成本高且可靠性低。

方法步骤详情

WorldMemArena的构建步骤包括四个步骤。第一步：原始数据分割为多会话实例。对于终身演进范式，首先定义隐藏的世界状态，然后按时间顺序生成会话，每次揭示关于人设或项目的部分信息。对于智能体执行范式，将现有智能体轨迹在子目标边界、关键反馈点或状态变化处分割。第二步：为每个会话窗口提取金标准记忆点，涵盖需要保留的事实、需要修订的状态更新、以及未来问题需要的证据。第三步：跨会话合并、修订和去重记忆点，消除冗余并确保时序一致性。这一步将N-1、N、N+1、N+2等会话的记忆点整合，处理跨步冗余、冲突和非存在性信息。第四步：从精炼的金标准记忆点构建问答对，覆盖11种问题类型。每个实例由2-3名人工标注员审查以确保质量。最终基准包含461个多会话样本，平均18.4个会话、约9.1K tokens、24,258个问答对、15,595个图像或截图。

技术新颖性

技术新颖性体现在三个方面。首先是生命周期级别的诊断评估，现有工作如LoCoMo、LongMemEval仅评估召回，WorldMemArena评估写入、维护、检索和使用四个阶段。这种细粒度评估使研究者能够定位记忆失败的根源。其次是覆盖两个互补范式的多会话设计，现有基准要么专注于长对话，要么专注于智能体轨迹，而WorldMemArena同时包含终身演进和智能体执行。最后是统一比较三种记忆范式，在相同设置下评估长上下文智能体、人工设计记忆系统和基于框架的记忆智能体，这在之前的工作中未曾实现。这种统一比较揭示了重要发现：框架记忆在性能上超越部分人工设计系统，但成本高且框架依赖性强。

**Figure 1**: WorldMemArena formulates multimodal agent memory as an Action-World Interaction Loop

**Figure 3**: Data construction pipeline and benchmark composition

实验结果

实验揭示了四个核心发现。第一，存储更多正确记忆不保证更好性能：表2显示Qwen3-VL-Embedding-8B达到86.22%记忆召回和98.15%记忆正确性，但最终问答正确性仅51.86%；M2A记忆召回86.83%、正确性97.47%，问答正确性50.14%。相反，A-Mem记忆召回仅52.54%，但问答正确性达54.63%。第二，多模态记忆仍然是主要瓶颈：图5c显示系统在简单视觉事实回忆上表现相对稳定，但在依赖长交互历史的任务（如跨模态推理）上显著下降。文本导向系统如MemoryGPT、A-Mem在最终答案质量上更稳定，而多模态系统如ViLoMem、MIRIX尽管有视觉输入，下游收益仍然有限。第三，系统在跨域上不稳定且在现实智能体轨迹上退化：图5a-b显示大多数系统在终身演进上表现优于智能体执行。长周期具身任务如视觉导航造成更大困难。第四，人工设计记忆系统更结构化但不灵活，基于框架的记忆智能体更灵活但成本高且可靠性低：表3显示OpenClaw-DeepSeek V4问答正确性50.29%，OpenClaw-GPT 5.4-nano为48.31%，Codex-GPT 5.4-nano为53.62%。然而，图7显示基于框架的智能体每会话平均token消耗达80k-120k，而人工设计系统约20k-60k。

**Table 1**: Comparison of WorldMemArena with representative memory benchmarks

**Table 2**: Performance of baselines on memory quality and question answering (QA) quality

**Table 3**: QA quality results for all base models and harness agents

**Figure 4**: Memory failures occur across the full lifecycle and compound over time

**Figure 5**: Performance comparison across scenarios and visual QA tasks

**Figure 6**: Fine-grained QA performance of different baselines on individual tasks and retrieval trends

**Figure 7**: Token efficiency & QA performance trade-off among different baselines

查看结构化数据

任务	指标	本文	基线	提升
记忆质量（召回、正确性、幻觉、无关性）	Recall@K、Correctness、Hallucination、Irrelevance	最佳系统Qwen3-VL-Embedding-8B：召回86.22%、正确性98.15%、幻觉1.18%、无关性0.67%	UniversalRAG：召回84.56%、正确性96.90%、幻觉2.42%、无关性0.67%	召回提升1.66个百分点，正确性提升1.25个百分点，幻觉降低1.24个百分点
问答质量（正确性、幻觉、遗漏）	QA-Correct、QA-Hallucination、QA-Omission、F1、BLEU-1	最佳系统MemGPT：正确性57.81%、幻觉22.05%、遗漏20.14%、F1 33.21%、BLEU-1 18.33%	UniversalRAG：正确性39.62%、幻觉31.67%、遗漏28.70%、F1 27.06%、BLEU-1 14.16%	正确性提升18.19个百分点，幻觉降低9.62个百分点，F1提升6.15个百分点
长上下文智能体问答正确性	QA-Correct	最佳长上下文模型DeepSeek V4：69.13%	GPT-5.4-mini：58.27%、Qwen3.5-plus：51.05%、Claude Haiku 4.5：36.71%	相比GPT-5.4-mini提升10.86个百分点，相比Qwen3.5-plus提升18.08个百分点
基于框架的智能体问答正确性	QA-Correct	最佳框架智能体Codex-GPT 5.4-nano：53.62%	OpenClaw-DeepSeek V4：50.29%、OpenClaw-GPT 5.4-nano：48.31%	相比OpenClaw-DeepSeek V4提升3.33个百分点

局限与改进

作者承认的局限性包括：首先，基准主要依赖静态评估（检查点问答），而智能体记忆的最终目标是改进未来行为，而不仅仅是回答关于过去的问题。其次，基于框架的智能体的内部记忆过程难以分解，因此主要进行端到端评估，限制了对其内部机制的理解。第三，虽然基准覆盖两个范式和多域，但可能仍然不能完全覆盖现实世界智能体记忆的所有场景。我观察到的局限性包括：第一，基准标注的金标准记忆点可能存在主观性，不同标注员可能对什么信息值得保存有不同判断。第二，评估依赖GPT-5.4-mini作为LLM-as-a-Judge评估器，这可能引入评估器偏见。第三，基准的构建管道虽然经过人工审查，但仍可能产生不完美的标注，特别是在更新点和干扰点的识别上。

独立分析的弱点

独立分析的弱点包括：第一，视觉证据压缩损失细节：大多数系统将视觉观察压缩为文本记忆，这往往丢失空间、时序和过程细节。分析显示当前系统在需要使用视觉线索和交互经验进行推理的复杂视觉任务上仍然表现差。改进方向是开发能以可用形式保留视觉记忆的架构，例如保留视觉嵌入、空间关系图或过程性表示，而非仅转换为文本描述。第二，记忆更新缺乏智能策略：图4b显示大多数系统依赖追加更新，当证据变化时添加新信息而非修订、删除或重组过时记忆。改进方向是实现智能更新策略，包括冲突检测、时序一致性检查、选择性遗忘和记忆重组。第三，检索与使用脱节：表2显示高记忆质量不一定导致高问答质量。改进方向是开发检索算法，不仅优化语义相似性，还优化与当前决策的相关性。第四，跨域泛化能力弱：改进方向是开发更通用的记忆机制，能够适应不同任务类型、交互模式和环境反馈模式。

未来方向

作者提出的未来方向包括：第一，记忆应通过交互塑造，而非固定为模块：我们的结果表明，更高的存储质量不一定带来更好的性能，而没有显式记忆模块的基于框架的智能体超越部分人工设计记忆管线。这表明有效的记忆应该被理解为通过任务压力塑造的能力。未来工作应该探索通过端到端交互目标开发记忆的训练范式。第二，记忆需要一致的状态维护，而非连续积累：有效记忆应该被建模为可变状态，支持修订、冲突解决和选择性遗忘。需要新的架构和评估，奖励状态一致性而非原始覆盖率。第三，有效使用多模态记忆：未来工作应该开发能以可用形式保留视觉记忆的架构。第四，记忆评估应关注从经验中学习，而非回顾性问答。基于成果可延伸的方向包括：第五，可扩展的框架记忆机制：当前框架记忆计算成本高且框架依赖性强。第六，跨模态推理增强：当前系统在需要整合历史上下文的跨模态推理任务上表现差。第七，自适应记忆架构：当前记忆架构大多是固定的，未来工作应该探索自适应记忆架构，能够根据任务特征、交互模式和环境反馈动态调整记忆策略。

复现评估

复现评估方面，论文声明项目页面包含数据集和代码，但未明确说明是否开源。基准包含461个多会话样本，24,258个问答对，15,595个图像或截图，数据规模较大且标注精细。算力要求方面，评估多种模型包括长上下文模型和人工设计记忆系统，需要访问这些模型的API。基于框架的智能体需要熟悉相应的智能体框架和API接口。实验的详细设置在附录A中提供，包括模型版本、超参数和评估配置，这有助于复现。然而，基准标注的金标准记忆点、更新点、干扰点和证据链的质量高度依赖人工标注，即使经过2-3名标注员审查，也可能存在主观性。此外，评估使用GPT-5.4-mini作为LLM-as-a-Judge评估器，这引入了对特定模型版本的依赖。整体而言，论文提供了相对详细的实验设置和评估指标，数据集和代码的可用性将大大降低复现难度，但算力成本可能较高。

WorldMemArena：通过动作-世界交互评估多模态智能体记忆 WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction