LongMemEval-V2：面向'资深同事'能力的智能体长期记忆评测基准 LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues
提出LME-V2基准与AgentRunbook方法，评估智能体跨轨迹积累经验的能力
前置知识
智能体长期记忆(Long-Term Agent Memory)
智能体长期记忆是指让基于大语言模型的智能体在长跨度、多轮交互中存储、整合并调用过去经验的能力。区别于传统RAG仅检索文档片段，智能体记忆需要从历史轨迹（action、observation、state 序列）中提取多种粒度的知识——既包括底层的UI观察、状态转移事件，也包括高层的流程策略和踩坑经验。这类记忆通常通过Insert（写入）和Query（查询）两个API进行管理，最终将检索到的证据上下文送入reader LLM以回答问题。
LME-V2的核心定位就是评测这种'从大量轨迹中积累可复用环境经验'的能力，理解这一概念才能把握本文将记忆评测从'聊天历史'扩展到'多轨迹经验'的关键突破。
Web智能体与WebArena/WorkArena
Web智能体是指能在浏览器/Web界面中执行多步操作（点击、填写、搜索）以完成任务的LLM驱动系统。WebArena是经典的Web智能体基准，包含Magento购物、shopping admin、Postmill论坛、GitLab等真实网站环境；WorkArena/WorkArena++则基于ServiceNow企业IT平台，要求智能体完成工单、变更请求、资产管理等真实工作流任务。这些环境提供统一的状态表示、动作空间和ReAct式基础智能体实现（如AgentLab），是本文构建LME-V2轨迹库的数据来源。
LME-V2的问题和轨迹都来自这四个Web环境，理解WebArena和WorkArena的差异（前者偏消费者场景、后者偏企业工作流）有助于理解为什么LME-V2要分两批构建haystack，以及为什么需要从ServiceNow专门出一份haystack。
上下文收集(Context Gathering)评测范式
上下文收集是一种将记忆系统从问答系统中解耦出来的评测范式。给定历史轨迹haystack $H_i = \{h_{i,1}, \dots, h_{i,m_i}\}$ 和问题 $q_i$，记忆系统依次执行 $M_{i,j} = \text{Insert}_{M_{i,j-1}}(h_{i,j})$ 将所有轨迹插入，$c_i = \text{Query}_{M_{i,m_i}}(q_i)$ 返回上下文，最后由固定的reader LLM根据截断到200K token的上下文作答。这种范式的优势在于：可以直接评估记忆质量（而非reader推理能力），且接口与下游智能体实际使用方式一致。
这是LME-V2的评测骨架，区别于直接问答或长上下文prompting。理解这一范式能明白为什么论文要分别报告准确率和查询延迟，以及为什么记忆方法的好坏不依赖于reader模型的选择。
RAG与多池检索
检索增强生成(RAG)通过向量检索从外部知识库中召回与查询相关的片段以辅助生成。在AgentRunbook-R中，RAG被扩展为'多池检索'架构：原始状态切片池存储以轨迹状态为中心的UI观察窗口（用于细粒度证据），状态转移事件池存储从连续状态中提取的动作-状态变化事件（用于环境世界模型），策略提示池存储轨迹级的高层流程、导航模式和环境gotchas（用于复用知识）。查询时由一个LLM控制器同时生成针对三个池的检索查询，并对结果做多模态渲染。
AgentRunbook-R的核心就是用多池结构化解决'不同问题需要不同粒度证据'的挑战，理解三个池的分工是把握R变体设计的关键。
编码智能体(Coding Agent)作为记忆控制器
编码智能体（如Codex、Claude Code）是指具备文件操作、shell执行、多步工具调用能力的LLM系统。本文将这类智能体'重新定位'为记忆控制器：插入阶段仅将原始轨迹作为文件落盘，查询阶段则在沙盒中提供工作流文档、查询时渲染的manifest清单和辅助脚本，让编码智能体自主搜索、检视、筛选证据并输出结构化检索结果。其核心思想是：与其把检索行为压缩到固定向量流水线里，不如让通用的文件操作智能体直接管理多模态、非结构化的轨迹数据。
这是AgentRunbook-C的根本性创新点，也是为什么C变体虽然比R变体慢得多但准确率显著更高（72.5% vs 57.8%）。理解'把记忆当成文件管理问题'这一视角转换是理解本文方法新颖性的关键。
F1-Score与LLM-as-Judge评估
LME-V2采用混合评估协议：结构化答案（true/false、多选题、abstention）使用归一化字符串匹配计算准确率，开放式答案则使用LLM judge评估。Pilot研究还采用了200K token的截断预算和oracle轨迹（即每个问题对应的人工标注的答案轨迹子集）来隔离'读轨迹的难度'与'记忆质量'。
理解评估协议的细节（如截断预算200K、oracle slice + notes能将GPT-5.4-mini准确率从0.653提升到0.863）才能准确解读主实验表中各方法之间的差异到底是来自记忆还是reader。
研究动机
现有的智能体记忆评测存在三个根本性短板，难以回答'记忆系统是否真正让智能体成为特定环境的资深同事'这一核心问题。第一，主流记忆基准（如LongBench V2、LongMemEval-V1、PersonaMem）评测的都是长文档或聊天历史场景，依赖少、噪声低、答案密度高，与真实智能体轨迹的'超高噪声、稀疏信号'特性差距巨大。第二，针对智能体的少量评测（如MemoryArena、AgentLongBench、EMemBench）要么使用简化的游戏环境，要么仅评测单条或少量轨迹内的依赖，要么仅通过下游任务成功率间接测量记忆质量——这些都不能直接反映记忆模块本身的好坏。第三，先前基准的历史长度普遍较短（长上下文基准在285K token以下，对话类基准BEAM约124K-10M token，智能体类基准大多在10K-57K token），而真实Web智能体的工作流需要跨数百条轨迹才能形成可复用经验。要解决这些问题，需要一个新的基准，既要包含大量真实Web智能体轨迹（带高噪声、稀疏信号），又要专门评测从多轨迹中归纳出的环境专属知识，并且能直接评分记忆模块的质量。
本文的目标是本文的具体目标是构建并验证一个面向'资深同事'视角的智能体长期记忆基准LME-V2，同时给出能在该基准上有效工作的记忆方法基线。具体来说包含三个层面：（1）定义并标注五类核心记忆能力——静态状态回忆（static state recall）、动态状态追踪（dynamic state tracking）、流程知识（workflow knowledge）、环境踩坑（environment gotchas）、前提感知（premise awareness）——共451个由人类专家手工撰写的问题；（2）构建两层规模的haystack：LME-V2-Small为100条共享轨迹（约25M token、2.5K state），LME-V2-Medium为每题约500条专属轨迹（约115M token、14.9K state），分别比oracle上下文长82倍和370倍；（3）提出context gathering评测范式以及AgentRunbook两种基线记忆方法，分别面向高效RAG和强准确率编码智能体两个方向。最终在LME-V2上证明：当用Qwen3.5-9B作为reader、200K token截断预算时，AgentRunbook-C平均准确率达到72.5%，显著超过最强RAG基线的48.5%与vanilla Codex的69.3%，并将推理-延迟Pareto前沿整体上推。
与已有工作不同的是，本文的独特切入角度是把'资深同事'作为评测的隐喻目标，并据此设计能力分类、问题构造和记忆接口。与AMA-Bench（聚焦单条轨迹内的理解）、EMemBench（聚焦游戏agent）、PersonaMem（聚焦用户偏好对话）不同，LME-V2显式评测'从数百条轨迹中归纳出环境专属经验'的能力，并将记忆系统解耦为Insert/Query API以独立评估。同时，与现有RAG记忆方法（如A-MEM、Mem0、Memory-R1）依赖对话场景或高层策略不同，本文通过多池设计（raw slice / event / note）和将编码智能体'重新定位'为文件型记忆控制器，证明了'细粒度证据'与'高层策略'必须被显式分层组织才能在智能体场景下获得显著增益。这一组合（基准+评测范式+两种新基线）目前在文献中尚无对应工作。
核心方法
本文的核心思路是构建一个能直接评测'智能体是否积累了环境专属经验'的基准，并配套提出两种互补的记忆方法。整体框架围绕三个支柱展开：第一是LME-V2基准本身，从WebArena和WorkArena/WorkArena++的四个真实Web环境（OneStopShop、CMS、Reddit、ServiceNow）收集1540条由Codex + GPT-5.2/5-mini执行的多模态智能体轨迹，由人类专家手工标注451个跨五类能力的问题，再程序化组装成Small（100条共享）和Medium（500条/题）两层haystack；第二是context gathering评测范式，将记忆抽象为Insert/Query两个API，由固定的Qwen3.5-9B reader在200K token截断预算下作答；第三是AgentRunbook两种基线方法——R变体走'结构化多池RAG'路线强调效率，C变体走'编码智能体+文件管理'路线强调准确率。直觉上，R变体把记忆当成'按粒度分库检索'问题，用控制器LLM同时向三个池发问以应对不同类型问题；C变体则把记忆当成'文件管理'问题，让具备工具调用能力的编码智能体在精心搭建的沙盒中自由搜索、检视并精选证据。
本文的核心创新可归结为两点，区别于已有记忆工作。第一点是'多粒度证据池'的显式分层设计：不同于将所有记忆塞进统一向量库的A-MEM/Mem0，或仅生成高层策略的AWM/SPRING，AgentRunbook-R同时维护三类异构池——raw state slice pool（保存UI观察窗口以服务静态回忆类问题）、state transition event pool（保存动作导致的状态变化以服务动态追踪和环境gotchas）、procedure/hint note pool（保存流程与踩坑知识以服务workflow类问题），由一个控制器LLM在查询时根据问题决定访问哪些池、生成几条查询。这一设计直接来自LME-V2的pilot研究：发现仅给oracle slice时静态题准确率0.566，加上note提升到0.908；仅给oracle轨迹时动态题0.668，加上note+slice提升到0.879，说明不同能力需要不同粒度的证据，必须分层组织。第二点是把通用编码智能体'重新定位'为文件型记忆控制器，这是AgentRunbook-C的精髓：插入阶段不做任何处理直接落盘，查询阶段为智能体配备工作流文档（指导其作为记忆模块工作）、manifest artifacts（查询时渲染的轨迹清单帮助快速定位）和helper script（暴露state span查看、轨迹内搜索等常用操作），使其避免盲目探索又能利用多步工具调用的强项。这一思路与'把检索行为压缩到固定向量流水线'的RAG路线形成根本性对比，是本文最具新意的方法贡献。
方法步骤详情
LME-V2基准的构造分为四步：轨迹收集（用AgentLab框架和ReAct式基础智能体配合Codex执行WebArena/WorkArena/WorkArena++任务，收得599+941=1540条轨迹，平均28.1状态/条，总成功率52.0%，其中失败的轨迹对gotchas类问题至关重要）、问题标注（人类专家先浏览轨迹识别资深同事会自然习得的信息，按五类能力撰写问题并过滤掉强proprietary LLM能从参数知识答对的题目，再为静态/动态/流程题衍生abstention变体来测前提感知能力，最终产出的问题平均需1.4条轨迹回答、最多5条）、答案轨迹标注（先用Codex智能体对每题提出候选答案轨迹，再由人类逐一验证以构建最终答案轨迹集）、haystack构建（程序化组装Small为两批haystack：ServiceNow题一批、WebArena三个域共一批各100条；Medium为每题独立约500条轨迹）。评测阶段固定使用Qwen3.5-9B作为reader、200K token截断预算，回答评分对结构化答案用归一化字符串匹配、对自由回答用LLM judge。AgentRunbook-R的工作流：插入时为每条轨迹生成三类记忆项存入对应池，原始切片池以state为中心取上下文窗口、事件池用LLM从相邻状态对中抽取动作-状态变化事件、note池用LLM总结可复用流程与坑点；查询时由Qwen3.5-9B控制器（开启thinking）根据问题决定访问哪些池并生成多条查询，做稠密检索后按池渲染为多模态上下文。AgentRunbook-C的工作流：插入阶段仅将每条轨迹（含state图像与文本）作为文件落盘不做任何处理；查询阶段为编码智能体（GPT-5.4-mini, xhigh reasoning）创建沙盒，放入question、workflow document（告诉智能体'你是一个记忆模块，请按步骤收集证据'）、manifest artifacts（每条轨迹的摘要、长度、状态数等元信息）和helper script（提供view_span、search_traj等常用操作），智能体通过多步工具调用自主搜索、检视并输出结构化结果（一份简短的memory note加上选中的trajectory state spans），最后由reader据此作答。
技术新颖性
本文的技术新颖性体现在三个层面。基准层面，LME-V2是首个将'从数百条智能体轨迹中归纳环境专属经验'作为显式评测目标的基准：相比LongMemEval-V1（对话历史，500题，115K-1.5M token），LME-V2在Web agent领域、115M token量级、五类能力全覆盖上均是首次；相比AMA-Bench（单轨迹理解）和EMemBench（游戏agent），LME-V2首次将记忆评测的历史规模推进到100M+ token量级，并首次要求被试整合'跨数百条轨迹'的经验。评测方法层面，context gathering范式将记忆从reader中解耦，并配套提供oracle slice + note的pilot协议（用人工标注的证据切片+note来隔离'读懂轨迹'与'检索轨迹'的难度），使后续研究者能精准定位失败来自记忆还是来自reader。记忆方法层面，AgentRunbook的双变体设计本身就是方法论贡献：R变体用'多池'展示了'按粒度分层组织证据'的必要性（C-WF消融中note pool移除让Small题workflow准确率从0.528掉到0.481，event pool移除让gotcha题从0.310掉到0.276），C变体则首次系统论证了'编码智能体+轻量脚手架'作为记忆控制器的可行性，并通过消融证明workflow document贡献最大（移除后Small整体从0.749掉到0.701，Medium从0.701掉到0.641）。
实验结果
实验在LME-V2-Small和LME-V2-Medium两个规模上、用Qwen3.5-9B作为reader、200K token截断预算下进行。主要发现如下。第一，no-retrieval基线几乎为零（整体0.013），确认reader无法凭参数知识或问题文本回答LME-V2，与pilot研究中GPT-5.2、Claude Opus 4.6等强模型无上下文时仅0.047-0.141的结论一致。第二，简单RAG基线（query→slice）Small达0.428、Medium达0.381；加上note后提升到Small 0.510/Medium 0.459；AgentRunbook-R进一步将整体准确率提升到Small 0.586/Medium 0.570（paired bootstrap p<0.05），latency约26秒。R变体消融显示：移除raw slice pool让静态题准确率从0.661骤降至0.286（说明raw观察对静态回忆不可或缺），移除event pool让gotchas从0.310降至0.276、workflow从0.528降至0.434，移除note pool让workflow从0.528降至0.481，三池互补性清晰。第三，AgentRunbook-C取得最佳整体准确率：Small 0.749（比vanilla Codex的0.699高5.0pp）、Medium 0.701（比Codex 0.687高1.4pp），同时latency从Codex的177-186秒降到108-140秒，accuracy-latency frontier显著上移。C变体消融显示：workflow document最关键（移除后Small 0.701/Medium 0.641），manifest artifacts主要提升效率（移除后Small 0.747但latency从108秒升到155秒），helper functions影响混合（Small提升明显但Medium影响不一致）。第四，从能力维度看，AgentRunbook-C在静态题上Small 0.820、Medium 0.788接近oracle切片+note的0.950-0.986上限；在workflow题上Small 0.726比Codex 0.575高15pp；在gotchas题上反而比Codex略低（Small 0.483 vs 0.586），说明编码智能体对'反常识小坑'类证据的检索仍是开放问题。第五，accuracy-latency图显示，AgentRunbook-R提供了'中等准确率/低延迟'（约26秒）的工作点，AgentRunbook-C在不同reasoning effort下都能给出比同等级的vanilla Codex更优的Pareto点，确认了脚手架设计的实际价值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LME-V2-Small整体准确率 | Accuracy (Overall) | 0.749 (AgentRunbook-C) | 0.699 (vanilla Codex); 0.586 (AgentRunbook-R); 0.428 (RAG query→slice) | +5.0pp vs Codex, +16.3pp vs AR-R, +32.1pp vs RAG基线 |
| LME-V2-Medium整体准确率 | Accuracy (Overall) | 0.701 (AgentRunbook-C) | 0.687 (vanilla Codex); 0.570 (AgentRunbook-R); 0.381 (RAG query→slice) | +1.4pp vs Codex, +13.1pp vs AR-R, +32.0pp vs RAG基线 |
| LME-V2-Small静态状态回忆 | Accuracy (Static) | 0.820 (AgentRunbook-C) | 0.661 (AgentRunbook-R); 0.471 (RAG query→slice) | +15.9pp vs AR-R |
| LME-V2-Small工作流知识 | Accuracy (Workflow) | 0.726 (AgentRunbook-C) | 0.575 (vanilla Codex); 0.528 (AgentRunbook-R) | +15.1pp vs Codex, +19.8pp vs AR-R |
| LME-V2-Medium动态状态追踪 | Accuracy (Dynamic) | 0.701 (AgentRunbook-C) | 0.646 (vanilla Codex); 0.614 (AgentRunbook-R) | +5.5pp vs Codex, +8.7pp vs AR-R |
| 查询延迟(Latency) | Seconds per query | 108.3s (ARC-Small), 139.9s (ARC-Medium) | 177.2s/185.8s (vanilla Codex); 26.9s/25.8s (AgentRunbook-R) | ARC比Codex快约32-39%，AR-R比ARC快约4倍 |
| Pilot: 静态题oracle切片+note上限 | Accuracy (Static) | 0.950 (GPT-5.4-mini, oracle slices+notes) | 0.660 (oracle trajectories only); 0.025 (no context) | +29.0pp vs 仅oracle轨迹 |
局限与改进
作者在论文中明确指出几个局限性。第一，最佳记忆方法AgentRunbook-C的查询延迟仍在108-140秒区间（约为R变体的4-5倍），距离实用化部署仍有较大距离，'还有实质性的改进空间'。第二，AgentRunbook-C在gotchas类问题上反而比vanilla Codex略低（Small 0.483 vs 0.586、Medium 0.449 vs 0.517），说明编码智能体对'反直觉的小坑'类证据的检索和归纳能力不足，怀疑与gotcha证据的隐式、非结构化特性有关。第三，helper functions的消融效果在Medium上不稳定（移除后整体反而从0.701微升到0.718），说明脚手架组件的设计还需更精细。第四，本文评测仅基于Qwen3.5-9B reader和GPT-5.4-mini控制器，跨reader/controller的泛化性未充分验证。本人观察到的额外限制包括：（a）LME-V2的轨迹来源仅限四个Web环境（ServiceNow/OneStopShop/CMS/Reddit），结论对其他Web应用、桌面GUI或代码agent的外推性需谨慎；（b）所有问题仅由人类专家撰写且经过proprietary LLM过滤，可能存在'专家盲区'，某些机器易错但人类也容易忽略的能力未被覆盖；（c）context gathering范式要求记忆系统能完整流式插入所有轨迹，对真正在线、长跨度（年量级）的智能体来说，存储成本与查询效率仍是未解难题。
独立分析的弱点
独立分析可识别出三个值得改进的弱点。第一，'高延迟'是AgentRunbook-C最大的实际瓶颈：即便比vanilla Codex快32-39%，108秒的查询延迟仍难以满足实时交互需求。改进方向包括：（i）为编码智能体配备更细粒度的预过滤机制（如先用轻量RAG粗筛Top-K再交由智能体精读）；（ii）缓存manifest artifacts中'高频证据'的检索结果；（iii）探索推理加速方案如speculative decoding、并行化工具调用。第二，'gotchas能力不足'是C变体的系统性短板：vanilla Codex在gotcha上反而更强，暗示编码智能体在'反常识小坑'上的归纳能力不如其长程搜索能力。改进方向包括：（i）在workflow document中显式增加'优先关注失败轨迹和异常状态变化'的指引；（ii）为gotcha类问题设计专门的检索策略（如先做负样本检索再做正样本）；（iii）将gotcha evidence单独池化并强制记忆模块在某些查询中访问。第三，'跨环境的泛化性未充分验证'：所有实验都基于WebArena/WorkArena的四个域，reader和controller都是Qwen3.5/GPT-5.4-mini这一固定组合。改进方向包括：（i）在代码agent、GUI agent、机器人agent等不同环境中重新评估AgentRunbook；（ii）系统测试reader切换（如换用Qwen3.5-32B、Claude 3.5）时记忆方法相对优势的稳定性；（iii）研究不同LLM家族作为controller时的脚手架适配问题。
未来方向
作者在Conclusion中暗示了三个未来方向：构建能处理更长历史（年量级跨度的真实在线智能体）的记忆方法、把LME-V2的评测范式推广到更多agentic场景（如embodied、GUI、code agent）、研究端到端可学习的记忆控制器（区别于本文基于prompt的控制器）。基于本文成果还可以延伸的方向包括：（1）将LME-V2与人类'学徒期'做对比研究，探索是否能在更少轨迹下让智能体获得同等'资深同事'能力；（2）把context gathering范式推广到在线/增量场景，研究流式插入下的存储-效率权衡；（3）将'多池检索'和'编码智能体'两种思路融合，例如用RAG做粗筛、用编码智能体在Top-K池内做精排，兼顾效率与准确率；（4）探索'环境gotcha'的自动挖掘方法，目前gotcha问题完全依赖人类标注，能否从失败轨迹中自动归纳gotcha是极具价值的研究问题；（5）研究controller可学习性——能否用RL或DPO对controller做端到端优化，使其在特定环境中习得最优检索策略；（6）将'资深同事'这一隐喻拓展到团队协作记忆，即多个智能体共享同一记忆池时的协调与冲突解决。
复现评估
复现评估：作者在论文中提到LME-V2基准建有项目主页 https://xiaowu0162.github.io/longmemeval-v2/ 并公开了基于AgentLab的轨迹收集框架，但论文未在正文明确声明完整的代码、轨迹、问题、答案的公开发布情况（附录A提到完整细节在appendix，需要check正式版附录）。从可复现性角度评估：（1）数据：1540条原始轨迹和451道问题的人工标注成本极高，第三方独立复现标注几乎不可能；oracle轨迹标注依赖Codex智能体初标+人工复核，理论上可复现但成本巨大。（2）算力：每次评估需要将100-500条轨迹流式插入记忆系统、回答451个问题，AgentRunbook-C单次查询约需100+秒且依赖GPT-5.4-mini xhigh reasoning（API费用显著），完整评估一次的总成本估算在数千美元级别；R变体依赖Qwen3.5-9B作为controller和Qwen3-Embedding-8B做稠密检索，可本地部署但仍需多卡GPU跑Qwen3.5-9B的thinking模式。（3）难度：评测协议相对清晰（context gathering + 200K截断 + LLM judge），但reader替换、controller替换、reasoning effort变化都会影响最终数字，第三方需严格按论文附录C的实现细节复现才能得到可比结果。总体而言，基准本身的可复现性中等（需依赖闭源GPT-5.4-mini）、AgentRunbook两种方法的复现难度较高（编码智能体的工具调用轨迹和prompt细节敏感）。
论文图表
图中上半部分展示四条历史轨迹（Create Incident、Find Hardware Expiration、Clean-up Duplicate Problems、Create Change Request），每条标注任务、动作序列和成功/失败结果；下半部分针对每条轨迹给出一个示例问题及'Inexperienced Colleague'（答错）与'Experienced Colleague from Another Environment'（前提错误答错）两种错误回答与正确答案的对比。
这是理解LME-V2问题形态、五类能力定义、以及'资深同事 vs 跨环境新手'核心隐喻的最直观图示，对把握'为什么需要专门基准'至关重要。