LMEB：长时记忆嵌入基准测试 LMEB: Long-horizon Memory Embedding Benchmark
提出针对长期记忆检索的嵌入模型评估框架，涵盖4类记忆、22个数据集、193个检索任务
前置知识
文本嵌入模型
文本嵌入模型（Text Embedding Model）将自然语言文本映射到连续向量空间中的高维向量表示，使得语义相似的文本在向量空间中距离较近。这类模型通常基于Transformer架构（如BERT、RoBERTa），通过对比学习（Contrastive Learning）等方式训练，使模型能够捕捉文本间的语义关系。常见的应用场景包括信息检索、语义搜索、文本分类和聚类。近年来，大语言模型（LLM）被改编为嵌入模型，如GTE、Qwen3-Embedding、BGE等，通过指令微调（Instruction Tuning）和多任务对比训练提升了嵌入质量。
本文的核心研究对象就是文本嵌入模型在记忆检索场景下的评估，理解嵌入模型的基本工作原理是阅读本文的前提
NDCG（归一化折损累积增益）
NDCG（Normalized Discounted Cumulative Gain）是信息检索领域的核心评估指标，用于衡量排序质量。它通过给相关文档赋予增益值，并根据排序位置进行折损（位置越靠后折损越大），最终归一化到[0,1]区间。NDCG@k表示只考虑前k个结果的NDCG值。与简单的Precision/Recall不同，NDCG能够处理分级相关性（graded relevance），即不同相关程度的文档获得不同的增益值。本文使用NDCG@10作为主要评估指标。
论文的实验结果主要以NDCG@10报告，理解该指标才能正确解读模型性能数据
MTEB（大规模文本嵌入基准）
MTEB（Massive Text Embedding Benchmark）是目前最权威的文本嵌入模型评估基准，由Muennighoff等人于2023年提出。它整合了多个下游任务（检索、分类、聚类、重排序、语义文本相似度等）的评估，提供统一的评估协议和公开排行榜。MTEB主要关注传统的段落检索（passage retrieval）场景，即在组织良好的文档集合中查找与查询语义相关的段落。
本文的核心贡献之一是证明LMEB与MTEB评估的能力正交，理解MTEB的评估范围才能理解本文的创新价值
零样本评估（Zero-shot Evaluation）
零样本评估指在评估时不进行任何任务特定的微调，直接使用模型预训练或通用微调后的嵌入能力来完成检索任务。这种方式能够评估模型的泛化能力，而非针对特定任务的过拟合表现。LMEB遵循这一原则，所有评估任务均采用零样本设置，以确保评估结果反映模型的真实嵌入质量。
LMEB的设计原则之一就是强调零样本泛化评估，这是区别于传统基准的重要特点
记忆增强系统（Memory-Augmented Systems）
记忆增强系统是指具备外部记忆存储和检索机制的AI系统，如OpenClaw等智能体系统。这类系统需要存储、检索、更新和推理大量记忆信息，其中检索是最核心的功能。记忆类型包括情景记忆（记录特定事件）、对话记忆（跨多轮对话的上下文）、语义记忆（通用知识和事实）和程序记忆（学到的技能和动作序列）。这些系统对嵌入模型提出了与传统信息检索不同的挑战。
本文的动机源于记忆增强系统对嵌入模型评估的需求，理解这类系统才能理解本文的应用背景
研究动机
当前文本嵌入模型的评估主要依赖于传统段落检索基准，如MTEB、BEIR等，这些基准狭隘地聚焦于在组织良好的文档集合中检索相关段落，无法充分评估模型在长期记忆检索场景中的表现。在真实的记忆增强系统中，检索任务涉及的是碎片化的、上下文依赖的、时间跨度大的记忆信息，而非结构化的文档。例如，智能体需要回忆几天前的对话内容、检索特定时间点的事件记录、或匹配复杂多步推理中的程序性知识。现有基准缺乏对这些复杂记忆检索场景的系统评估，导致无法了解嵌入模型在实际记忆密集型应用中的真实表现。
本文的目标是本文的目标是提出一个全面、标准化、可复现的长期记忆嵌入评估基准（LMEB），用于系统评估嵌入模型在复杂长期记忆检索任务上的表现。LMEB旨在填补现有基准在记忆检索评估方面的空白，为研究人员和开发者提供一个统一的评估框架，支持新模型和新数据集的便捷集成，推动记忆增强系统中嵌入模型的发展。
与已有工作不同的是，本文的独特切入角度在于将记忆检索与传统段落检索区分开来，从记忆类型的角度构建评估体系。具体来说，LMEB基于记忆心理学的分类框架，将记忆分为四种类型：情景记忆（低抽象度、高时间依赖）、对话记忆（较高抽象度、高时间依赖）、语义记忆（低抽象度、低时间依赖）和程序记忆（较高抽象度、较低时间依赖）。这种基于认知科学的分类方式确保了评估覆盖记忆检索的不同维度，而不仅仅是简单的语义相似度匹配。此外，LMEB采用零样本评估，强调模型的泛化能力而非任务特定的微调效果，这与传统基准的评估理念形成对比。
核心方法
LMEB的整体方法思路是：首先借鉴MTEB的评估标准，将其扩展到记忆检索领域；然后按照记忆类型（情景、对话、语义、程序）组织评估数据集；最后提供统一的评估框架和标准化的数据格式。直觉上，长期记忆检索与传统段落检索的本质区别在于：记忆信息是碎片化的、上下文相关的、时间跨度大的，而传统检索面对的是组织良好的文档。因此，LMEB需要评估模型处理这些复杂特性的能力。技术路线上，LMEB采用标准化的IR风格数据格式（queries、corpus、qrels、candidates），支持零样本评估，并报告标准的信息检索指标（NDCG@10等）。
LMEB的核心创新点在于将记忆类型分类引入嵌入模型评估，并证明了长期记忆检索能力与传统段落检索能力是正交的。与MTEB等现有基准的本质区别在于：（1）评估场景不同——LMEB聚焦于碎片化、上下文依赖、时间跨度大的记忆信息，而MTEB关注组织良好的文档检索；（2）数据来源多样——LMEB包含AI生成和人工标注的混合数据，涵盖事件级、轮次级、会话级等不同粒度；（3）记忆类型覆盖全面——通过情景、对话、语义、程序四种记忆类型的评估，全面考察模型在不同认知维度上的检索能力；（4）正交性证明——通过相关性分析证明LMEB与MTEB评估的是不同的能力，突显了LMEB的独特价值。
方法步骤详情
LMEB的构建和评估方法包含以下步骤：（1）数据收集与转换：收集22个现有数据集，将其转换为统一的IR风格格式，包括queries.jsonl（存储查询ID和文本）、corpus.jsonl（存储记忆项ID、文本和标题）、qrels.tsv（存储查询-记忆相关性标注，相关对标记为1）、candidates.jsonl（可选，定义有界候选池）。对于包含相对时间表达的查询，追加明确的时间锚点以消除歧义。（2）记忆类型分类：将数据集按照情景记忆（69个任务，5,806个查询）、对话记忆（42个任务，21,156个查询）、语义记忆（15个任务，7,499个查询）和程序记忆（67个任务，124,550个查询）进行分类。（3）模型评估：对15个嵌入模型（参数量从2.39亿到120亿）进行评估，包括有指令（w/ inst.）和无指令（w/o inst.）两种设置。（4）指标计算：使用NDCG@10作为主要指标，同时报告Precision、Recall、MAP、MRR等标准IR指标。（5）相关性分析：计算LMEB与MTEB之间的Pearson和Spearman相关系数，评估两个基准的正交性。
技术新颖性
LMEB的技术新颖性体现在以下几个方面：（1）首次系统地将记忆类型分类引入嵌入模型评估，基于认知科学的理论框架构建评估体系；（2）提出了统一的记忆检索评估协议，支持多种数据源和粒度的无缝集成；（3）证明了长期记忆检索能力与传统段落检索能力的正交性，为嵌入模型评估提供了新的视角；（4）提供了可扩展的评估框架，新模型和新数据集可以便捷地集成；（5）涵盖了从2.39亿到120亿参数的15个模型的系统评估，揭示了模型规模与记忆检索性能的复杂关系。
实验结果
本文的实验结果揭示了三个核心发现：（1）LMEB提供了合理的难度级别：表现最好的模型bge-multilingual-gemma2在有指令设置下达到NDCG@10的Mean（Dataset）分数61.41，表明基准具有挑战性但不过于困难，为评估记忆检索能力提供了有意义的区分度。（2）更大的模型并不总是表现更好：在无指令设置下，120亿参数的KaLM-Embedding-Gemma3（NDCG@10=53.91）和90亿参数的bge-multilingual-gemma2（NDCG@10=45.10）反而不如3.07亿参数的EmbeddingGemma-300M（NDCG@10=56.03）和5.6亿参数的bge-m3（Dense）（NDCG@10=56.83），表明模型架构、训练数据和任务适应性比单纯的模型规模更重要。（3）LMEB与MTEB评估正交能力：LMEB整体与MTEB的Pearson和Spearman相关系数分别为-0.115和-0.130，接近零，表明两个基准评估的是不同的能力。特别是对话记忆检索（LMEB-Dialogue）与MTEB的相关性为负（Pearson=-0.496，Spearman=-0.364），说明在传统段落检索上表现好的模型在对话记忆检索上反而可能表现较差。（4）任务指令对不同模型的影响差异显著：KaLM-Embedding-Gemma3、bge-multilingual-gemma2、Qwen3-Embedding-8B等模型受益于任务指令，而NV-Embed-v2和jina-v5-text-small对指令不敏感，bge-m3（Dense）、bge-large-en-v1.5和EmbeddingGemma-300M在无指令时表现更好。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 情景记忆检索（LMEB-Episodic） | NDCG@10 | 67.01-70.89（视模型和设置而定） | MTEB传统段落检索 | 提供针对事件级时间敏感检索的专门评估，填补MTEB在此场景的空白 |
| 对话记忆检索（LMEB-Dialogue） | NDCG@10 | 40.68-59.60 | MTEB传统段落检索 | 首次系统评估跨多轮对话的上下文检索能力，与MTEB负相关表明独特价值 |
| 语义记忆检索（LMEB-Semantic） | NDCG@10 | 40.67-62.18 | MTEB传统段落检索 | 聚焦于有界场景内的知识检索，而非开放域检索 |
| 程序记忆检索（LMEB-Procedural） | NDCG@10 | 52.20-63.43 | MTEB传统段落检索 | 评估工具、代码、经验等程序性知识的检索能力 |
局限与改进
本文的局限性包括：（1）数据集规模不平衡：程序记忆数据集包含124,550个查询，而情景记忆仅有5,806个查询，这种不平衡可能影响模型在不同记忆类型上的公平评估；（2）主要关注英文数据集：所有22个数据集均为英文，对中文、多语言场景的覆盖不足；（3）评估指标相对单一：主要依赖NDCG@10，虽然也报告了其他指标，但缺乏对检索效率、延迟等实用指标的评估；（4）记忆类型分类可能存在重叠：某些数据集可能同时涉及多种记忆类型，但被强制归入单一类别；（5）缺乏对实际记忆增强系统的端到端评估：基准评估的是嵌入模型的检索能力，而非在完整记忆增强系统中的实际表现；（6）作者承认LMEB和MTEB的正交性分析是基于15个模型的小样本，需要更大规模的模型集合来验证这一结论的普遍性。
独立分析的弱点
本文的弱点分析如下：（1）数据集多样性不足：虽然涵盖了4种记忆类型，但每个类型下的数据集数量有限（情景记忆2个、对话记忆6个、语义记忆8个、程序记忆6个），且某些数据集（如TMD和LoCoMo）存在高度重叠（TMD整合了LoCoMo的语料库），这可能导致评估结果的偏差。改进方向：增加更多独立构建的数据集，特别是情景记忆和程序记忆领域。（2）模型评估范围有限：仅评估了15个模型，且缺乏对最新发布的嵌入模型（如2026年新发布的模型）的评估。改进方向：建立持续更新的评估机制，定期纳入新模型。（3）缺乏细粒度的错误分析：论文报告了整体性能指标，但缺乏对模型在不同类型检索失败案例上的详细分析。改进方向：增加定性分析，研究模型在哪些具体场景下表现不佳。（4）相关性分析的局限：Pearson和Spearman相关系数基于15个模型的小样本，统计显著性可能不足。改进方向：纳入更大规模的模型集合，并进行统计显著性检验。
未来方向
基于本文成果，未来研究可以向以下方向延伸：（1）开发专门针对长期记忆检索的嵌入模型：基于LMEB的评估结果，设计专门优化记忆检索能力的训练策略，如引入时间感知的对比学习目标；（2）多语言记忆检索评估：将LMEB扩展到中文、日文等语言，评估跨语言记忆检索能力；（3）动态记忆检索评估：设计评估动态更新记忆（如对话进行中不断新增的记忆）检索能力的基准；（4）记忆检索与推理的结合：开发需要同时检索和推理的复杂记忆任务，如「根据3天前的对话和昨天的事件，推理出今天的计划」；（5）效率-质量权衡评估：在评估检索质量的同时，纳入检索延迟、内存占用等效率指标；（6）实际系统集成评估：将LMEB与OpenClaw等实际记忆增强系统集成，评估嵌入模型在端到端任务中的表现。
复现评估
本文的复现性评估如下：（1）开源情况：论文提到LMEB将在https://kalm-embedding.github.io/LMEB.github.io/开源，评估框架基于MTEB2构建，代码复用性好；（2）数据可用性：所有22个数据集均已转换为统一的IR风格格式，但部分原始数据集可能有版权限制（附录E提供了数据集许可证信息）；（3）算力需求：评估了从2.39亿到120亿参数的15个模型，大模型评估需要显著的GPU资源，但小模型评估相对容易；（4）复现难度：中等。评估框架设计为即插即用，支持Transformers、Sentence-Transformers和vLLM等主流后端，新模型集成只需少量代码修改。但完整的基准评估（193个任务×15个模型）需要较长的计算时间；（5）标准化程度高：采用MTEB兼容的数据格式和评估协议，便于与其他基准进行比较。
论文图表
