← 返回 2026-04-02

MemRerank：用于个性化产品重排序的偏好记忆框架 MemRerank: Preference Memory for Personalized Product Reranking

Zhiyuan Peng, Xuyang Wu, Huaixiao Tou, Yi Fang, Yi Gong 📅 2026-03-31 👍 6 2026-07-13 08:36
LLM代理 个性化搜索 强化学习 推荐系统 记忆机制
arXiv HuggingFace PDF

用RL训练的压缩偏好记忆替代长购买历史，提升LLM购物代理的重排性能

前置知识

Setwise Reranking

集合重排是一种重排序方法，它不是对每个候选文档独立打分，也不是两两比较，而是让模型在每次推理中同时考虑多个候选（通常是5个），从中选出最相关的一个。这种方法的原子操作是五选一决策，通过多次采样的聚合得到最终排名。相比pointwise和pairwise方法，setwise更能捕捉候选之间的相对关系，在LLM重排序中效率更高。

本文使用setwise重排器作为下游任务，通过五路实用性作为GRPO训练的主要奖励信号，理解这个机制是理解训练过程的关键

GRPO (Group Relative Policy Optimization)

GRPO是一种强化学习算法，它通过对同一样本生成多个输出（一组策略），然后基于这些输出的相对奖励来更新策略，而不需要单独的价值函数或基线估计。具体来说，对于给定输入历史H，采样K个候选记忆M1...MK，计算每个记忆对应的奖励r(H, Mk)，然后使用相对奖励进行策略更新。这种方法适合于评分过程本身就具有随机性的场景。

本文使用GRPO来训练记忆提取器，通过下游重排器的反馈来优化记忆生成，这是方法的核心技术

Query-Independent Memory

查询独立记忆是指用户偏好的表示不依赖于当前搜索查询，可以预先计算一次并在用户的所有未来搜索中重复使用。这与查询感知的记忆不同，后者需要根据每个查询动态生成或调整记忆。查询独立记忆的优势在于计算效率，因为不需要为每个查询重新处理整个历史，同时它捕捉的是用户稳定的、跨场景的偏好模式。

本文的核心创新就是学习查询独立的偏好记忆，这是与传统方法的关键区别，也是实现可扩展个性化搜索的关键设计

MRR (Mean Reciprocal Rank)

平均倒数排名是一种评估排序质量的指标，计算方式是对于每个查询，找到第一个相关文档在排序结果中的位置rank，然后取1/rank，最后对所有查询求平均。例如，如果相关文档排在第1位，则贡献1/1=1；排在第2位贡献1/2=0.5；排在第3位贡献1/3≈0.333。MRR@N表示只考虑前N个结果，如果相关文档不在前N中，则该查询贡献0。MRR越高，说明相关文档排名越靠前。

本文使用MRR@10和MRR@5作为主要评估指标，理解这个指标有助于理解实验结果的实际意义

研究动机

基于LLM的购物代理日益依赖长的购买历史来实现个性化推荐，但直接将原始历史附加到提示词中往往效果不佳。这种朴素方法存在三个核心问题：首先是长度问题，长历史会迅速消耗上下文窗口，导致上下文窗口紧张；其次是噪声问题，历史中包含大量与当前查询无关的信息，会稀释有用的偏好信号；最后是相关性不匹配，历史中的偏好可能不适用于当前搜索场景。论文通过实际数据说明了问题：在Amazon-Review-2023数据集中，跨类别的购买历史通常比同类别历史长得多，直接将所有历史附加到提示词中会引入大量噪声。

本文的目标是本文的具体目标是设计一个偏好记忆框架，能够将用户的购买历史提炼成简洁的、查询独立的购物偏好表示，该表示可以预先计算一次并在用户的所有未来搜索中重复使用。这个框架需要同时满足三个要求：首先，记忆必须足够简洁，不会消耗过多上下文窗口；其次，记忆必须足够有效，能够显著提升下游重排序性能；最后，记忆提取过程必须是可训练的，能够通过下游任务反馈不断改进。作者特别强调，这个框架应该为个性化代理电商搜索提供实用的构建模块。

与已有工作不同的是，本文的独特切入角度是研究偏好记忆作为产品重排序阶段的紧凑、查询独立的中间表示。与现有方法的关键区别在于：传统任务特定神经网络如HEM、ZAM、RTM、CAMI学习查询-用户-产品的联合表示，但这些模型是端到端训练的；最近的LLM方法如UR4Rec和HMPPS在重排序前提炼偏好，但仍然是查询感知的；而MR.Rec联合优化记忆使用和推荐推理，Mem0提取原子偏好事实，但它们都不是针对产品重排序专门设计的。本文将偏好记忆与固定的集合LLM重排器解耦，这样可以隔离记忆构建策略在相同候选池下的效果比较。

核心方法

MemRerank的整体思路是两阶段框架：第一阶段是记忆提取，将用户的购买历史H通过策略πθ(M|H)映射为查询独立的偏好记忆M，其中M包含两个组成部分：MW总结同类别偏好，MC总结跨类别偏好；第二阶段是下游重排序，重排器接收查询q、提取的记忆M和候选集C，使用集合重排策略对产品进行排序。在训练阶段，使用GRPO算法训练记忆提取器，具体过程是：对于给定历史H，采样K个候选记忆M1...MK；对于每个采样记忆Mk，构建一个包含一个正产品d+和四个检索负产品的五候选集S；重排器接收、S并进行五次查询，计算五路实用性奖励u5(Mk)；结合确定性记忆质量检查得到最终奖励r(H, Mk) = u5(Mk) + λq(Mk)，使用相对奖励更新πθ。这种设计的核心优势是记忆可以预先计算并在所有未来搜索中重复使用，无需为每个查询重新处理完整历史。

本文的核心创新点是将偏好记忆建模为紧凑、查询独立的中间表示，并使用下游集合重排序器的反馈通过GRPO进行训练。与已有方法的本质区别在于：Raw History基线直接将原始购买历史附加到提示词，没有压缩；GPT-5.5和MR.Rec虽然进行记忆提取，但不是为下游重排序任务专门优化的；Mem0提取原子偏好事实，但不是针对产品排名设计的。本文方法的独特之处在于：(1)记忆是查询独立的，可以预先计算并重复使用；(2)使用GRPO通过下游重排序反馈直接优化记忆质量；(3)添加轻量级确定性记忆质量正则化，鼓励格式良好的记忆字段、简洁的偏好陈述和非空同类别记忆。这种设计使得记忆提取器被训练为产生紧凑、可重用的记忆，而不是仅仅产生一般性的用户摘要。

方法步骤详情

方法的完整步骤包括数据构建、记忆提取、GRPO训练和推理重排序四个阶段。数据构建阶段：从Amazon-Review-2023和Amazon-C4构建基准，将Amazon-C4查询与用户历史上时间上先前的Amazon-Review-2023购买历史配对，使用o3-mini重写查询以保留原始购物意图同时移除评论特定细节；使用四个第一级检索器（BM25、BLAIR-large、Qwen3-Embedding-8B、Linq-Embed-Mistral）从完整Amazon-C4产品语料库中检索前100个候选产品。记忆提取阶段：将用户的购买历史H通过策略πθ(M|H)映射为偏好记忆M = (MW, MC)，MW总结同类别偏好，MC总结跨类别偏好。GRPO训练阶段：对于给定历史H，采样K个候选记忆M1...MK；对于每个采样记忆Mk，构建包含一个正产品和四个检索负产品的五候选集S；重排器接收、S并查询五次，定义五路实用性为u5(Mk) = (1/5)∑j=1^5 1[aj = d+]，其中aj是第j次重排器响应选择的产品；添加轻量级确定性记忆质量正则化项q(Mk)，奖励为r(H, Mk) = u5(Mk) + λq(Mk)；使用相对奖励更新πθ。推理重排序阶段：学习的提取器为用户历史产生单个记忆M；重复五路比较聚合成对C的最终排名。

技术新颖性

本文的技术新颖性体现在三个方面：首先，提出了查询独立的偏好记忆概念，这是与传统查询感知方法的本质区别，使得记忆可以预先计算并重复使用，大大提高了计算效率；其次，使用GRPO算法通过下游集合重排序器的反馈直接优化记忆提取器，这种端到端训练方式使得记忆专门针对产品排名任务优化，而不是产生一般性的用户摘要；最后，添加轻量级确定性记忆质量正则化，这种设计避免了需要金标准的偏好记忆标注，同时训练提取器为其在系统中的实际角色：产生紧凑可重用的记忆来改进个性化产品重排序。实验结果表明，这种新颖的设计使得MemRerank能够在使用比原始历史和MR.Rec短得多的记忆字数的同时，达到更好的重排序性能。

Overview of MEMRERANK. The top row shows inference, and the bottom row shows the GRPO training loop used to score sampled memories and update the memory extractor.
Figure 1: Overview of MEMRERANK. The top row shows inference, and the bottom row shows the GRPO training loop used to score sampled memories and update the memory extractor.

实验结果

论文的核心发现是MemRerank在所有四个第一级检索器上都取得了最好的宏观平均MRR@10和MRR@5性能，同时在保留的检索器上也取得了最佳结果。具体分析每个实验：在Electronics类别上，MemRerank将类别平均MRR@10从最强基线的10.59提升到11.25；在Beauty & Personal Care类别上，将类别平均从4.33提升到4.75；跨两个类别，MemRerank将宏观平均从7.41提升到8.00。在保留的Linq-Embed-Mistral检索器上，MemRerank在两个类别中都取得了最佳MRR@10，Electronics从13.07提升到14.36，Beauty & Personal Care从5.30提升到6.77。图2的效果-记忆权衡分析显示，MemRerank在达到更高MRR@10的同时，使用的记忆字数比Raw History和MR.Rec少得多，这支持了学习紧凑中间记忆而不是将重排器暴露给完整购买历史的核心设计选择。Table 2的消融研究显示，最佳记忆目标取决于类别：Electronics受益于包含跨类别历史（M_WC达到11.25 MRR@10，而M_W为10.71），而Beauty & Personal Care在同类别记忆下表现更好（M_W达到4.75，而M_WC为3.74）。

Top-100 personalized product reranking on test queries, reported as MRR@10 (×100). R@100 and Ret. MRR@10 are first-stage retrieval metrics; the remaining columns are o4-mini setwise reranking results using the same candidate pool within each row. Linq-Embed-Mistral† is held out from training-negative construction. Bold and underline mark the best and second-best reranking methods; ∆best is the improvement of MEMRERANK over the strongest baseline.
Table 1: Top-100 personalized product reranking on test queries, reported as MRR@10 (×100). R@100 and Ret. MRR@10 are first-stage retrieval metrics; the remaining columns are o4-mini setwise reranking results using the same candidate pool within each row. Linq-Embed-Mistral† is held out from training-negative construction. Bold and underline mark the best and second-best reranking methods; ∆best is the improvement of MEMRERANK over the strongest baseline.
Ablation of memory target and quality reward. Values are average MRR@10 over the four retrievers, multiplied by 100. λ is the quality-reward weight. ∆ is λ = 0.4 minus λ = 0.0.
Table 2: Ablation of memory target and quality reward. Values are average MRR@10 over the four retrievers, multiplied by 100. λ is the quality-reward weight. ∆ is λ = 0.4 minus λ = 0.0.
Effectiveness-memory tradeoff on Electronics and Beauty & Personal Care.
Figure 2: Effectiveness-memory tradeoff on Electronics and Beauty & Personal Care.
查看结构化数据
任务指标本文基线提升
Personalized Product Reranking on Electronics MRR@10 (macro-average across 4 retrievers) 11.25 10.59 (MR.Rec) +0.66
Personalized Product Reranking on Beauty & Personal Care MRR@10 (macro-average across 4 retrievers) 4.75 4.33 (Raw History) +0.42
Personalized Product Reranking (both categories) MRR@10 (macro-average) 8.00 7.41 (MR.Rec) +0.59
Personalized Product Reranking on held-out retriever (Electronics) MRR@10 (Linq-Embed-Mistral) 14.36 13.07 (MR.Rec) +1.29
Personalized Product Reranking on held-out retriever (Beauty & Personal Care) MRR@10 (Linq-Embed-Mistral) 6.77 5.30 (MR.Rec) +1.47

局限与改进

论文的局限性分析包括作者承认的限制和独立观察的限制。作者承认的局限性包括：本文关注来自两个Amazon-C4类别的文本产品元数据和购买历史，在更多类别、多语言查询和多模态产品信号（如图像）上的更广泛评估将进一步测试方法的泛化性；训练奖励和最终评估都依赖于专有的o4-mini API，这反映了现实的代理搜索设置，但API基础的重排序比大规模自托管开源权重重排序更昂贵；未来的工作可以探索更低成本的蒸馏重排器或混合评估协议，同时保持相同的偏好记忆接口。独立观察的限制包括：记忆提取器使用Qwen2.5-7B-Instruct作为骨干网络，虽然模型相对较小，但对于大规模部署仍然可能有计算成本；当前方法仅考虑产品标题和描述作为元数据，忽略了图片、视频、用户交互行为等丰富信息；记忆质量检查虽然有效，但是手工设计的，可能无法完全捕捉所有重要的记忆特征；当前仅在Electronics和Beauty & Personal Care两个类别上评估，在其他类别上的效果可能不同。

独立分析的弱点

独立分析的弱点包括：首先，记忆目标的类别依赖性（Electronics受益于跨类别记忆，而Beauty & Personal Care在同类别记忆下更好）意味着在实际部署中需要为每个类别单独选择记忆目标，增加了系统复杂性，改进方向可以是开发自动选择记忆目标的机制，或者学习混合表示；其次，当前方法仅使用产品标题和描述作为元数据，忽略了用户评论、评分、点击行为等丰富信息，改进方向可以是将评论摘要、用户反馈等纳入记忆提取过程；第三，记忆质量检查是手工设计的，可能无法完全捕捉所有重要的记忆特征，改进方向可以是学习记忆质量评估器，或者使用更多样的质量指标；第四，当前仅考虑单个用户的偏好，忽略了社交影响、群体偏好等因素，改进方向可以引入社交记忆或群体偏好建模；第五，GRPO训练过程需要多次采样和重排器调用，计算成本较高，改进方向可以使用更高效的RL算法或蒸馏方法。

未来方向

未来研究方向包括作者提出的和基于成果可延伸的方向。作者提出的方向：探索更低成本的蒸馏重排器或混合评估协议，同时保持相同的偏好记忆接口；在更多类别、多语言查询和多模态产品信号上进行更广泛评估以测试方法的泛化性。基于成果可延伸的方向：开发自动记忆目标选择机制，能够根据类别特征、历史长度等因素自动选择最佳的记忆目标（M_W或M_WC）；学习记忆质量评估器，替代当前手工设计的质量检查，能够更准确地评估记忆对下游任务的价值；探索层次化记忆结构，将记忆组织成不同粒度的层次，从细粒度产品特征到粗粒度类别偏好，以支持不同层次的重排决策；引入时间动态记忆建模，考虑用户偏好的时间演变，使记忆能够适应用户偏好的变化；研究跨用户记忆迁移，探索如何将一个用户的有效记忆知识迁移到新用户，以解决冷启动问题；开发多模态偏好记忆，融合文本、图像、用户行为等多种模态信息，构建更丰富的用户偏好表示；探索与其他代理组件的协同优化，如查询理解、候选检索等，实现端到端的代理电商搜索系统优化。

复现评估

复现评估显示：开源情况方面，论文提到发布了基准和代码（https://huggingface.co/datasets/zhiyuanpeng/amazon-c4-user-purchase-history），这为复现提供了基础；数据方面，使用Amazon-Review-2023和Amazon-C4数据集，这些都是公开可用的数据集，具体的数据构建过程在3.1节有详细描述，包括查询重写、历史配对、候选检索等步骤；算力方面，使用Qwen2.5-7B-Instruct作为记忆提取器骨干网络，这是一个相对较小的模型，中等规模的GPU应该足够；训练方面，训练五个epoch，滚动大小8，使用o4-mini作为奖励重排器，每次训练实例重排器采样五次；评估方面，使用四个第一级检索器（BM25、BLAIR-large、Qwen3-Embedding-8B、Linq-Embed-Mistral），其中Linq-Embed-Mistral保留用于检索器泛化评估；难度评估：中等，主要挑战在于需要访问o4-mini API进行奖励计算和最终评估，这可能增加复现成本，但整体流程清晰，数据和处理步骤都有详细描述。

论文图表

Dataset statistics. Categories are sorted by the number of benchmark queries, and categories with fewer than 100 queries are omitted for readability. The top figure shows the number of benchmark queries for each target category. The bottom figure compares the average lengths of within-category and cross-category purchase histories after excluding the target positive product.
Figure 9: Dataset statistics. Categories are sorted by the number of benchmark queries, and categories with fewer than 100 queries are omitted for readability. The top figure shows the number of benchmark queries for each target category. The bottom figure compares the average lengths of within-category and cross-category purchase histories after excluding the target positive product.

这张图展示了数据集统计信息，包含两个子图。顶部子图（图a）显示了每个目标类别的基准查询数量，X轴是类别名称（按查询数量排序），Y轴是查询数量。可以看到Electronics最多（约2000+），其次是Beauty & Personal Care（约1000+），然后是Home_and_Kitchen、Clothing_Shoes_and_Jewelry等。底部子图（图b）比较了同类别和跨类别购买历史的平均长度，X轴是类别名称，Y轴是平均购买数量。图中显示跨类别历史通常比同类别历史长得多，这激励了同类别和跨类别记忆的分别建模。

这张图对理解论文的数据构建和动机很重要。图a显示了基准的规模和类别分布，图b直接支持了论文的动机：跨类别历史通常比同类别历史长得多，这解释了为什么需要分别建模同类别和跨类别偏好记忆，以及为什么记忆压缩是必要的。