BenchPreS：基于持久记忆的大语言模型上下文感知个性化偏好选择性基准 BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs
评估LLM能否根据沟通场景选择性应用或抑制用户偏好
前置知识
持久记忆（Persistent Memory）
持久记忆是指大语言模型在多轮对话或跨会话交互中存储的用户特定信息，包括事实性信息（如财务状况、教育背景）和偏好属性（如语气、格式风格、称呼方式）。在现代LLM系统中，这种记忆通常以文本形式直接前置于当前对话的输入中，类似于OpenAI的ChatGPT记忆功能。持久记忆使得模型能够在新交互中复用用户的历史偏好，从而提供个性化的回复体验。
本文研究的核心问题就是模型如何处理持久记忆中的用户偏好——是无差别地应用还是根据上下文选择性地应用。
偏好选择性（Preference Selectivity）
偏好选择性是指模型在给定特定沟通场景（接收者-任务对）时，能够区分哪些用户偏好应该被应用、哪些应该被抑制的能力。例如，用户可能偏好幽默风格和表情符号，但在给IRS代理人写信解决税务问题时，这些偏好应该被抑制。选择性要求模型不仅记住偏好，还要理解偏好在不同社会和机构规范下的适用性。
这是本文提出的核心概念和评估维度，论文的整个基准测试和实验设计都围绕测量模型的偏好选择性展开。
LLM-as-Judge
LLM-as-Judge是一种使用另一个大语言模型来评估生成文本质量的评估框架。在本文中，使用DeepSeek-R1作为评判模型，判断生成的回复是否反映了特定的用户偏好属性。评判模型接收偏好描述和生成回复，输出二元标签（follow或do_not_follow），表明该偏好是否在回复中被体现。这种方法相比人工评估具有更好的可扩展性，但需要保证评判的可靠性。
本文采用此框架来计算MR和AAR两个核心指标，其可靠性直接影响基准测试结果的有效性。
接收者-任务对（Recipient-Task Pair）
接收者-任务对定义了一个具体的沟通上下文，由信息接收者（如IRS代理人、银行贷款官、医疗顾问）和沟通任务（如解决税务差异、申请个人贷款、年度体检）组成。论文构建了39个这样的对，涵盖金融、健康、教育、就业和住房五个领域。每个对代表一种正式沟通场景，其中存在明确的社会和机构规范，规定了什么样的表达方式是适当的。
这是构建基准测试的核心结构单元，决定了模型需要在什么样的上下文中做出偏好应用或抑制的判断。
研究动机
随着大语言模型越来越多地被用作个性化助手和代理，用户偏好被存储在持久记忆中以支持跨交互的个性化。然而，当LLM用于第三方通信场景（如自动回复、邮件撰写、应用集成）时，一个关键问题浮现：用户的某些偏好在特定沟通场景下可能并不适合应用。例如，用户可能偏好幽默语气、表情符号和俏皮语言用于日常聊天，但当需要给法院书记员写信请求延期审理时，这些偏好就不应出现。当前的基准测试（如LAMP、PrefEval、Followbench）主要评估模型是否能记住并遵循用户偏好，隐含假设偏好应该始终被应用，而没有考虑偏好在不同上下文下的适用性问题。
本文的目标是本文的具体目标是引入BenchPreS基准测试，用于评估配备持久记忆的大语言模型是否能够根据沟通场景选择性地应用或抑制用户偏好。论文定义了两个互补的评估指标：误用率（Misapplication Rate, MR）衡量本应被抑制的偏好被错误应用的比例；适当应用率（Appropriate Application Rate, AAR）衡量上下文适当的偏好被正确应用的比例。理想情况下，模型应实现低MR和高AAR，反映在上下文规范下的选择性偏好应用能力。
与已有工作不同的是，本文的独特切入角度在于将问题从'模型是否遵循偏好'转变为'模型是否知道何时不该遵循偏好'。与现有工作不同，BenchPreS不评估偏好遵循的准确性，而是评估偏好抑制的准确性。论文基于CIMemories基准测试的框架，但重新构建了数据集，包含39个接收者-任务对和10个用户档案，每个档案包含约152个属性（其中5个是偏好属性）。通过人工标注确保偏好适用性的金标准质量，过滤掉跨社会或文化解释可能有歧义的案例，构建了一个可控的评估环境。
核心方法
BenchPreS的方法思路是将个性化偏好选择性问题形式化为一个组合评估任务。给定一个用户 u 和一个沟通场景 t，模型需要生成回复 y_{u,t} = f_\theta(u, t)。理想情况下，回复应该选择性地反映对场景 t 适当的偏好，同时抑制不适当的偏好。基准测试的结构围绕两个核心组件：上下文（接收者-任务对）和用户档案。评估使用LLM-as-Judge框架，由DeepSeek-R1判断每个偏好属性是否在生成的回复中被体现，然后与人工标注的金标准标签 g(t, a) 进行比较，计算MR和AAR两个指标。
本文的核心创新点在于提出了偏好选择性这一评估维度，这与现有基准测试有本质区别。现有工作如LAMP评估基于检索增强的个性化任务，RP-Bench和TimeChara分析角色一致性，PrefEval评估偏好推断和保留，但这些都隐含假设偏好应该被应用。BenchPreS的关键洞察是：问题不在于模型是否记得用户偏好，而在于模型能否判断偏好是否应该应用于当前接收者和任务。这种从'遵循偏好'到'选择性遵循'的视角转变是本文的根本贡献。此外，论文定义的两个指标MR和AAR可以联合使用：低MR低AAR表示系统性忽视个性化，高MR高AAR表示不加区分地应用，只有低MR高AAR才表示真正的选择性应用。
方法步骤详情
方法分为三个主要步骤。首先是数据构建：从CIMemories的候选池中选择39个接收者-任务对，涵盖金融、健康、教育、就业和住房五个领域；构建10个用户档案，每个包含约152个属性，其中5个是偏好属性（角色、风格、语气、标记、称呼），其余是任务解决所需的事实信息。其次是金标准标注：由人工标注者根据标注指南为每个偏好属性在每个上下文下的适用性分配标签 g(t, a)，每个实例由三名标注者标注，仅保留完全一致的实例进入最终数据集。最后是评估协议：使用LLM-as-Judge框架，DeepSeek-R1判断生成回复中偏好是否被体现，然后计算MR和AAR两个核心指标。
技术新颖性
本文的技术新颖性体现在多个方面。第一，首次提出了偏好选择性这一评估维度，填补了现有基准测试只评估偏好遵循而忽视偏好抑制的空白。第二，构建了一个包含39个接收者-任务对和10个用户档案的组合评估空间，共产生1,950个属性级评估实例，覆盖五个正式沟通领域。第三，采用了严格的人工标注协议，三名标注者独立标注，仅保留完全一致的实例，有效减少了标注歧义。第四，通过对比推理模型和非推理模型、以及提示级防御的效果，深入分析了当前LLM在偏好选择性上的失败模式，发现推理能力虽然提高了指令遵循能力，但同时增加了误用率，表明当前训练范式将偏好视为全局可执行规则而非上下文相关的规范信号。
实验结果
论文在10个前沿LLM上进行了全面评估，揭示了几个关键发现。首先，没有任何模型能够同时实现低MR和高AAR。Gemini 3 Pro达到最高AAR（88.69%）但MR也最高（86.48%），反映广泛激活偏好但缺乏上下文过滤。GPT-5.2实现了最大的AAR-MR差距（46.38%），但MR仍达40.95%。其次，更高AAR的模型一致表现出更高MR，表明更强的偏好应用并未转化为更好的选择性。Mistral 7B达到最低MR（38.49%）但AAR也最低（49.77%），说明低误用源于较弱的偏好应用而非更好的选择性。第三，推理能力对比显示，启用推理同时提高了AAR和MR，与IFBench分数相关，表明推理模型将用户输入分解为可执行子目标但未能区分适当与不适当的偏好。第四，提示级防御能显著降低MR（如Gemini 3 Pro从86.48%降至12.80%），但效果因模型而异，不能完全解决问题。第五，任务完整性评估表明GPT-5.2在有偏好时仍保持高任务完整性（4.957），而Gemini 3 Pro显著下降（3.746 vs 4.855）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 上下文感知偏好选择性 | AAR-MR差距 | GPT-5.2: 46.38% | Gemini 3 Pro: 2.21% | GPT-5.2实现最大AAR-MR差距，MR降低45.53个百分点 |
| 误用率 | MR | GPT-5.2: 40.95% | Gemini 3 Pro: 86.48% | GPT-5.2的MR比Gemini 3 Pro低45.53个百分点 |
| 适当应用率 | AAR | Gemini 3 Pro: 88.69% | Mistral 7B: 49.77% | Gemini 3 Pro的AAR比Mistral 7B高38.92个百分点 |
| 提示级防御效果 | MR降低幅度 | Gemini 3 Pro: -73.68pp | DeepSeek V3.2: -20.47pp | Gemini 3 Pro在提示防御下MR降低最多 |
局限与改进
论文承认了几个重要局限性。首先，BenchPreS设计用于研究最终生成阶段的偏好选择性，不涵盖依赖检索或其他外部工具的设置。其次，基准测试可能无法完全捕捉非正式或社交细致沟通场景中的偏好适用性，这些场景的判断往往依赖文化规范或个人解释。从我的观察来看，论文的评估主要集中在正式沟通场景，这可能高估了问题的严重性，因为在非正式场景中偏好适用性的边界可能更模糊。此外，评估仅使用DeepSeek-R1作为评判模型，虽然进行了验证（与GPT-5-mini和人工标注者的一致性分别为95%和92%），但不同评判模型可能有不同的判断标准。最后，论文的用户档案构建相对简单，仅包含5个偏好属性，真实用户的偏好可能更复杂和多样。
独立分析的弱点
论文存在几个值得深入分析的弱点。首先，评估场景局限于正式沟通，缺乏对非正式社交场景的覆盖，这限制了基准测试的普适性。改进方向是扩展数据集包含更多社交和文化语境，如社交媒体帖子、朋友间消息等。其次，偏好属性的分类（角色、风格、语气、标记、称呼）相对粗糙，真实用户的偏好可能更细粒度和上下文相关。可以考虑引入更丰富的偏好层次结构和偏好组合。第三，评估仅考虑单轮生成，而真实个性化系统往往涉及多轮交互，偏好适用性可能随对话进展而变化。第四，提示级防御的效果因模型差异很大（Gemini 3 Pro降低73.68pp vs DeepSeek V3.2降低20.47pp），表明当前防御策略缺乏泛化性，需要更根本的方法。
未来方向
论文提出了几个重要的未来研究方向。首先，分析推理轨迹发现，成功抑制不适当偏好的模型遵循一个模式：列举偏好、评估上下文适用性、明确排除冲突属性，这指向将上下文感知推理模式纳入后训练数据作为有前景的方向。其次，多轮交互重新确认用户意图可能提供部分解决方案，但不适合自动化LLM-as-Agents部署。第三，需要更结构化的训练信号，而非仅依赖指令遵循训练。基于论文成果可延伸的方向包括：开发偏好选择性感知的微调方法、构建偏好适用性预测模型、研究偏好抑制的可解释性、以及将评估扩展到跨文化场景。
复现评估
从复现角度来看，论文具有较好的可复现性。数据集基于CIMemories基准测试构建，提供了详细的构建协议和标注指南。所有模型通过统一的OpenRouter API接口访问（K-EXAONE-236B-A23B通过FriendliAI API），温度固定为1.0，每个用户-上下文对生成三个回复样本。评估使用DeepSeek-R1作为LLM-as-Judge，论文提供了完整的提示模板（附录Figure 10-13）。然而，论文未明确说明是否开源数据集和评估代码，这可能影响完全复现。此外，访问前沿模型（如GPT-5.2、Gemini 3 Pro）需要API访问权限和相应费用，可能对资源有限的研究者构成障碍。
论文图表
展示了五个具体的失败案例，每个对应一个偏好类别（角色、风格、语气、标记、称呼）和一个正式沟通场景。例如，使用'喜剧演员视角'描述租房历史、将法律纠纷文档格式化为学校通讯、在财务建议中插入表情符号。红色高亮部分显示了不适当的偏好应用。
这些定性例子使抽象的指标变得具体可感，展示了模型失败的实际表现形式。