通过交互学习用户偏好以实现长期协作 Learning User Preferences Through Interaction for Long-Term Collaboration
提出多会话协作基准与记忆框架，使对话代理跨会话学习用户偏好并持续提升协作质量。
前置知识
大语言模型记忆机制（LLM Memory）
由于大语言模型的上下文窗口有限，记忆机制允许代理将过往交互中的关键信息存储在外部数据库中，并在后续交互中动态检索相关信息来引导行为。典型实现包括向量数据库存储（如 Mem0）、知识图谱（如 Zep）或结构化笔记。与直接将全部历史拼接到上下文不同，记忆机制只保留最相关的信息片段，从而降低计算成本并减少长上下文带来的性能退化。
本文的核心贡献就是设计了一种以用户偏好为中心的记忆架构，理解记忆机制的基本范式是理解本文方法的前提。
GRPO（Group Relative Policy Optimization）
GRPO 是一种强化学习算法，最初由 DeepSeek-Math 团队提出。与传统 PPO 需要单独训练价值模型不同，GRPO 对每个输入生成多条回复（rollout），计算组内相对优势来更新策略。具体做法是：对同一 prompt 采样 $n$ 条输出，计算每条的奖励，然后用组内奖励的均值和标准差进行归一化得到优势函数 $A_i = \frac{r_i - \mu_r}{\sigma_r}$，最后用类似 PPO 的目标函数更新策略模型。这避免了训练额外的价值网络，降低了训练开销。
本文使用 GRPO 来训练代理生成更全面的会话级反思，是方法论中 RL 框架的核心算法。
用户模拟器（User Simulator）
用户模拟器是用 LLM 模拟真实用户行为的组件，被赋予特定的人物画像（persona）和交互偏好，在与代理的对话中扮演用户角色。模拟器会根据代理的回复判断是否符合自己的偏好：符合时更新草稿答案（draft answer），不符合时则显式告知代理自己的偏好（enforce preferences）。这种设计使得可以大规模自动化评估代理在多会话场景中的表现，无需每次都招募真人用户。
MULTISESSIONCOLLAB 基准的核心组件就是用户模拟器，评估指标和 RL 训练信号都依赖于模拟器的行为。
认知负荷理论（Cognitive Load Theory）
认知负荷理论由 Sweller（1988）提出，认为人类的工作记忆容量有限。当学习材料的呈现方式不符合学习者的认知习惯时，会增加外在认知负荷（extraneous cognitive load），从而阻碍学习效果。在人机协作中，如果代理的回复风格不符合用户偏好（例如用过于技术化的语言向初学者解释），用户就需要额外的认知资源来理解回复内容，从而降低了学习和解决问题的效率。
这是本文设计用户偏好和评估指标的理论基础——当代理不遵循用户偏好时，用户会因认知负荷增加而无法从回复中学习，因此只有偏好对齐的回复才能更新草稿答案。
会话级反思（Session-Level Reflection）
在每次交互会话结束后，代理分析整段对话，识别出用户在交互中透露的偏好信息，并生成结构化的笔记。这些笔记包含偏好本身、偏好适用的上下文、以及满足该偏好的具体策略。反思的结果被存入持久记忆，在后续会话开始时作为系统提示的一部分提供给代理，同时在每轮对话中通过检索模块动态提取与当前上下文最相关的记忆片段。
会话级反思是从交互中学习偏好的核心机制，其质量直接决定了记忆的有效性，也是 RL 训练的优化目标。
研究动机
当前对话代理的记忆系统主要围绕信息检索和问答能力进行评估——即代理能否准确回忆过往交互中的事实信息并回答相关问题。然而，这种评估范式忽略了记忆对下游交互质量的实际影响。在真实的长期人机协作场景中（如编程辅导、写作辅助、数学问题求解），用户拥有不同的交互偏好——有人喜欢简洁直接的回答，有人需要分步引导，有人期望提供多种方案并比较优劣。当代理不符合这些偏好时，用户不得不反复纠正代理行为，增加了认知负担，降低了协作效率。现有记忆系统（如 Mem0）倾向于存储事实性信息来回答问题，而非学习用户的行为偏好，因此无法有效改善长期交互体验。此外，将全部对话历史作为上下文提供给 LLM 也不可行——实验表明平均 20 个会话的对话历史约含 21,748 个 token，这不仅计算成本高昂（单次实验在 8xH100 上需约 17 小时），还会导致 LLM 生成退化、不连贯的回复。
本文的目标是本文的目标是建立一个系统性的基准测试（MULTISESSIONCOLLAB），用于评估对话代理能否在多会话协作中持续学习用户偏好，并利用这些偏好信息改善交互质量。具体来说，评估维度包括三个可量化的指标：任务成功率（Task Success）——用户最终草稿答案的准确性；用户努力（User Effort）——用户需要纠正代理行为的次数；对话长度（Conversation Length）——完成任务所需的轮次数。目标是让代理在不增加用户认知负担的前提下，随交互经验积累而持续提升这三个指标。
与已有工作不同的是，本文的独特切入角度在于将记忆评估从「信息回忆准确性」转向「交互质量改善」。已有工作关注的是「代理记住了什么」，而本文关注的是「代理能否利用记忆来更好地与用户协作」。具体来说，本文抓住了三个被忽视的点：第一，偏好学习不应只是存储事实，而应理解用户希望如何被对待——是简洁还是详细、是分步还是整体、是分析型还是直觉型；第二，学习信号可以从用户行为中自然派生——当用户纠正代理行为时（enforce preferences），这些纠正本身就包含了有价值的偏好信息；第三，通过强化学习训练代理生成更好的反思，可以从交互行为中提取更全面、更有操作性的偏好笔记，而不是简单地提取事实片段。
核心方法
整体思路可以用一个类比来理解：想象你和一个新同事合作，第一天他不了解你的工作习惯，你不得不反复纠正他的沟通方式。但随着时间推移，他逐渐记住了你的偏好——你喜欢先看大纲再看细节、你讨厌冗长的开场白、你希望看到多种方案的对比。MULTISESSIONCOLLAB 就是评估 AI 代理能否像这个同事一样，在多轮合作中逐渐适应你的风格。技术路线分为三层：首先，构建 MULTISESSIONCOLLAB 基准，包含多样化的用户模拟器和五个问题求解任务；其次，设计以用户偏好为中心的记忆架构，包含会话级反思和持久记忆两个组件；最后，提出基于 RL 的训练框架，利用用户行为信号训练代理生成更全面的反思，从而更有效地更新记忆。
本文最核心的创新是将记忆设计从「以信息为中心」转变为「以用户为中心」。已有的记忆系统（如 Mem0）在每轮对话后提取事实性信息存入向量数据库，优化目标是「能否准确回答关于过去的问题」。而本文的记忆架构则在每次会话结束后生成「用户偏好反思」，关注的是「如何更好地与用户协作」。举个具体的例子：Mem0 生成的记忆可能是「评估与家长沟通的有效性是关键步骤……」——这是从回复中提取的事实；而本文的记忆可能是「用户偏好叙事性、有吸引力的风格，希望看到多种可行方案及其权衡……」——这是关于如何与用户互动的操作性指导。此外，本文进一步发现，仅靠 LLM 生成的反思质量有限，因此提出用 GRPO 训练小模型（8B/7B 参数）来生成更全面的反思，奖励信号来自用户模拟器的行为——具体来说，用 LLM 评判器评估反思是否完整捕获了用户在交互中强制执行的所有偏好，且不包含幻觉。这个 RL 框架使得小模型的反思质量可以匹敌甚至超越大模型。
方法步骤详情
方法分为以下几个步骤：第一步，构建用户模拟器。从 Persona Hub 中随机选择人物画像，再随机分配三个交互偏好（从心理学、认知科学和 HCI 研究中手动策划的 20 余种偏好中选取），每个用户配置都是独特的。第二步，运行多会话协作。每个用户与代理进行 20 个会话，每个会话解决一个问题（从 MATH-500、MATH-Hard、LogiQA、MMLU、MedQA 中采样），最多 10 轮对话。用户维护一个不可见的草稿答案，只有当代理回复既有用又符合偏好时才更新。第三步，生成会话级反思。每次会话结束后，代理分析对话，识别用户偏好信息并生成结构化笔记，更新到持久记忆中。第四步，记忆检索与使用。在后续会话中，记忆作为系统提示的一部分提供给代理，同时每轮用 LLM 检索与当前对话最相关的记忆片段。第五步，RL 训练反思生成。对 Llama-3.1-8B 和 Qwen-2.5-7B 进行 SFT 冷启动后，使用 GRPO 训练。奖励由两部分组成：$R(r, \varepsilon) = R_{\text{coverage}}(r, \varepsilon) + R_{\text{format}}(r)$，其中 $R_{\text{coverage}}$ 是 LLM 评判器评估反思对偏好强制语句 $\varepsilon$ 的覆盖程度（0-3 分），$R_{\text{format}}$ 鼓励格式规范的输出。
技术新颖性
本文的技术新颖性体现在三个层面。第一，基准设计的新颖性：MULTISESSIONCOLLAB 是首个评估记忆对「下游交互质量」影响的基准，而非仅评估信息回忆准确性。它引入了用户维护草稿答案的机制——只有偏好对齐的回复才能更新草稿——这巧妙地将偏好依从性与任务成功绑定在一起。第二，记忆架构的新颖性：区别于 Mem0 等以事实为中心的记忆，本文的记忆专门捕获用户偏好及其上下文和满足策略，是第一个专门为改善交互质量而设计的记忆系统。第三，训练方法的新颖性：本文首次将用户行为信号作为 RL 训练记忆系统的奖励来源，而非使用问答正确性等传统信号。具体来说，当用户强制执行偏好时的语句 $\varepsilon$ 被用作训练信号——评判器评估反思是否覆盖了 $\varepsilon$ 中的所有偏好，这种设计使得训练信号直接来自用户行为，与最终的协作质量目标一致。
实验结果
实验在 100 个用户画像 × 5 个任务 × 20 个会话 = 10,000 个协作会话的规模上进行，涉及 Llama-3.3-70B-Instruct、Llama-3.1-8B-Instruct、Qwen-2.5-7B-Instruct 和 gpt-oss-20b 四个模型。核心发现如下：配备记忆的代理在所有模型和大多数任务上都取得了显著提升。以 Llama-3.3-70B-Instruct 为例，配备记忆后总体任务成功率从 41.78% 提升至 46.38%（+4.60 个百分点），用户努力从 2.98 降至 1.96（-1.02），对话长度从 15.96 降至 14.53（-1.43）。GRPO 训练后效果更佳：Qwen-2.5-7B 总体任务成功率从 36.21% 提升至 39.64%（+3.43），Llama-3.1-8B 从 34.04% 提升至 36.75%（+2.71）。值得注意的是，未经训练的 Qwen-2.5-7B 配备记忆后任务成功率反而下降了 1.03%，但经过 GRPO 训练后转为 +3.43% 的提升，说明记忆的有效性高度依赖反思质量。与 Mem0 的对比中，本文记忆架构在所有指标上都优于 Mem0——Mem0 将任务成功率从 41.78% 提升至 43.27%（+1.49），而本文架构提升至 46.38%（+4.60），差距显著。最具启发性的发现是：配备记忆的代理与拥有「预言机偏好」（直接获取用户真实偏好描述）的代理表现相当甚至更优。这是因为记忆捕获了更丰富的偏好信息，包括偏好适用的上下文和具体满足策略，而不仅仅是偏好描述本身。跨会话分析显示，$\Delta TS_i$ 呈上升趋势，$\Delta UE_i$ 和 $\Delta Len_i$ 呈下降趋势，最陡的改进发生在前 5 个会话，随后逐渐稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH-500（总体） | 任务成功率 TS (%) | Llama-3.3-70B+memory: 63.85% | 无记忆基线: 59.29% | +4.56 个百分点 |
| MATH-Hard（总体） | 任务成功率 TS (%) | Llama-3.3-70B+memory: 30.50% | 无记忆基线: 25.81% | +4.69 个百分点 |
| LogiQA（总体） | 任务成功率 TS (%) | Llama-3.3-70B+memory: 30.25% | 无记忆基线: 26.69% | +3.56 个百分点 |
| MMLU（总体） | 任务成功率 TS (%) | Llama-3.3-70B+memory: 57.35% | 无记忆基线: 51.26% | +6.09 个百分点 |
| MedQA（总体） | 任务成功率 TS (%) | Llama-3.3-70B+memory: 49.95% | 无记忆基线: 45.84% | +4.11 个百分点 |
| 总体（所有任务平均） | 任务成功率 TS (%) | Llama-3.3-70B+memory: 46.38% | 无记忆基线: 41.78% | +4.60 个百分点 |
| 总体（所有任务平均） | 用户努力 UE | Llama-3.3-70B+memory: 1.96 | 无记忆基线: 2.98 | -1.02（降低 34%） |
| 总体（所有任务平均） | 对话长度 Len | Llama-3.3-70B+memory: 14.53 | 无记忆基线: 15.96 | -1.43（降低 9%） |
| 本文记忆 vs Mem0（总体） | 任务成功率 TS (%) | 本文记忆: 46.38% | Mem0: 43.27% | +3.11 个百分点 |
| 本文记忆 vs Mem0（总体） | 用户努力 UE | 本文记忆: 1.96 | Mem0: 2.19 | -0.23 |
局限与改进
作者在论文中坦诚地指出了多项局限。第一，用户模拟器依赖 Llama-3.3-70B-Instruct，虽然它是高能力模型，但模拟器在更复杂的任务（如编程）中难以可靠地展现预期行为，因此编程任务被排除在基准之外。第二，当前模拟器只能通过显式语言表达偏好，而真实用户往往通过行为线索隐式传达偏好。第三，偏好是静态分配的，而真实用户的偏好可能是上下文相关的（不同领域不同偏好）或会随时间演变的。从独立分析的角度来看，实验中每个用户只有 20 个会话，这可能不足以充分展示长期学习的潜力和局限；另外，记忆的有效性在不同任务间差异较大——在 MMLU 上提升 6.09 个百分点，而在 MATH-500 上只提升 4.56 个百分点，这种差异的原因未被深入分析。此外，用户研究只有 19 名参与者，统计效力有限，结果的可信区间较宽。
独立分析的弱点
从独立分析的角度，本文存在以下几个值得关注的弱点。首先，记忆架构的跨域泛化能力不足——用户研究中参与者明确指出，在混合领域设置中个性化效果不如单领域设置。这说明当前的记忆可能过度拟合了特定领域内的偏好表达方式，缺乏抽象层面的偏好迁移机制。改进方向可以考虑设计分层记忆架构，将偏好分为领域无关层（如沟通风格）和领域特定层（如编程规范），并引入跨域迁移的学习机制。其次，RL 训练的奖励信号质量依赖于 LLM 评判器的准确性，而评判器本身可能存在偏差。特别是当偏好涉及微妙的语用差异时（如「简洁」vs「过于简洁」），评判器的判断可能不够精确。可以考虑引入多评判器投票机制或基于人类反馈的奖励模型来提升信号质量。第三，记忆的检索机制相对简单——每轮用 LLM 分析当前对话并提取相关记忆，这增加了推理延迟和成本。可以探索基于嵌入向量的高效检索方案，同时保持用户偏好中心的设计。
未来方向
本文为多会话协作研究开辟了多个值得探索的方向。作者指出的未来方向包括：扩展用户模拟器以捕获更现实的人类行为，例如通过行为线索隐式表达偏好、上下文相关的领域特定偏好、以及随时间演变的偏好。基于本文成果可以延伸的方向包括：第一，将记忆架构应用到更复杂的协作场景，如长期项目管理、创意写作协作、多轮代码审查等，这些场景中偏好学习和适应更为关键；第二，探索偏好学习的可解释性——代理能否向用户解释它学到了什么偏好、为什么做出某个行为调整，这有助于建立用户信任；第三，将本文的 RL 框架推广到更大的模型（如 70B 参数），实验已经表明小模型经过训练可以匹敌大模型，那么大模型经过训练可能有更大的提升空间；第四，研究偏好学习的个性化程度——不同用户是否需要完全独立的记忆，还是可以共享部分通用偏好知识。
复现评估
从复现的角度看，本文具有较好的可复现性。代码已在 GitHub 开源（https://github.com/Shuhaibm/multisessioncollab），包含完整的基准构建、评估脚本和训练流程。数据方面，用户画像来自 Persona Hub（公开数据集），五个问题求解任务（MATH-500、MATH-Hard、LogiQA、MMLU、MedQA）均为公开基准。算力需求方面，SFT 和 GRPO 训练使用 LLaMa-Factory 和 VERL 框架，训练数据为 10,000 个会话，使用 64 的批量大小和 4 个 epoch 的 SFT 加 200 步的 GRPO，硬件需求估计在单机 8xA100 级别可完成。评估规模为 100 个用户 × 20 个会话 × 5 个任务 = 10,000 个会话，用户模拟器使用 Llama-3.3-70B-Instruct，需要相应的推理资源。总体来说，复现的主要挑战在于推理成本——大规模运行用户模拟器和评估需要较多 GPU 资源，但训练部分的资源需求相对可控。
论文图表
