可控记忆使用：在长期人机交互中平衡锚定与创新 Controllable Memory Usage: Balancing Anchoring and Innovation in Long-Term Human-Agent Interaction

SteeM 的完整流程包括四个阶段。第一阶段是合成数据集构建：为 Research 和 Tutoring 两个场景各构建 200 个主题，通过 Gemini-2.5-Pro 迭代生成-验证的方式合成项目时间线（7539 个事件、7745 个工件），然后在时间线上实例化四类任务（Plan & Design、Revise、Analyze & Critique、Concept Explanation），为每个查询构建由用户画像 $m_{prof}$、跨会话摘要 $m_{inter}(q)$ 和会话内摘要 $m_{intra}(q)$ 组成的查询特定记忆 $M(q)$，最终得到超过 10,000 个 $(q, M(q))$ 对。第二阶段是偏好对齐数据生成：用 Gemini-2.5-Pro 驱动的用户模拟器将原始查询改写为带偏好暗示的增强查询 $q_{aug}$，从 Qwen3-8B/14B 模型池采样 4 个候选回复，计算每个回复的 MD-Score，再用用户模拟器生成与实际依赖分数匹配的对齐查询 $q_{align}$，经过质量过滤后得到 7000 个 SFT 训练样本。第三阶段是 SFT 训练：用标准 token 级交叉熵目标在 Qwen3-4B 和 Qwen3-8B 上微调，学习率 $1 \times 10^{-5}$，3 个 epoch。第四阶段是 GRPO 强化学习：从 2000 个不重叠样本出发，奖励函数 $R = R_{align} + R_{task} + R_{general}$，其中 $R_{align} = -\delta_{align}$ 直接优化对齐误差，$R_{task}$ 基于 rubric 评估任务质量，$R_{general}$ 由 Skywork-Reward-V2 评分保证通用质量。

SteeM 的技术新颖性体现在三个层面。首先，在问题定义上，它是首个将「记忆依赖偏好」形式化为可量化、可优化目标的工作，提出了 $p(q) \in \{1,2,3,4,5\}$ 的偏好建模和 $\delta_{align}$ 对齐误差度量。其次，在数据工程上，论文设计了一套精巧的偏好对齐数据生成流水线，通过「用户模拟器重写 → 多模型采样 → MD-Score 计算 → 对齐查询匹配」的四步流程，解决了低依赖训练数据稀缺的问题。这比简单的「采样-过滤」策略高效得多，因为记忆锚定使得低依赖回复在自然采样中极其罕见。第三，在训练策略上，SFT+GRPO 两阶段设计配合三组件奖励函数，既保证了偏好对齐又保全了任务质量。实验表明，Tag-cued 训练（用预定义标签替代自然语言偏好表达）虽然对齐误差略低，但在 AlpacaEval 上质量显著下降，说明 SteeM 的自然语言方式是一种更优雅的平衡方案。

SteeM 有几个值得关注的弱点。第一，记忆依赖的控制粒度受限于 5 级 rubric，这在实际使用中可能不够灵活。例如，用户可能只想「稍微减少一点」对某个特定历史工件的依赖，而不是整体切换到一个粗粒度的等级。改进方向是探索连续控制机制，比如让用户指定 0-1 之间的连续值，或者支持对不同记忆组件（用户画像、跨会话、会话内）分别设置依赖权重。第二，当前方法需要为每个场景专门构建合成数据集和训练，这限制了通用性。如果要将 SteeM 应用到新的场景（如编程助手、客服机器人），需要重新执行整个数据合成和训练流程。一个可能的改进方向是研究跨场景的迁移学习，或者设计场景无关的记忆依赖控制机制。第三，论文的评估完全依赖 LLM-as-a-judge（MD-Score），缺乏大规模人类评估来验证对齐误差的绝对值是否可信。虽然 pairwise 一致性验证结果不错（尤其在分数差距大时），但当两个回复的依赖分数接近时（差距 ≤ 1），人类-自动化的不一致率明显上升，这意味着在「中等依赖」区域的控制精度可能被高估。

论文提出和可延伸的未来方向包括以下几点。首先，将记忆依赖偏好从离散等级扩展到连续光谱，这需要新的评估方法（可能需要回归而非分类的 rubric）。其次，扩展到更多应用场景——当前只覆盖了 Research 和 Tutoring，但长期交互还包括编程开发、创意写作、客服支持等场景，每个场景的记忆依赖模式可能不同。第三，研究动态偏好跟踪——当前方法假设每次查询的偏好是独立的，但真实用户可能在一次会话中频繁切换依赖程度，模型需要学会识别和适应这种动态变化。第四，探索 SteeM 与现有记忆管理系统（如 RMM、LD-Agent）的集成——SteeM 控制的是「如何使用记忆」，而这些系统控制的是「检索哪些记忆」，两者的结合可能产生更好的效果。第五，在更大规模模型（如 70B+）上验证 SteeM 是否同样有效，因为大模型可能表现出不同的记忆行为模式。

论文在复现方面有一定优势。数据合成使用的是 Gemini-2.5-Pro（闭源 API），这增加了复现成本，但论文详细描述了合成流水线的每个步骤（附录 A），包括事件类型定义（Table 3）、查询模板、记忆构建方法等，理论上可以用其他 LLM 替代。训练使用 Qwen3-4B/8B（开源）和 MS-SWIFT 框架（开源），SFT 超参完整公开（batch size 64, lr 1e-5, 3 epochs），GRPO 使用 EASYR1 框架（batch size 32, lr 5e-6, max length 6144, 8 rollouts）。SFT 数据 7000 条、RL 数据 2000 条，规模适中。算力需求方面，在 4B 和 8B 模型上训练应该可以在单机多卡环境下完成，估计需要几张 A100 运行数小时到一天。总体复现难度中等——主要瓶颈是数据合成需要 Gemini-2.5-Pro API 调用（成本和速率限制），以及 MD-Score rubric 的 LLM-as-a-judge 实现。论文目前未明确说明是否开源代码和数据。