MemPilot：面向LLM智能体的按需多模态记忆策展编排框架 MemPilot: Orchestrating On-Demand Multimodal Memory Curation for LLM Agents
用强化学习训练编排器，按性能-成本-延迟偏好动态决定检索压缩记忆还是委托异构模型按需策展原始历史
前置知识
查询无关记忆构建（Query-agnostic Memory）
在查询到来之前，系统预先对交互历史做摘要、压缩与结构化组织（如 Mem0、A-MEM、SimpleMem），形成可复用的记忆库。优点是检索快、构建可离线完成；缺点是构建时不知道未来要回答什么，可能把关键细节压缩掉，也对永远用不到的内容白花预处理算力。
本文的核心动机正是弥补这种构建方式的信息损失与算力浪费：MemPilot 保留这种记忆库用于快速访问，同时把细粒度策展挪到查询时按需进行，理解这一范式才能看懂双视图设计的意义。
GRPO（Group Relative Policy Optimization）
一种不需要价值网络的策略梯度算法：对每个输入采样一组（本文 $G=4$）完整轨迹，用组内均值和标准差把回报归一化为相对优势 $A_i=(r_i-\mu)/(\sigma+\epsilon)$，再套 PPO 式裁剪目标更新策略。因 DeepSeek-R1 等工作被广泛用于 LLM 的强化学习训练。
MemPilot 用 GRPO 训练编排策略，其两大算法改进——目标级优势解耦与前缀边际效用——都建立在 GRPO 的组内归一化机制之上，不懂 GRPO 就无法理解其训练方法。
LLM 路由（LLM Routing）
根据查询难度与资源约束，把请求分派给不同能力、价格、延迟的模型：简单任务走小模型，困难任务走大模型。实现方式包括模型级联、难度估计、偏好学习或强化学习策略。本文将其扩展为多步决策中'每一步选一个外部 LLM/VLM 来处理记忆证据'。
模型选择是 MemPilot 四个控制维度之一，是把模型异构性转化为可优化权衡空间的关键机制；消融显示去掉 LLM/VLM 委托后 Judge 分数从 37.40 崩到 14.58，是影响最大的组件。
多目标优势解耦（Objective-wise Advantage Decoupling）
多目标 RL 中若先把不同量纲的奖励直接相加再归一化，方差大或数值大的目标会淹没其他学习信号。解耦做法是让质量、成本、延迟三个奖励分别在轨迹组内独立归一化得到 $A^Q, A^C, A^L$，再按偏好权重 $\boldsymbol{\lambda}$ 聚合并做批级归一化。
这是 MemPilot 能在同一训练框架下稳定优化三个互相竞争的目标、并按偏好生成不同工作点策略的前提；论文消融证明去掉它（w/o GDPO）平均 Judge 分数从 37.40 降到 21.94。
信用分配与边际效用（Credit Assignment & Marginal Utility）
多步决策中，轨迹级奖励对所有步骤一视同仁，难以区分哪一步真正带来增益。边际效用法在第 $t$ 步后截断后续步骤、直接让策略产出答案并测量质量 $u_{i,t}$，差分 $\Delta u_{i,t}=u_{i,t}-u_{i,t-1}$ 即第 $t$ 步的增量贡献，可作为该步动作的额外学习信号。
MemPilot 用'前缀答案探测'实现这种逐步信用分配，把阶段级信号加到对应的策略 token 上（$\hat A_{i,k}=A^{\lambda}_i+\eta\Delta u_{i,t}$），是多步编排策略能学出有意义行为的关键。
研究动机
绝大多数 LLM 智能体记忆系统（A-MEM、SimpleMem、Mem0 等）在查询到来之前就以查询无关方式预先压缩、组织交互历史，这带来两类代价：一是预处理浪费——每段历史都要付出摘要/压缩成本，但其中大量内容永远不会被任何查询用到；二是有损压缩——构建时无法预知未来查询需要什么，图片像素等细粒度证据在压缩文本（如购物对话被压成 'chambray #3 butterfly sleeve #2 shopping detour' 这样的梗概）中丢失，导致需要图像级证据的问题无法回答。近年 GAM、BudgetMem、MemGen、AdaMEM 等把部分记忆处理挪到运行时，但仍存在三大局限：(1) 控制结构僵化——效率控制被硬编码进固定操作流水线、离散预算档位或启发式规则，查询级适应的自由度极低，难以做细粒度权衡优化；(2) 权衡优化不完整——大多只优化 token 用量或货币成本，用户可感知的响应延迟很少被显式当作优化目标；(3) 处理后端固定——忽视不同 LLM/VLM 在质量、成本、延迟上的巨大差异，无法按查询难度和证据模态适配，限制了可实现的权衡空间。
本文的目标是本文的目标是构建一个能在不同性能-成本-延迟偏好下灵活编排按需多模态记忆策展的框架。给定优化偏好 $\boldsymbol{\lambda}=(\lambda_Q,\lambda_C,\lambda_L)$（本文固定 $\lambda_Q=1$），学习一个多步编排策略 $\pi_\theta$，使其做到：(1) 保留可替换的查询无关记忆库 $\mathcal{M}$ 以维持高效访问并兼容任意现成记忆系统；(2) 保留原始多模态历史 $\mathcal{H}$，允许查询时按需精读以避免信息损失；(3) 用强化学习把答案质量 $Q(\tau)$、货币成本 $C(\tau)$、延迟 $L(\tau)$ 三目标统一进策略优化，使同一框架能输出从极致性能（MemPilot-Perf）到均衡（Bal）再到极致省钱（Cost）的多个工作点，并在五个多模态记忆基准上形成比现有权衡感知基线更宽的帕累托前沿。
与已有工作不同的是，本文的独特切入是把'智能体记忆管理'与'LLM 路由'两条研究线合并为一个偏好条件的多步序贯决策问题。与 GAM 的即时检索流水线、BudgetMem 的预算内抽取、MemGen/AdaMEM 的动态记忆指引等单一模式方法不同，MemPilot 把每个动作因子化为检索词、证据数量、策展指令、模型选择、视觉访问五个自由度，让'运行时花多少计算'本身成为策略的输出而非外部强加的约束。同时它首次把用户可感的延迟作为一等优化目标，为 12 个异构模型离线标定仿射延迟代理以稳定训练。训练侧则把目标级优势解耦引入记忆编排，避免多奖励混合归一化时信号互相淹没，并提出基于前缀答案探测的边际效用估计，把轨迹级信用细化到每个策展阶段——这两点在既有记忆系统工作中均属空白。
核心方法
直觉上，好的记忆使用像人类查资料：先翻现成的笔记索引（压缩记忆库），不够时再去原始档案里精确取材，并请'合适的专家'（不同规模与能力的 LLM/VLM）按需精读。技术上，MemPilot 维护双视图：查询无关记忆库 $\mathcal{M}$（默认用 LLMLingua-2 以 0.4 压缩率构建，也可换成 A-MEM/SimpleMem 等现成系统且无需重训）和切成约 256-token 块的原始多模态历史 $\mathcal{H}$（对话轮为原子单位，图片与标题绑定所在块）。编排策略 $\pi_\theta$（Qwen3-4B-Instruct）面对查询 $q$，在最多 6 轮决策中每步输出结构化动作 $a_t=(z_t,\phi_t)\sim\pi_\theta(\cdot|s_t)$，其中 $z_t\in\{\text{Retrieve}, \text{Curate}\}$：Retrieve 对 $\mathcal{M}$ 做语义检索，Curate 则从 $\mathcal{H}$ 取原始块并委托给所选外部模型处理；观察 $o_t$ 以文本回流给纯文本的策略（策略本身从不直接看图像素），最终产出答案 $y$。整个策略用资源感知的 GRPO 在质量-成本-延迟三目标下训练，偏好不同则学出的编排行为不同。
核心创新有三。其一，因子化策展控制：动作参数被分解为 $(r_t, k_t, i_t, m_t, v_t)$——检索词、证据数量、策展指令、所选模型、是否附图——并把'检索什么'（$r_t$，如'林薇考虑过的裙子'）与'如何策展'（$i_t$，如'提取她考虑的两类裙子'）这两个语义不同的操作显式解耦。这与把效率硬编码进固定流水线或离散预算档位的已有方法有本质区别：运行时计算量由策略按查询逐步、连续地分配，而不是套用几个预设档位。其二，异构模型委托：把 12 个从 Llama-3.2-3B 到 Qwen3-VL-235B、Gemini-2.5-Flash-Lite、Claude-Haiku-4.5、GPT-5.6-Luna 的模型作为可路由后端，编排器只看匿名 ID 和轻量画像（参数规模、支持的模态）就做选择，模型异构性直接转化为可优化的质量-成本-延迟权衡空间。其三，训练算法层面的目标级优势解耦（三个奖励独立归一化再加权聚合）加上前缀边际效用估计（对每个策展阶段做廉价答案探测、差分出该阶段的边际质量贡献），让多目标 RL 在多步 rollout 上稳定且精细地收敛。
方法步骤详情
离线阶段：多模态对话按轮次原子化切成约 256-token 块；用 LLMLingua-2（压缩率 0.4）生成查询无关压缩记忆；用 Qwen3-Embedding-0.6B 为压缩库和原始库各建独立稠密索引（float16 离线算好）。在线推理：给定 $q$，策略先做任务分解，然后每轮二选一——Retrieve（输入检索词 $r_t$ 和证据数 $k_t\le 5$，返回压缩记忆文本，无外部模型开销）或 Curate（先用 $r_t$ 从原始库检索块，连同策展指令 $i_t$、模型 $m_t$、是否含图 $v_t$ 发给 OpenRouter 上的外部模型，返回文本观察）；同一轮最多 2 个独立并行调用，轮间策略更新'已知/未解决'评估，最多 6 轮后输出 $y$。奖励建模：$r^Q=Q(\tau)$ 且施加格式门控 $g(\tau)$（非法轨迹记 $-1$ 且资源奖励置零）；$r^C=-C(\tau)$（编排器生成与外部调用的 USD token 计费之和）；$r^L=-\hat L(\tau)$，用仿射延迟代理 $\hat L_c=b_m+a^{in}_m n^{in}_c+a^{out}_m n^{out}_c(+a^{img}_m n^{img}_c)$，同一并行阶段取 max 后按顺序阶段求和。训练：GRPO，每查询采 $G=4$ 条轨迹，三个奖励组内独立归一化为 $A^j_i=(r^j_i-\mu_j)/(\sigma_j+\epsilon)$，按 $\boldsymbol{\lambda}$ 加权后批级再归一化，裁剪系数 0.2、KL 系数 $\beta=0.001$；每个策展阶段用 rollout 策略对前缀贪婪生成短答案探测 $u_{i,t}$，以 $\hat A_{i,k}=A^{\lambda}_i+\eta\Delta u_{i,t}$（$\eta=0.5$）精化该阶段策略 token 的优势。学习率 $10^{-6}$，训练 3 个 epoch。
技术新颖性
技术新颖性体现在四个层面。(1) 问题形式化：首次将运行时记忆编排统一为偏好条件的多步 MDP，一个策略同时覆盖记忆访问、查询特定策展、异构模型路由、模态访问四个维度——此前运行时自适应方法各自只覆盖一两个维度且处理模式固定。(2) 延迟建模：为每个外部模型标定确定性仿射延迟代理（固定开销 $b_m$、每输入/输出 token 与每图边际延迟 $a^{in}, a^{out}, a^{img}$），把并行调用视为一个延迟阶段取 max，规避 wall-clock 测量受网络抖动影响导致 RL 训练不稳的问题，这种显式延迟目标在记忆系统文献中很少见。(3) 算法改造：将 objective-wise advantage decoupling 适配进 GRPO，防止多目标信号在混合归一化时互相淹没；提出 prefix-based marginal utility，利用共享前缀 KV 缓存做廉价答案探测（探测不计入成本/延迟统计），把阶段边际质量增益 $\Delta u_{i,t}$ 加到对应策略 token 上，实现比轨迹级奖励细一个量级的信用分配。(4) 系统兼容性：记忆库可替换且换库无需重训，编排层与记忆构建层正交，这与绑定特定记忆表示的端到端方法明显不同。
实验结果
在五个多模态记忆基准（Mem-Gallery、WorldMemArena-Lifelong、H2HMem 双人+多方，以及 OOD 的 MemEye 371 题和 MemLens 173 题）上：(1) 主表对比（Table 1）：MemPilot-Perf 在两个答案模型下于全部五个基准取得最佳 LLM-judge 分数。以 Qwen3-VL-4B-Instruct 为答案模型为例：Mem-Gallery L-J 65.82（最强基线 A-Mem 为 51.45）、WorldMemArena 63.41（MemVerse 60.91）、H2HMem L-J 35.97 且 F1 30.32（超过 M2A 的 27.21）；OOD 上 MemLens F1 30.58（A-Mem 22.99）而成本仅 $5.5\times10^{-4}$ USD/样本，约为 A-Mem（$2.6\times10^{-2}$）的 1/47。MemPilot-Bal 用约 1/3 成本（$1.4\times10^{-2}$ vs Perf 的 $4.3\times10^{-2}$）保持 Mem-Gallery F1 57.26 全场最高；MemPilot-Cost 把成本压到 $8.2\times10^{-3}$ 甚至 $1.2\times10^{-4}$，但质量明显让步。Qwen3.5-9B 答案模型下 MemPilot-Perf 的 L-J 达 67.64/74.09/37.57（Mem-Gallery/WorldMemArena/H2HMem）。(2) 前沿分析（Figure 2）：扫偏好形成的前沿整体包络 LightMem、BudgetMem、OmniSimpleMem 等权衡感知基线；MIRIX/M2A/MemVerse 常花大钱办不成事，例如 M2A 在 9B 答案模型的 Mem-Gallery 上每样本成本高达 9.5 USD。(3) 行为分析（Figure 3）：偏好从质量转向成本/延迟时，策略步数 2.06→1.00、Curate 动作占比 54.3%→0%、图像访问 24.7%→0%、输出 token 184.8→48.0，而证据数量非单调变化（说明策略重新配置访问方式而非单纯少查）；模型选择上，最高成本点大量使用较大 VLM/LLM（VLM<70B 约 39.7%、LLM≥70B 约 30.3%），最低成本点 100% 路由到 <70B 的 LLM。(4) 消融（Table 2，五基准平均）：去掉 LLM/VLM 委托、边际效用、检索-指令解耦分别把 L-J 从 37.40 砸到 14.58、14.82、15.35，去掉目标级优势解耦降到 21.94——各变体虽更省钱但质量崩塌，说明省下的算力换不来合算的权衡。(5) 记忆库兼容性（Figure 4）：换用 SimpleMem 或 A-MEM 记忆库无需重训，各自保持独立的成本档位与前沿形态（默认库最省、A-MEM 库更贵但上限更高）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多模态记忆问答（Mem-Gallery） | LLM-judge（GPT-4o-mini） | 65.82（MemPilot-Perf，Qwen3-VL-4B 答案模型） | 51.45（A-Mem，同列最强基线） | +14.37 |
| 多模态记忆问答（WorldMemArena-Lifelong） | LLM-judge | 63.41（MemPilot-Perf） | 60.91（MemVerse） | +2.50 |
| 双人/多方对话记忆问答（H2HMem） | F1 | 30.32（MemPilot-Perf） | 27.21（M2A） | +3.11 |
| 跨分布记忆问答（MemLens，OOD） | F1 / 成本 | 30.58 / 5.5e-4 USD/样本 | 22.99 / 2.6e-2 USD/样本（A-Mem） | F1 +7.59，成本降至约 1/47 |
| 质量-成本权衡点（Mem-Gallery） | F1 / 成本 | 57.26 / 1.4e-2 USD（MemPilot-Bal） | 54.24 / 2.8e-2 USD（A-Mem） | F1 +3.02 且成本约减半 |
| 核心组件消融（五基准平均） | LLM-judge | 37.40（完整 MemPilot-Bal） | 21.94（w/o 目标级优势解耦）；14.58（w/o LLM/VLM 委托） | +15.46 / +22.82 |
局限与改进
作者承认三点局限：(1) 隐私——Curate 会把检索到的原始交互历史（可能含图片）发给外部 API 模型，敏感记忆存在泄露风险；(2) 偏好校准——权衡靠预先设定的奖励系数 $\boldsymbol{\lambda}$ 表达，缺少从'我要便宜且快'这类高层部署需求到系数的友好映射；(3) 延迟建模——训练用仿射代理而非实测延迟，与真实 wall-clock 仍有差距。我的补充观察：(1) 每个偏好点对应一个独立训练的策略（Perf/Bal/Cost），要覆盖细粒度偏好就得训练多个模型，训练与部署成本高，论文未展示把 $\lambda$ 作为条件输入的单策略方案；(2) MemPilot-Cost 档质量崩塌明显（Mem-Gallery F1 从 Bal 的 57.26 掉到 32.67，WorldMemArena 只有 6.25），说明低成本极限附近策略空间不足，实用的经济档仍需打磨；(3) 评估局限于对话式多模态 QA，未覆盖工具调用、代码、长程任务等更广的 agent 场景；(4) 策略本体是纯文本的 Qwen3-4B，看图完全依赖外部 VLM 的文字转述，可能引入转述偏差与错误累积；(5) 训练依赖 OpenRouter 当时定价与延迟系数，市场价格波动会让学到的路由策略随时间漂移，跨服务商迁移性未知。
独立分析的弱点
(1) 隐私与合规：Curate 会把用户原始对话和图片外发给第三方 API，在医疗、金融、法务等场景直接不可用。改进方向：把本地小模型纳入可路由池作为隐私安全选项、对敏感字段做脱敏或差分隐私处理，或将'是否允许外发'建模为策略的显式约束。每个弱点都指向具体场景。(2) 偏好需多次训练：Perf/Bal/Cost 是三个独立策略，扫出图 2 的前沿需要多份模型权重，偏好粒度与训练成本互相牵制。改进方向：将 $\boldsymbol{\lambda}$ 作为条件输入训练单一偏好条件化策略，实现偏好的连续插值与零样本泛化。(3) 资源信用仍是轨迹级：前缀探测只精化质量信号，成本/延迟仍靠轨迹级惩罚，长轨迹中'某一步选了昂贵模型'的责任无法精确归因。改进方向：对每步的 token 与延迟增量做类似的差分归因。(4) 静态模型画像：价格与延迟系数离线标定一次，市场波动后策略即刻次优。改进方向：在线校准画像、对画像扰动做鲁棒 RL 或周期性轻量微调。(5) 探测开销：每条 rollout 需 $K_i+1$ 次贪婪答案探测，虽有 KV 前缀缓存，训练成本仍随步数增长；可改为抽样部分阶段探测或用价值网络近似边际效用。
未来方向
作者明确提出的方向：(1) 隐私感知委托——引入本地处理、访问控制与隐私感知路由机制，且与核心编排设计正交、可直接叠加；(2) 偏好校准——研究更用户友好的方式，把高层部署偏好自动映射为奖励系数，降低跨应用设置门槛；(3) 部署感知延迟建模——在 networking 与 serving 稳定受控的系统级沙箱里直接对实测延迟优化，取代仿射代理。基于其成果还可延伸：(4) 把 $\boldsymbol{\lambda}$ 作为输入训练单一偏好条件化策略，获得连续可调的偏好空间与更好的样本效率；(5) 与 agent 主循环深度耦合，把记忆编排嵌入工具调用与长程任务规划，按任务阶段动态改变偏好；(6) 融入 KV 缓存命中率、批处理队列、GPU 占用等系统级信号，做真正资源感知的编排；(7) 扩展到音频/视频记忆及更多模态的路由；(8) 记忆写入端与读取端联合训练，让压缩策略感知下游编排偏好；(9) 在多 agent 共享记忆库场景研究编排的公平性、隔离与成本分摊。
复现评估
复现条件较好但门槛不低。开源方面：论文给出项目网站与代码链接，基于公开的 VeRL 框架实现；模型池全部经 OpenRouter 访问，12 个模型的输入/输出价格与延迟系数（Table 3）完整公开，延迟标定方法（固定/短输入/长输入/长输出/图像输入的中位数测量、系数非负约束）也写清了。数据方面：五个基准均为公开数据集，论文详述了会话级 7/1/2 划分（训练 57 实例/3,766 QA，测试 17 实例/1,075 QA，OOD 544 QA）、答案拒答过滤（MemLens 195→173 题）、WorldMemArena 前缀可见性等处理。超参完整（Table 5：$G=4$、学习率 $10^{-6}$、3 epochs、batch 32、$\eta=0.5$、$\beta=0.001$、clip 0.2），编排器 Qwen3-4B-Instruct、嵌入模型 Qwen3-Embedding-0.6B、压缩器 LLMLingua-2 均为公开权重。难点：(1) RL 训练需大量外部 API 调用，货币成本与网络抖动是主要摩擦，延迟系数还需按论文方法自测标定；(2) 训练需本地托管 4B 级策略做 rollout，单张 A100 80GB 量级可行，但多个偏好点多轮训练耗时；(3) 结果对 OpenRouter 实时定价敏感，复现数字会随市场漂移。总体属于材料齐全、中等偏难的可复现工作。
论文图表
算法伪代码：对含 $K_i$ 个因果策展阶段的已完成 rollout，先给所有策略 token 赋轨迹级优势 $A^{\lambda}_i$；格式非法或无策展阶段则直接返回；随后对 $t=0..K_i$ 的每个前缀并行地用 rollout 策略贪婪生成短答案并打分 $u_{i,t}$；任一探测失败则放弃精化；最后把差分 $\Delta u_{i,t}=u_{i,t}-u_{i,t-1}$ 以权重 $\eta$ 加到该阶段对应的策略推理与动作 token 上。探测共享前缀 KV 缓存且不计入成本/延迟统计。
这是本文两个算法贡献之一的完整实现规范，包括各种失败回退（格式非法、探测失败），是理解与复现细粒度信用分配机制的权威描述。