即时记忆：为LLM智能体学习任务自适应的记忆策展 Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents
把记忆策展从写入推迟到读取时刻，按任务定制载荷并用GRPO训练策展器。
前置知识
LLM 智能体与轨迹（Trajectory）
以 LLM 为核心、在与环境多轮交互中完成任务的系统。一次任务的执行会产生观察-动作交替序列，即轨迹 $\xi=(o_1,a_1,\dots,o_n,a_n)$，并附带任务成功奖励 $r_t \in [0,1]$。轨迹是记忆系统存储和复用的基本单元，ALFWorld、WebShop 等智能体基准都以轨迹为评估对象。
JITMEM 的记忆库存的正是完整原始轨迹，理解轨迹结构才能明白'存原始轨迹 vs 存蒸馏摘要'这一核心设计差别的意义。
写时策展的智能体记忆（Write-time Curation）
主流范式：任务完成后立刻把轨迹蒸馏为固定产物——Reflexion 的言语反思、Voyager 的可执行技能、AWM 的可复用工作流、ReasoningBank 的推理策略——未来再用相似度检索。产物在查询未知之前就已固化，同一产物必须服务所有可能的下游任务。
本文的全部动机与对比基线都围绕这一范式展开，只有理解其'信息损失过早且不可逆'的缺陷，才能读懂读时策展的设计动机。
GRPO（组相对策略优化）
一种无需价值网络的强化学习算法：对同一输入采样一组 $G$ 个候选输出，用组内奖励均值作基线计算优势 $\hat{A}_i = r_i - \mathrm{mean}_j\, r_j$，再按策略梯度更新模型。因实现简单、稳定，被广泛用于 LLM 的 RL 后训练。
本文策展器正是用 GRPO 训练的，正文直接给出其损失函数 $\mathcal{L}_{\mathrm{GRPO}}$，不理解组相对优势就无法看懂训练流程。
信用分配（Credit Assignment）
强化学习的核心难题：当奖励到来时，如何把功劳或责任归因到具体的早期决策。写时记忆的困境在于，一次写入决策的价值可能要等很多任务之后相关查询出现才显现，形成长程延迟信用分配，SkillOS 被迫用任务分组制造学习信号。
本文的核心论点是'读时策展把信用分配坍缩为单步交互'——策展动作与奖励零时间间隔，这是理解其训练为何更简单的钥匙。
BM25 稀疏检索
基于词频与逆文档频率的经典稀疏检索算法，对查询与文档的词面重叠程度打分排序。本文只用它对任务描述（而非轨迹内容）建索引、取 top-k，保持检索轻量并与轨迹长度解耦，训练与测试阶段行为一致且不参与训练。
检索是流水线第一步，也是作者承认的潜在瓶颈；消融显示强制空检索会让 RL 版掉 14.8/15.2 SR，可见其承上启下的作用。
LLM-as-Judge（LLM 充当评审）
用 LLM 代替人工或程序化验证器来评判输出质量的做法。部署时任务真值标签不可得，本文让执行器模型自己判断任务是否成功完成，只有被判成功的轨迹才写入记忆库，以保证检索到的都是正向示范。
它决定了记忆库的构成质量，也是消融实验中'只存成功轨迹'与'存全部轨迹并附成败标签'对比的关键对象。
研究动机
现有智能体记忆系统几乎全部在写时策展：任务一结束就把轨迹蒸馏成固定产物——Reflexion 的言语反思、ExpeL 的自然语言洞察、AWM 的可复用工作流、Voyager 式可执行技能、ReasoningBank 的推理策略——未来再用相似度检索注入上下文。这带来两个根本代价。其一，信息损失过早且不可逆：一旦细节在存储时被丢弃，未来依赖它们的任务无法找回；其二，一份查询无关的固定产物必须服务多种未知下游任务，同一段家庭机器人交互轨迹对'加热物体'类任务是状态迁移模式，对'摆放物体'类任务却是放置策略，单一摘要无法两者兼顾。学习型写时策展器更面临长程信用分配难题：写入决策的价值可能许多任务之后才显现，SkillOS 因此被迫对相关任务分组制造延迟信号，消融显示分组是其主要性能来源。实证上，ReasoningBank 在 Qwen3-8B 执行器的 ALFWorld 上仅 55.7 SR（无记忆基线 47.9），WebShop 上仅 11.4 SR（基线 9.8），提升空间很大。
本文的目标是本文目标是从智能体生命周期层面重新设计记忆：不再在写入时决定'记住什么'，而是无损保留全部原始轨迹，把策展推迟到读取时刻——当前任务已知时，由一个记忆策展器联合读取任务描述与检索到的轨迹，按需合成紧凑的任务自适应载荷注入执行器上下文。由于载荷在产生它的同一任务上被立即消费，策展器可以直接用当次任务成功信号训练，把延迟效用问题坍缩为单步信用分配。量化目标非常明确：在 ALFWorld、WebShop、τ²-bench 三个智能体基准上超越所有写时基线（含 RL 训练的 SkillOS），相对最强基线分别取得 16.2、16.3、3.9 个绝对成功率点提升；效率上相对写时方法减少 50.3%–56.3% 输入 token 与 28.4%–31.4% 执行步数；并要求训练好的策展器无需重训即可迁移到更强的执行器模型。
与已有工作不同的是，本文的独特切入是对'何时策展'这一被忽视的维度发问：既有工作全在蒸馏什么、如何存储上做文章，作者却指出关键在于策展时机。认知科学认为情景记忆是重构性的而非回放性的，回忆由当前目标与线索塑形（Schacter & Addis, 2007），JITMEM 把这一原则工程化——记忆库退化为被动的情景存储，策展变成读取时的按需合成，同一条轨迹可为不同任务蒸馏出不同载荷。与最强对手 SkillOS 的本质区别有二：一是奖励即时性使 GRPO 只需任务原生奖励，无需评审模型打内容质量分、无需任务分组脚手架，训练设置反而更简单；二是策展器与执行器显式解耦，执行器全程冻结，一个策展器可服务多个执行器，而并发的 MemHarness 因策展与执行纠缠在单个模型中无法跨执行器迁移。
核心方法
直觉是'现学现卖'：既然不知道未来任务是什么，就什么都不丢，等任务真正来了再从原始经验中现提取需要的部分。系统由四个组件构成：存储原始轨迹的记忆库 $M_t$、检索器 $R$（BM25，仅索引任务描述、取 top-k）、可训练的记忆策展器 $\pi_\phi$、全程冻结的执行器 $\pi_L$，总体目标为 $\max_\phi \mathbb{E}[\sum_{t=1}^T r_t]$。每个任务走四步流水线：(1) 检索 $\hat{\xi}_t = R(x_t, M_t)$ 取出最相关的 k 条原始轨迹；(2) 策展 $p_t = \pi_\phi(x_t, \hat{\xi}_t)$ 合成任务自适应载荷；(3) 执行 $(\xi_t, r_t) = \pi_L(x_t, p_t)$，冻结执行器带着载荷求解任务；(4) 更新——执行器模型兼任 LLM-as-judge，仅判定成功的轨迹写入库作正示范。两条关键约束：载荷 $p_t$ 用完即弃、永不入库，只有轨迹本身进入存储；只有策展器可训练，检索器与执行器均固定，保证系统模块化且可单独评估记忆组件。
核心创新是把策展从写入时刻搬到读取时刻，这一时机转换带来三重本质变化。第一，任务自适应：策展器看见了当前任务 $x_t$，同一条存储轨迹能为'放热土豆进冰箱'提取加热/冷却的状态变化策略，为'放报纸上沙发'提取放置与验证策略，而写时产物在查询未知前就被不可逆地固定成单一框架。第二，信用分配坍缩为单步：载荷 $p_t$ 与其奖励 $r_t$ 之间时间间隔为零，GRPO 的分组优势 $\hat{A}_i = r^{(i)}_t - \mathrm{mean}_j\, r^{(j)}_t$ 直接可算，彻底消除 SkillOS 所需的任务分组与延迟回报机制，且只用任务原生奖励。第三，存储与策展彻底分离：记忆库保持零信息损失的原始轨迹流式增长，有损压缩被推迟到读取时按需定向进行。消融证明即使零训练的读时策展（JITMEM-base）也已追平或超越写时方法——如 WebShop 上 JITMEM-gemini 61.0 SR 对 SkillOS-gemini 41.0——说明任务自适应读时策展本身就是增益的主要来源，RL 训练只是进一步放大。
方法步骤详情
推理流水线四步如下。第一步检索：BM25 仅对任务描述（非轨迹内容）打分取 top-k，检索轻量且与轨迹长度解耦。第二步策展：输入为结构化提示——任务描述 $x_t$ 加上按排名拼接、以轻量分隔符隔开的 k 条原始轨迹；输出紧凑的自然语言载荷，包含三部分：识别最相关的过往经验、提取在类似任务上奏效的策略、给出针对本任务的具体行动建议。第三步执行：载荷置于冻结执行器提示最前，执行器据此求解并产出新轨迹。第四步更新：执行器模型兼任 LLM-as-judge，判定成功才将轨迹入库。训练用 GRPO：每个采样任务先检索 $\hat{\xi}_t$，策展器生成 G=8 个候选载荷，冻结执行器逐一尝试并返回真值奖励（ALFWorld/τ²-bench 为二值成功，WebShop 为连续得分），按损失 $\mathcal{L}_{\mathrm{GRPO}} = -\frac{1}{G}\sum_{i=1}^G \hat{A}_i \log \pi_\phi(p^{(i)}_t \mid x_t, \hat{\xi}_t)$ 更新（略去标准差归一化）。策展器由 Qwen3-8B 初始化，训练 100 步，学习率 $1\times10^{-6}$，批大小 32；训练库固定——基础执行器跑训练集一次、按真值标签保留成功轨迹；100 步后可选分阶段库刷新再训 50 步。测试从空库冷启动，按批流式更新（同批共享库状态），真值验证器计分，任务成功判分不泄漏进库。
技术新颖性
与相关工作的差异化定位清晰。相对启发式写时方法（ReasoningBank、MemP）与学习型写时方法（Memory-R1、Agentic Memory、SkillOS）：JITMEM 首次证明读时任务条件化策展本身就足以超越 RL 训练的写时策展——零训练的 JITMEM-gemini 在 WebShop 达 61.0 SR，而同用 Gemini-2.5-Pro 的 SkillOS-gemini 仅 41.0。相对读时同类工作：Synapse 检索完整轨迹做示例但不按任务蒸馏；MemToolAgent 只自适应检索数量、条目本身写时已固化；Decocted experience 逐条查询无关蒸馏且策略仅靠提示；SkillTTA 从不增长的预构池合成；并发的 MemHarness 虽同样在读取时策展，但把策展与执行绑进单个 GRPO 策略，训练后无法跨执行器迁移，JITMEM 则显式解耦并支持迁移（差距仅 1.4 SR）。消融进一步表明 RL 学到的是'如何蒸馏检索经验'这一真实能力：强制检索为空后性能崩塌最多 14.8/15.2 SR，退化到未训练水平；移除任务条件化后训练版掉 11.4 SR，且环境特定程序性语义（如'先走到台灯旁再检查碗'）从优化中自发涌现。
实验结果
主实验覆盖三种执行器。Qwen3-8B 执行器：JITMEM 在 ALFWorld 达 77.4 SR（最强基线 SkillOS 61.2，+16.2），WebShop 32.8 SR / 61.1 分（SkillOS 16.5 / 40.6，+16.3 / +20.5）。Gemini-2.5-Pro 执行器：ALFWorld 86.2（+6.0），WebShop 50.5 SR（+9.2）；换成 Gemini-2.5-Pro 当策展器（JITMEM-gemini）WebShop 更达 61.0 SR / 72.1 分，远超 SkillOS-gemini 的 41.0，说明零训练读时策展已经足够强。GPT-5.4 执行器：ALFWorld 86.7（+8.8），WebShop 45.4 SR（+10.9）；甚至 Qwen3-8B 策展的 JITMEM-base 79.3 反超 GPT-5.4 策展的 ReasoningBank 77.9，证明增益来自读时策展而非策展模型强度。τ²-bench 仅测无训练变体：JITMEM-gpt 宏平均 73.4（+3.0）、微平均 75.6（+3.9），Telecom 域提升最大 +11.0，Airline/Retail 域与基线持平，提示读时策展的价值在程序性指导合成而非简单事实检索。跨执行器迁移（Table 3）：用 Qwen3-8B 执行器训练的策展器迁移到 GPT-5.4 得 86.7 SR，距直接用 GPT-5.4 训练的 88.1 仅 1.4。效率（Table 4，ALFWorld，GPT-5.4）：JITMEM 输入 9.8K token、输出 0.87K、11.6 步，对比 ReasoningBank 19.7K/16.2 步、SkillOS-base 22.4K/16.9 步，相对写时方法输入 token 降 50.3%–56.3%、步数降 28.4%–31.4%。消融（Figure 2）：移除任务条件化使训练版掉 11.4（ALFWorld）/10.4（WebShop）；全存带标签轨迹掉 1.5–2.9/2.3–3.4；存前蒸馏掉 1.7–2.9/6.8–8.2；强制空检索掉 14.8/15.2。Table 5：分阶段库刷新最多再 +2.8 SR，测试库预热收益可忽略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld（文本具身控制，140 测试任务，Qwen3-8B 执行器） | 成功率 SR | JITMEM 77.4 | SkillOS（RL 训练写时策展）61.2 | +16.2 绝对百分点 |
| WebShop（网页购物，500 实例，Qwen3-8B 执行器） | 成功率 SR | 32.8 | SkillOS 16.5 | +16.3 |
| WebShop（Qwen3-8B 执行器） | 平均得分 Score | 61.1 | SkillOS 40.6 | +20.5 |
| ALFWorld（Gemini-2.5-Pro 执行器） | 成功率 SR | 86.2 | SkillOS 80.2 | +6.0 |
| WebShop（Gemini-2.5-Pro 执行器） | 成功率 SR | 50.5（JITMEM-gemini 零训练版达 61.0） | SkillOS 41.3（SkillOS-gemini 41.0） | +9.2（零训练版 +20.0） |
| ALFWorld（GPT-5.4 执行器） | 成功率 SR | 86.7 | 最强基线 ReasoningBank（GPT-5.4 策展）77.9 | +8.8 |
| WebShop（GPT-5.4 执行器） | 成功率 SR | 45.4 | 最强基线 MemP 34.5 | +10.9 |
| τ²-bench（对话式工具使用，GPT-5.4 执行器） | 宏平均 SR | JITMEM-gpt 73.4（Telecom 域 72.6） | ReasoningBank（GPT-5.4 策展）70.4（Telecom 61.6） | +3.0（Telecom +11.0） |
局限与改进
作者承认的局限：其一，BM25 检索器过于简单，记忆库变大变杂后可能成为瓶颈；其二，策展器为每个任务增加一次额外 LLM 调用；其三，载荷格式按基准手工设计、固定不变；其四，τ²-bench 缺少标准训练集，只能评估无训练变体，RL 版在对话式工具使用上的效果未知。我的补充观察：记忆库无上限增长带来存储与检索可扩展性问题，文中未研究库压缩或遗忘机制；LLM-as-judge 判定入库会引入噪声，误判会把失败轨迹当正示范污染检索池；冷启动效应真实存在——空库起步使早期任务几乎无记忆可用，而 warm-start 实验显示预填 100 条训练轨迹收益可忽略，说明问题只是被'容忍'而非解决；性能依赖任务顺序与批次组成，需 3–4 次随机排序平均才稳定；训练库与部署库存在分布偏移（基础执行器轨迹 vs 策展增强轨迹），分阶段刷新收益有限（最多 +2.8 SR）；在 Airline/Retail 域没有超越方差的增益，对强执行器已擅长的简单事实检索任务帮助有限。
独立分析的弱点
独立弱点分析。第一，检索语义鸿沟：BM25 只做词面匹配且仅索引任务描述，当任务表述差异大（改写、跨域迁移）时召回失败，策展器便无米下炊——强制空检索实验显示性能崩塌到未训练水平，改进方向是混合检索（BM25+稠密向量）或让检索器与策展器端到端联合训练。第二，推理成本翻倍：每任务多一次策展调用加一次 judge 调用，高吞吐生产场景延迟与费用敏感，可蒸馏小型策展器、或对高度相似任务缓存复用载荷。第三，二值质量门槛过于粗糙：轨迹要么入库要么丢弃，失败轨迹中的'避坑信息'全部损失；虽然消融显示全存带标签反而更差（掉 2.3–3.4 SR），但按失败原因结构化存储、检索时按需注入反例，是值得探索的中间路线。第四，载荷格式手工固定，迁移到新环境需重写提示模板，可用元提示或自动格式搜索降低适配成本。第五，批量流式协议下同批任务共享库状态，批内后执行的任务会检索到批内先前的轨迹，可能引入任务间相互干扰，更细粒度的在线更新或去污染机制值得研究。
未来方向
作者明确提出的方向有三：联合优化载荷格式而非手工设计；探索更强检索器以突破 BM25 瓶颈；把策展从每任务一次扩展到轮次或步级适应，即随新观察到来持续更新载荷——这与 in-session 工作记忆管理（Sculptor、MemSearcher 等）自然衔接。基于本文成果可延伸的研究：读时策展与轻量写时压缩分层结合——长期记忆存摘要索引、原始轨迹归档冷存储，兼顾可扩展性与信息保真；多智能体共享记忆库下的策展问题，处理经验冲突、去重与隐私；刻画记忆库规模的规模效应曲线，确定何时必须引入库压缩与遗忘；把'即时奖励训练策展策略'的框架推广到过程奖励建模、工具学习等其他长程决策场景；在编码助手、客服自动化等真实生产 agent 上验证端到端用户指标而非基准 SR，检验载荷质量与任务延迟的真实权衡。
复现评估
复现评估：论文来自 Salesforce AI Research，附录 A 给出完整提示模板（策展、执行、写时蒸馏）与检索 top-k 设定，附录 B 提供 RL 训练曲线，正文详列训练超参（GRPO 100 步、学习率 $1\times10^{-6}$、批大小 32、组大小 8、Qwen3-8B 初始化）与评估协议（3–4 次随机任务排序的均值±标准差）；三个基准 ALFWorld（140 测试任务）、WebShop（500 实例）、τ²-bench（airline/retail/telecom 三域）均公开可得，环境搭建门槛不高。但正文未见明确的开源代码或模型权重链接，需以 arXiv 页面后续声明为准。算力门槛较高：RL 训练每步批 32 任务 × 组 8 候选 = 256 次执行器交互，虽然训练期用 Qwen3-8B 执行器控制成本，仍需多卡 GPU 支撑策展器的 GRPO 更新；若要复现 GPT-5.4 / Gemini-2.5-Pro 执行器的完整结果表，将产生可观的 API 费用。总体复现难度中等偏高：协议清晰、数据公开，瓶颈在 RL 训练算力与 API 预算，而非方法理解。
论文图表
