智能体记忆蒸馏：以分层教师记忆赋能小型 LLM 智能体 Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory

完整流程六步。第一步，教师轨迹收集：教师在任务集 $S$ 上逐任务执行（每任务上限 40 步），留下成功轨迹集合 $D_T^+$（AppWorld 上 GPT-5-mini 成功率 50%，168 个测试任务对应充足的成功样本供抽取）。第二步，生成工作流记忆：教师 LLM 对每条成功轨迹写一段 120 词以内的策略洞察，必须以 app.function_name 形式点名关键 API（如 venmo.login、supervisor.show_account_passwords），涵盖前置条件、决策规则、验证线索与失败模式，并把所有具体值（用户 ID、凭证、文件路径）替换为 、、 等类型化占位符以保证可复用性；得到条目 $m^{wf}_i = (q_i, ins_i)$（查询 + 洞察），用 text-embedding-3-small 编码入库。第三步，生成子任务记忆：教师 LLM 把轨迹切分为语义连贯的段（建议不超过六段，可辅以 API 调用边界等规则提示），每段记录标签 $\ell_{i,k}$（≤5 词动词短语，如 "authenticate to Venmo"）、一句描述 $d_{i,k}$ 和带返回观测的执行示例 $e_{i,k}$，即 $m^{st}_{i,k} = (\ell_{i,k}, d_{i,k}, e_{i,k})$。第四步，生成函数记忆：从成功轨迹抽取每次函数调用，按函数名 $f_{i,j}$ 索引，存教师用例 $E_{i,j}$（含调用上下文与返回观测），文档丰富的基准（AppWorld）额外附加参数与响应 schema，得 $m^{fn}_{i,j} = (f_{i,j}, E_{i,j}, doc(f_{i,j}))$。第五步，主动注入：任务开始时以指令为查询检索 top-1 工作流条目；学生分解器 $\pi_S^{decomp}$ 把任务拆成至多六个子任务标签，每个标签独立检索 top-1 子任务段并按标签跨子任务去重，两类内容一起写入系统提示词。第六步，被动注入与执行循环：每步工具调用返回错误时，从错误信息提取失败函数名，在 $\mathcal{M}^{fn}$ 中按名查找（同名多条时用当前任务指令与各记录推理文本的余弦相似度排序），top-1 以提示块附加到错误信息后；循环至任务完成或达到 40 步上限。所有检索设最低相似度阈值 $\delta$，主实验统一 $k=1$，学生用 vLLM 部署、Qwen3 关闭 thinking 模式以保证公平。

技术新颖性有五点。其一，问题设定新：这是首个系统化的教师→学生记忆蒸馏研究，明确把师生能力鸿沟当作一等约束，此前所有记忆方法（ReasoningBank、MemP、SASM）均假设同模型自产自用。其二，免训练：与 SAD、Agent Distillation、SCoRe 等需要梯度更新的蒸馏路线相比，AMD 只操作上下文，即插即用于任何黑盒小模型，部署成本几乎为零。其三，分层设计有消融支撑而非先验假设：Subtask 记忆贡献最大增量（Qwen3-4B 在 AppWorld 上 WF 单独 22.02% → WF+ST 47.02%，跳升 25 个百分点），三类记忆缺一不可。其四，表征与注入的双通道设计并均有对照实验：规划用散文、执行用代码（Table 4），规划事前给、纠错事后给（Figure 2、Algorithm 1），每个设计选择都拿出了数据。其五，负结果同样有信息量：朴素迁移无效（Figure 1B）、学生自产记忆接近 zero-shot（Table 2 的 Student Memory 行仅 16.07%）、检索条目越多越糟（Figure 5 中 Subtask 记忆 k=1→5 从 49.40% 跌至 33.34%），共同刻画了小模型记忆利用的能力边界，为后续工作标定了问题的真实难度。

弱点一：记忆静态冻结。学生测试时的成功经验全部丢弃，长期使用无法自我改进。改进方向是引入在线更新机制：让学生自己的成功轨迹（经质量过滤或与教师记忆去重后）回写记忆库，或按时间/效用衰减淘汰过时条目，形成师生混合、可进化的记忆系统。弱点二：教师-学生兼容性只能靠网格搜索式实验发现（Qwen3-4B 配 GPT-5-mini 优于配 GPT-5.5），缺少可计算的选择标准。改进方向是把兼容性形式化为可度量指标，例如用学生 zero-shot 能力画像（指令跟随长度、代码执行成功率）与记忆抽象层级、条目长度的匹配度来预测最优教师，先跑少量探针任务再定教师，避免全量试错。弱点三：子任务分解由学生单次前向生成、无验证环节，分解错误会连锁导致检索错误进而执行错误。改进方向是给分解加自检（用检索到的工作流记忆校验分解的完整性与顺序合理性）或多次采样后按一致性筛选。弱点四：基准特定工程量大——Workflow 生成、子任务切分、学生分解三套 prompt 都要按基准手调，且 AppWorld 分解 prompt 还硬编码了登录先验。改进方向是设计基准无关的统一 prompt 模板，或让教师从环境 API 文档自动归纳切分规则。弱点五：个别模型出现加函数记忆反而降分的异常（LLaMA3.1-8B 在 AppWorld 上 WF+ST 30.36% → WF+ST+FN 27.38%），说明错误恢复时的额外上下文对弱指令跟随模型是负担。改进方向是训练轻量门控网络判断是否注入，或把函数记忆压缩为单行调用签名加一句要点。

作者提出的方向：自适应教师选择（为给定学生自动确定最合适的教师）；把框架推广到多模态智能体环境与开放式代码生成任务；在线记忆适应（吸收学生测试时经验、应对分布漂移）。基于本文成果可延伸的方向：多教师集成蒸馏——从多个教师收集互补轨迹，按子任务或 API 域去重合并，甚至动态决定每个子任务查询哪个教师；课程化蒸馏——训练初期以低抽象级记忆（函数级）为主，随学生熟练度提升逐步引入高层策略，与 teacher assistant 蒸馏的思想呼应，可能进一步压低 1.7B 级学生的使用门槛；与参数高效微调结合——先用 AMD 免训练冷启动，再用学生自产的成功轨迹做 LoRA/SFT，形成"记忆预热 + 参数固化"两段式流程，验证两种迁移范式的可加性；跨域迁移规律——系统检验同一教师记忆库在任务族之间迁移的衰减曲线，与其团队此前的 Memory Transfer Learning 工作衔接；理论层面，把能力鸿沟与最优记忆粒度、表征形式的关系形式化，从学生上下文利用效率出发预测给定容量的最优层级组合，让 Table 3/Figure 4 的经验现象获得解释框架。

复现条件总体较好。学生模型全部开源可得（Qwen3-4B/8B、Gemma4-E4B、Llama3.1-8B，均在 HuggingFace），用 vLLM 部署即可，单卡到双卡级算力足够推理；三个基准公开：AppWorld test_normal 168 任务、BFCL V3 multi-turn base 200 任务、ToolSandbox base 129 场景。需要付费 API 的部分有两块：教师 GPT-5-mini 跑全部任务收集轨迹（每任务上限 40 步）加上记忆抽取的 LLM 调用，以及 OpenAI text-embedding-3-small 的嵌入编码，成本中等但可估算。实现细节论文给得相当完整：附录 Algorithm 1 提供推理伪代码，Figure 13-15 给出三个核心 prompt 全文（Workflow 生成、子任务切分、学生分解），并明确了 k=1、相似度阈值 δ、跨子任务去重、Qwen3 关闭 thinking、每实验重复两次取平均等关键配置。项目主页 agent-memory-distillation.github.io 已存在，但正文未明确承诺开源代码仓库，若代码未放出则需按论文重写整个 pipeline。整体复现难度评估为中等：无训练环节，主要工程量在轨迹收集、三类记忆抽取与检索注入逻辑的搭建；需要特别小心的是 prompt 与表征格式——Table 4 显示表征选择可造成 20 个百分点以上的差异（子任务记忆纯文本 23.21% vs 代码 49.40%），建议严格照搬附录模板并在自己环境下先跑通 Qwen3-4B + AppWorld 这一增益最大的组合做 sanity check。