Harness–模型协同的长时程持续学习 Harness-Model Collaboration for Long-Horizon Continual Learning
经验卡外部记忆加经验条件化LoRA持续微调，兼顾快速复用与长期保留
前置知识
持续学习与灾难性遗忘
持续学习指模型在数据流中顺序学习多个任务或分布，而非一次性联合训练。灾难性遗忘是其核心难题：在新分布上微调会覆盖旧参数，导致旧任务性能崩塌，如本文实验中 AgentTuning 在 ScienceWorld 上从 26.24 跌至 3.13。常见对策包括历史回放（replay）、参数保护与多保留锚点。
本文的核心评估维度就是域内/跨域持续学习中的适应（acquisition）与保留（retention）权衡，理解遗忘机制才能看懂 HaMo 为何要同时做外部记忆与回放微调。
Harness 与模型层适应
Harness（外壳）是包袹 LLM 的 agent 运行框架，负责提示组装、工具调用、外部记忆与检索等，不改动模型权重；模型层适应则指用历史轨迹数据继续微调模型参数本身。两者对应知识的非参数（快，即时生效）与参数（慢，持久但昂贵且有遗忘风险）两种沉淀途径。
论文标题即 Harness–Model 协同，整个方法的分层设计与实验对照（Base+Harness 对 Model only）都建立在这对概念之上。
LoRA 与参数高效微调
LoRA 冻结原模型权重 $W_0$，只训练低秩增量，即 $W=W_0+\Delta W(\theta)$，可训练参数量级远小于全模型。本文用 rank $r=16$、缩放 $\alpha=32$ 的单个 adapter，在阶段间按 $\theta^{init}_t=\theta_{t-1}$ 链式继承，既不合入 backbone 也不维护多个任务 adapter，保持固定参数预算。
HaMo 模型层的所有持续学习都发生在这个单一 LoRA adapter 上，理解其机制才能看懂适配器演化与能力保留的关系。
行为克隆（Behavioral Cloning）
行为克隆是模仿学习的一种：给定专家轨迹中的状态–动作对，最大化专家动作在当前上下文下的条件概率，如本文损失 $\mathcal{L}_t(\theta)=-\frac{1}{|B_t|}\sum_{\tau_i\in B_t}\sum_k \log\pi_\theta(a_{i,k}\mid g_i,o^0_i,h_{i,k},E_i)$，文本动作按 token 分解。它不需要环境奖励，训练稳定但上限受专家数据质量限制。
HaMo 的参数更新目标就是“经验条件化的行为克隆”，损失中注入的检索经验 $E_i$ 是方法成立的关键。
贪心覆盖最大化与膝点
覆盖问题给每个候选一个查询集合 $R_j$，目标是选少量候选使并集 $F(S)=\bigcup_{j\in S}R_j$ 尽量大，边际收益 $\Delta(j\mid S)=R_j\setminus\bigcup_{s\in S}R_s$ 递减，贪心算法有近似保证。膝点（knee point）指收益曲线上边际收益骤降的转折点，本文用它决定每阶段选多少条轨迹进训练。
检索覆盖率选择是 HaMo 筛选训练子集、控制监督冗余的核心技术，不懂贪心+膝点就读不懂 Algorithm 1。
三大文本交互基准
ScienceWorld 考察科学实验类任务的物体操作与推理，用任务进度分记分；ALFWorld 将家居动手任务转为文本环境，指标为任务完成成功率；WebShop 模拟按约束搜索、浏览并下单购物，用环境奖励（保留部分分）。三者均限 50 轮交互，分数统一缩放到 0–100。
全部实验在这三个环境上展开，它们动作空间与任务语义差异大，是检验跨域适应与保留的舞台。
研究动机
长时程智能体（尤其是反复执行信息检索、商品搜索、交易等多步工作流的 Web agent）会持续产生可复用的程序性知识，但现有系统要么走模型级适应，要么走外壳级适应。模型级方法如 AgentTuning 和 ETO 用历史轨迹微调参数，在本文的跨域漂移下遗忘严重：它们在第一阶段 ScienceWorld 上分别拿到 26.24 和 20.16 分，学完后续域后却崩跌至 3.13 和 3.20 分，甚至低于未微调的 Base；外壳级方法把经验存外部库可立即复用，但模型本身不会变强，Base+Harness 在 ScienceWorld 四阶段平均仅 38.34 刈，与 Base 的 37.55 几乎持平，触及性能天花板。两种机制各自为战，无法同时满足快速复用与持久所学。
本文的目标是本文目标是构建让长时程 agent 能从交互中持续学习的协同框架 HaMo：在外壳（harness）层维护一个持久的策略级经验库，让新知识不经重训就能立即被检索复用；在模型层用选出的代表性轨迹加历史回放持续更新单个 LoRA 适配器，让模型学会解释、落地并执行检索到的策略。验收目标是在 ScienceWorld、ALFWorld、WebShop 三个文本环境的域内与跨域持续学习中同时改善适应与保留：跨域终态在三域分别达 52.43、66.79、59.64 刈，相对 Base 提升 14.88、22.26、13.96 刈，且首学域 ScienceWorld 在三阶段后回到 52.43 刈，几乎零遗忘。
与已有工作不同的是，既有工作分两条线：外部记忆线（语言反馈、技能、工作流记忆、经验压缩、条件记忆等）不改参数地复用经验；参数化持续学习线用回放、参数保护、多保留锚点对抗遗忘。但没有工作系统地决定“哪些经验应留在外部可检索、哪些应驱动参数更新”。本文的独特切入角度是时间尺度互补：单条轨迹蒸馏出的策略可能已对新任务有用但太特定、不值得立即改参数，先存外部；当相关策略跨任务反复出现，才提供更强监督内化到模型。进一步用检索覆盖率挑选紧凑互补的轨迹子集，避免对近乎重复的策略重复训练。
核心方法
HaMo 的直觉是：外壳负责“记得”，模型负责“会用”。外壳层把每条专家轨迹 $\tau_i$ 用 LLM 蒸馏成解法大纲 $z_i$，与任务描述 $g_i$ 和初始观测 $o^0_i$ 组成经验卡 $c_i=(g_i,o^0_i,z_i)$，积累到持久记忆 $M_t=M_{t-1}\cup C_t$；再用检索覆盖率贪心选出互补的锚点轨迹集 $A_t$。模型层保持 backbone 冻结，只持续更新单个 LoRA 适配器（$r=16$，$\alpha=32$），在 $B_t=A_t\cup B^{old}_t$（新锚点+历史回放）上优化经验条件化行为克隆损失 $\mathcal{L}_t(\theta)=-\frac{1}{|B_t|}\sum_{\tau_i\in B_t}\sum_k \log\pi_\theta(a_{i,k}\mid g_i,o^0_i,h_{i,k},E_i)$。训练与推理共享同一条件化接口：推理时由 $E=\text{Retrieve}((g,o^0),M_t)$ 注入匹配经验，动作采样自 $\pi_{\theta_t}(\cdot\mid g,o^0,h_k,E)$。
核心创新是“经验条件化适应”（experience-conditioned adaptation）。传统轨迹监督学的只是从交互上下文到动作的直接映射，换个任务就忘；HaMo 在训练时额外条件化于从外壳检索到的策略级经验 $E_i$，迫使模型学习一种可迁移的条件执行能力——给定一条高层策略，如何在不同对象、观测、状态和交互历史下将其落地。这与 EvolvingAgent 等只做外部经验演化、与参数化持续学习只做防遗忘有本质区别：HaMo 显式协调了“策略留在外部”与“执行能力内化到参数”两个时间尺度。配套的覆盖率选择则解决持续监督的冗余：一条经验的价值由它能支持多少其他轨迹（即 $R_j$ 的大小）及与已选集合的互补度（$\Delta(j\mid S)$）来衡量，而非简单频率或轨迹质量。
方法步骤详情
第一步蒸馏：对每条新轨迹 $\tau_i$，用 LLM 抽取解法大纲 $z_i$，生成经验卡 $c_i=(g_i,o^0_i,z_i)$ 并入库 $M_t=M_{t-1}\cup C_t$。第二步覆盖选择：嵌入卡片文本，在当前阶段卡集内做留一检索取前 3 近邻 $\mathcal{N}_3(i)$，反向统计 $R_j=\{i\mid j\in\mathcal{N}_3(i)\}$；贪心选择使总覆盖 $F(S)=\bigcup_{j\in S}R_j$ 最大化，每步取边际增益最大的候选，用懒优先队列加速；由覆盖饱和曲线的膝点得训练预算 $N^*_t$，映射回源轨迹得锚点集 $A_t$。第三步适配：采样历史回放得 $B^{old}_t$，在 $B_t=A_t\cup B^{old}_t$ 上以学习率 2e-4 训练 3 个 epoch，优化经验条件化克隆损失，adapter 按 $\theta^{init}_t=\theta_{t-1}$ 继承。第四步推理：由 $g,o^0$ 检索经验 $E$ 构造初始对话，最多 50 轮，温度 0.7。可选第五步：训练后释放已内化轨迹的记忆条目（实验中禁用）。
技术新颖性
技术新颖性体现在三处。其一，检索覆盖率选择机制：用留一交检索反向统计每张经验卡能潜在支持多少其他轨迹（$n_{hits}(j)=|R_j|$），再要求新候选带来不重叠的查询覆盖 $\Delta(j\mid S)$，属贪心次模式选择，并用覆盖饱和曲线的膝点自动定每阶段训练预算——据所知是首次用“可检索支持度”而非轨迹质量或频率来筛选持续学习的训练子集。其二，单 LoRA adapter 连续演化而非任务专属 adapter 或合入 backbone，可训练参数预算恒定，且未被选中训练的经验不会从记忆中删除，外部可用性与参数内化解耦。其三，训练与推理共享“用户请求+初始观测+注入经验”的初始对话格式，使内化的条件执行能力在推理时真正被激活。
实验结果
域内四阶段（ScienceWorld）：Qwen3-8B 上 HaMo 从 38.13 升到 60.49，平均 52.22，比 Base+Harness（38.34）高 13.88 分，终态较 Base（37.55）高 22.94 分；AgentTuning 与 ETO 平均仅 11.78 和 16.83。Qwen3-14B 平均 53.09，超 Base+Harness（40.65）12.44 分。跨域 S→A→W（Qwen3-8B）：终态三域 52.43、66.79、59.64，较 Base 提升 14.88/22.26/13.96 分，较最强基线再高 13.02/19.71/5.16 分；ScienceWorld 逐段 52.43→54.19→52.43 几乎零遗忘，AgentTuning/ETO 则跌至 3.13/3.20。消融：Model only 在 S 上从 53.98 崩落至 24.57，HaMo 高出 27.86 分，但 Model only 在 A 上 69.34 略胜 66.79。顺序：A→W→S 总分 188.41 最高；W→S→A 中 S 从 55.19 降至 47.42，遗忘缓解而非免疫。规模：1.7B/4B/8B 均有效且越大越强。案例：WebShop 约束核验 HaMo 100 分对 Base 25 分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 域内持续学习：ScienceWorld 四阶段平均（Qwen3-8B） | 任务进度分（0–100，四阶段平均） | 52.22（从 38.13 升至 60.49） | Base 37.55；Base+Harness 38.34；AgentTuning 11.78；ETO 16.83 | 较 Base+Harness +13.88 分，较 Base 终态 +22.94 分 |
| 域内持续学习：ScienceWorld 四阶段平均（Qwen3-14B） | 任务进度分（0–100，四阶段平均） | 53.09（从 38.61 升至 61.15） | Base 39.95；Base+Harness 40.65；AgentTuning 32.58；ETO 33.29 | 较 Base+Harness +12.44 分，较 Base 终态 +21.20 分 |
| 跨域持续学习 S→A→W：ScienceWorld 终态（Qwen3-8B） | 任务进度分（0–100） | 52.43（三阶段 52.43→54.19→52.43，几乎零遗忘） | AgentTuning 从 26.24 跌至 3.13；ETO 从 20.16 跌至 3.20 | 较 Base +14.88 分，较最强非 HaMo 基线 +13.02 分 |
| 跨域持续学习 S→A→W：ALFWorld 终态（Qwen3-8B） | 任务完成成功率（0–100） | 66.79（学 WebShop 后从 70.08 小降） | Base+Harness 类方法最高约 47.08（由差值反推） | 较 Base +22.26 分，较最强非 HaMo 基线 +19.71 分 |
| 跨域持续学习 S→A→W：WebShop 终态（Qwen3-8B） | 环境奖励（0–100，保留部分分） | 59.64 | Base 45.68；Base+Harness 终态仅 43.42（低于 Base） | 较 Base +13.96 分，较最强非 HaMo 基线 +5.16 分 |
| 约束核验案例：焦糖味巧克力威化 4.41 盎司 < $60 | 单任务环境奖励（0–100） | HaMo 100（验证口味选项、检查 $41.99 < $60，5 步完成） | Base 25（误买榛子味产品且未选规格，3 步购买） | +75 分 |
局限与改进
作者承认 HaMo 不能完全阻止灾难性遗忘：W→S→A 顺序中 ScienceWorld 从 55.19 降至 47.42，保留程度依赖于域顺序，结论只能是“部分缓解”。跨域中 ALFWorld 从 70.08 降到 66.79，说明保留仍有代价，且 Model only 在 ALFWorld 终态反而更高（69.34 对 66.79），HaMo 并非全维度占优，主要优势是适应–保留的更好平衡。我的补充观察：组件消融只对比 Harness only 与 Model only，无法单独分离锚点选择、回放、经验条件化各自的贡献；训练时用含解法大纲的完整卡片做检索，推理时只有 $g$ 和 $o^0$，查询分布存在差异；可选的记忆释放反馈机制在所有实验中禁用，属未验证设计；推理温度 0.7 无消融，收益是否部分来自解码选择存疑；无重复跑分与方差报告，且三个基准分数语义不同，三域分数求和只是描述性统计。
独立分析的弱点
第一，检索相似性不等于适用性：案例研究自承检索到的引导与参数适应的贡献无法分离，若记忆中存在过时或错误的策略卡，条件化生成可能被误导，改进方向是训练“何时采纳/拒绝/刷新”经验的元控制器，结合检索置信度与策略前置条件检查。第二，经验卡质量完全依赖蒸馏用 LLM，论文未分析蒸馏错误的传播效应，可引入蒸馏一致性校验或多 LLM 投票。第三，覆盖选择只在当前阶段卡片集内计算，跨阶段的策略冗余不被去重，可改为全局记忆库上的覆盖与定期重选。第四，行为克隆只学专家轨迹，无负向或偏好信号，若专家轨迹存在伪最优行为会被原样内化，可与 DPO/强化学习式经验条件化结合。第五，所有结论基于单次运行、单一 S→A→W 类循环流与纯文本环境，真实动态网页与更长任务流的扩展未验证，诚信度受限。
未来方向
作者提出两个方向：一是自适应经验使用——学习何时检索策略、何时拒绝不适用的经验卡、何时在执行中刷新引导，结合检索置信度、观察到的任务进度与策略前置条件检查，使 agent 能识别误导性经验而非盲目相信检索相似度；二是更强评估与更广环境——对回放、锚点选择、经验条件化、解码温度做受控消融，重复跑分与更长任务流以评估方差与持久遗忘，测量性能–存储成本权衡，并扩展到多模态 agent 与动态网络环境。在此基础上可以延伸：给覆盖贪心选择建立次模函数近似保证与理论分析；将经验条件化目标从克隆扩展到强化学习，用环境奖励而非专家动作内化策略；探索与条件记忆、工作流记忆的统一记忆架构，让外部记忆的写入/释放与参数更新节奏自动联动。
复现评估
可复现性中等偏上。有利条件：三个基准（ScienceWorld、ALFWorld、WebShop）均为公开的纯文本环境，主干 Qwen3-1.7B/4B/8B/14B 全部开源；Algorithm 1/2 给出完整伪代码，Table 2 列明参数：单张 A800 80GB、每阶段 3 个 epoch、学习率 2e-4、LoRA $r=16$ $\alpha=32$、推理温度 0.7、每局最多 50 轮、覆盖选择取前 3 邻居、膝点锚点预算，记忆释放禁用。主要障碍：正文未说明代码是否开源，经验卡蒸馏的 prompt 模板、嵌入模型与向量检索库的具体实现、回放采样量与膝点检测算法细节均未给出；且交互式评估每局 50 轮、多方法多阶段多域，算力与时间成本不低（14B 级别需更高显存）。无重复跑分意味着复现结果可能有波动，建议复现时先在 1.7B 规模上跑通小流程再扩大。
论文图表
动机对比图：左侧为仅外壳的经验复用，知识沉淀在外部记忆中，复用快但性能倾向平台；右侧为仅模型的持续参数更新，能内化但不稳定、易遗忘；中间的 HaMo 路径同时保持外部策略库与参数内化，在域内稳步提升、域间漂移下更好保留。
它是全文论点的起点：读者只有先理解单一机制的两种失效模式（平台化与遗忘），才能理解为何必须让外壳与模型协同而非二选一。
专门追踪首学域在整个流程中的分数曲线：S→A→W 中 ScienceWorld 稳在 52.43；A→W→S 中 ALFWorld 从 66.79 升到 73.72；W→S→A 中 WebShop 从 54.99 升到 60.43，但该顺序下的 ScienceWorld（非首学域保留对象）从 55.19 降到 47.42。
将“保留”从终态快照细化为逐阶段曲线，直观显示遗忘被缓解而非免疫，是局限性讨论的关键证据。
在 1.7B、4B、8B 三个规模上分别展示学完 S、A、W 后的分数：三个规模在整个 S→A→W 流程中都有效，模型越大对新学域的获取越强，8B 整体最强。
验证方法不依赖特定模型容量，对想在资源有限时用小模型复现或落地的读者很重要。
持续适应伪代码：对每个阶段蒸馏卡片入库 $M_t$，在当前卡集内做留一交 top-3 检索得 $R_j$，贪心选择直到边际覆盖为零并记录覆盖曲线，取膝点定预算 $N^*_t$ 得锚点集 $A_t$；再采样回放集，对每条轨迹检索或匹配经验 $E_i$、配对专家动作，以经验条件化克隆目标训练 3 个 epoch，adapter 从上一阶段继承。
方法主体的精确定义：覆盖贪心、膝点预算、回放与经验配对的执行细节都在这里，是实现层面的核心参照。
推理伪代码：仅用任务 $g$ 与初始观测 $o^0$ 作查询从 $M_t$ 检索经验 $E$，构造初始对话后循环采样动作 $a_k\sim\pi_{\theta_t}(\cdot\mid g,o^0,h_k,E)$（温度 0.7），执行环境步并追加历史，最多 50 轮或提前终止。强调查询不需要专家轨迹、真值大纲或未来观测。
说明训练/推理共享条件化接口且推理时信息可得，回应了“推理时哪来的经验查询”这一关键疑问。