OPD-Evolver：通过在线策略蒸馏培养整体智能体进化器 OPD-Evolver: Cultivating Holistic Agent Evolver via On-Policy Distillation

方法分为四个主要步骤。步骤 1：快循环的检索和选择。给定任务 $x_t$ 和环境元数据 $e_t$，形成查询 $z_t = [x_t; e_t]$，通过嵌入相似度从每个层级检索前 50 个候选：$C_{\ell t} = \text{TopK}_{m \in M_{\ell t}} \text{sim}(\phi(z_t), \phi(m))$。然后选择器将 $C_t$ 压缩为记忆上下文 $S_{\ell t} = \text{Sel}^\ell_\theta(x_t, C_{\ell t})$，$S_t = \bigcup_{\ell \in L} S_{\ell t}$，$c_t = \text{Fmt}(S_t)$，其中 $\text{Fmt}$ 将选定记忆渲染为文本提示上下文。步骤 2：快循环的执行和写入。智能体 $\pi_\theta$ 基于 $c_t$ 和部分交互历史执行动作：$a_{t,i} \sim \pi_\theta(\cdot | x_t, o_{t,\le i}, a_{t,<i}, c_t)$，获得轨迹 $\tau_t$ 和任务返回 $R_t$。之后智能体决定更新哪些层级以及每个层级写入多少记忆：$\Delta^\ell_t = \{m^\ell_{t,j}\}_{j=1}^{n^\ell_t}$，$M^{\ell}_{t+1} = M^\ell_t \oplus_\theta \Delta^\ell_t$，其中 $n^\ell_t$ 由智能体决定。步骤 3：快循环的定期维护。每 $Q=30$ 个任务，智能体与历史交互 $H_{qQ} = \{(\tau_j, R_j, \Delta_j)\}_{j<qQ}$ 和当前存储库进行多轮交互，使用 lookup、merge(mi, mj) 和 delete(mi) 工具：$\eta_q \sim \pi_\theta(\cdot | M_{qQ}, H_{qQ}, T)$，$M^+_{qQ} = M_{qQ} \oplus_\theta \eta_q$，其中 $T = \{\text{lookup}, \text{merge}, \text{delete}\}$。步骤 4：慢循环的统一蒸馏。记录所有检索的候选、选定的记忆、结果、创建的记忆 ID 和维护动作。对于每个记忆 $m$，估计其价值 $V(m)$。然后为每个生命周期决策 $k \in \{\text{sel}, \text{act}, \text{write}, \text{maint}\}$ 构建学生输入 $z_k$ 和教师特权上下文 $h_k$，最小化统一的慢循环目标：$\mathcal{L}_\text{slow}(\theta) = \sum_{k \in K} \sum_{(z_k, h_k) \sim d_k^{\pi_\theta}} \sum_{\hat{y}_k \sim p_S^\theta(\cdot|z_k)} \sum_{n=1}^{L_k} \mathbb{E}[\delta_{k,n}]$，其中 $\delta_{k,n} = D_\text{tok}(\text{sg}[p^{\bar{\theta}}_{T,n}] \| p^\theta_{S,n})$ 是 token 级别的 KL 散度。

技术新颖性体现在三个方面。第一，首次提出了 outcome-calibrated memory attribution，能够将延迟的环境反馈转化为对记忆选择、写入和维护的密集监督，解决了任务奖励不直接监督记忆操作的核心挑战。第二，统一训练四项耦合能力于同一个策略，避免了分阶段优化导致的次优解，例如弱选择会放大检索噪声、弱执行让智能体依赖提示时引导、弱写入污染未来记忆、弱管理导致长期退化。第三，快慢双循环设计实现了测试时进化和训练时蒸馏的解耦，快循环积累经验但不需要用好经验，慢循环将交互流转化为监督但不需要实际执行，两者共同使得模型能够在没有特权反馈的情况下测试时行使进化器能力。与现有工作相比，如 SKILL0 只使用 OPD 内部化执行行为、SkillRL 只改进技能生成、Skill-SD 只强调经验引导执行，本文的 OPD-Evolver 训练的是覆盖多种经验形式的统一进化器策略，且在跨域泛化方面表现出更强的能力。

独立分析的弱点包括：第一，记忆归因机制只在记忆实际被检索的任务上估计价值，但对于冷启动阶段（存储库为空或记忆很少时）或长尾任务（某些记忆很少被检索）的情况，价值估计可能不可靠。改进方向是引入正则化或贝叶斯先验来平滑估计，或使用跨任务迁移学习共享统计信息。第二，四层记忆层级是预定义的固定架构，未考虑自动发现最优层级结构或动态调整层级粒度的问题。改进方向是让智能体自主决定如何组织经验，例如通过可微分层级选择或神经符号方法。第三，维护周期 Q=30 是固定的，但不同任务流可能需要不同的维护频率。改进方向是学习动态维护触发条件，例如基于存储库熵增长或性能下降检测。第四，训练使用标量任务返回 $R_t$ 作为唯一外部信号，对于多目标或部分可观测环境，可能需要更丰富的反馈形式。改进方向是扩展归因机制以处理多维度奖励或人类偏好。第五，论文主要评估短期进化（数百个任务流），未研究数月或数年的长期记忆退化、概念漂移和灾难性遗忘问题。改进方向是引入更持久的存储架构（如分层记忆或长期短期记忆分离）和概念漂移检测机制。

作者提出的未来方向包括：将 OPD-Evolver 扩展到更广泛的智能体应用场景，如多模态交互、长对话或具身智能；探索更细粒度的记忆层级和动态架构；研究更鲁棒的价值估计方法，特别是在奖励稀疏或延迟反馈的环境中。基于成果可延伸的方向包括：第一，研究 OPD-Evolver 在多智能体协作场景中的应用，让多个智能体共享和进化经验存储库；第二，探索人类反馈集成，让人类直接参与记忆筛选和验证，形成人机协同的进化器；第三，研究增量学习和持续学习，使 OPD-Evolver 能够在不停机的情况下持续适应新任务域，避免灾难性遗忘；第四，探索更高效的蒸馏方法，减少计算开销，使小模型（如 1B 参数）也能从 OPD-Evolver 受益；第五，研究可解释性和可信度，让人类能够理解存储库中每条记忆的价值和进化过程，这对于部署到高敏感场景（如医疗或金融）至关重要；第六，探索跨模态记忆迁移，例如将视觉-运动技能迁移到语言-操作技能，或反之，实现真正的跨域智能体进化。

论文提供了较好的复现支持。作者开源了代码（GitHub）、模型和训练数据，训练数据来自公开数据源：Agent World Model (3000 任务)、nvidia/Nemotron-Terminal-Corpus (2000 任务)、EnvScaler (2000 任务)，总计 7000 个异构交互任务。评估使用五个公开基准：LifelongAgentBench（DB 和 OS，各 100 测试任务）、MemoryArena（Math 354 任务、Physics 86 任务）、AMA-Bench（Causal Inference 596 对、State Updating 647 对、State Abstraction 414 对）、InterCode（SQL 314 任务、Bash 224 任务、CTF 100 任务）、MiniHack（Room/Maze/KeyRoom 各 51 任务）。训练在 8 张 NVIDIA A800 (80G) GPU 上进行，实验未报告训练时间，但可以推断需要数十到数百 GPU 小时。超参数设置详细：使用 QWEN3.5-9B 和 QWEN3-4B 骨干、bf16 精度、最大提示长度 8192 tokens、OPD 蒸馏温度 1.0、top-p 0.95、最大回合长度 40 步、检索 K=50 候选、选择最多 20 条记忆、教师过滤最低分数 0.01、维护周期 Q=30。对于公平性，所有记忆方法从空存储库开始评估，只在评估流上累积记忆。难度方面，需要实现快慢双循环、结果校准的记忆归因和统一在线策略自蒸馏，代码复杂度中等到高，但论文提供了伪代码（Algorithm 1）和详细参数设置，复现难度中等。对于训练基线的对比（SFT、GRPO、Skill0、MemRL、Complementary RL），论文提供了详细的超参数（学习率、批大小、梯度累积、LoRA 配置等），进一步降低了复现难度。