ACLArena：多阶段后训练中的智能体持续学习 ACLArena: Agent Continue Learning in Multi-stage Post-training
构建多阶段后训练基准，诊断智能体遗忘机制，提出LoRA专家混合方法MLE
前置知识
灾难性遗忘与持续学习
神经网络按顺序学习多个任务时，新任务的梯度更新会覆盖旧任务习得的参数，导致旧任务性能骤降，即灾难性遗忘。持续学习研究如何让模型在学新任务的同时保留旧能力，经典手段包括回放旧数据、任务专属模块、正则化约束参数偏移等。本文场景是工业级智能体的多阶段后训练：CoT推理、工具调用、指令遵循等能力在不同阶段依次注入同一个模型。
本文的全部问题定义就是智能体持续学习（ACL）：新阶段训练会在多大程度上摧毁旧阶段能力、何时反而带来正向迁移，是论文要诊断和解决的核心矛盾。
在线策略蒸馏（OPD）与前向/反向KL散度
在线策略蒸馏让学生模型自己采样轨迹，教师模型在这些轨迹上逐token提供监督。反向KL $D_{KL}(\pi_{student}\|\pi_{teacher})$ 的期望取在学生生成的分布上，具有模态寻求特性：学生只模仿教师最有把握的输出，计算高效但可能丢弃教师的多样性路径；前向KL则是模态覆盖型，迫使学生照顾教师的低概率尾部token，计算开销更大。
本文提出的MOPD核心创新就是按教师token熵自适应混合两种KL：低熵token用反向KL锐利模仿，高熵决策点注入前向KL防止熵坍缩，理解这一点是读懂方法部分的前提。
LoRA低秩适配器
LoRA不直接更新全部参数，而是冻结原有权重 $W$，为每层附加低秩增量 $\Delta W = BA$（$B\in\mathbb{R}^{d\times r}$, $A\in\mathbb{R}^{r\times k}$，秩 $r\ll d$），训练时只优化 $A$、$B$。参数量小、可插拔，多个适配器可以挂载在同一个骨干上按需切换，天然适合为不同任务保留互相隔离的参数子空间。
论文最终方案MLE的关键就是：SDFT产出的共享骨干冻结不动，每个训练阶段挂一个独立的LoRA专家做RL精炼，用参数隔离来根除跨阶段干扰。
SFT与RL的分工及critic-free RL
监督微调（SFT）用示范数据做最大似然训练，更新幅度大、方向一致，负责教会模型任务接口、输出格式等基本行为；强化学习（RL，如GRPO等无critic算法）用组内相对奖励估计优势，更新小而局部，负责在已有行为上精炼决策质量。agentic任务通常先做拒绝采样SFT冷启动再上RL。
论文的Finding 3和MLE设计完全建立在这套分工上：SFT产生的大更新负责行为塑造、RL产生的小更新适合用低秩残差表示，这直接推出骨干+LoRA专家的分解方案。
模型合并与任务向量
多个从同一基座微调出的模型，其权重在同一盆地区域内保持线性连接，可以直接加权平均。把每个微调模型与基座的差记为任务向量 $\tau_k = \theta_k - \theta_0$，合并即 $\theta_{merge} = \theta_0 + \sum_k \lambda_k \tau_k$，系数 $\lambda_k$ 控制各能力的放大或衰减，无需任何梯度训练。
模型合并是论文对比的三种能力整合范式之一（参数空间复用），其结果揭示了单一共享权重中各能力此消彼长的固有权衡，是引出MLE参数隔离动机的反面证据。
研究动机
工业级通用智能体的能力（CoT推理、工具调用、指令遵循等）不是一次训练获得的，而是在异构环境和流水线中分阶段依次注入的多阶段后训练产物。但目前没有公认可行的智能体持续学习（ACL）配方，各技术报告（如DeepSeek、Qwen3、GLM等）对训练细节语焉不详，也几乎没有在受控设置下比较过不同整合范式的取舍。经典持续学习方法在智能体场景下又不实用：回放旧数据需要保留昂贵的环境与奖励流水线，任务专属模块让部署复杂化，能力越多联合重训越烧钱。结果是社区连一个真实的ACL测试床都没有，更谈不上理解：后一阶段训练何时摧毁旧能力、何时带来跨域泛化、其机制是什么。
本文的目标是本文要建立ACLArena框架，系统回答三个递进的问题：RQ1（现象）——顺序后训练如何重塑智能体能力，遗忘与泛化各到什么程度；RQ2（机制）——从模型级（参数位移）和token级（预测稳定性）两个互补视角解释遗忘与迁移的根源；RQ3（方法）——能否通过复用先前模型（在参数空间或行为空间）来缓解遗忘、促进迁移，并最终给出一个实用的ACL配方。为此他们构建了Math→Search→E-commerce→IF四阶段顺序训练流水线，公平调优并横向比较多教师在线策略蒸馏（MMOPD）、自蒸馏微调（SDFT）和模型合并（MM）三条路线，再提出新方法MLE。
与已有工作不同的是，已有工作要么只研究单任务训练，要么在静态多任务混合上做，缺少对真实工业流水线式顺序后训练的受控研究。本文的独特之处有三：一是刻意采用固定课程顺序（数学→搜索→电商→指令遵循）模拟真实工业中按能力前置关系排布的阶段，而非随机排列；二是把诊断做到两个前所未有的粒度——模型级用PCA投影各阶段checkpoint与单任务oracle的参数位移方向，token级固定前缀后逐位置追踪高/低熵token的预测一致性；三是对比的三种范式都被调到各自最优配置而非稻草人实现，使结论可信。最后把诊断结论（任务更新方向部分对齐、共享权重必然有权衡、SFT/RL分工互补）直接转化为MLE的设计原则，诊断与方法的闭环是本文区别于纯基准工作的关键。
核心方法
论文的整体路线是先诊断、再比较、后设计。诊断阶段以顺序训练为基线：从Qwen3-8B-Base出发，依次经历数学推理、搜索（单工具）、电商（最多15个工具）、指令遵循四个阶段，每个agentic阶段先用拒绝采样SFT冷启动教会工具调用格式，再用无critic的RL提升决策。实验显示能力演化非单调：搜索能力NQ从45.2在进入电商阶段后暴跌至14.6，AIME26从25.83跌到6.04。机制分析发现：不同任务的参数更新方向只部分对齐（PCA中四个单任务oracle指向明显不同方向）；token级上，预测变化几乎全部集中在参考模型高熵的少数决策点上，占94%的低熵token几乎不动。比较阶段在最终checkpoint上分别应用MMOPD（行为空间在线复用）、SDFT（行为空间离线回放oracle轨迹）、MM（参数空间平均任务向量），发现各自只能恢复一部分能力且互相牺牲。据此提出MLE：用SDFT产出多域共享骨干并冻结，每个阶段挂一个独立LoRA专家做RL精炼，推理时按交互环境路由，以极小的参数代价实现参数隔离。
核心创新是把智能体持续学习分解为可迁移能力与干扰残差两部分：可迁移部分用SDFT回放oracle轨迹压缩进共享骨干（其跨初始化更新余弦高达0.77，说明存在数据驱动的共同能力质心），互相干扰的阶段特异部分则用低秩LoRA残差单独保存，即 $\theta_k = \theta_{shared} + \Delta\theta_k$。这与已有方法的本质区别在于拒绝在单一参数空间里寻找折中解——Table 2已证明共享权重方案（MMOPD/SDFT/MM）无一能全域提升，MMOPD救回AIME26到21.25但MMLU和IF-Bench略降，SDFT把多跳搜索拉到38.0却把IF-Eval从84.8砸到53.6。另外两个技术点：MOPD在教师token熵超过阈值 $\alpha$ 时才在top-q截断集合上加权前向KL项，防止反向KL的模态寻求特性在决策点引发熵坍缩；MLE推理时用智能体执行上下文中可观察的环境信息路由专家，无需任务标签。
方法步骤详情
第一步，顺序流水线：阶段 $k$ 在分布 $D_k$ 与奖励 $r_k$ 下训练，agentic 阶段与环境 $E_k$ 交互，$\pi_0 \to \pi_1 \to \cdots \to \pi_K$；数学和 IF 直接 RL，搜索和电商先拒绝采样 SFT 冷启动再 RL。第二步，MMOPD：学生从 $\pi_K$ 初始化，在均衡混合提示流上采样，逐 token 计算混合损失 $\mathcal{L}_{MOPD,t} = \mathcal{L}_{reverse,t} + \gamma\, \mathbb{1}[H^{teach}_t > \alpha] \sum_{v\in S^q_t} \tilde{\pi}_i(v|h_t)\log\frac{\tilde{\pi}_i(v|h_t)}{\pi_{i+1}(v|h_t)}$，每提示只由其域教师打分，环境 token 被 mask。第三步，SDFT：从 $\pi_0$ 独立训练 $K$ 个 oracle，按奖励正确性与工具调用合规过滤轨迹，均衡混合 SFT 回放。第四步，MM：$\theta_{merge} = \theta_0 + \sum_k \lambda_k(\theta_k - \theta_0)$，比较均匀、网格搜索与能力均衡三种系数。第五步，MLE：SDFT checkpoint 冻结为骨干，每阶段新建 LoRA 专家做 RL 精炼，推理按环境上下文路由。
技术新颖性
技术新颖性体现在四层。第一，MOPD的熵门控混合KL是新设计：已有OPD（如Qwen3用反向KL、DeepSeek-V4用多教师OPD）固定单一散度，本文首次按教师逐token熵自适应切换模态寻求/覆盖行为，并用top-q截断把前向KL限制在可信token集上控制开销。第二，诊断方法论新：token级固定前缀评估把权重改写定位到高熵决策点（仅6%的token承载了几乎所有变化），模型级PCA+余弦相似度矩阵量化跨阶段干扰，这套显微镜式分析在ACL文献中少见。第三，MLE的架构选择有实证依据而非拍脑袋：SFT更新幅度是RL的3–7倍、SDFT跨初始化方向一致（余弦0.77）这两条发现直接推出'大更新进共享骨干、小残差进LoRA'的分解，参数隔离保证后续阶段物理上无法覆写已学专家。第四，公平比较设定：三条已有范式均调至最优配置，且单教师OPD消融（Table 3）证明蒸馏后学生搜索能力48.4反超教师45.2，说明问题不在范式本身而在单一共享参数空间。
实验结果
按三个 Finding 组织。Finding 1（任务诱导部分对齐的参数更新）：PCA 显示四个单任务 oracle 参数位移方向明显不同，checkpoint 累积阶段越多越难回到单任务解。Finding 2（共享模型整合必然有权衡）：MMOPD 把 AIME26 从 10.21 提到 21.25、NQ 从 33.5 到 45.2，但 MMLU 与 IF-Bench 微降；SDFT 搜索恢复更强（NQ 48.3、多跳 38.0）却把 IF-Eval 从 84.8 砸到 53.6、$\tau^3$-Telecom 从 45.9 跌到 21.7；MM 拿最高 MMLU 80.3 但电商和 IF 偏弱。Finding 3（SFT 立行为、RL 精能力）：SFT 相对更新量 $\|\Delta\theta\|/\|\theta\|$ 是 RL 的 3–7 倍，SDFT 跨初始化余弦 0.77 远高于无关任务的 0.05。最终 MLE 接近 oracle：NQ 49.7（专家 49.9）、$\tau^3$-Retail 32.9（最佳）、IF-Eval 85.0、$\tau^3$-Telecom 45.6，GPQA 42.4、单跳 57.7、多跳 38.6、Mock 66.7 四项域外最优。Table 1 另示能力演化非单调：NQ 45.2→14.6 后恢复至 33.5，最终 AIME26 远低于峰值 25.83。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（AIME26，avg@16） | 平均准确率 | MLE 21.04（+MMOPD 21.25，SDFT 22.29） | Seq-Final 10.21，ExpertMath 25.83，Base 6.46 | 相比顺序训练最终checkpoint约翻倍（+10.8），接近独立数学专家 |
| 搜索（NQ，域内） | 准确率 | MLE 49.7 | Seq-Final 33.5，ExpertSearch 49.9 | +16.2，几乎完全恢复被电商阶段摧毁的搜索能力并追平单任务专家 |
| 电商（$\tau^3$-Bench Retail，域内） | 任务成功率 | MLE 32.9 | Seq-Final 29.6，ExpertE-commerce 33.2，SDFT 22.3 | +3.3且为所有整合方法最高，同时SDFT/MM路线在此项明显受损 |
| 指令遵循（IF-Eval，域内） | 准确率 | MLE 85.0 | Seq-Final 84.8，ExpertIF 86.2，SDFT 53.6 | 保持基线水平，而SDFT回放使IF-Eval暴跌31.2分 |
| 域外泛化（GPQA/单跳/多跳搜索/$\tau^3$-Mock 均值） | 各自指标平均 | MLE：GPQA 42.4、单跳57.7、多跳38.6、Mock 66.7（均为全场最高） | Seq-Final：GPQA 37.9、单跳44.9、多跳25.0、Mock 62.5 | 四项域外指标分别+4.5/+12.8/+13.6/+4.2，说明参数隔离不损害泛化反而促进 |
| 指令遵循（IF-Bench，域外） | 准确率 | MLE 29.1 | Seq-Final 30.8，MMOPD 30.5，SDFT 19.7 | 略低于顺序基线-1.7，是MLE少数未占优的指标 |
局限与改进
作者承认两点局限：实验仅用Qwen3-8B-Base和固定的四阶段课程（Math→Search→E-commerce→IF），遗忘模式和方法取舍能否推广到其他模型家族、其他训练顺序、更长训练序列尚不清楚；MLE的路由依赖智能体执行上下文中可观察的环境信息，当环境身份含糊、一次交互中途切换或需要在单episode内组合多种专长时未经检验。我的补充观察：其一，专家数量随阶段线性增长，部署几十个阶段时LoRA的存储、加载与路由基础设施成本会被放大；其二，oracle专家训练需要对每个任务从头完整跑一遍SFT+RL流水线，$K$ 个任务的SDFT数据生成成本是 $K$ 倍的，论文未报告总计算量；其三，路由本质是用环境类型做硬切换，缺少学习式或软组合路由的对照实验；其四，AIME26上MLE（21.04）仍明显低于数学专家（25.83），共享骨干对数学这类与agentic行为相距最远的能力仍有牵制；其五，IF-Bench略降说明路由未覆盖的能力（如通用对话风格）仍受骨干影响。
独立分析的弱点
弱点一：硬路由脆弱。MLE 用可观察环境上下文选专家，现实中请求常混合多域（如'搜一下然后下单'），单一专家无法服务，环境误判会灾难性降级；应做学习式路由或软加权混合。弱点二：oracle 成本未讨论。SDFT 需为每个任务独立训练 oracle 并大量 rollout，四个任务尚可，几十个域时不可行；可探索近策略数据或只对高价值域建 oracle。弱点三：LoRA 容量固定。所有专家同秩，电商（15 工具）与搜索（1 工具）的残差复杂度差异大，自适应秩更合理；且新阶段若需骨干中完全没有的行为，低秩残差可能承载不了。弱点四：评估单一。仅 8B 模型，SFT/RL 更新幅度 3–7 倍的比例未必随规模保持；无跨顺序课程消融，无法区分顺序效应与任务效应。弱点五：域外提升机理未解释——MLE 在 GPQA 等未训练基准全面领先的原因（SDFT 骨干还是 LoRA 正则效应）值得归因分析。
未来方向
作者提出的方向包括：把ACLArena扩展到更多agent环境、更长训练序列和替代课程，以区分普遍现象与特定设置产物；研究学习式路由、动态专家组合与适配器合并，并联合评估能力保持、迁移、内存占用和推理延迟。基于本文成果可延伸的方向：一是把MOPD的熵门控思想迁移到RL阶段（如在优势估计或策略约束中按token熵自适应），检验其是否同样防止RL后期的熵坍缩；二是研究专家的持续增长与压缩——新域到来时只训新LoRA并周期性地把专家蒸馏回骨干的'膨胀-合并'循环；三是把token级固定前缀诊断发展成在线监控工具，在生产训练中实时检测哪些能力正在被覆写；四是在多模态或代码执行等真实环境异构性更强的场景验证路由信号的可获得性；五是探索任务向量空间中的插值路由，把MLE与MM的优势结合，用少量连续系数代替离散专家切换。
复现评估
复现条件较好。代码开源在GitHub（WillDreamer/ACLArena），模型checkpoint发布在HuggingFace集合（willhx/aclarena），底座是公开的Qwen3-8B-Base，训练框架是开源的Slime RL库。但算力门槛不低：论文所有实验使用两台NVIDIA H200节点（约16卡级别），完整复现包括四个顺序阶段、四个单任务oracle、MMOPD/SDFT/MM三条对比线和MLE本身，工作量很大；论文称超参数在附录给出但正文未列关键细节（LoRA秩、学习率、rollout组大小为8、过滤条件中的阈值等需查附录）。对资源有限的团队，可行的降级路径是：只复现顺序训练+单教师OPD消融（Table 3规模），或用LoRA而非全参训练oracle来缩预算；评测侧的AIME26、NQ、IF-Eval、$\tau^3$-Bench等基准全部公开，av@16与三种子均值的评测协议清晰。综合评估：数据与代码可得性好，复现难度中等偏高，主要瓶颈在GPU预算。
论文图表
