ACCRUE：面向机器人基础模型的持续离策略强化学习 ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models
跨任务继承轻量actor-critic并用蒸馏保住旧技能，新任务更快学会且几乎不遗忘。
前置知识
机器人基础模型（RFM）与 VLA
机器人基础模型是在大规模机器人数据上预训练的通用策略，典型代表是视觉-语言-动作模型（VLA，如 GR00T N1.7、$\pi$0.5）和世界动作模型（WAM，如 Fast-WAM）。输入多视角图像、本体感知和语言指令，输出 $H$ 步动作块，本文只通过输入-输出接口使用它，与内部架构无关。
ACCRUE 的整个框架建立在预训练 RFM 之上：轻量级 actor-critic 只是对 RFM 提出的参考动作做局部精修，理解 RFM 的角色才能理解为什么继承 learner 是可行的。
离策略强化学习与 Actor–Critic
离策略（off-policy）RL 可以复用回放缓冲区里的旧转移样本反复学习，而非必须用当前策略的新 rollout，因此样本效率高。Actor-critic 结构中 actor $\pi_\theta$ 输出动作，critic $Q_\psi$ 估计动作价值，critic 通过时序差分（TD）自举更新，actor 再朝着 critic 估计更优的方向更新。
本文的核心卖点是把『离策略的可复用性』从单任务扩展到跨任务：继承的 actor 携带行为先验、critic 携带价值先验，这是前向迁移的来源，也是与 on-policy 持续 VLA 方法的本质区别。
动作分块与分块级价值备份
动作分块指策略一次输出 $H$ 步动作 $a_t=(a_t,\dots,a_{t+H-1})$ 并整块执行，广泛用于 VLA。 critic 直接对整块动作估值，用 $H$ 步折扣回报备份 $\hat{Q}=R_t^{(H)}+\gamma^H Q_{\psi'}(s_{t+H},a_{t+H},\tilde{a}_{t+H})$，把名义信用分配路径缩短 $H$ 倍。
ACCRUE 的 actor 和 critic 处理的都是动作块而非单步动作，实验中仿真用 $H=16$、真机用 $H=10$，理解分块级 TD 是读懂损失函数和算法伪代码的前提。
灾难性遗忘与持续学习
神经网络按序列学新任务时会覆盖旧任务知识，称为灾难性遗忘。持续学习研究如何在任务流上累积知识，常用手段包括经验回放（ER）、参数正则（EWC）、参数合并（RETAIN）、知识蒸馏等。本文采用任务增量设定：任务边界和身份已知，每阶段只允许用当前任务的新交互。
论文用 NBT（负向后向迁移）、AUC、$F_{final}$ 等持续学习指标量化『学新不忘旧』，且其设计正是围绕『有限回放下旧数据不可靠』这一持续学习经典难题展开。
知识蒸馏与缓存教师目标
知识蒸馏让学生网络模仿教师网络的输出以保留教师的行为。ACCRUE 在每阶段开始前，用冻结的上一阶段 actor（教师）在保留的旧样本上确定性地评估一次并缓存输出 $\hat{a}_j^{k-1}=\bar{\pi}_{\theta_{k-1}}(s_j,\tilde{a}_j)$，随后丢弃教师副本，整个阶段用这些固定目标约束当前 actor。
这是 ACCRUE 保住旧任务的唯一机制：与 ER 直接在旧数据上跑 RL 目标不同，蒸馏不依赖 critic 对旧任务的（不可靠）估值，避免了错误价值信号侵蚀旧行为。
研究动机
RL 后训练能让机器人基础模型（RFM，如 VLA/WAM）超越其演示数据的表现，但现有工作几乎都把后训练当作针对单一目标任务的一次性流程。真实部署中的机器人却要在整个服役周期里不断学新任务：以机械装配为例，新零件和新产品型号不断出现，机器人既要适配新的接触行为，又必须保住已学会的装配技能。如果每来一个任务就重启一次 RL（重新随机初始化 actor-critic），就要反复支付全额的交互代价，浪费之前 RL 阶段积累的知识；而直接把 learner 带到下一个任务又面临灾难性遗忘的风险。现有的两条路线各有缺陷：面向 VLA 的持续 RL 方法（如 Simple Recipe）用 on-policy 更新缓解遗忘，但前向迁移有限；RL Token、EXPO-FT 这类把轻量 actor-critic 挂在冻结 RFM 上的离策略方法提升了单任务样本效率，却完全没有考虑 learner 跨任务的存续问题。
本文的目标是本文要构建一个持续离策略 RL 框架，使机器人在按阶段到来的任务序列上同时实现三个目标：最大化前向迁移，即用更少的环境交互学会新任务；实现近乎为零的后向遗忘，即保住之前任务的性能；并且不依赖未来任务的信息、允许基础策略随新演示不断微调，这比先在完整任务套件上微调再开始持续 RL 的协议更贴近现实。量化目标是显著降低后续任务所需的交互量——最终在真机上把后续任务的训练时间缩短 31.0%–68.5%，同时旧任务平均保持约 97% 的成功率；在仿真上把持续 AUC 相对最强离策略持续基线提升最高 21.0%，并把负向后向迁移最高降低 70.0%。
与已有工作不同的是，本文的独特切入点是一个『不对称更新』设计：直接复用旧回放数据并不可靠——每任务只保留少量回合（20–100 个）时，继承的 critic 在旧任务上的价值估计会失准，若用这些估计去驱动 actor 在旧样本上的 RL 更新，反而会侵蚀已学行为。因此 ACCRUE 只在当前任务转移上做 critic 的 TD 学习和 actor 的 RL 目标，旧任务行为完全交给『actor 向缓存教师目标蒸馏』来保住；同时用冻结的外部视觉编码器（DINOv3）保证跨阶段输入表示不变，并用基础策略的参考动作块 $\tilde{a}_t$ 对 actor 和 critic 同时做条件化，使 learner 只需保留 RL 精修而非完整技能。
核心方法
直觉上，新任务与旧任务在接触行为和价值结构上高度相关，跨任务继承 learner 应该像热启动一样省交互；但继承来的 critic 在旧任务的小样本回放上估值不可靠，所以学习信号要区分对待。技术路线上，ACCRUE 每个阶段 $k$ 做四件事：第一，把基础策略 $\pi^{base}_k$ 在迄今所有演示上微调后冻结，由它给出 $H$ 步参考动作块 $\tilde{a}_t$；第二，轻量级 actor $\pi_\theta(s_t,\tilde{a}_t)$ 和 critic $Q_\psi(s_t,a_t,\tilde{a}_t)$ 以冻结 DINOv3 特征加本体感知为输入，并额外以参考动作为条件（训练时做参考动作 dropout 防止照抄）；第三，critic 只在当前任务缓冲区上做分块级分布式 TD 更新，actor 损失为 $\mathcal{L}_\pi=\mathcal{L}_\pi^{cur}(\mathcal{B}_k)+\lambda\mathcal{L}_\pi^{prior}(\mathcal{B}_{<k})$，其中当前项含 $\beta\lVert a-\tilde{a}\rVert_2^2$ 参考惩罚，先验项是与缓存教师输出的平方距离；第四，阶段结束时把 $(\theta_k,\psi_k)$ 和每任务最后 $N$ 个回合一起移交给下一阶段。
核心创新是『critic 管当前、蒸馏管过去』的不对称机制。与 ER 直接把 RL 目标应用到旧回放不同，ACCRUE 刻意把旧样本排除在 critic 的 TD 更新和 actor 的 RL 目标之外，因为每任务仅保留 20–100 回合不足以支撑可靠的价值估计，用失准的 critic 去更新旧样本上的 actor 会把误差变成行为漂移；旧行为改由蒸馏约束——在每阶段开始前，用冻结的上一阶段 actor 在保留样本上确定性评估并缓存目标 $\hat{a}_j^{k-1}=\bar{\pi}_{\theta_{k-1}}(s_j,\tilde{a}_j)$，整个阶段固定不变。另外两个关键支撑：一是与 RL Token 只条件化 actor 不同，ACCRUE 让 critic 也以参考动作为条件，因为动作价值是任务相关的；二是冻结的外部 DINOv3 编码器使回放中存储的每个旧转移在基础策略多次更新后仍处于同一表示空间，继承的网络因此始终兼容。
方法步骤详情
Algorithm 1 描述单个阶段流程。输入：微调后的基础策略、冻结编码器 $E$、分块长度 $H$、上一阶段移交的 $(\theta_{k-1},\psi_{k-1},\mathcal{B}_{<k})$。第一步，从上一阶段检查点初始化 actor 和 critic（仅第 1 阶段随机初始化）。第二步，用冻结教师 $\bar{\pi}_{\theta_{k-1}}$ 在旧回放每个转移上缓存蒸馏目标（式 3），随后丢弃教师。第三步，用基础策略采集 warmup 回合填充当前任务缓冲区 $\mathcal{B}_k$。第四步进入主循环：每 $H$ 步构造 $s_t=(E(I_t),q_t)$，从基础策略采样参考块 $\tilde{a}_t$，执行 $a_t\sim\pi_\theta(\cdot|s_t,\tilde{a}_t)$ 并记录 $H$ 步折扣回报 $R_t^{(H)}$，把转移存入 $\mathcal{B}_k$；每步先在 $\mathcal{B}_k$ 上用分布式 TD（对固定支撑集的回报分布做交叉熵）更新 critic，再以 1:1 比例分别从 $\mathcal{B}_k$ 和 $\mathcal{B}_{<k}$ 采样小批量、按式 5 更新 actor。超参上 $\lambda$ 按任务相似度取 0.1 到 1.0，$\beta$ 仿真取 0.1、真机取 10.0。最后返回 $\mathcal{B}_k$ 中最后 $N$ 个回合并入 $\mathcal{B}_{<k}$，移交 $(\theta_k,\psi_k)$。
技术新颖性
技术新颖性体现在三点。其一，这是首个在『基础策略本身随新演示被反复微调』的前提下跨任务继承离策略 learner 的工作：CIDER 等并行工作不依赖预训练 RFM，Simple Recipe 是 on-policy 且不迁移价值知识，ER/EWC/RETAIN 等基线在共享 actor-critic 架构下要么遗忘严重要么牺牲新任务学习。其二，『只在当前任务上更新 critic、旧任务靠 actor 蒸馏』的不对称设计是本文独有的——消融显示若把 critic 更新扩展到 $\mathcal{B}_{<k}\cup\mathcal{B}_k$，遗忘从 0.037 升到 0.067、最终成功率从 0.961 降到 0.925，直接验证了该设计的必要性。其三，用任务无关的冻结 DINOv3 特征作为跨阶段的稳定接口，对比用随阶段更新的 GR00T VLM 特征，遗忘从 0.037 升到 0.113，说明表示稳定性是继承可行的前提；这一设计选择此前在持续 RL 后训练文献中没有被系统讨论过。
实验结果
仿真覆盖 FORGE（三个接触密集任务、4 种顺序）和 AutoMate（4 条五阶段序列），均基于 Isaac Lab、GR00T N1.7、FastSAC、$H=16$、每阶段 50 万环境步、4 种子。FORGE 上（Table 1）ACCRUE 取得 NBT 0.065、AUC 0.869、ACCfinal 0.917、Ffinal 0.068，全面领先：对比 Sequential（NBT 0.427、ACCfinal 0.685），AUC 提升约 21%；对比 ER（NBT 0.518），遗忘降低约 87%；FWT 0.823 高于单任务 RL 的 0.741，接近特权参考 Isolated（0.919）。AutoMate 上（Table 2）同样最优：NBT 0.047、AUC 0.858、ACCfinal 0.863，而 ER 为 0.779，且以单一共享 learner 接近每任务存一个模型的 Isolated（0.879）。真机 DROID 换用 $\pi$0.5 与 FastTD3（$H=10$）：NIST 板三阶段序列后续两阶段分别节省 38.7% 和 42.9% 交互时间，AutoMate 五阶段序列四个后续阶段节省 35.1%、68.5%、61.0%、31.0%；旧任务保留在 20 次评估中至少 18 次成功、平均 19.4 次（约 97%）。消融（Table 4）逐项验证设计：$\beta=0$ 使 FWT 从 0.854 跌到 0.763；重置 critic 遗忘升至 0.054；把 critic 更新扩到旧回放则 ACCfinal 降到 0.925。回放预算（Table 5）非单调：$N=100$ 最优（AUC 0.896），$N=10$ 时遗忘高达 0.192，$N=200$ 反而退化。演示保留实验（Table 6）显示即使基础策略只留 5% 旧演示（成功率掉到 0.577），ACCRUE 仍达 0.894。换用 Fast-WAM（Table 7，基础成功率仅 0.347）ACCRUE 仍达 0.905，而 ER 只有 0.517，证明不依赖特定基础策略家族。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FORGE 三任务序列（仿真，4 顺序 × 4 种子） | 持续 AUC | 0.869 | Sequential 0.718（最强共享架构基线 RETAIN 0.682 / ER 0.697） | 提升约 21.0% |
| FORGE 三任务序列 | 负向后向迁移 NBT（越低越好） | 0.065 | ER 0.518 / Sequential 0.427 | 相对 ER 降低约 87%（论文总结为最高降低 70.0%，对应跨基准聚合口径） |
| AutoMate 五阶段装配序列（仿真，4 序列 × 4 种子） | 最终平均成功率 ACCfinal | 0.863（NBT 0.047，AUC 0.858） | ER 0.779 / Sequential 0.765 / 基础策略 0.757 | 较最强基线 ER 提升 8.4 个百分点，接近特权参考 Isolated 的 0.879 |
| 真机 DROID：NIST 板三阶段 + AutoMate 五阶段序列 | 达到 95% 成功率（19/20）所需的机器人交互时间 | 后续各阶段相对单任务 RL 节省 31.0%–68.5%（NIST 38.7%/42.9%，AutoMate 35.1%/68.5%/61.0%/31.0%） | Single-task（每任务从头初始化并训练新 actor-critic） | 训练时间减少 31.0%–68.5% |
| 真机旧任务保留评估（每后续阶段结束时 20 次评估/旧任务） | 成功率 | 每个旧任务至少 18/20，平均 19.4/20（约 97%） | —（保留率上界参考） | 在真实传感与接触噪声下实现近乎零遗忘 |
| FORGE S1 消融（Table 4） | FWT / 末端遗忘 Ffinal | 完整 ACCRUE：FWT 0.854，Ffinal 0.037 | $\beta=0$ 时 FWT 0.763；DINOv3 换 GR00T VLM 特征时 Ffinal 0.113 | 参考动作惩罚贡献约 9 个点 FWT，冻结编码器降低约 3 倍遗忘 |
局限与改进
作者明确承认的局限：实验只覆盖最多五个阶段的接触密集装配序列，回放记忆按任务有界而非固定总预算，更长序列下的累积问题留作未来工作；任务范围限于高度相关的装配操作，未验证差异更大的任务。我自己的观察：其一，设定是任务增量的，任务边界和身份已知，语言指令由任务身份直接给出，这对真实部署中任务自动识别的能力有隐含要求；其二，真机奖励是操作员逐回合标注的稀疏成功信号，人力成本未计入 31%–68.5% 的时间节省；其三，$\lambda$（0.1 vs 1.0）和 $\beta$（0.1 vs 10.0）按任务相似度和仿真/真机手工设定，缺乏自动选择准则；其四，回放预算 $N=200$ 性能反而下降的非单调现象暗示蒸馏目标与回放覆盖之间的相互作用尚未被理论解释；其五，蒸馏只在存储的 $(s_j,\tilde{a}_j)$ 输入处约束 actor，对这些输入之外的状态没有保护，且评估旧任务时参考动作来自更新后的基础策略，保留性实际依赖基础策略微调时用全部旧演示（Table 6 显示演示保留不足时遗忘会放大）。
独立分析的弱点
第一个弱点是旧任务保留对蒸馏目标输入覆盖的依赖：缓存目标只在保留的 $N$ 个回合的 $(s_j,\tilde{a}_j)$ 处约束 actor，旧任务初始状态分布或基础策略参考动作分布一旦偏移（Table 6 中演示保留 10% 时 NBT 从 0.028 升到 0.078），约束就失效；改进方向是在旧任务上周期性低成本评估并按需扩充回放，或对蒸馏目标加不确定性加权。第二个弱点是 $\lambda$、$\beta$、$N$ 均为手工超参且互相耦合（$N=200$ 时性能反降），可引入基于任务相似度度量或元梯度的自动调节。第三个弱点是 critic 的价值先验只被用于当前任务，与相关任务间的价值结构共享并不充分——Table 4 显示把旧回放纳入 critic 更新有害，但没有探索如何在保证可靠性的前提下安全利用价值先验，例如对旧样本估计加保守性约束（CQL 式下界）。第四个弱点是真机稀疏奖励依赖人工标注，可与视觉成功分类器或自动奖励检测结合。第五个弱点是框架假设每阶段有 1–50 条新演示用于微调基础策略，零演示场景下的持续 RL 后训练未被覆盖。
未来方向
作者提出的方向：把 ACCRUE 扩展到固定总记忆预算下的更长任务序列（目前每任务保留 $N$ 回合会随阶段数线性增长）；在差异更大的操作任务（非装配类）上评估；学习共享动作表示，使 RL 后训练知识能跨本体、跨动作空间迁移。基于本文成果可延伸的方向：一是把『冻结外部编码器 + 参考动作条件化』的稳定接口思想推广到 WAM/世界模型的后训练；二是研究旧回放的安全价值利用，如带保守正则的多任务 critic，突破当前『价值先验只服务当前任务』的天花板；三是把蒸馏目标从参数空间行为匹配扩展到分布层面（匹配教师动作分布而非确定性输出），缓解多峰行为下的模式坍缩；四是结合自动成功检测做全自主真机流水线，消除人工奖励标注瓶颈；五是在线任务相似度估计来自动设定 $\lambda$ 与 $N$。
复现评估
复现可行性较好但门槛不低。有利条件：有项目主页 accrue-rl.github.io，方法由标准组件构成——Isaac Lab 公开仿真基准 FORGE 和 AutoMate、开源的 GR00T N1.7 与 DINOv3、开源的 FastSAC/FastTD3，超参给得很全（$\lambda$、$\beta$、$\gamma=0.997$、$H=16/10$、每阶段 50 万步、64 并行环境、每任务保留 20–100 回合、1:1 采样比例等）。算力方面仿真需 GPU 并行环境，属于单机多卡可承受的规模；代码是否完全开源需关注项目页，若只有方法描述则需自行拼装 actor-critic 与 GR00T 的接口。困难主要在真机：需要 DROID 平台或同等机械臂、SpaceMouse 遥操作采集演示（每任务 5–10 条）、操作员在线标注稀疏成功奖励、每阶段 20 次评估，单序列耗时数小时且有人工参与；$\pi$0.5 权重的可获得性也会影响真机复现。仿真主表与全部消融在公开基准上可完整复现，建议从 FORGE S1 单序列起步验证。
论文图表
上下对比图：上半部分是单任务离策略 RL，每个任务都重置（RESET）actor 和 critic，需要越来越多的机器人交互；下半部分是 ACCRUE，跨任务继承（INHERIT）两个网络，并只从每个任务的回放缓冲中保留每任务 N 个回合构成先验回放（Prior Replay），以更少的交互完成后续任务学习。
一张图讲清论文的问题设定和核心卖点：继承 learner 加小回放如何把交互成本从『逐任务累加』变成『逐任务摊销』，是理解全文动机的最佳入口。