简单配方很管用：视觉-语言-动作模型是使用强化学习的自然持续学习者 Simple Recipe Works: Vision-Language-Action Models are Natural Continual Learners with Reinforcement Learning
研究发现VLA模型用LoRA+RL做顺序微调就能避免灾难性遗忘，性能超越复杂CRL方法
前置知识
Continual Reinforcement Learning (CRL)
持续强化学习是指智能体需要在一个非平稳的任务流中持续学习，既要适应新任务又要保持对旧任务的能力。这通常面临稳定性-可塑性困境：保持旧知识（稳定性）和适应新任务（可塑性）之间存在根本冲突。传统方法包括正则化（如EWC）、回放（如Experience Replay）和参数隔离（如DWE）。
这是本文的核心问题域，理解CRL的基本挑战（灾难性遗忘）是读懂本文动机的关键。
Vision-Language-Action (VLA) Models
视觉-语言-动作模型是一种新兴的具身智能范式，将视觉感知、自然语言条件和动作生成统一在一个策略中。它们通常通过模仿学习在大规模机器人数据集上训练，具有跨任务和环境的泛化能力。代表性模型包括RT-1/RT-2（自回归动作生成）、OpenVLA（基于Llama 2的自回归VLA）和Pi-0（基于流匹配的连续动作VLA）。
VLA是本文的研究对象，理解其架构特点和预训练性质对理解实验结果至关重要。
Low-Rank Adaptation (LoRA)
LoRA是一种参数高效微调方法，它通过将权重更新参数化为低秩矩阵来适应预训练模型。具体来说，对于预训练权重矩阵，LoRA将适应后的权重表示为W = W0 + BA，其中B和A是可训练的低秩矩阵，秩r远小于维度d和k。训练后，LoRA权重可以轻松合并到原始权重中。
LoRA是本文方法的核心组件之一，理解其工作原理有助于理解为什么它能缓解灾难性遗忘。
On-Policy Reinforcement Learning
在策略强化学习是指使用当前策略生成的数据进行学习的方法，如PPO、TRPO等。与Off-Policy方法不同，On-Policy方法在每次更新后丢弃旧数据，重新采样。本文使用的GRPO是一种稳定的On-Policy策略梯度方法。关键特性是梯度更新只加权策略已有支持区域的概率质量，不能突然为概率接近零的动作分配高概率。
On-Policy RL是本文方法的核心组件之一，理解其特性有助于理解为什么它能缓解遗忘（通过隐式最小化与初始策略的KL散度）。
Catastrophic Forgetting
灾难性遗忘是持续学习中的核心问题，指模型在学习新任务时性能在先前学习任务上显著下降的现象。这是由于神经网络参数更新会覆盖之前学到的知识。传统解决方案包括：正则化方法（约束参数更新以减少干扰）、回放方法（保存和重用过去经验）和参数隔离方法（分配额外状态或参数来隔离或存储知识）。
这是传统持续学习理论认为顺序微调会失败的根本原因，本文的发现颠覆了这一传统认知。
Stability-Plasticity Dilemma
稳定性-可塑性困境是持续学习中的根本挑战，描述了保留过去知识（稳定性）和保持适应新任务能力（可塑性）之间的权衡。传统方法试图通过正则化、回放或参数隔离等机制来平衡这一困境，但这些机制通常会牺牲可塑性。高维度空间中的随机向量几乎正交，为参数更新创造了巨大的零空间，在此空间中大多数方向的梯度更新几乎不影响预训练知识。
理解这一困境有助于理解为什么传统CRL方法虽然防止了遗忘但损失了可塑性，以及本文方法如何突破这一困境。
研究动机
传统持续学习理论认为，简单的顺序微调会导致灾难性遗忘，即模型在学习新任务时会显著遗忘旧任务。基于这一认知，研究者开发了各种复杂的持续强化学习（CRL）策略，如正则化（Elastic Weight Consolidation）、回放（Expert Replay、Dark Experience Replay）和参数隔离（Dynamic Weight Expansion）。然而，当这些方法应用于大规模VLA模型时，面临新挑战：VLA模型包含数十亿参数，全参数微调计算成本极高，因此需要参数高效微调方法如LoRA；同时VLA模型具有宝贵的预训练知识和强大的零样本性能，我们希望CRL算法不仅保持已训练任务性能，还要保留这些零样本泛化能力。更重要的是，传统的CRL研究主要关注从头训练的小模型，而本文关注的是大规模预训练VLA模型，这是一个相对未探索的领域。
本文的目标是本文的目标是通过实证研究回答两个核心问题：在VLA模型的持续强化学习中，简单的顺序微调是否真的会导致灾难性遗忘？是否复杂CRL方法在VLA模型上表现更好？作者希望通过对现有CRL方法在多个终身RL基准上的系统评估，揭示大规模预训练VLA、参数高效适配和强化学习之间的交互效应，为VLA模型的持续后训练提供简单而有效的方法。
与已有工作不同的是，本文的独特切入角度是挑战持续学习领域的一个基本假设：顺序微调会导致严重的灾难性遗忘。与传统持续学习工作专注于开发复杂的遗忘预防机制不同，本文退一步系统研究了最简单的顺序微调方法在VLA模型上的表现。这种角度的独特性在于：它不是假设复杂方法必然更好，而是通过实证验证简单方法的竞争力；它关注大规模预训练模型而非小模型；它研究On-Policy RL与LoRA的协同效应，这在传统持续学习文献中很少被探索。
核心方法
本文方法的核心是简单的顺序微调：按顺序在每个新任务上微调VLA模型，使用LoRA进行参数高效适配，采用On-Policy强化学习（GRPO）作为训练目标。直觉上，这种方法应该会遭受灾难性遗忘，但作者发现三个关键组件的协同效应使其出人意料地稳定：大规模预训练VLA模型提供了高维参数空间，其中梯度更新在大多数方向上几乎不影响预训练知识（维度诅咒的祝福）；LoRA将更新约束在低秩子空间，限制自由度并防止关键层发生不成比例的大幅结构变化；On-Policy RL隐式最小化与初始策略的KL散度，因为梯度更新只加权策略已有支持区域的概率质量。
核心创新点是发现大规模预训练VLA、LoRA和On-Policy RL的协同效应可以完全避免灾难性遗忘，无需任何复杂的遗忘预防机制。这与传统持续学习理论的根本区别在于：传统方法假设顺序微调必然导致严重遗忘，需要额外机制来缓解；本文则发现在VLA模型上，简单的顺序微调本身就具有抗遗忘特性。这种协同效应来源于三个方面：目标层面（On-Policy RL隐式正则化）、约束层面（LoRA限制更新子空间）和容量层面（高维预训练模型的零空间效应）。移除任何一个组件都会导致灾难性遗忘，但三者结合则形成强大的持续学习能力。
方法步骤详情
方法的具体步骤如下：首先，选择一个大规模预训练VLA模型（如OpenVLA-OFT），使用LoRA进行参数高效适配，默认rank为32。其次，将任务序列中的每个任务形式化为语言条件MDP，其中状态空间是相机图像，动作空间是机器人末端执行器姿态和夹爪命令，语言指令指定任务，稀疏奖励函数提供反馈。然后，按顺序处理任务，对于每个任务，使用GRPO进行On-Policy强化学习训练，优化目标为最大化累积奖励。训练时，只有LoRA参数和可训练头被更新，预训练骨干网络保持冻结。最后，在学习当前任务时，智能体不能访问或交互之前任务的环境或数据，完全模拟持续学习设置。
技术新颖性
技术新颖性主要体现在三个方面：首先，本文首次系统研究了大规模预训练VLA模型在持续强化学习中的行为，填补了传统持续学习研究（小模型、从零训练）和VLA研究（大规模预训练）之间的空白。其次，本文提供了对LoRA缓解遗忘机制的新见解：不仅通过限制有效秩，还通过保持跨层更新几何一致性来防止关键层发生不受控制的高秩结构修改。第三，本文在VLA领域验证了On-Policy RL缓解遗忘的效果，并提供了信息论解释：策略梯度方法基于优势函数，在稀疏奖励设置下每个episode只提供少量信息，这比监督学习的信息需求低得多，因此LoRA的约束不会显著损失可塑性。
实验结果
在三个LIBERO基准（libero-spatial、libero-object、libero-long-horizon）上的实验结果令人惊讶：顺序微调在平均成功率（AVG）上与复杂CRL方法相当，且在零样本泛化（ZS）上通常超过多任务oracle。具体来看，在libero-spatial上，顺序微调达到81.2%的AVG（比初始检查点+24.3%），遗忘率（NBT）仅0.3%，零样本性能57.1%（比初始+5.6%）。相比之下，EWC的AVG仅为66.1%，RETAIN为66.0%，且这些方法的可塑性显著降低。更令人震惊的是，图3显示顺序微调在整个训练过程中几乎无遗忘：每个任务在首次学习时归一化到100%，后续任务学习时其性能几乎保持稳定，NBT指标始终低于2%（甚至为负值）。在鲁棒性实验中，顺序微调在各种扰动下保持强大性能：相机扰动下AVG达到75.5%（仅比oracle低0.3%），光照扰动下82.4%，机器人状态扰动下81.2%，在RoboCasa上用Pi-0达到29.5%，在ManiSkill上用OpenVLA达到70.9%。图7的30任务序列实验进一步证明顺序微调在长时间持续学习中保持高知识保留率。消融研究揭示了三个组件的关键性：移除On-Policy RL（改为监督微调）导致AVG降至29.9%（-27.0%），NBT升至78.7%；使用小模型（1200万参数）导致AVG降至13.1%（-53.7%），NBT升至11.4%；移除LoRA导致AVG降至7.3%（-49.6%），NBT升至40.9%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| libero-spatial | Average Success (AVG) | 81.2% | EWC: 66.1%, Expert Replay: 80.2%, Dark Experience Replay: 73.4%, Dynamic Weight Expansion: 79.6%, SLCA: 69.9%, RETAIN: 66.0% | vs. EWC: +15.1个百分点，vs. RETAIN: +15.2个百分点，vs. Multi-task Oracle (85.8%): -4.6个百分点 |
| libero-object | Average Success (AVG) | 93.2% | EWC: 82.6%, Expert Replay: 88.8%, Dark Experience Replay: 89.1%, Dynamic Weight Expansion: 92.4%, SLCA: 84.1%, RETAIN: 76.6% | vs. EWC: +10.6个百分点，vs. RETAIN: +16.6个百分点，vs. Multi-task Oracle (95.7%): -2.5个百分点 |
| libero-long-horizon | Average Success (AVG) | 89.8% | EWC: 86.6%, Expert Replay: 88.8%, Dark Experience Replay: 87.6%, Dynamic Weight Expansion: 88.4%, SLCA: 86.9%, RETAIN: 86.2% | vs. EWC: +3.2个百分点，vs. RETAIN: +3.6个百分点，vs. Multi-task Oracle (90.5%): -0.7个百分点 |
| libero-spatial | Negative Backward Transfer (NBT, lower is better) | 0.3% | EWC: 0.7%, Expert Replay: 0.6%, Dark Experience Replay: 4.7%, SLCA: -0.6%, RETAIN: 2.9% | 几乎无遗忘，显著优于Dark Experience Replay (4.7%) 和 RETAIN (2.9%) |
| libero-spatial | Zero-Shot Success (ZS) | 57.1% | EWC: 52.6%, Expert Replay: 49.2%, Dark Experience Replay: 55.2%, Dynamic Weight Expansion: 51.5%, SLCA: 56.1%, RETAIN: 53.7%, Multi-task Oracle: 51.2% | 超越多任务oracle (+5.9个百分点)，保持并增强预训练泛化能力 |
| Camera Perturbation | Average Success (AVG) | 75.5% | Multi-task Oracle: 75.2% | 与oracle性能相当 (+0.3个百分点)，显示强鲁棒性 |
| OpenVLA on ManiSkill | Zero-Shot Success (ZS) | 51.0% | Multi-task Oracle: 50.7% | 超越oracle (+0.3个百分点)，在零样本任务上泛化更强 |
局限与改进
作者承认的局限性包括：主要关注自回归动作生成的VLA模型（如OpenVLA-OFT），虽然也验证了流匹配VLA（如Pi-0）和扩散头VLA，但发现连续扩散头需要更仔细的约束（如使用更低的LoRA rank），作者推测这源于连续去噪目标的高表达性可能使它们在灵活适配下更容易发生策略漂移，但这需要未来更系统的研究。其次，虽然实验覆盖了多个基准和模型架构，但主要是在模拟环境中进行，真实机器人系统的行为可能有所不同。第三，虽然研究显示简单顺序微调有效，但某些设置（如跨域持续学习）可能仍需要更复杂的策略。我自己观察的局限包括：评估指标主要集中在任务成功率上，对计算效率、内存占用等实际部署考虑较少；实验主要针对机器人操作任务，在视觉变化更大或动力学更复杂的任务上是否仍有强抗遗忘能力有待验证；研究没有深入探讨任务顺序的影响程度，虽然做了重新排序实验但没有系统分析任务相似性或难度对性能的影响。
独立分析的弱点
独立分析的弱点：首先，方法虽然简单，但依赖于大规模预训练VLA模型，计算成本和存储需求仍然很高，不适合资源受限的场景。改进方向可以是探索更小的预训练模型或更激进的参数压缩技术。其次，零样本泛化能力的提升机制尚不清楚，虽然作者推测任务排序可能是一种隐式正则化，但这只是假设缺乏严格证明，未来工作需要更深入地研究这一现象的理论基础。第三，在连续扩散头VLA上的敏感性表明方法对不同VLA架构的泛化能力有限，改进方向可以是开发架构自适应的LoRA策略或其他参数高效方法。第四，实验主要在相对受控的环境中进行，视觉扰动较小，在更剧烈的域偏移（如不同光照条件、背景、物体纹理）下的鲁棒性有待验证。改进方向可以是结合域适应技术或引入视觉增强。第五，研究没有讨论任务检测或切换机制，假设任务标识总是通过自然语言指令提供，在实际应用中可能需要自动任务识别。
未来方向
作者提出的未来方向：将研究发现应用于物理机器人系统，通过sim-to-real迁移或真实世界强化学习。更一般地，随着预训练模型变得更大、更强大，未来工作可能受益于设计更强调高效适配和改进零样本泛化的算法，而不是传统的灾难性遗忘预防。基于成果可延伸的方向包括：研究任务排序作为隐式正则化的理论机制，探索最优任务排序策略；将发现扩展到其他模态的持续学习，如文本-图像-音频多模态模型；研究更长的持续学习地平线（如100+任务序列）以测试方法的可扩展性；探索自动化的LoRA rank调整策略，根据任务复杂度和模型架构自适应选择rank；研究在更极端域偏移下的鲁棒性，如跨机器人平台、跨环境类型（室内到室外）的持续学习；开发集成顺序微调和选择性回放的混合方法，在需要时引入少量回放以进一步提升性能。
复现评估
复现评估方面，论文提供了开源代码，这大大有利于复现。实验使用标准基准（LIBERO、RoboCasa、ManiSkill），这些基准公开可用且广泛使用。主要超参数直接继承自默认配置，方法特定超参数在原文报告值的一个数量级内进行局部扫描并选择最佳设置。作者特别说明没有对顺序微调进行任何超参数调优，这表明方法的强鲁棒性。所有实验在3个独立随机种子上聚合结果，报告均值加减标准误。算力方面，虽然论文没有明确说明，但考虑到VLA模型规模（7B参数的OpenVLA-OFT）和训练规模（每个任务50k rollout episodes），实验需要显著的GPU资源。总体而言，复现难度中等偏高，主要障碍是计算资源需求，但代码和基准的公开可用性使复现成为可能。
论文图表
