CLARE：通过自适应适配器路由和扩展实现视觉-语言-动作模型的持续学习 CLARE: Continual Learning for Vision-Language-Action Models via Autonomous Adapter Routing and Expansion

CLARE的训练和推理包含以下步骤：\n\n**训练阶段（算法1）：**\n1. 初始化：为每个可扩展层$\ell \in \mathcal{E}$初始化空适配器集$\mathcal{A}_\ell = \emptyset$和判别器集$\mathcal{D}_\ell = \emptyset$，计数器$k_\ell = 0$\n2. 对于每个新任务$\mathcal{T}_n$：\n a) 收集演示数据$\mathcal{D}_n$\n b) 动态扩展：对于每个可扩展层$\ell$：\n - 计算现有判别器的z-score：$z_j^\ell = \frac{1}{|\mathcal{D}_n|} \sum_{x_\ell \in \mathcal{D}_n} \frac{e_j^\ell(x_\ell) - \mu_j^\ell}{\sigma_j^\ell}$\n - 如果所有$z_j^\ell > \gamma$（阈值）或$n=1$：扩展新适配器$A_{k_\ell}^\ell$和判别器$D_n^\ell$，建立映射$\mathcal{B}_\ell(D_n^\ell) = A_{k_\ell}^\ell$\n - 否则：只添加判别器$D_n^\ell$，链接到最相关适配器：$\mathcal{B}_\ell(D_n^\ell) = A_i^\ell = \mathcal{B}_\ell(D_{j^*}^\ell)$，其中$j^* = \arg\min_j \mathbb{E}_{x_\ell \sim \mathcal{D}_n} e_j^\ell(x_\ell)$\n c) 两阶段训练：首先用流匹配损失训练新适配器；然后冻结其他参数，用重建损失训练新判别器\n\n**推理阶段（算法2）：**\n对于输入特征$x_\ell$：\n1. 计算所有判别器的重建误差：$e_j^\ell(x_\ell) = \| x_\ell - D_j^\ell(x_\ell) \|^2$\n2. 选择最小误差对应的判别器：$j^* = \arg\min_j e_j^\ell(x_\ell)$\n3. 激活链接的适配器：$A_\ell^* = \mathcal{B}_\ell(D_{j^*}^\ell)$\n4. 计算输出：$M_\ell(x_\ell) = M_\ell(x_\ell)^{\text{pre}} + A_\ell^*(x_\ell)$

CLARE的技术新颖性体现在四个方面：\n\n1. **自编码器路由机制**：不同于传统的门控网络或基于梯度的路由，CLARE使用重建误差作为任务相似性度量。这种设计无需任务标签，且能处理连续变化的任务分布。判别器通过最小化重建误差学习任务特定特征，路由选择重建误差最小的判别器对应的适配器。\n\n2. **动态扩展策略**：基于特征相似性的z-score决定是否扩展，而非盲目为每个任务添加适配器。z-score标准化考虑了不同判别器的统计特性，阈值$\gamma$控制扩展的积极程度。当$\gamma=0$时每个任务都扩展，当$\gamma=20$时仅扩展显著不同的任务。\n\n3. **参数高效设计**：适配器采用瓶颈结构（$r \ll d_\ell$），每任务仅增加约2%参数。实验显示，在LIBERO-Long上，CLARE的AUC（75.1%）比需要存储50%数据的经验回放（60.5%）高14.6个百分点，而参数量仅为后者的约1/50。\n\n4. **两阶段训练策略**：先训练适配器（流匹配损失），再训练判别器（重建损失）。这种顺序确保判别器能在稳定的特征空间中学习，避免了适配器和判别器同时训练的不稳定性。\n\n与现有方法相比，CLARE在以下指标上表现突出：前向迁移（FWT）达75.0%，与全参数微调相当；负向迁移（NBT）仅1.9%，显著低于经验回放的22.7%；AUC达75.1%，比最好的基线高14.6个百分点。

基于独立分析，CLARE存在以下可改进的弱点：\n\n1. **路由机制的可解释性不足**：虽然自编码器重建误差提供了任务相似性度量，但难以解释为什么某个适配器被选中。改进方向：引入注意力机制可视化路由决策，或开发基于规则的后处理来提高可解释性。\n\n2. **扩展策略的静态性**：阈值$\gamma$在训练前设定，无法根据任务难度动态调整。改进方向：开发自适应阈值机制，根据验证集性能自动调整$\gamma$，或使用元学习预测最优扩展策略。\n\n3. **适配器独立性假设**：每个适配器独立训练，缺乏跨任务知识共享。虽然这避免了干扰，但也可能错过任务间的共性。改进方向：引入分层适配器结构，底层共享通用特征，高层捕获任务特定知识。\n\n4. **判别器训练的不稳定性**：判别器在冻结其他参数后训练，可能无法充分利用新特征。改进方向：探索联合训练策略，或使用对抗训练提高判别器的区分能力。\n\n5. **缺乏失败案例分析**：论文未详细分析失败案例，特别是路由错误或扩展决策失误的情况。改进方向：系统分析失败模式，开发故障检测和恢复机制。

基于CLARE的成果，未来研究可沿以下方向扩展：\n\n1. **大规模VLA适配**：将CLARE应用于更大的VLA模型（如OpenVLA、π0.5），验证在更复杂任务和更长任务序列中的有效性。预训练模型规模的增加可能改变扩展策略的最优性。\n\n2. **多模态任务定义**：当前任务仅基于语言指令定义，未来可探索结合视觉示例、力反馈等多模态任务定义，提高路由的鲁棒性。\n\n3. **在线学习扩展**：将CLARE从离线演示学习扩展到在线强化学习，使机器人能在真实交互中持续学习。这需要解决探索-利用平衡和样本效率问题。\n\n4. **分布式持续学习**：在多机器人系统中部署CLARE，实现跨机器人的知识共享和适应。需要解决通信效率和隐私保护问题。\n\n5. **安全约束整合**：在持续学习中加入安全约束，确保新技能的学习不会违反安全规则。这需要开发安全感知的扩展和路由策略。\n\n6. **理论分析**：深入分析CLARE的收敛性、泛化能力和遗忘边界，为方法设计提供理论指导。\n\n7. **硬件效率优化**：开发硬件友好的适配器结构，如量化适配器或稀疏适配器，进一步降低计算和内存开销。

CLARE的复现性评估如下：\n\n**开源情况**：论文承诺代码、数据和视频将在网站tum-lsy.github.io/clare发布，但截至分析时可能尚未完全开源。开源内容包括CLARE框架代码、LIBERO基准评估脚本、真实世界实验数据。\n\n**数据要求**：CLARE需要预训练VLA模型和持续学习任务数据。预训练数据需要大规模多样化演示（如DROID数据集），持续学习数据需要任务特定的演示。在LIBERO基准上，每个任务有50个人类专家演示；真实世界实验使用1000个实验室演示和2000个DROID episode。\n\n**算力需求**：训练需要NVIDIA RTX 5090 GPU，每个仿真任务约1小时，每个真实世界任务约5小时。推理时间增加<3毫秒，GPU显存每任务增加约2%。这种需求对学术研究可行，但对资源受限的机构可能较高。\n\n**复现难度**：中等。需要：1) 预训练VLA模型（论文未明确提供预训练代码）；2) LIBERO基准环境（开源）；3) 真实世界硬件（FR3机械臂、相机等）；4) 超参数调整（阈值$\gamma$、适配器结构等）。\n\n**关键挑战**：1) 预训练数据的质量和多样性对CLARE性能影响大，复现时需确保预训练质量；2) 真实世界实验需要精确的硬件设置和数据收集，增加了复现复杂性；3) 超参数（如$\gamma$）需要根据具体任务调整，论文提供了一些指导但非通用。\n\n**建议复现步骤**：1) 先使用LIBERO基准验证框架；2) 调整扩展阈值$\gamma$观察影响；3) 在简单真实任务上测试；4) 逐步扩展到更复杂场景。