DRAP：面向物理 AI 持续学习的动力学风险自适应可塑性 DRAP: Dynamics-Risk Adaptive Plasticity for Continual Learning in Physical AI

第 0 步：KappaTune 一次性选出固定张量集 $\mathcal{T}$，初始化 $I^{(0)}_T=0$，组外参数冻结。第 1 步（离线）：把专家演示的状态与动作按套件级稳健统计标准化，在每条 episode 的滑窗 $W_t$ 上用岭回归拟合 $\tilde{s}_{j+1}=A_t\tilde{s}_j+B_t\tilde{a}_j+c_t+\epsilon_j$，计算 $\rho_t=\sigma_{\max}(A_t)$，再经 $r_t=\mathrm{clip}(\rho_t/(\mathrm{median}_j\rho_j+\epsilon_r),\,c_{\min},\,c_{\max})$ 归一裁剪（实验取 $[0.25,4]$），得到与训练样本对齐的风险权重。第 2 步：训练任务 $k$，AdamW 交叉熵损失 $\ell_i=\frac{1}{|Q_i|}\sum_{q\in Q_i}\ell_{i,q}$ 只对动作 token 位置 $Q_i$ 求平均，各张量学习率不同。第 3 步：任务结束后用 $N_k$ 个样本、batch size=1 估计新任务重要性，含三个归约：动作 token 位置平均、张量 $n_T$ 个元素平均、$N_k$ 样本平均；除以 $n_T$ 防止大张量凭参数多占优，batch=1 防止不同样本与动作方向的平方梯度互相抵消。第 4 步：中位数归一 $\bar{I}^{(k),new}=\mathcal{N}(\hat{I}^{(k),new})$ 并入累积记忆 $I^{(k)}_T=\gamma I^{(k-1)}_T+\bar{I}^{(k),new}_T$。第 5 步：算 $s^{(k)}_T=(1+\beta\bar{I}^{(k)}_T)^{-1/p}$，为下一任务建逐张量学习率组 $\eta_T=\eta\cdot s^{(k)}_T$，循环至任务流结束，每阶段保存检查点、张量集与重要性表。

技术新颖性可从五个角度看。其一，信号层面：这是首个把轨迹级扰动放大风险作为持续学习重要性权重的工作，Table I 的逐维对比显示'物理 grounding'是 DRAP 与 CLASSP/EWC 唯一的维度级差异；其二，保护机制层面：不改损失（对比 EWC 的正则项）、不写自定义优化器（对比 CLASSP），只用 AdamW 的逐张量参数组加一个标量乘子，工程实现近乎零侵入，且抑制的是真实优化步长而非原始梯度；其三，存储层面：只需保存一张张量级累积重要性表，比 EWC 的 Fisher 对角矩阵加参考参数更省，且天然免回放；其四，估计器设计层面：batch size=1 的平方梯度避免跨样本抵消、除以 $n_T$ 消除张量规模偏置、中位数归一去除任务全局尺度只留相对分布，三处细节显示作者对重要性偏差来源的系统性处理；其五，组合层面：KappaTune（结构性圈定适应范围）与 DRAP（按历史责任分配可塑性）形成互补分工，消融证明缺一即崩，这种'选址+配速'的双层控制结构干净且各自可独立替换。

独立分析的弱点：第一，遗忘只是被缓解而非消除——Goal 后 Spatial 剩 0.34（从 0.77 损失 0.43）、平均遗忘 0.31，按此速率更长任务序列下旧技能仍会趋近归零，改进方向是引入 CLASSP 式梯度阈值做稀疏补充，或在检测到遗忘加速时动态调大 $\beta$。第二，策略无关风险的盲区：$\sigma_{\max}(A_t)$ 完全不看策略自身的纠偏能力，一个对扰动鲁棒的策略在敏感区的错误也许可自愈，DRAP 却会过度保护，改进方向是在线估计 $B_tJ_{\pi,t}$ 或改用多步放大增益。第三，重要性估计的代表性偏差：每任务结束时的单次 batch=1 快照可能高估与末期数据相关的方向，改进是任务内多个时点累积或对 $N_k$ 子集按任务阶段分层采样。第四，对 KappaTune 的强依赖：没有它第三任务即崩（0.11/0.08），说明方法的鲁棒窗口窄，改进是让累积重要性反过来在线调整可训练集本身，形成闭环。第五，统计报告薄弱：无置信区间、无多种子训练重复，6 次评估的池化只能压 rollout 方差、压不掉训练随机性，结论的统计强度有限。

作者提出的方向：把动力学风险估计器从状态转移项扩展到控制通路敏感度（含 $B_tJ_{\pi,t}$）、在线估计、多步扰动传播以及接触感知或可学习的局部动力学；引入 CLASSP 启发的更新阈值；在更长的持续学习序列上验证。基于本文成果可延伸的方向：其一，用数据驱动的小型动力学模型替代滑窗岭回归，让风险分数适应接触丰富的操作场景；其二，把 DRAP 与小容量回放做系统组合实验，量化免回放正则与经验回放的互补边界——Liu 等人的结果提示两者可能高度互补；其三，在 OpenVLA-OFT（连续动作、动作分块）上重估 $r_t$ 信号，连续动作下 $\|\nabla_T\ell_i\|_F^2$ 的统计性质与离散 token 不同，值得检验；其四，理论侧建立重要性加权强度与收缩率、李雅普诺夫指数的正式联系，回答'该保护多少才够'；其五，把协议扩展到 10+ 任务的跨套件长序列与真实机器人，检验 $\gamma$ 折扣在长程下的表现；其六，探索把动力学风险用于数据加权采样或课程排序，而不仅是可塑性控制。

复现评估：代码已在 GitHub 开源（oswaldoludwig/DRAP-Dynamics-Risk-Adaptive-Plasticity），LIBERO 基准与 OpenVLA 7B 权重均公开，数据门槛低。算力需求中高：需顺序微调 7B VLA 三次、跑五种配置、每阶段做 6×50 次闭环 Gym 评估，评估端的闭环 rollout 是主要成本，估计需要多卡 80GB 级 GPU 运行数天；相比之下风险估计环节（滑窗岭回归+奇异值+平方梯度累积）是 CPU 级轻量计算，实现半天可完成。整体难度中等偏上：要复现完整表格需搭建 LIBERO 仿真环境、跑通 OpenVLA 训练栈并组织五组顺序训练与池化评估。最大复现风险是超参透明度：正文只给出裁剪界 $[0.25,4]$ 与 $\gamma=1$，而 $\beta$、$p$、KappaTune 各组预算、基础学习率、$N_k$ 与滑窗长度均未在文中给出数值，必须依赖开源代码；评估协议（池化 6×50、每阶段全套件评估）描述清晰，这点对复现友好。单作者完成全部实验也说明工程复杂度可控。