基于动作雅可比惩罚学习平滑时变线性控制策略 Learning Smooth Time-Varying Linear Policies with an Action Jacobian Penalty
用雅可比惩罚+线性策略网络实现高效平滑的角色动画控制
前置知识
DeepMimic 风格动作模仿
DeepMimic 是一种基于深度强化学习的物理角色动画框架，通过提供参考动作序列（动捕数据），训练策略网络驱动模拟角色模仿这些动作。奖励函数通常包含位置匹配 $r_{pos} = \exp(-50 \|\hat{x} - x\|^2)$、方向匹配 $r_{orientation} = \exp(-10 \|\hat{ori} \ominus ori\|^2)$ 和关节角度匹配 $r_{joint} = \exp(-2 \|\hat{j} - j\|^2)$ 的加权和。该框架使用关节级 PD 控制器将策略输出的目标角度转化为实际力矩，驱动角色在物理仿真器中运动。
本文的实验环境和评估方式都基于 DeepMimic 框架，理解其奖励设计和仿真设置是理解本文方法的基础。
动作雅可比矩阵 (Action Jacobian)
动作雅可比矩阵 $J$ 描述了策略输出的控制动作 $a$ 对角色状态 $s$ 的敏感程度，即 $J = \frac{\partial a}{\partial s}$。矩阵的每个元素 $J_{ij} = \frac{\partial a_i}{\partial s_j}$ 表示第 $j$ 个状态维度的变化对第 $i$ 个动作维度的影响。雅可比矩阵的范数 $\|J\|$ 越大，说明策略对输入状态越敏感，微小的状态扰动就会导致动作的剧烈变化，从而产生高频抖动的控制信号。
本文的核心创新就是直接惩罚动作雅可比矩阵的 Frobenius 范数 $L_{Jac} = \|J\|^2$，而非像已有工作那样通过奖励项间接近似。理解雅可比矩阵的物理含义是理解本文方法的关键。
线性反馈控制策略
线性反馈控制策略将控制动作表示为状态的线性函数：$a_t = K_t s_t + k_t + \hat{a}_t$，其中 $K_t \in \mathbb{R}^{m \times n}$ 是时变反馈矩阵，$k_t \in \mathbb{R}^m$ 是前馈项，$\hat{a}_t$ 是参考关节角度。与标准神经网络策略不同，线性反馈策略的输出对状态的依赖是线性的，反馈矩阵 $K_t$ 仅依赖于时间（通过参考动作）而不依赖于当前状态。这种参数化方式显著限制了策略的表达能力，但带来了计算上的巨大优势。
本文提出的线性策略网络（LPN）就是基于这种线性反馈控制的参数化方式，其关键优势在于动作雅可比矩阵恰好等于反馈矩阵 $K_t$，避免了昂贵的自动微分计算。
Lipschitz 约束策略
Lipschitz 约束策略通过惩罚策略输出的梯度范数来限制策略的敏感性。具体来说，Chen et al. (2025) 提出的损失项为 $L_{Lipschitz} = \frac{\|a - a_{mean}\|^2}{d_s}$，其中 $a$ 是采样动作，$a_{mean}$ 是策略输出的均值，$d_s$ 是状态空间维度。这等价于惩罚 $\|J^T(a - a_{mean})\|^2$，即只在采样动作的方向上优化雅可比矩阵，而非优化整个雅可比矩阵。
Lipschitz 约束策略是本文的主要对比基线之一，理解其局限性（只优化部分雅可比方向、计算开销大）有助于理解本文方法的优势。
PPO (Proximal Policy Optimization)
PPO 是一种广泛使用的策略梯度强化学习算法，通过裁剪策略更新幅度来保证训练稳定性。在本文的设置中，每个 PPO 迭代使用 50 个并行仿真环境收集 2500 个样本，然后通过梯度下降优化策略参数。总损失函数为 $L_{total} = L_{PPO} + w_{Jac} L_{Jac}$，其中 $L_{PPO}$ 是标准 PPO 损失，$L_{Jac}$ 是本文提出的雅可比惩罚项，$w_{Jac} = 10$ 是权重因子。
PPO 是本文使用的优化算法，理解其基本原理有助于理解本文如何将雅可比惩罚项无缝集成到训练流程中。
研究动机
深度强化学习（DRL）在物理角色动画中表现优异，但学到的策略往往利用不自然的高频信号来获取高奖励。这些高频控制信号在人类或物理机器人上无法实现，导致策略在实际部署时失败。问题的根源在于策略对输入信号的过度敏感——微小的状态变化会导致动作的剧烈变化。现有的解决方案主要有两种：一是添加动作变化惩罚奖励项 $r_{action} = -w_{action}\|a_t - a_{t-1}\|^2$，但这种方法需要大量的任务特定调参，且惩罚效果往往被其他奖励项淹没，难以在保持任务性能的同时有效平滑动作；二是 Lipschitz 约束策略，虽然减少了调参需求，但只优化了雅可比矩阵的部分方向，需要大量采样才能准确估计动作敏感性，计算开销巨大（每个 PPO 迭代约慢 1.5 倍），且在更具挑战性的任务上表现不佳。
本文的目标是本文的目标是提出一种既能有效消除策略中的高频控制信号、又不需要任务特定调参的方法，同时保持计算效率。具体来说，作者希望找到一种机制，能够直接惩罚策略对状态变化的敏感性（而非通过间接的奖励信号），并且这种惩罚的计算开销要尽可能小，不影响训练速度。此外，作者还希望学到的策略具有良好的可解释性和可部署性，能够方便地迁移到物理机器人上。
与已有工作不同的是，本文的独特切入角度是同时从两个维度解决问题：一是提出动作雅可比惩罚（Action Jacobian Penalty），直接通过自动微分计算策略输出对状态的完整雅可比矩阵并惩罚其范数，这与已有工作（只优化部分方向或通过采样近似）有本质区别；二是提出线性策略网络（LPN），通过改变策略的参数化方式（从直接输出动作变为输出反馈矩阵），使得雅可比惩罚的计算变得极其高效——在 LPN 中，动作雅可比矩阵恰好等于反馈矩阵 $K_t$，无需额外的自动微分计算。这种方法与架构的协同设计是本文最核心的创新。
核心方法
本文的方法可以分为两个紧密配合的部分。首先，直觉上，如果一个策略对状态变化越敏感，它的控制信号就越可能包含高频成分。因此，直接惩罚策略对状态的敏感性（即动作雅可比矩阵的范数）应该能有效消除不自然的高频信号。技术路线是将雅可比惩罚项 $L_{Jac} = \|J\|_F^2$ 作为正则化损失加入 PPO 的优化目标中：$L_{total} = L_{PPO} + w_{Jac} L_{Jac}$。然而，对于标准的全连接神经网络策略，计算雅可比矩阵需要昂贵的自动微分操作。因此，作者提出了线性策略网络（LPN），其输出不是直接的控制动作，而是一个反馈矩阵 $K_t$ 和前馈项 $k_t$，控制动作通过 $a_t = K_t s_t + k_t + \hat{a}_t$ 计算。由于 $K_t$ 不依赖于状态 $s_t$，动作雅可比矩阵就等于 $K_t$ 本身，雅可比惩罚的计算简化为一次前向传播和反向传播，几乎没有额外计算开销。
本文的核心创新在于发现了策略参数化方式与雅可比惩罚计算效率之间的深刻联系。对于标准全连接神经网络策略，动作雅可比矩阵 $J = \frac{\partial a}{\partial s}$ 的计算需要通过自动微分对整个网络进行反向传播，计算开销大。但如果我们改变策略的参数化方式，使其输出一个不依赖于当前状态的反馈矩阵 $K_t$，那么控制动作变为 $a_t = K_t s_t + k_t + \hat{a}_t$，此时雅可比矩阵 $J = K_t$，完全不需要自动微分！这意味着雅可比惩罚 $L_{Jac} = \|K_t\|^2$ 可以直接从网络输出计算，与 PPO 损失共享前向和反向传播过程。这种架构即正则化的思想是已有工作完全没有探索过的方向——Lipschitz 约束策略和动作变化惩罚都是在标准网络架构上施加外部约束，而本文通过重新设计策略架构本身来从根本上解决问题。
方法步骤详情
方法的具体步骤如下：（1）输入设计：策略的输入是状态对 $(s_t, \hat{s}_t)$，其中 $s_t$ 是角色的最小坐标表示（包括根节点位移、根节点线速度和角速度、关节角度和关节速度），$\hat{s}_t$ 是参考动作在时间步 $t$ 的状态。参考状态 $\hat{s}_t$ 被送入两层 MLP（隐藏层维度 256），而角色状态 $s_t$ 不参与 MLP 的前向传播。（2）网络输出：MLP 输出反馈矩阵 $K_t \in \mathbb{R}^{m \times n}$（$m$ 为动作维度，$n$ 为状态维度）和前馈动作 $k_t \in \mathbb{R}^m$。注意 $K_t$ 和 $k_t$ 仅依赖于参考状态，不依赖于角色当前状态。（3）动作计算：控制动作通过线性反馈计算：$a_t = K_t s_t + k_t + \hat{a}_t$，其中 $\hat{a}_t$ 是从参考状态提取的参考关节角度。（4）损失计算：总损失为 $L_{total} = L_{PPO} + 10 \cdot L_{Jac}$，其中 $L_{Jac} = \|K_t\|_F^2$ 是雅可比惩罚（因为 $J = K_t$），$L_{PPO}$ 是标准 PPO 损失。（5）训练配置：使用 PPO 算法，50 个并行环境，每轮收集 2500 个样本，最大训练 5000 次迭代，约 2.5 小时在 12 核 CPU + NVIDIA RTX A6000 工作站上完成。（6）推理部署：训练完成后，可以离线预计算反馈矩阵序列，推理时只需查表和矩阵乘法，无需神经网络推理。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在方法层面，动作雅可比惩罚与已有方法的本质区别在于：Lipschitz 约束策略优化的是 $\|J^T(a - a_{mean})\|^2$，只在采样动作的方向上约束雅可比矩阵，需要大量采样才能覆盖所有方向；动作变化惩罚 $r_{action} = -w_{action}\|a_t - a_{t-1}\|^2$ 是间接的，依赖探索过程中的随机性来发现平滑行为，效果不稳定。而本文直接优化整个雅可比矩阵的 Frobenius 范数 $\|J\|_F^2$，是最彻底的正则化方式。其次，在架构层面，LPN 的设计使得雅可比惩罚几乎零成本——这在已有工作中是完全未曾探索的。已有工作要么使用标准网络但承受高计算开销（FF + Jac Pen 每轮慢 1.5 倍），要么使用简单惩罚但效果有限。LPN 通过将计算雅可比这个昂贵操作转化为读取网络输出，实现了方法有效性和计算效率的统一。此外，LPN 学到的时变线性反馈策略具有良好的可解释性——可以通过奇异值分解分析反馈矩阵的低秩结构，还可以方便地用于策略蒸馏和技能组合。
实验结果
本文在多类任务上进行了全面的实验评估，核心发现如下：（1）学习效率：LPN + 雅可比惩罚在所有任务上都展现出最快的收敛速度。以行走任务为例，LPN 在约 500 次迭代内收敛，而 FF + Jac Pen 需要约 1000 次迭代（慢约 2 倍），且每轮迭代还慢 1.5 倍。Lipschitz 约束策略在行走和后空翻上收敛较快，但在乒乓球步法任务上收敛缓慢。（2）动作平滑性：如表 1 所示，LPN 在所有平滑性指标上表现优异。以行走任务为例，LPN 的动作平滑度为 0.0016（越低越好），高频信号比例仅为 0.9%，运动加加速度为 115.6。相比之下，无正则化的基线高频比例高达 8.8%，Lipschitz 约束策略为 9.5%。（3）动态动作能力：重要的是，LPN 能够处理后空翻、侧翻、侧手翻等高动态动作，而大权重的动作变化惩罚（reward 1）在后空翻任务上完全失败（N/A），说明简单的动作变化惩罚会破坏动态动作的学习。（4）低秩分析：通过奇异值分解，发现学到的反馈矩阵可以大幅降维——行走策略可从 28 维降到 14 维仍保持性能，后空翻可降到 20 维，侧手翻可降到 22 维，乒乓球步法可降到 18 维。（5）Sim-to-real 迁移：在 Boston Dynamics Spot 四足机器人（带机械臂）上验证了策略的可部署性，LPN 可以在 15 Hz 的低频率下更新反馈矩阵（比 FF 策略的 50 Hz 低得多），同时保持稳定的步态和快速的臂部运动。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 行走 (Walking) | 动作平滑度 (Action Smoothness ↓) | LPN: 0.0016 | FF+Jac Pen: 0.0014, Lipschitz: 0.0040, No Reg: 0.0031, reward 0.01: 0.0032, reward 0.1: 0.0025, reward 1: 0.0015 | LPN 仅次于 FF+Jac Pen 和 reward 1，但计算效率远高于 FF+Jac Pen |
| 行走 (Walking) | 高频信号比例 (High Frequency Ratio ↓) | LPN: 0.9% | FF+Jac Pen: 2.1%, Lipschitz: 9.5%, No Reg: 8.8%, reward 0.01: 9.2%, reward 0.1: 5.5%, reward 1: 1.5% | LPN 的高频信号比例最低，仅为 0.9%，比无正则化基线降低 89.8% |
| 后空翻 (Backflip) | 高频信号比例 (High Frequency Ratio ↓) | LPN: 8.7% | FF+Jac Pen: 4.0%, Lipschitz: 33.5%, No Reg: 26.6%, reward 0.01: 11.8%, reward 0.1: 2.8%, reward 1: N/A | LPN 优于大多数方法，reward 1 在此任务完全失败 |
| 乒乓球步法 (Footwork) | 动作平滑度 (Action Smoothness ↓) | LPN: 0.009 | FF+Jac Pen: 0.014, Lipschitz: 0.036, No Reg: 0.053, reward 0.01: 0.018, reward 0.1: 0.010, reward 1: 0.005 | LPN 优于大多数方法，仅次于 reward 1 |
| 训练速度 | 每轮迭代时间 (相对 FF 基线) | LPN: 约 1x（与无正则化 FF 相当） | FF+Jac Pen: 约 1.5x | LPN 的雅可比惩罚几乎零计算开销，比 FF+Jac Pen 快约 50% |
局限与改进
本文存在以下局限性：（1）后空翻任务的平滑性：在后空翻任务中，LPN 的平滑性指标（动作平滑度 0.061、高频比例 8.7%）不如 FF+Jac Pen（0.042、4.0%）和 reward 0.1（0.031、2.8%），作者推测这是因为后空翻对时变线性反馈策略来说过于挑战，需要 LPN 产生更高频的动作。（2）更新频率限制：LPN 训练时的反馈矩阵更新频率为 30 Hz，实验发现除了行走（可降到 10 Hz）外，其他动作在低于 30 Hz 时性能退化严重，这限制了计算效率的进一步提升。（3）任务范围限制：本文聚焦于 DeepMimic 风格的动作模仿任务，尚未扩展到其他类型的任务（如对抗性动作模仿、无参考数据的任务）。（4）动作序列长度：相比当前可扩展到长动作序列的 DRL 系统，本文只展示了相对较短的动作片段的模仿。（5）策略表达能力：LPN 将策略限制为线性反馈控制器类，虽然实验表明这种限制在大多数任务上不影响性能，但在某些需要高度非线性映射的任务上可能会有局限。（6）单一权重因子：作者使用固定的 $w_{Jac} = 10$，虽然这证明了方法的鲁棒性，但未探索权重因子的最优选择。
独立分析的弱点
（1）后空翻等高动态任务的平滑性不足：LPN 在后空翻任务上的高频比例（8.7%）明显高于行走（0.9%）和乒乓球步法（1.3%），说明时变线性反馈策略在处理状态剧烈变化的动作时仍有局限。改进方向：可以探索分段线性策略或混合架构，在动作的不同阶段使用不同复杂度的控制器。（2）反馈矩阵更新频率限制：除了行走外，其他动作需要 30 Hz 的更新频率，无法进一步降低。改进方向：可以研究如何训练 LPN 以更低频率工作，例如通过在训练时随机下采样反馈矩阵更新频率来增强鲁棒性。（3）缺乏对权重因子 $w_{Jac}$ 的系统性研究：作者固定使用 $w_{Jac} = 10$，但不同任务可能需要不同的权重。改进方向：可以设计自适应权重调整机制，或根据雅可比矩阵的统计特性自动调整权重。（4）低秩分析未用于实际部署：虽然论文展示了反馈矩阵的低秩结构，但未将低秩近似用于实际推理加速。改进方向：可以在训练时加入低秩约束，直接学习结构化的反馈矩阵。此外，作者自己也指出，雅可比惩罚只考虑了对状态的导数而未考虑对时间的导数，对于后空翻这类状态快速变化的动作，仅惩罚雅可能不足以完全消除时间维度上的高频信号。
未来方向
作者在论文中提出了多个有价值的研究方向：（1）与基于模型的控制方法结合：可以将 LPN 与差分动态规划（DDP）等方法结合，用 DDP 的解来热启动反馈矩阵，兼顾模型方法的样本效率和 DRL 的鲁棒性。（2）逆最优控制：由于 LPN 学到的策略是简单的线性矩阵形式，可以用逆最优控制技术（如 [Amos et al. 2018]）来搜索能复现这些反馈矩阵的成本函数和动力学模型，提升策略的可解释性。（3）分段线性策略：可以将状态空间分割为多个区域，每个区域学习一个线性控制策略。ReLU 网络的激活模式天然形成这种分割，结合大的吸引域可以实现更鲁棒和可解释的策略。（4）扩展到长动作序列和大规模数据集：通过扩展系统以模仿更多更长的动作，可能发现动捕数据与反馈矩阵集合之间的一一对应关系，从而训练策略生成器（如扩散模型）来生成线性反馈策略。（5）技能组合图：通过构建控制图来自动化任意技能之间的转换。（6）扩展到非模仿任务：将框架扩展到对抗性动作模仿或其他不需要动捕数据的任务类型。（7）时间维度的正则化：除了惩罚雅可比矩阵（状态维度的敏感性），还可以探索对时间导数的惩罚，以更好地处理动态动作。
复现评估
从复现角度来看，本文具有较好的可复现性。作者使用了标准的开源工具链：MuJoCo 物理仿真器、PyTorch 深度学习框架、PPO 算法，这些都是强化学习社区广泛使用的工具。论文提供了详细的实验配置：两层 MLP（隐藏层维度 256）、50 个并行环境、每轮 2500 样本、最大 5000 次迭代、$w_{Jac} = 10$。训练硬件需求适中：12 核 CPU + NVIDIA RTX A6000，完整训练约 2.5 小时（通常 2000 次迭代约 1 小时即可收敛）。参考动作数据来自公开数据集（DeepMimic、CMU Motion Capture Database）。然而，论文未提及是否开源代码，这是复现的一个潜在障碍。此外，四足机器人的实验涉及特定的硬件平台（Boston Dynamics Spot）和私有的执行器模型，这部分结果较难复现。总体而言，仿真实验部分的复现难度中等，机器人实验的复现难度较高。
论文图表