FLAC：基于动能正则化桥匹配的最大熵强化学习 FLAC: Maximum Entropy RL via Kinetic Energy Regularized Bridge Matching
通过动能正则化将最大熵RL重构为薛定谔桥问题，无需显式密度估计
前置知识
最大熵强化学习(MaxEnt RL)
最大熵强化学习在标准RL目标基础上增加熵正则化项，鼓励策略保持随机性以促进探索。目标函数为 $J_{MaxEnt}(\pi) = \mathbb{E}_\pi\left[\sum_{t=0}^{\infty}\gamma^t(r(s_t,a_t)+\alpha H(\pi(\cdot|s_t)))\right]$，其中 $H(\pi) = -\mathbb{E}_{a\sim\pi}[\log\pi(a|s)]$ 是策略熵。最优策略具有Boltzmann形式 $\pi^*(a|s) \propto \exp(Q(s,a)/\alpha)$。这种方法能有效防止策略过早收敛到次优解，是SAC等算法的核心思想。
本文的核心目标是将最大熵原则应用于迭代生成策略（如扩散模型），但这些策略无法直接计算动作密度，需要新的技术路径
扩散模型/Flow Matching策略
扩散模型和Flow Matching是两类迭代生成模型，通过学习向量场 $u_\theta(s,\tau,X_\tau)$ 将简单先验分布 $\mu_0$（如高斯分布）逐步传输到目标分布。生成过程由SDE描述：$dX_\tau = u_\theta(s,\tau,X_\tau)d\tau + \sigma dW_\tau$。在RL中，这类模型用作策略网络，以 $X_0\sim\mu_0$ 为起点，$X_1$ 为最终动作。它们能建模多模态动作分布，在高维控制任务中表现出色，但动作的对数密度 $\log\pi(a|s)$ 无法直接计算。
本文的出发点正是这类策略的密度不可计算问题，需要在不访问显式密度的情况下实现熵正则化
薛定谔桥问题(Schrödinger Bridge Problem)
薛定谔桥问题研究在给定参考随机过程下，寻找最可能的随机演化来连接两个概率分布。形式化为：$\min_P D(P\|P_{ref})$，约束 $P_0=\mu_0$, $P_1=\mu_1$。其中 $D$ 是KL散度（SDE情况）或Wasserstein-2距离（ODE情况）。广义薛定谔桥(GSB)将硬终端约束放松为软势函数约束，使得终端分布可自由演化。这与RL中的奖励驱动优化天然契合。
本文将RL策略优化重新表述为GSB问题，这是方法论的核心创新点，使得最大熵原则自然涌现而无需显式计算熵
动能正则化(Kinetic Energy Regularization)
动能定义为生成过程中速度场的期望物理功：$E(s) = \mathbb{E}\left[\int_0^1 \frac{1}{2}\|u_\theta(s,\tau,X_\tau)\|^2 d\tau\right]$。在随机情况下($\sigma>0$)，路径KL散度与动能成正比：$D_{KL}(P_\theta\|P_{ref}) = \frac{1}{\sigma^2}E(s)$。在确定性情况下($\sigma\to 0$)，动能与Wasserstein-2距离相关：$W_2^2(\mu_0,\pi_\theta) \leq 2E(s)$。最小化动能等价于约束终端分布偏离先验的程度。
动能是本文提出的核心正则化手段，作为路径空间散度的可计算代理，避免了直接计算终端动作密度
Lagrangian对偶方法
Lagrangian对偶方法将约束优化问题转化为无约束的min-max问题。对于约束 $f(x) \leq 0$，构造Lagrangian $\mathcal{L}(x,\lambda) = g(x) + \lambda f(x)$，通过交替优化原始变量 $x$ 和对偶变量 $\lambda\geq 0$ 来求解。在RL中常用于自动调节正则化系数，如SAC中的温度参数自动调节。本文用类似机制自动调节动能惩罚系数 $\alpha$。
FLAC使用Lagrangian对偶方法自动调节动能惩罚系数，是算法实现的关键技术细节
研究动机
迭代生成策略（如扩散模型和Flow Matching）在连续控制任务中展现出优越的表达能力，能够建模复杂的多模态动作分布，在高维控制任务中取得优异性能。然而，将这些策略与最大熵强化学习结合面临根本性困难。最大熵RL依赖动作对数密度 $\log\pi(a|s)$ 来量化和调节策略随机性，但对于迭代生成器，动作分布仅通过多步生成过程隐式定义，$\log\pi(a|s)$ 无法直接获取且计算困难。现有解决方案如DIME训练辅助变分网络来近似熵，SAC-FLOW训练额外的噪声估计网络，Wang等人用多元高斯近似策略熵，这些方法引入额外复杂性和计算开销，且往往导致次优探索。
本文的目标是本文的目标是在不需要显式动作密度估计的情况下，为迭代生成策略实现有效的最大熵正则化。具体而言，作者希望找到一种物理直觉驱动的、可计算的代理指标来控制策略随机性，同时保持或超越现有方法的性能。此外，目标还包括设计一个自动调节正则化强度的机制，避免手动调参的困难。
与已有工作不同的是，本文的独特切入角度是将策略优化重新表述为广义薛定谔桥(GSB)问题。与现有方法直接估计或近似终端熵不同，作者将视角从动作空间提升到路径空间，用动能作为路径空间散度的物理代理。关键洞见是：控制路径空间的偏离同时也能控制终端动作分布的偏离（通过数据处理不等式）。这一视角的转变使得最大熵原则不再是一个外部启发式，而是从终端效用与高熵参考过程的结构化权衡中自然涌现，无需显式动作密度估计。
核心方法
FLAC的核心思路是将RL策略优化看作一个物理传输问题：将简单先验分布（如均匀分布）传输到高奖励区域，同时尽量少做功（最小化动能）。直觉上，参考过程（布朗运动）具有零漂移（零动能），最小化动能迫使策略保持参考过程的内在随机性，仅在必要时施加控制力以转向高价值区域。技术路线为：首先将RL问题表述为GSB问题，证明最优终端边际具有指数倾斜形式 $p^*(X_1) \propto \mu_1^{ref}(X_1)\cdot\exp(-G(X_1)/\alpha)$；然后用动能替代抽象散度项，推导出能量正则化的策略迭代方案；最后实现自动能量调节的off-policy算法。
FLAC的核心创新是将动能正则化作为熵正则化的物理代理。与已有方法的本质区别在于：(1) DIME优化复杂的变分熵代理目标，FLAC直接使用动能这一简单物理量；(2) SAC-FLOW需要训练额外网络，FLAC无需额外网络；(3) 现有方法在动作空间操作（需要密度），FLAC在路径空间操作（只需要速度场）。关键技术贡献是证明了路径空间散度严格上界终端散度：$D_{KL}(\pi_\theta\|\mu_1^{ref}) \leq D_{KL}(P_\theta\|P_{ref}) = \frac{1}{\sigma^2}E(s)$，这保证了最小化动能是约束终端动作分布的充分条件。
方法步骤详情
FLAC算法的具体步骤如下：(1) 策略评估：定义能量正则化Bellman算子 $(T^\pi Q)(s,a) = r(s,a) + \gamma\mathbb{E}[Q(s',a') - \alpha\mathbb{E}^\pi(s')]$，其中 $\mathbb{E}^\pi(s')$ 是采样 $a'\sim\pi(\cdot|s')$ 的期望动能。该算子是 $\gamma$-收缩的，迭代更新收敛到唯一正则化价值函数 $Q^\pi$。(2) 策略改进：更新策略以最大化正则化目标 $\pi \leftarrow \arg\max_\pi \mathbb{E}_{s\sim D,a\sim\pi}[Q^\pi(s,a)] - \alpha\mathbb{E}^\pi(s)$。(3) Critic更新：从当前策略采样下一个动作 $a'$，同时计算其离散动能 $\hat{E}_\theta(s')$，构造目标 $y = r + \gamma[\min_{i=1,2}Q_{\bar{\psi}_i}(s',a') - \alpha\hat{E}_\theta(s')]$。(4) Actor更新：通过可微求解器生成动作，反向传播梯度，损失为 $J_\pi(\theta) = \mathbb{E}_{s\sim\mathcal{B}}[\alpha\hat{E}_\theta(s) - Q_\psi(s,a)]$。(5) 自动能量调节：设定目标能量预算 $E_{tgt}$，通过Lagrangian对偶更新乘子 $\log\alpha \leftarrow \log\alpha - \beta\cdot\mathbb{E}_{s\sim\mathcal{B}}[E_{tgt} - \text{stopgrad}(\hat{E}_\theta(s))]$。
技术新颖性
FLAC的技术新颖性体现在多个层面。首先，将RL重新表述为GSB问题是理论创新，使得最大熵原则从结构化权衡中自然涌现，而非作为外部启发式。其次，证明动能与路径KL散度的等价关系（随机情况）和与Wasserstein-2距离的上界关系（确定性情况），为动能正则化提供理论基础。第三，证明路径散度严格上界终端散度（数据处理不等式），这是将路径空间控制转化为终端分布控制的关键桥梁。第四，推导出最优GSB解的闭式表达，揭示了指数倾斜结构与MaxEnt RL的深层联系。第五，实现仅需NFE=2的高效算法，相比DIME(N=16)和SAC-Flow(N=4)大幅减少函数评估次数。
实验结果
FLAC在多个高维连续控制基准上取得竞争性或优越的性能。在DMControl的Dog域(状态维度223，动作维度38)和Humanoid域(状态维度67，动作维度24)上，FLAC与SAC、TD7、DIME、SAC-FLOW、FlowRL等强基线相比表现相当或更优。在HumanoidBench的Unitree H1任务上(观测维度51-57，动作维度19)，FLAC在大多数任务上匹配或超越所有基线。与模型基线TD-MPC2相比，FLAC在无模型框架内取得相当的渐近性能。消融研究表明：(1)FLAC对目标能量预算 $E_{tgt}$ 具有鲁棒性，在系数 $C\in[0.5,2.5]$ 范围内保持高性能；(2)当 $C=0$（零动能预算）时，策略被迫完全随机，性能显著下降，验证了动能约束的有效性；(3)自动Lagrangian调节一致优于固定正则化方案，$\log\alpha$ 呈现"先降后升"模式，早期放松约束促进学习，后期收紧约束防止模式坍塌。在计算效率方面，尽管基于PyTorch实现，FLAC比基于JAX的DIME更高效，且仅需NFE=2。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HumanoidBench H1-stand | Episodic Reward (1M timesteps) | FLAC约300 | SAC约100, DIME约200, TD-MPC2约300 | 与最强基线持平，显著优于SAC和DIME |
| HumanoidBench H1-walk | Episodic Reward (1M timesteps) | FLAC约900 | SAC约600, DIME约750, SAC-FLOW约700 | 提升20-50% |
| HumanoidBench H1-run | Episodic Reward (1M timesteps) | FLAC约4500 | SAC约1500, DIME约3000, TD-MPC2约4000 | 超越所有基线，包括模型基线TD-MPC2 |
| DMControl Dog Run | Episodic Reward (1M timesteps) | FLAC约600 | SAC约200, DIME约400, FlowRL约350 | 提升50%以上 |
| DMControl Humanoid Walk | Episodic Reward (1M timesteps) | FLAC约750 | SAC约500, DIME约600, SAC-FLOW约550 | 提升25-50% |
局限与改进
作者承认的局限性：(1)当前框架对所有动作维度施加各向同性正则化，将不同执行器同等对待，未考虑某些维度可能需要不同程度随机性的场景。(2)在某些HumanoidBench任务上，FLAC略逊于强模型基线TD-MPC2。(3)动能预算公式 $E_{tgt}=C\cdot\dim(A)$ 基于启发式推导，虽然自动调节机制使其对 $C$ 不敏感，但理论基础仍有完善空间。从技术角度观察：(1)FLAC假设参考过程为布朗运动或均匀分布，对于非各向同性的先验分布可能需要调整。(2)动能正则化在确定性极限($\sigma\to 0$)下只能提供几何约束而非严格的熵保证。(3)算法依赖可微求解器进行路径wise导数，求解器的选择和精度可能影响性能。(4)实验主要在模拟环境验证，真实机器人部署的可行性尚未验证。
独立分析的弱点
FLAC存在几个值得改进的弱点：(1)各向同性正则化问题：当前动能约束对所有动作维度施加相同的惩罚权重，但对于多关节机器人，不同关节可能需要不同程度的探索性。改进方向是设计各向异性的能量约束，根据任务需求和关节特性自适应调整各维度的正则化强度。(2)参考过程假设：方法假设参考过程为各向同性布朗运动或均匀分布，这在动作空间具有自然结构的任务中可能不是最优的。改进方向是学习任务特定的参考过程。(3)能量预算启发式：虽然 $E_{tgt}=C\cdot\dim(A)$ 在实践中有效，但缺乏严格的理论推导。改进方向是基于任务难度和动作空间几何特性推导更精确的能量预算公式。(4)NFE敏感性：虽然NFE=2足够，但在某些需要精确轨迹的任务中，低NFE可能限制性能。改进方向是研究自适应NFE策略。
未来方向
作者提出的未来方向：(1)开发各向异性或状态相关的能量约束，以更好地适应不同控制通道需要不同程度随机性的任务。基于当前成果可延伸的方向：(2)将GSB框架扩展到多智能体设置，研究智能体间的协调传输问题。(3)探索非欧几里得动作空间上的动能正则化，如SE(3)上的姿态控制。(4)研究动能正则化与模型基方法的结合，利用世界模型提高样本效率。(5)将框架应用于离线RL，研究从固定数据集学习时的动能约束效果。(6)探索在真实机器人上的部署，研究sim-to-real迁移中动能正则化的鲁棒性。(7)研究时变能量预算，在训练不同阶段动态调整约束强度。
复现评估
FLAC的复现条件较为完备。代码方面，作者提供了官方实现链接（基于PyTorch），并参考了多个开源基线的代码库（SAC、TD7、DIME、SAC-FLOW、FlowRL、TD-MPC2）。数据方面，实验使用标准基准环境DMControl和HumanoidBench，无需额外数据收集。算力方面，论文展示了wall-clock time比较（图6），在7个DMC-hard任务上约300-350分钟完成训练，计算需求适中。难度方面，算法基于标准的actor-critic框架，核心修改是将动能项加入Bellman目标和策略损失，实现复杂度不高。超参数方面，Table 1提供了完整的超参数设置，包括学习率($3\times10^{-4}$)、折扣因子(0.99)、批量大小(256)、网络结构(512维隐藏层)等，降低了调参难度。总体而言，具备良好研究基础的团队可以在合理时间内复现该工作。
论文图表