安全流Q学习：基于可达性流策略的离线安全强化学习 Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
将Hamilton-Jacobi可达性与流匹配结合，实现离线安全强化学习的单步高效策略
前置知识
Hamilton-Jacobi (HJ) reachability
HJ可达性是一种控制理论方法，用于计算系统状态是否能在给定时间范围内到达特定目标集。它通过求解Hamilton-Jacobi偏微分方程来确定状态空间的安全区域，提供最坏情况下的安全性保证。在强化学习中，HJ值函数$V_\ell^*(x_0) = \min_\pi \max_{t \in [0,T]} \ell(x_t)$表示从状态$x_0$出发的最小最大安全边际，其中$\ell(x) > 0$表示不安全状态。
本文的核心创新是将HJ可达性的严格安全约束与离线强化学习结合，理解HJ可达性对于理解SafeFQL如何实现最坏情况安全性保证至关重要。传统离线安全RL方法使用软约束（期望累积成本），而HJ可达性提供了状态级别的硬安全性。
Flow Matching
流匹配是一种生成建模方法，通过学习从简单分布（如高斯噪声）到目标分布的连续传输向量场来建模复杂数据分布。与扩散模型需要多步去噪不同，流匹配通过求解常微分方程$?rac{d}{dt}\psi_ heta(t, x, z) = v_ heta(t, x, \psi_ heta(t, x, z))$，在单次ODE积分中即可生成样本，其中$v_ heta$是学习的速度场。策略定义为终端映射$\mu_ heta(x, z) = \psi_ heta(1, x, z)$，通过$z \sim \mathcal{N}(0, I)$引入随机性。
SafeFQL使用流匹配作为行为策略的基础，然后蒸馏为单步actor。理解流匹配对于理解SafeFQL如何避免扩散式策略的迭代采样开销至关重要。相比DDPM等需要O(T)次网络评估，流匹配的单次前向传播使实时部署成为可能。
Conformal Prediction
共形预测是一种统计方法，用于在有限样本下为机器学习预测提供概率覆盖保证。它通过在独立的校准集上评估模型误差，计算量化分位数来调整预测置信区间。在本文中，校准步骤计算阈值$\delta^* = \min_{\hat{x} \in \mathcal{X}}\{V_c(x) : V_c^\pi(x) \geq 0\}$，使得子-$\delta$水平集$\{x : V_c(x) < \delta^*\}$在概率$1-?lpha$下安全。这通过exchangeability假设成立。
离线学习存在有限数据误差，导致学习到的安全边界可能误校准。共形预测为SafeFQL提供了理论保证，补偿学习误差，这是本文相比纯数据驱动方法的关键优势。理解共形预测有助于理解如何将不确定性量化集成到安全决策中。
CMDP (Constrained Markov Decision Process)
约束马尔可夫决策过程是强化学习的形式化框架，定义为元组$\mathcal{M} = (\mathcal{X}, \mathcal{A}, P, r, \ell, \gamma)$，其中$\mathcal{X}$是状态空间，$\mathcal{A}$是动作空间，$P(x'|x,a)$是转移概率，$r: \mathcal{X} o \mathbb{R}$是奖励函数，$\ell: \mathcal{X} o \mathbb{R}$是即时安全函数（通常定义为到失败集的负符号距离），$\gamma \in (0,1)$是折扣因子。目标是最大化累积奖励$\sum_{k=0}^{\infty} \gamma^k r(x_k)$，同时满足硬安全约束$x_t otin \mathcal{F}, ?orall t \geq 0$，其中失败集$\mathcal{F} = \{x \in \mathcal{X} : \ell(x) > 0\$。
CMDP是SafeFQL的问题基础，理解它的形式化有助于理解为什么传统软约束方法（如拉格朗日方法）不足，以及SafeFQL的硬约束形式ulation如何保证安全性。CMDP也明确了安全函数$\ell(x)$的定义和失败集的概念。
研究动机
现有离线安全强化学习方法面临三个核心问题。首先，基于软期望成本目标的方法（如BEAR-Lag、CPQ、COptiDICE）将安全性表述为$\mathbb{E}[\sum_t \gamma^t c(x_t)] \leq l$，这种期望约束无法防止单个轨迹违反，在安全关键场景中不可接受。论文指出在安全关键转换在静态数据集中稀疏时，安全-性能权衡特别脆弱。其次，扩散式安全生成基线（如FISOR、SafeIFQL）虽然能建模多模态动作分布，但需要迭代去噪和额外的拒绝采样，每次动作选择需要O(T)次网络评估（T通常为16-100），在安全关键实时控制中导致高延迟。论文图4显示FISOR和SafeIFQL即使N=1时推理时间仍达0.21-0.24秒/回合，而实时控制要求毫秒级响应。第三，Hamilton-Jacobi reachability等控制论方法虽然提供严格安全性，但网格方法面临维度诅咒，且需要已知动力学或学习动力学替代品，模型学习误差在纯离线设置下会传播到安全估计和策略决策。
本文的目标是本文提出Safe Flow Q-Learning（SafeFQL），目标是构建一个离线安全强化学习框架，能够从静态数据集中学习表达性单步策略，同时满足严格的硬安全约束。具体目标包括：（1）结合Hamilton-Jacobi reachability启发的安全价值函数与流匹配策略，实现最坏情况安全性保证；（2）通过蒸馏多步流策略为单步actor，避免部署时的迭代去噪和拒绝采样，实现实时安全关键控制；（3）引入共形预测校准步骤，补偿有限数据下的学习误差，提供有限样本概率安全覆盖；（4）在保持高奖励的同时，将违反约束次数降至接近零，并显著降低推理延迟。论文强调SafeFQL在离线训练成本和推理延迟之间实现有利权衡，用略微增加的离线训练成本换取大幅降低的推理延迟。
与已有工作不同的是，本文的独特切入角度是将三个技术组件有机结合，突破现有方法的局限。首先，与现有软约束离线安全RL方法不同，SafeFQL采用硬约束形式ulation，通过可达性启发的安全价值函数$Q_c(x,a)$编码最坏情况安全性，而非期望累积成本。其次，与扩散式安全生成基线不同，SafeFQL不依赖拒绝采样，而是通过蒸馏多步流策略为单步actor，直接输出最优动作，每次动作选择只需一次前向传播。论文图4显示SafeFQL推理时间为0.14秒/回合，相比FISOR的0.24-0.33秒/回合提升2.5倍。第三，与需要动力学知识的HJ reachability方法不同，SafeFQL从离线数据中学习安全价值函数，通过max-backup Bellman递归$y_c(x,a,x') = \max\{\ell(x), \gamma ?ar{V}_c(x')\}$训练，避免动力学建模误差。最后，SafeFQL引入共形预测，这是离线安全RL中少见的统计安全保证方法，通过校准数据调整阈值，提供概率覆盖。
核心方法
SafeFQL的整体思路是将离线安全强化学习分解为四个 sequentially dependent阶段：奖励和安全关键学习、行为流教师训练、可行性门控actor训练、共形预测校准。直观上，SafeFQL首先学习两个独立的评估器：奖励critic $Q_r(x,a)$评估动作的长期回报价值，安全critic $Q_c(x,a)$评估动作的最坏情况安全性。然后，SafeFQL训练一个流匹配模型作为行为教师，学习数据集的动作分布，并将其蒸馏为单步actor。核心创新是可行性门控目标：当预测动作不安全时（$Q_c \geq 0$），actor优化完全忽略奖励，只关注恢复安全性；只有当动作预测安全时（$Q_c < 0$），才切换到奖励最大化。这种严格优先级避免了奖励和安全梯度同时活跃且方向相反的不稳定性。最后，SafeFQL使用共形预测在校准集上计算校准阈值$\delta^*$，调整学习到的安全边界，提供概率安全保证。技术路线与FQL类似，但扩展到安全约束设置，引入第二个critic系统，其语义由最坏情况可达性而非累积折扣回报支配。
SafeFQL的核心创新是可行性门控机制，它强制执行严格优先级排序。当预测策略动作违反可行性时（$Q_c \geq 0$），actor更新完全忽略奖励，仅关注恢复可行性；只有当动作预测可行时（$Q_c < 0$），才切换到奖励最大化。这是通过二进制门$\zeta(x,z) = \mathbb{I}\{Q_c(x, \mu_\omega(x,z)) < 0\}$和损失函数$\mathcal{L}_{ ext{actor}}(\omega) = \lambda \mathcal{L}_{ ext{distill}}(\omega) + \mathbb{E}_{(x,z)}[\zeta(x,z) \cdot (-Q_r(x, a_\omega)) + (1-\zeta(x,z)) \cdot \max(0, Q_c(x, a_\omega))]$实现的。这与朴素拉格朗日公式$\mathcal{L}_{ ext{naive}} = -\mathbb{E}[Q_r] + \eta \mathbb{E}[\max(0, Q_c)] + \lambda \mathcal{L}_{ ext{distill}}$形成对比。在朴素公式中，奖励和安全项量级相当，可以相互权衡。具体来说，在可行性边界附近$Q_c$为小正值时，$\-Q_r$的足够大梯度可能占主导并将actor推入不可行区域。乘数$\eta$需要针对每个任务精确调整，而没有在线交互无法知道正确值。SafeFQL的可行性门$\zeta$消除了奖励和安全梯度同时活跃且指向相反方向时产生的不稳定性。第二个核心创新是共形预测校准，它为学习到的安全价值水平集提供有限样本概率覆盖保证。第三个创新是多步流策略的单步蒸馏，避免了反向传播通过迭代生成过程的计算负担。
方法步骤详情
SafeFQL分为四个阶段。阶段1：奖励和安全critic学习。给定离线数据集$\mathcal{D} = \{(x_i, a_i, r_i, \ell_i, x'_i)\}_{i=1}^N$，训练奖励Q函数$Q_r(x,a;\phi_r)$和状态价值函数$V_r(x;\psi_r)$。$V_r$通过expectile损失$\mathcal{L}_{V_r}(\psi_r) = \mathbb{E}_{(x,a)\sim\mathcal{D}}[L_ au(Q_r(x,a;\phi_r) - V_r(x;\psi_r))]$训练，其中$L_ au(u) = | au - \mathbb{I}(u < 0)|u^2$，$ au \in (0.5,1)$。对于$ au$接近1，损失上加权正残差，使$V_r$追踪数据集内Q值分布的高分位数。给定$V_r$，Q函数通过一步Bellman回归$y_r = r + \gamma ?ar{V}_r(x')$更新，损失$\mathcal{L}_{Q_r}(\phi_r) = \mathbb{E}_{(x,a,r,x')\sim\mathcal{D}}[(Q_r(x,a;\phi_r) - y_r)^2]$。安全critic系统类似，但使用max-backup Bellman递归$y_c(x,a,x') = \max\{\ell(x), \gamma ?ar{V}_c(x')\}$，确保任何未来时间步的低安全边际向后传播到当前状态。安全Q函数$Q_c(x,a;\phi_c)$和安全价值函数$V_c(x;\psi_c)$通过$\mathcal{L}_{Q_c}$和$\mathcal{L}_{V_c}$训练，但这里$ au < 0.5$使$V_c$追踪安全Q分布的低分位数，得到可行性边界的保守近似。阶段2：行为流教师训练。参数化行为策略$\pi_?eta$通过条件流匹配模型$\mu_ heta(x,z,t)$，训练目标$\mathcal{L}_{ ext{flow}}( heta) = \mathbb{E}_{(x,a)\sim\mathcal{D}, z\sim\mathcal{N}(0,I), t\sim\mathcal{U}([0,1])}[\|\mu_ heta(x, x_t, t) - (a-z)\|_2^2]$，其中$x_t = (1-t)z + ta$是噪声样本和目标动作的线性插值。阶段3：可行性门控actor训练。部署策略是确定性单步actor $\mu_\omega(x,z) : \mathcal{X} imes \mathbb{R}^{d_a} o \mathcal{A}$，通过蒸馏损失$\mathcal{L}_{ ext{distill}}(\omega) = \mathbb{E}_{(x,z)\sim\mathcal{D} imes\mathcal{N}(0,I)}[\|\mu_\omega(x,z) - ilde{\mu}_ heta(x,z)\|_2^2]$锚定到流教师，其中$ ilde{\mu}_ heta(x,z)$是训练流模型从$z$条件于$x$的单步积分。然后通过可行性门控损失$\mathcal{L}_{ ext{actor}}$优化。阶段4：共形预测安全验证。使用保留校准集计算校准阈值$\delta^*$，使修正安全集$\mathcal{S}_{\delta^*} = \{x : V_c(x) < \delta^*\}$在概率$1-?lpha$下安全。
技术新颖性
SafeFQL的技术新颖性体现在三个方面。首先，可行性门控机制是离线安全RL中少见的严格优先级 enforcement。与软约束拉格朗日方法不同，SafeFQL通过硬指示掩码确保奖励和安全信号不会同时活跃，从结构上避免了不稳定性。这种设计在技术上是对actor-critic框架的创新扩展。其次，SafeFQL将max-backup Bellman递归从可达性文献引入离线RL，这是对标准Q-learning的修改。传统的Bellman备份使用期望，而SafeFQL使用max操作$\max\{\ell(x), \gamma ?ar{V}_c(x')\}$，这是从最优控制借用的技术，但在此处用于数据驱动的安全价值学习。第三，共形预测与离线安全RL的结合是新颖的。共形预测通常用于分类或回归中的不确定性量化，但将其用于安全价值水平集的校准是SafeFQL的创新。这种方法为学习到的策略提供了有限的样本概率保证，这是纯端到端学习方法所缺乏的。最后，流匹配策略的单步蒸馏虽然借鉴了FQL，但将其扩展到安全约束设置，同时处理两个独立的critic系统，这是对FQL框架的非平凡扩展。
实验结果
SafeFQL在Safe Boat Navigation和Safety Gymnasium MuJoCo任务上实现了显著的安全性能提升。在Safe Boat Navigation环境中，论文使用500个随机初始状态评估，SafeFQL实现了零违反约束，同时相比所有基线显著提升奖励。论文图2显示SafeFQL的Reward达到约1050，而基线CPQ、C2IQL、FISOR(R.S.)分别为600、750、900左右。更重要的是，SafeFQL的Cost为0，而所有基线都有非零违反。在Safety Gymnasium高维MuJoCo任务（HalfCheetah、Hopper、Ant、Walker2D、Swimmer）中，SafeFQL在500个随机采样初始状态下持续实现最低安全违反。论文图2显示，在HalfCheetah中，SafeFQL的Reward约为2500，Cost为0；在Hopper中，SafeFQL的Reward约为1000，Cost为0；在Ant中，SafeFQL的Reward约为1500，Cost约为40；在Walker2D中，SafeFQL的Reward约为200，Cost约为20；在Swimmer中，SafeFQL的Reward约为1200，Cost为0。相比基线，SafeFQL在保持高奖励的同时实现了接近零的违反。具体来说，基线BEAR-Lag、CoptiDICE、CPQ、C2IQL、FISOR(R.S.)、SafeIFQL的Cost在所有环境中都高于SafeFQL，Reward则低于或相当。论文强调SafeFQL的成功来自于学习单步最优策略，直接输出高奖励安全动作。相比之下，优化期望累积成本的基线（如BEAR-Lag、CPQ、COptiDICE）在严格执行安全性而不牺牲奖励方面挣扎，而C2IQL虽然实现高奖励，但在安全关键任务中产生不一致的成本。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Safe Boat Navigation | Reward / Cost (safety violations) | Reward: ~1050, Cost: 0 | CPQ (Reward: 600, Cost: >0), C2IQL (Reward: 750, Cost: >0), FISOR(R.S.) (Reward: 900, Cost: >0) | Zero violations while achieving highest reward among all baselines |
| Safety Gymnasium HalfCheetah | Reward / Cost | Reward: ~2500, Cost: 0 | CPQ (Reward: ~2000, Cost: >0), C2IQL (Reward: ~1500, Cost: >0), FISOR(R.S.) (Reward: ~1000, Cost: 0) | Highest reward with zero violations |
| Safety Gymnasium Hopper | Reward / Cost | Reward: ~1000, Cost: 0 | CPQ (Reward: ~600, Cost: >0), C2IQL (Reward: ~800, Cost: >0), FISOR(R.S.) (Reward: ~750, Cost: >0) | Zero violations while achieving competitive reward |
| Inference Time | Seconds per episode | 0.14s (N=1) | FISOR (0.24-0.33s with N=1-16), SafeIFQL (0.21-0.35s with N=1-16) | 2.5× faster inference than diffusion baselines |
局限与改进
作者指出了几个局限性。首先，SafeFQL使用硬指示掩码$\mathbb{I}\{Q_c(x, \mu_\omega(x,z)) < 0\}$来使用Q-critic函数，理论上可能产生非平滑损失景观，可能影响训练。作者建议可以探索连续掩码函数或软拉格朗日松弛来改善框架稳定性，但这需要超参数微调。其次，共形预测依赖于exchangeability假设，这在实践中可能不成立，特别是在分布偏移或数据非独立同分布时。第三，SafeFQL的硬约束形式ulation虽然提供严格安全性，但可能导致保守行为，特别是在数据集不支持的最优安全策略时。第四，SafeFQL在离线设置中评估，安全保证依赖于学习到的安全价值函数的准确性，这在校准集代表性不足时可能失效。我观察到SafeFQL的计算分析基于特定实现、硬件和基准设置，延迟增益可能在不同设置下变化。此外，SafeFQL的训练时间（128s）比FISOR（113s）和SafeIFQL（64s）长，虽然推理时间优势补偿了这一点，但在训练资源受限时可能成为问题。
独立分析的弱点
SafeFQL的一个独立分析弱点是硬指示门可能导致梯度不连续性，特别是当$Q_c$值在阈值附近波动时。这可能在训练早期或在高噪声环境中导致不稳定。改进方向是使用软门机制，如sigmoid函数$\sigma(-Q_c/ au)$，其中$ au$是温度参数，逐渐从软门过渡到硬门。第二个弱点是共形预测依赖于校准集的代表性，如果校准集分布与部署分布不同，安全保证可能失效。改进方向是使用自适应共形预测或在线校准，动态调整阈值。第三个弱点是SafeFQL假设状态完全可观测，在部分可观测设置（POMDP）中，学习到的安全价值函数可能不准确。改进方向是扩展到部分可观测设置，使用历史状态或递归神经网络估计安全价值。第四个弱点是SafeFQL的可行性门在状态空间高维时可能计算昂贵，因为需要评估$Q_c$。改进方向是使用近似安全集或预计算安全区域。第五个弱点是SafeFQL蒸馏为单步actor可能丢失多步策略的某些表达能力，特别是在长期规划很重要时。改进方向是使用多步actor或层次策略，在单步效率和多步规划之间平衡。
未来方向
作者提出了几个未来方向，包括探索连续掩码函数或软拉格朗日松弛以改善框架稳定性。基于SafeFQL的成果，可以延伸多个研究方向。首先，将SafeFQL扩展到多智能体安全RL，其中多个智能体需要协调以满足联合安全约束。其次，将SafeFQL应用于更复杂的动力学系统，如机器人操作或自动驾驶，其中状态空间更高维且安全性更关键。第三，改进共形校准算法，如使用自适应或在线共形预测，以更好地处理非exchangeable数据。第四，探索SafeFQL与在线安全RL的结合，如使用SafeFQL初始化在线策略或使用在线数据更新安全价值函数。第五，将SafeFQL与其他不确定性量化方法结合，如贝叶斯神经网络或集成方法，以提供更鲁棒的安全估计。第六，将SafeFQL应用于多模态任务，如图像输入或语言指令，需要更复杂的表示学习。第七，研究SafeFQL的迁移学习能力，如何将在一个任务上学到的安全知识迁移到新任务。第八，分析SafeFQL的理论性质，如收敛性保证或安全边界的tightness。
复现评估
论文未明确说明是否开源代码或数据，但实验在标准化环境中进行，包括自定义Safe Boat Navigation环境和Safety Gymnasium套件（Hopper、HalfCheetah、Swimmer、Walker2D、Ant）。Safety Gymnasium是公开可用的基准，使用标准DSRL数据集。自定义导航环境的动力学、状态空间边界和实验设置在补充材料B.1中详细描述，为复现提供了足够信息。实验使用500个随机初始状态进行评估，具体随机种子未提及。计算分析基于特定实现，硬件未指定，但训练时间（128s）和推理时间（0.14s）表明使用现代GPU。算法在算法1中伪代码描述清楚，四个阶段分步骤说明。超参数如折扣因子$\gamma$、expectile参数$ au$、蒸馏权重$\lambda$、校准参数$(\epsilon_s, ?eta_s, N_{ ext{cal}})$未在主论文中提供具体值，可能在补充材料中。总体而言，论文提供了足够的算法细节和实验设置描述，复现难度中等，但缺少开源代码可能增加复现难度。建议作者开源代码以促进社区验证和扩展。
论文图表
