← 返回 2026-03-19

从新手到专业：通过分布收缩式RL微调实现高效技能掌握 From Prior to Pro: Efficient Skill Mastery via Distribution Contractive RL Finetuning

Zhanyi Sun, Shuran Song 📅 2026-03-10 👍 4 2026-07-13 08:36

强化学习扩散策略机器人学习策略微调行为克隆

将RL作为分布收缩算子，在预训练生成式策略基础上实现稳定高效的长周期机器人操作技能微调。

前置知识

Flow Matching 策略

Flow Matching 是一种生成式建模方法，通过学习条件速度场将高斯噪声映射到目标动作分布。给定状态 s 和噪声 z，模型预测速度场 v_θ(x_t, t, s)，通过积分 ODE dx/dt = v_θ(x, t, s) 从 x(0)=z 到 x(1)=a 得到动作。与扩散策略不同，Flow Matching 通常需要更少的去噪步骤（10-20步），在保持表达力的同时提高采样效率。

本文使用 Flow Matching 作为预训练策略的主干，理解其工作原理对于理解 DICE-RL 如何利用预训练策略的结构化探索至关重要。

行为克隆

行为克隆是一种模仿学习方法，通过监督学习从专家演示数据 (s, a) 中学习策略 π(a|s)。传统 BC 采用确定性或高斯策略，而现代 BC 使用生成式模型（扩散、Flow Matching）来建模复杂的多峰动作分布。BC 的主要挑战是协变量偏移和误差累积：训练时的状态分布与执行时的状态分布逐渐偏离，导致小误差随时间步积累。

本文将 BC 策略作为预训练先验，理解 BC 的局限性（特别是系统误差）有助于理解为什么需要 RL 微调以及 DICE-RL 如何解决这些问题。

离策略强化学习

离策略 RL 使用经验回放缓冲区存储历史交互数据，策略更新可以独立于当前策略收集的数据。常用算法包括 DQN、SAC、TD3 等。TD3+BC 是本文的基础算法，它在最大化 Q 值的同时加入 BC 正则化项，鼓励策略靠近演示数据。RLPD（Reinforcement Learning from Prior Data）进一步混合离线和在线数据，提高样本效率。

DICE-RL 基于离策略 RL 框架微调预训练策略，理解离策略 RL 的原理和挑战（如过估计、信用分配）对于理解 DICE-RL 的设计动机和技术细节至关重要。

动作分块

动作分块是指策略一次预测未来 h 步的动作序列，而不是单步动作。在机器人控制中，这提高了时序一致性，减少了决策频率，特别是在稀疏奖励长周期任务中更有用。训练时使用 h-step TD 目标：y = Σ_{j=0}^{h-1} r_{t+j} + γ^h Q'(s_{t+h}, a_{t+h:t+2h-1})。

本文在动作分块层面进行残差微调，这直接影响了价值函数设计和信用分配效率，特别是在长周期任务中的性能表现。

研究动机

在稀疏奖励、长周期的机器人操作场景中，在线交互成本极高，无约束探索不可行。传统的行为克隆策略虽然能够从演示数据中学习合理的物理行为，但存在系统误差累积问题：在复杂任务如 Tool Hang 中，即使预训练策略达到 45% 成功率，仍有稳定的失败模式（如滑出第一个滑轮、未正确放入第二个滑轮、过早释放皮带）。纯 RL 方法在稀疏奖励和长周期任务中需要大量交互，且容易陷入无效探索。直接微调生成式策略（如扩散策略）需要通过 ODE 求解器反向传播，计算昂贵且不稳定。

本文的目标是本文的核心目标是在有限的在线交互预算内，将预训练的生成式 BC 策略（新手）高效地转化为高性能策略（专业）。具体包括：提供稳定、样本高效的 RL 微调框架，适用于扩散和 Flow Matching 等生成式策略；在仿真和真实机器人任务上验证方法的有效性，特别是具有高精度要求的接触丰富任务；分析 RL 微调如何重塑预训练动作分布，以及这种变化与策略鲁棒性的关系。

与已有工作不同的是，本文的独特切入角度是将 RL 视为分布收缩算子而非完全重新学习策略。与直接微调生成模型参数（需要通过去噪过程反向传播）或仅 steering 测试时采样不同，DICE-RL 将微调策略参数化为冻结的预训练策略之上的轻量级残差：a_t:t+h-1 = π_pre(s_t, z) + s_θ(s_t, z)。这种设计有三个关键优势：避免了迭代去噪过程中的反向传播，计算高效稳定；残差参数化使 RL 更新成为预训练提案的局部修正，保留先验的表达力同时减少有效搜索空间；选择性 BC 正则化机制在预训练策略已经达到高值的状态中保持保守，在发现更高回报行为时允许偏离，实现可控探索。

核心方法

DICE-RL 的整体思路分为三个阶段。首先，离线预训练阶段使用 Flow Matching 或扩散策略在大规模演示数据上训练生成式 BC 策略 π_pre(s, z)，通过早停避免过拟合并保持多样性。其次，在线微调阶段冻结 π_pre 参数，学习轻量级残差策略 s_θ(s, z)，最终动作为 a = π_pre(s, z) + s_θ(s, z)。最后，通过多个关键机制确保稳定高效的微调：多样本期望训练优化 K 个候选动作的平均目标，BC 损失过滤器只在确认有价值改进时禁用正则化，Best-of-N 动作选择执行最高价值的候选动作。整个框架采用离策略 RL（基于 TD3+BC），混合离线和在线数据（RLPD 调度），使用动作分块和 n-step TD 目标提高长周期任务中的信用分配效率。

DICE-RL 的核心创新点是分布收缩的理念和实现这一理念的三项关键技术。残差动作参数化：将 RL 策略建模为冻结预训练策略之上的轻量级修正，使 RL 更新成为局部动作校正，保留先验的生成能力同时约束探索范围。选择性行为正则化：引入 BC 损失过滤器，只在残差编辑动作明确优于预训练动作且未利用过估计时禁用 BC 正则化。价值引导动作选择：在线交互时从 K 个候选动作中执行最高价值的，利用预训练策略的潜在多样性而不改变训练过程。与直接微调生成模型、distillation 或 steering 方法相比，DICE-RL 综合了三者的优势：distillation 的稳定性（通过 BC 正则化）、steering 的效率（通过价值引导选择）、correction 的灵活性（通过残差学习）。

方法步骤详情

DICE-RL 的完整步骤如下。步骤 1 - 离线预训练：在演示数据 D_demo 上训练 Flow Matching 或扩散策略 π_pre(s, z)。对于 Flow Matching，给定动作块 x_1 和噪声 x_0 ∼ N(0, I)，采样 t ∼ Unif[0, 1] 形成 x_t = (1-t)x_0 + tx_1，模型预测速度场 v_θ(x_t, t, s) 并最小化损失。使用早停保持多样性，冻结观察编码器和 π_pre 参数。步骤 2 - 初始化 RL 组件：初始化残差策略 s_θ(s, z) 和评论家集成。残差策略和评论家都是轻量级 MLP（隐藏维度 [1024, 1024, 1024]），使用 GELU 激活。初始化目标评论家和空在线回放缓冲区。步骤 3 - 在线交互收集：在状态 s_t 采样多个 z_k，形成候选动作块，执行最高价值的候选，观察状态和奖励，将经验添加到缓冲区。步骤 4 - 混合数据采样：从离线和在线数据的混合中采样小批量，离线数据比例随时间线性衰减。步骤 5 - 多样本评论家更新：对于每个状态，采样多个潜在样本并计算 h-step TD 目标，最小化评论家损失。步骤 6 - 选择性残差更新：定义过滤后的 BC 正则化，联合优化 RL 目标和正则化。步骤 7 - 目标网络更新：使用 Polyak 更新缓慢更新目标评论家。步骤 8 - 重复：重复步骤 3-7 直到收敛。

技术新颖性

DICE-RL 的技术新颖性体现在四个方面。将 RL 微调明确框架化为分布收缩问题，提出 GOODCOV/BADCOV/BADENT 等量化指标衡量预训练策略的可微调性，为预训练选择提供指导。残差动作参数化与条件设计：将残差 s_θ(s, z) 条件于与预训练策略相同的噪声 z，使修正明确感知特定基础动作提案。这与学习独立噪声编辑或仅操作潜在空间的方法有本质区别。选择性 BC 正则化：通过基于价值改进和过估计检测的过滤器动态调整正则化强度，解决了统一正则化可能抑制必要改进的问题。与固定权重 BC 正则化或无条件禁用的方法相比，这更智能地平衡了稳定性和探索性。多样本期望训练：优化多个潜在诱导候选的平均目标，改进整个 π_pre(s, z) 诱导的动作分布而非过拟合单个采样，同时通过样本重用降低梯度方差。

实验结果

DICE-RL 在 Robomimic 基准和真实机器人任务上取得了显著成果。在仿真实验中，DICE-RL 在所有四个任务上均达到最高最终性能，同时比基线方法更稳定且样本高效。特别值得注意的是，DICE-RL 是首个在仅 50 个演示下，从状态或像素输入出发，在 Tool Hang 任务上达到大于等于 90% 成功率的 RL 微调方法。从 45% 成功率的预训练策略出发，DICE-RL 在约 2000 个在线 episode 内超过 90% 成功率。在真实机器人实验中，DICE-RL 在三个接触丰富且高精度的任务上均取得可靠性能。对于 BeltAssembly 任务（NIST 基准，需要将橡胶皮带绕过两个滑轮），预训练策略存在明显失败模式，DICE-RL 通过在线微调成功纠正这些系统误差。分析揭示了两个互补的效果：分布锐化，RL 将预训练动作分布重塑为集中在高值动作周围，实验显示价值提升与动作熵减少存在明显耦合；收缩，闭环行为呈现更强的漏斗特性，不同初始状态的轨迹随时间接近。预训练策略可微调性分析表明：中间检查点在 GOODCOV 和 BADENT 之间取得最佳平衡；Multi-Human 数据在部分任务上表现出比 Proficient-Human 更高的 GOODCOV，但 BADENT 也更高，失败模式更多样化，使 RL 微调更不一致；演示数量增加提高 RL 微调的样本效率。

**Table 1**: Hyperparameters for BC Pretraining across Robomimic tasks

**Table 2**: Hyperparameters for RL finetuning across Robomimic tasks

**Table 3**: Hyperparameters for BC Pretraining across real robot tasks

**Figure 2**: Comparisons on Robomimic. Success rate versus online environment steps for Robomimic tasks under RL finetuning. Top row: state observations; bottom row: pixel observations. Curves are averaged over 5 random seeds, with evaluation on 300 held-out test configurations; shaded regions denote variability across seeds.

**Figure 3**: DICE-RL using either Proficient-Human (PH) or Multi-Human (MH) data. Top: success-rate curves. Bottom: finetunability metrics (GOODCOV/BADCOV/BADENT).

**Figure 4**: DICE-RL finetuning with pretrained BC checkpoints trained for different numbers of epochs. Left: success-rate curves. Right: finetunability metrics (GOODCOV/BADCOV/BADENT).

**Figure 5**: Value improvement (ΔV) vs action entropy reduction (ΔH). Larger gains in value are accompanied by larger drops in action entropy, indicating that RL sharpens the pretrained action distribution to high-value actions.

**Figure 6**: A representative rollout trajectory of the RL policy on Tool Hang, together with the running change in action entropy and value improvement. We zoom in on frames where value improvement spikes and action entropy drops; these states are often critical for task success (e.g., pre-insertion and insertion).

**Figure 7**: (Left) Pairwise distance over time between two rollouts from different initial states, comparing our RL policy to expert demonstrations. The rollouts from RL policy exhibit more stable distance evolution, indicating stronger contraction. (Right) Success rate under action noise injection, where the probability of perturbing the action output increases from 0.1 to 0.9. Our RL policy degrades more gracefully than an expert BC policy with a similar initial success rate.

**Figure 8**: Real robot experiment. (a) The dominant failure modes of the pretrained BC policies for all three tasks. (b) After RL finetuning, DICE-RL works reliably on all tasks. (c) Success rate versus number of online episodes.

**Figure 9**: A representative BeltAssembly rollout with running change in action entropy (ΔH) and value improvement (ΔV), with the largest entropy drop and value gains occurring around critical contact transitions.

**Figure 10**: The BC-loss filter prevents RL finetuning from being bottlenecked by the pretrained policy.

**Figure 11**: Multi-sample expectation training improves RL finetuning sample efficiency, with larger K yielding faster gains.

**Figure 12**: Best-of-N action selection during online interaction accelerates RL finetuning convergence to peak performance.

**Figure 13**: DICE-RL achieves stable, sample-efficient RL finetuning for both pretrained flow policies and diffusion policies.

**Figure 14**: DICE-RL finetuning with varying number of demonstrations used for BC pretraining.

**Figure 15**: DICE-RL finetuning with varying number of gradient steps per RL update.

查看结构化数据

任务	指标	本文	基线	提升
Tool Hang (State)	Success Rate	≥90% (from 45% base)	DSRL: ~60%, EXPO: ~70%, ResFit: ~55%, IBRL: ~50%	Baseline ~45% pretrain to ≥90% (≥100% relative improvement, first to reach this level with 50 demos)
Tool Hang (Pixel)	Success Rate	≥90% (from 45% base)	DSRL: ~55%, EXPO: ~65%, ResFit: ~50%, IBRL: ~45%	Same as state baseline, maintains performance with pixel inputs
Transport (Pixel)	Success Rate	~95%	DSRL: ~80%, EXPO: ~85%, ResFit: ~75%	~15-20% over strongest baseline
Real Robot BeltAssembly	Success Rate (30 trials)	265 demos base ~60% to ~90% after finetuning	Pretrained BC has systematic failures (slipping off pulleys, premature release)	Reliable performance on contact-rich task with tight error tolerance
Robustness under action noise	Success Rate degradation (noise prob 0.1→0.9)	Degrades gracefully from ~90% to ~40%	Pretrained BC degrades more severely from ~45% to ~10%	Maintains ~3× higher success rate under high noise (0.9 probability)

局限与改进

作者承认的局限性包括：DICE-RL 不一定在分布外泛化方面优于预训练 BC 策略，微调策略的泛化能力至少与 BC 策略相当。方法依赖于高质量的预训练策略，如果预训练策略没有覆盖可行的解决方案（GOODCOV 低），RL 微调的样本效率会显著下降。BC 损失过滤器的启发式性质（基于价值比较和 Monte-Carlo 估计）可能不完全可靠，在价值估计早期不稳定时可能导致过早或过晚禁用正则化。独立观察的局限性：需要价值函数估计，在非常稀疏奖励任务中价值学习可能困难，影响过滤器和动作选择的效果。多样本训练增加了计算开销。超参数需要任务特定调优，尽管论文表明性能对适度变化相对不敏感。真实机器人实验需要人工监督提供二值成功失败奖励和重置，限制了完全自主部署的扩展性。

独立分析的弱点

独立分析的弱点包括：价值函数估计的依赖性，在极端稀疏奖励任务中价值函数可能难以准确学习，导致 BC 损失过滤器和 Best-of-N 选择不可靠。改进方向：引入中间奖励 shaping、探索基于不确定性的策略改进指标，或结合基于模型的规划提供额外信号。残差学习的局限，残差参数化将修正限制在预训练提案的局部邻域，对于需要大幅度偏离演示数据的任务可能不足。改进方向：引入自适应残差幅度缩放，或结合模式发现机制识别需要全局修改的状态子空间。计算开销，多样本训练增加了评论家和策略更新的计算成本。改进方向：开发重要性采样策略，聚焦于高方差或低价值的潜在样本；或使用分层潜在结构减少有效样本数。预训练依赖性，方法的有效性严重依赖于预训练策略提供丰富的动作提案。改进方向：开发联合预训练-微调框架，在线微调时继续更新预训练策略的一部分参数，或引入主动学习选择性地收集新的演示数据。

未来方向

作者提出的未来工作方向包括：扩展 DICE-RL 微调大型多任务 VLA 策略，这些策略表现出更丰富、更多样化的探索，目标是同时保持行为多样性同时实现高精度控制。开发生成式策略 RL 微调的更深层理论理解，包括稳定性和样本效率的保证。基于成果可延伸的方向：自适应微调策略，根据预训练策略的可微调性指标动态调整超参数；多策略集成，在不同预训练检查点或数据集上训练多个策略；元学习微调初始化，学习跨任务的残差策略初始化；安全约束微调，在 BC 正则化中加入安全约束；分布外检测与回退，监测状态分布偏移，在检测到 OOD 时回退到预训练策略或请求人工干预。

复现评估

复现性评估：论文提供了详细的实现细节和超参数设置，包括网络架构、训练配置和任务特定设置。代码已开源（项目网站 dice.rl.2026），但截至论文撰写时尚未公开。仿真实验使用 Robomimic 基准，开源且易于复现；真实机器人实验使用 NIST 基准和 UR5 机器人，硬件要求较高。数据方面：仿真使用 Proficient-Human 和 Multi-Human 演示数据集，已包含在 Robomimic 中。真实机器人实验收集了专家轨迹，这些数据未公开，但论文提供了足够的实验设置描述。算力方面：论文未明确报告训练时间和硬件配置，但从实现细节推断需要多个 GPU 和 CPU/GPU 并行环境。主要训练开销来自预训练阶段，RL 微调相对轻量。难度评估：中等。仿真实验应可以在标准工作站上复现，但真实机器人实验需要特定硬件和人工监督，门槛较高。论文的详细实现描述和逐步消融实验有助于验证和理解方法。

论文图表

**Figure 1**: Distribution Contractive RL (DICE-RL) refines (a) a pretrained generative BC policy (i.e., the behavior prior) into (b) a 'pro' policy by contracting the action distribution around successful action modes. DICE-RL leverages the generative behavior cloning policy to achieve (c) controllable exploration for sample-efficient and stable reinforcement learning.
Figure 1 通过三个子图展示了 DICE-RL 的核心概念。显示预训练的生成式 BC 策略（行为先验），其动作分布包含多种可能的成功和失败模式。显示 RL 微调后的专业策略，动作分布已收缩围绕高成功率动作模式，失败模式的概率显著降低。展示 DICE-RL 如何利用生成式 BC 策略实现可控探索：在任务视窗中，预训练策略提供结构化的动作提案，RL 微调修正失败模式，保留成功模式，实现样本高效和稳定的强化学习。

这张图对理解论文至关重要，它直观地展示了 DICE-RL 的核心理念——将 RL 作为分布收缩算子。通过对比预训练和微调后的动作分布，读者可以立即理解方法的目标和机制。

Figure 16: DICE-RL finetuning with varying number of N-step return.

Figure 16 消融了 n-step TD 目标中的 n 值，控制 TD 目标中使用的时序跨度。n=1 对最短视窗任务效果最好，增加 n 损害性能；对于长周期任务，n=3 提高样本效率；对于具有相似名义视窗的任务，更高精度的任务从更大值受益更多。

这张图提供了 n-step return 任务特定调优的实用指导。

Figure 17: DICE-RL finetuning with varying number of critic networks used in the critic ensemble.

Figure 17 消融了评论家集成大小，比较不同集成大小的性能。增加集成大小提高两个长周期任务的样本效率，而在两个短视窗任务上的好处不太明显。更大的集成通过平均出评论家误差提供更稳定和保守的价值信号。

这张图提供了评论家集成大小任务特定调优的实用指导。

Figure 18: DICE-RL finetuning with varying BC loss coefficients.

Figure 18 消融了 BC 正则化损失系数，比较不同值的性能。适度的 BC 权重在短视窗任务上表现最好，增加到更高值降低微调性能。对于长周期、高精度任务，更大的值有益：更强的 BC 正则化有助于防止不稳定漂移。

这张图提供了 BC 正则化强度任务特定调优的实用指导。

Figure 19: DICE-RL finetuning with varying RLPD schedule.

Figure 19 消融了不同 RLPD 调度，比较几个衰减调度、固定离线数据比例，以及一个在线微调期间完全移除离线演示的变体。对于更简单、短视窗任务，使用更高的初始离线数据分数产生更好的微调性能，而在更复杂任务上的趋势不太明确。

这张图提供了 RLPD 调度的实用指导，特别展示了框架对超参数选择的鲁棒性。