π-StepNFT：在线强化学习中流式视觉语言动作模型需要更精细的步级监督 π-StepNFT: Wider Space Needs Finer Steps in Online RL for Flow-based VLAs
无批评器、无似然的步级对比排序框架，解决流式VLA的在线RL难题
前置知识
Flow Matching / 流匹配
流匹配是一种生成模型方法，通过学习一个时间依赖的向量场 $v_\theta(x, t, c)$，将噪声分布 $x_1 \sim \mathcal{N}(0, I)$ 转换为数据分布 $x_0$。标准目标函数为 $\mathcal{L}_{CFM}(\theta) = \mathbb{E}_{t, x_0, x_1}[\|v_\theta(x_t, t, c) - u_t\|^2]$，其中 $u_t = x_1 - x_0$ 是目标场。与扩散模型不同，流匹配直接学习ODE的向量场，推理时通过数值积分从 $t=1$ 到 $t=0$ 逐步去噪生成动作。这种方法已成为当前VLA模型的主流范式，包括 $\pi_0$、$\pi_{0.5}$ 等代表性模型。
本文的核心贡献正是针对流匹配策略在强化学习场景下的根本性挑战——多步ODE采样导致的似然不可计算问题，因此理解流匹配的基本原理是读懂本文的前提。
Vision-Language-Action Model (VLA)
视觉语言动作模型是一类结合大规模视觉语言预训练与生成式动作预测的机器人控制模型。它接收视觉观测、语言指令和本体感知作为条件输入 $c$，输出连续动作序列 $x_0 \in \mathbb{R}^d$。早期方法将动作离散化为token（如RT-2），近期主流转向基于流匹配的连续动作生成（如 $\pi_0$、$\pi_{0.5}$），在复杂操作任务上建立了新标准。模型架构通常包含一个VLM主干（如PaliGemma-3B）和一个流匹配动作专家网络。
本文研究如何通过在线强化学习微调VLA模型，使其从窄专家流形扩展到更宽的行为流形，从而获得在分布外场景下的鲁棒泛化能力。
ODE vs SDE Sampling
ODE采样是确定性的：$x_{t^-} = x_t - v_\theta(x_t, t, c)\delta t$，轨迹唯一但缺乏探索能力。SDE采样引入随机性：$x_{t^-} = x_t + [v_\theta(x_t, t) + \frac{\sigma^2}{2t}(x_t + (1-t)v_\theta(x_t, t))](-\delta t) + \sigma_t\sqrt{\delta t}\epsilon$，其中 $\epsilon \sim \mathcal{N}(0, I)$。SDE采样使得每个去噪步骤诱导一个高斯转移密度 $q_{\theta,t}(x_{t^-}|x_t, c) = \mathcal{N}(\mu_{\theta,t}(x_t), \Sigma_t)$，转移均值是策略网络输出的仿射函数：$\mu_{\theta,t}(x_t, c) = U_t(x_t, t) + B_t(t)v_\theta(x_t, t, c)$。这一线性关系使得梯度可以高效传播而无需反向传播通过ODE求解器。
ODE到SDE的转换是本文方法的第一步关键创新——从窄探索空间到宽探索空间的扩展，但SDE引入的噪声积累也带来了新的监督目标不匹配问题。
Diffusion-NFT
Diffusion-NFT是一种来自图像生成领域的无似然微调框架，通过在前向扩散过程中直接优化流场来微调扩散模型。它将样本分为正负两个子集，通过对比学习定义改进方向。具体而言，它使用加权MSE目标 $\ell_{wMSE} = r \cdot E^+ + (1-r) \cdot E^-$，其中 $E^\pm$ 是镜像分支的步级误差。该方法避免了显式计算似然，但其'隐式惩罚'项 $\|d_t\|^2_{\Sigma_t^{-1}}$ 会抑制策略更新幅度。
本文的方法直接受Diffusion-NFT启发，但通过重新设计监督目标（从加权MSE到逻辑对比排序损失）和监督粒度（从终态到步级）来解决其在具身控制场景下的局限性。
Likelihood-free RL / 无似然强化学习
标准策略梯度方法依赖于计算动作的对数似然 $\log \pi_\theta(a_i|s_i)$，但流式策略的似然计算需要沿整个生成轨迹积分瞬时变量变换（Jacobian迹估计），计算昂贵且数值不稳定。无似然方法通过构建替代信号来绕过这一问题：例如镜像分支的对比排序通过比较两个扰动策略对观测转移的解释能力来提供梯度信号，而无需显式计算似然。
本文的核心贡献之一是实现了完全无似然的在线RL框架，只需单次前向传播即可完成优化步骤，大幅降低了计算开销。
Contrastive Ranking Loss / 对比排序损失
对比排序损失是一种通过比较两个候选预测的相对优劣来学习的方法。在本文中，给定步级转移 $(x_t, x_{t^-})$ 和回合标签 $y = 2r - 1$，损失函数为 $\ell_t(\theta) = \text{softplus}\left(\frac{1}{2}y(E^+_{\theta,t} - E^-_{\theta,t})\right)$。当 $y > 0$（成功）时，最小化该损失鼓励 $E^+ < E^-$（正分支更好地解释观测转移）；当 $y < 0$（失败）时则反转不等式。这种'推-拉'动力学同时利用正负信号，而非只拟合单一分支。
这是本文与Diffusion-NFT最本质的技术区别——通过逻辑对比排序替代加权MSE，消除了隐式分离惩罚，产生更清晰的策略改进方向。
研究动机
流式VLA模型在监督微调(SFT)收敛后，其输出往往坍缩为单一模式，模型的有效性依赖于'随机性注入+监督迭代修正'的机制。然而，SFT仅仅建立了类似窄线的基础行为流形，模型在测试时一旦因微扰偏离专家轨迹，往往无法恢复。更根本的问题是，流式策略的多步ODE采样使得动作似然计算在数学上不可行——计算梯度需要昂贵的Jacobian迹估计或通过求解器反向传播。现有解决方案要么绕过似然（如GR-RL使用潜在空间价值蒸馏），要么训练单独的价值函数（如 $\pi_{RL}$），或在每个去噪步骤用高斯参数化近似似然。这些方法各有缺陷：价值函数容易在多模态特征上过拟合，近似似然引入偏差，而绕过似然的方法（如GRPO）在长时序任务上表现不佳。实验数据显示，在LIBERO基准上，$\pi_0$ 的SFT基线仅有57.6%的平均成功率，$\pi_{0.5}$ 也仅为77.1%，说明窄流形严重限制了策略潜力。
本文的目标是本文提出 $\pi$-StepNFT（Step-wise Negative-aware Fine-Tuning），一个专为流式VLA设计的无批评器、无似然在线RL框架。该框架的核心目标是：(1) 通过SDE采样机制主动扩展行为流形，使策略能够遍历专家轨迹邻近区域；(2) 通过步级监督目标（从终态 $x_0$ 转移到即时下一步 $x_{t^-}$）提供精细的局部梯度信号，稳定随机探索；(3) 通过逻辑对比排序损失替代加权MSE，消除隐式分离惩罚，建立清晰的'推-拉'动力学；(4) 完全消除辅助价值网络，每次优化步骤仅需单次前向传播，大幅降低计算开销。
与已有工作不同的是，本文的独特切入角度在于对'探索宽度'与'监督粒度'之间关系的深刻洞察——论文标题'Wider Space Needs Finer Steps'精确概括了这一核心发现。此前，Diffusion-NFT在图像生成领域证明了无似然微调的可行性，但直接将其转移到具身控制会暴露一个根本性的领域差距：图像生成的目标是静态分布匹配，而具身控制是序列化的、对累积误差敏感的。此外，具身控制通常使用较短的去噪路径以满足交互延迟要求，这使得精细的步级监督在实践中可行。本文识别出两个关键挑战：(1) 缺乏探索——确定性ODE快速坍缩到窄流形；(2) 监督目标不匹配——在SDE诱导的更宽空间中，终态 $x_0$ 的监督因噪声积累而产生高方差梯度。因此，本文不是简单地将Diffusion-NFT应用于机器人，而是从探索机制、监督粒度、损失函数三个维度系统性地重新设计了框架。
核心方法
$\pi$-StepNFT 的整体思路可以概括为三个层次的创新：首先，通过SDE采样机制为策略探索创造更宽的行为空间；其次，将监督目标从终态 $x_0$ 下沉到即时下一步 $x_{t^-}$，提供精细的局部梯度信号；最后，用逻辑对比排序损失替代加权MSE，消除隐式惩罚并建立'推-拉'动力学。直觉上，想象一个机器人正在学习抓取物体：SFT训练让它学会了一条'标准'的抓取轨迹（窄流形），但现实中的物体位置、光照等总会有些许变化。SDE探索让它尝试轨迹的邻近变体（宽空间），而步级监督则确保它每一步的偏差都能被及时修正（精细步骤），而非等到整个动作执行完才得到反馈。这种方法不需要训练额外的价值网络来估计'这个状态有多好'（避免了在多模态视觉特征上过拟合的问题），只需用稀疏的二值奖励（成功/失败）就能驱动有效的策略改进。
本文的核心创新在于识别并解决了'更宽探索空间需要更精细监督'这一根本矛盾。与Diffusion-NFT的本质区别体现在三个方面：第一，Diffusion-NFT使用ODE采样（窄空间+终态监督），而本文使用SDE采样（宽空间）配合步级监督（精细指导），这是一种'探索-监督'的配对设计。第二，Diffusion-NFT使用加权MSE损失，本文证明其包含隐式分离惩罚 $\|d_t\|^2_{\Sigma_t^{-1}}$（Theorem 4.5），该惩罚会抑制策略更新幅度，即使数据暗示需要大幅修正。本文改用逻辑对比排序损失，仅保留对齐信号 $-2y\langle\Sigma_t^{-1}e_t, d_t\rangle$，消除了抑制效应。第三，本文建立了从后验分裂定义的Oracle改进方向 $\Delta\mu^\star_t$ 到可计算镜像比率的'闭环'：Theorem 4.4证明在小步假设下，构造目标的条件期望梯度与Oracle均值差距方向对齐。这种理论保证是Diffusion-NFT所不具备的。
方法步骤详情
$\pi$-StepNFT 的完整流程分为两个阶段：数据收集和策略优化。在数据收集阶段（Phase 1），对于每个任务（初始状态 $s_0$，语言指令 $c$），使用旧策略 $\pi_{\theta_{old}}$ 进行 $H$ 步环境交互。在每个环境步 $i$，策略运行 $K$ 步Flow-SDE求解器生成动作，求解器使用预定义的时间表 $1 = t_0 > t_1 > \cdots > t_K = 0$，产生采样器状态链 $\{x_{t_j}^{(i)}\}_{j=0}^K$。为提高效率，均匀采样一个求解器索引 $j \sim U\{0, \ldots, K-1\}$，定义单步转移 $(x_t, x_{t^-}, t) = (x_{t_j}^{(i)}, x_{t_{j+1}}^{(i)}, t_j)$，并记录旧策略的速度 $v_{old} = \pi_{\theta_{old}}(c, s_i, x_t, t)$。每条轨迹获得二值优化信号 $r \in \{0, 1\}$。在策略优化阶段（Phase 2），对每个批次 $(x_t, x_{t^-}, v_{old}, t, s, c, r)$，首先预测新策略速度 $v_{\theta,t} = \pi_\theta(c, s, x_t, t)$，计算速度差 $\Delta v_\theta = v_{\theta,t} - v_{old}$。然后构造两个镜像分支 $v^+_\theta = (1-\beta)v_{old} + \beta v_\theta$ 和 $v^-_\theta = (1+\beta)v_{old} - \beta v_\theta$，其中 $\beta > 0$ 是信任域超参数。利用Flow-SDE转移的仿射性质计算均值 $\mu^\pm_{\theta,t}$ 和共享协方差 $\Sigma_t$，进而计算方差归一化步级误差 $E^\pm_{\theta,t} = \|x_{t^-} - \mu^\pm_{\theta,t}\|^2_{\Sigma_t^{-1}}$。最终损失为 $\ell_{total} = \text{softplus}\left(\frac{1}{2}y(E^+_{\theta,t} - E^-_{\theta,t}) + \lambda_{TR}\|\Delta v_\theta\|^2\right)$，其中 $y = 2r - 1$，$\lambda_{TR}$ 是信任域正则化系数。旧策略通过EMA更新：$\theta_{old} \leftarrow \alpha_m \theta_{old} + (1-\alpha_m)\theta$。
技术新颖性
本文的技术新颖性体现在多个层面。首先，'探索宽度与监督粒度配对'是一个全新的设计原则：论文首次从理论上证明了SDE诱导的更宽空间必然要求步级而非终态的监督目标，这一洞察超越了简单的经验观察。其次，Theorem 4.4建立了从不可计算的Oracle改进方向到可计算镜像比率的理论桥梁——通过后验分裂定义 $\Delta\mu^\star_t$，然后证明构造目标的梯度在小步假设下与其对齐。这种'构造性'的理论贡献在RL领域较为罕见。第三，Theorem 4.5对加权MSE损失的分解揭示了其'隐式分离惩罚'的本质缺陷，这种对已有方法的深刻分析能力是本文的重要贡献。第四，本文将Diffusion-NFT从图像生成领域成功转移到具身控制领域，并系统性地解决了领域差距带来的三个具体问题（缺乏探索、监督目标不匹配、抑制成功探索），这种跨领域的迁移和适应能力体现了方法的通用性。最后，整个框架仅需单次前向传播，无需辅助价值网络，大幅降低了计算开销和实现复杂度。
实验结果
本文在LIBERO和ManiSkill两个基准上进行了全面评估，结果揭示了几个重要发现。在LIBERO的few-shot设置下，$\pi$-StepNFT从仅57.6%（$\pi_0$）和77.1%（$\pi_{0.5}$）的SFT基线大幅跃升至90.5%和94.0%的平均成功率，分别提升32.9%和16.9%。值得注意的是，在短时序任务（如Object Suite）上，$\pi$-StepNFT达到了与PPO相当的性能（98.0% vs 99.4% for $\pi_0$），而在长时序任务（Long Suite）上虽然低于PPO，但仍显著优于GRPO基线（86.7% vs 81.4% for $\pi_0$）。在ManiSkill的OOD评估中，$\pi$-StepNFT展现了其核心优势：$\pi_0$ 模型的OOD平均成功率达到50.4%，比PPO高出11.1个百分点；$\pi_{0.5}$ 模型则达到59.5%，比PPO高出10.2个百分点。特别值得关注的是语义偏移（Semantic Shift，即未见过的物体/指令）场景，$\pi$-StepNFT在 $\pi_0$ 上达到49.1%，几乎是PPO（25.4%）的两倍，在 $\pi_{0.5}$ 上达到76.9%对比PPO的34.5%。消融实验进一步验证了每个组件的必要性：SDE采样比ODE提升约20%性能；步级监督 $x_{t^-}$ 比终态 $x_0$ 训练更稳定、收敛更快；逻辑对比排序损失在二值奖励设置下显著优于加权MSE，因为它同时利用正负信号而非只拟合单一分支。超参数敏感性分析显示，噪声水平 $\sigma$ 过大会阻碍收敛，过小则限制探索；信任域 $\beta$ 在1.0-2.0范围内最优；动态衰减策略（$\alpha$: 0.9 → 0.995）比恒定衰减更有效。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO (few-shot, $\pi_0$) | 平均成功率 (%) | 90.5 | SFT: 57.6 / PPO: 96.0 / GRPO: 90.0 | 较SFT +32.9%，与GRPO相当，略低于PPO |
| LIBERO (few-shot, $\pi_{0.5}$) | 平均成功率 (%) | 94.0 | SFT: 77.1 / PPO: 97.9 / GRPO: 91.5 | 较SFT +16.9%，与GRPO相当，略低于PPO |
| LIBERO Long ($\pi_0$) | 成功率 (%) | 86.7 | SFT: 51.2 / PPO: 90.2 / GRPO: 81.4 | 较GRPO +5.3%，较SFT +35.5% |
| ManiSkill OOD ($\pi_0$) | OOD平均成功率 (%) | 50.4 | SFT: 18.1 / PPO: 39.3 | 较PPO +11.1%，较SFT +32.3% |
| ManiSkill OOD ($\pi_{0.5}$) | OOD平均成功率 (%) | 59.5 | SFT: 26.4 / PPO: 49.3 | 较PPO +10.2%，较SFT +33.1% |
| ManiSkill Semantic ($\pi_0$) | 语义偏移成功率 (%) | 49.1 | PPO: 25.4 | +23.7%，几乎翻倍 |
| ManiSkill Semantic ($\pi_{0.5}$) | 语义偏移成功率 (%) | 76.9 | PPO: 34.5 | +42.4%，超过PPO两倍 |
局限与改进
尽管$\pi$-StepNFT在多个维度展现了优势，本文也存在若干局限性。首先，在LIBERO的长时序任务（Long Suite）上，$\pi$-StepNFT仍然明显落后于PPO（$\pi_0$: 86.7% vs 90.2%；$\pi_{0.5}$: 79.8% vs 93.0%），这表明在需要长期信用分配的任务中，缺乏时序价值估计可能是一个根本性限制。作者也承认，稀疏二值奖励在长时序任务中的信用分配能力有限，建议未来可以用离线学习的评论家来预测步级成功概率。其次，实验规模相对有限——LIBERO每个suite仅500个episode，ManiSkill的评估也限于特定的多任务设置，尚不清楚方法在更大规模、更多样化的任务上的表现。第三，本文仅在模拟环境（LIBERO和ManiSkill）中验证，未在真实机器人上进行实验，Sim-to-Real的差距未被探讨。第四，方法依赖于二值奖励信号 $r \in \{0, 1\}$，对于更复杂的奖励函数（如密集奖励、多目标奖励）的适配性未被验证。第五，超参数选择（如噪声水平 $\sigma$、信任域 $\beta$、衰减策略 $\alpha$）需要针对不同任务进行调优，缺乏自动化的超参数选择机制。最后，论文未提供与其他最新方法（如DDPO、ReDiffuser等）的对比，评估的全面性有待提升。
独立分析的弱点
本文存在几个值得关注的弱点，每个都指向具体的改进方向。第一，长时序信用分配问题：在LIBERO Long Suite上，$\pi$-StepNFT落后PPO约3-13个百分点，根本原因是稀疏二值奖励缺乏时序信息。改进方向是引入轻量级的评论家网络来预测步级成功概率，或者设计基于轨迹片段的密集奖励信号。第二，超参数敏感性：Figure 4显示噪声水平 $\sigma$、信任域 $\beta$、衰减策略 $\alpha$ 对性能影响显著，需要仔细调优。可以探索自适应超参数调整机制，例如根据策略改进的幅度动态调整噪声水平。第三，单步采样效率：为提高效率，论文在每个环境步仅采样一个求解器索引 $j$，这可能遗漏了其他时间步的有用信息。改进方向是设计更智能的采样策略，例如优先采样与当前策略差异最大的时间步。第四，对流式VLA的特定假设：方法假设去噪路径较短（通常K步），但对于更复杂的动作生成可能需要更长路径，此时步级监督的计算开销会显著增加。可以探索分层监督策略，在不同抽象层次应用不同粒度的监督。第五，缺乏与在线学习理论的联系：论文虽然提供了Theorem 4.4的理论保证，但未讨论收敛速率、样本复杂度等基本学习理论问题。
未来方向
基于本文的成果，可以延伸出多个有前景的研究方向。作者提出的最直接方向是用离线学习的评论家预测步级成功概率，将稀疏信号替换为密集监督，从而改善长时序任务的信用分配。此外，将$\pi$-StepNFT应用于更多样化的VLA架构（如基于Transformer的扩散策略、基于能量的模型等）是一个重要的泛化研究方向。在真实机器人部署方面，可以探索Sim-to-Real迁移中的鲁棒性——OOD泛化能力在ManiSkill上的优异表现暗示该方法可能在真实世界的视觉变化中也表现良好。另一个方向是将对比排序的思想扩展到多目标/多约束设置，例如同时优化任务成功率、能耗、安全性等指标。从理论角度，可以进一步研究SDE采样中噪声水平的最优选择问题，以及步级监督的最优采样策略。最后，将$\pi$-StepNFT与其他高效RL技术（如课程学习、自适应任务难度、元学习）结合，可能进一步提升样本效率和最终性能。
复现评估
本文在可复现性方面做得较好。作者明确表示代码基于RLinf框架构建并公开可用（https://wangst0181.github.io/pi-StepNFT/），使用8× NVIDIA H100 (80GB) GPU进行主要实验，消融实验使用8× NVIDIA RTX 4090 (48GB)。论文提供了详细的超参数设置（附录C.2），包括学习率、批次大小、EMA衰减策略等关键参数。数据方面，LIBERO使用标准的1,692条轨迹（few-shot设置下进一步裁剪至58或208条），ManiSkill使用完整的16,384条轨迹。评估协议遵循标准设置（LIBERO每suite 500个episode，ManiSkill使用4,352个组合任务）。不过，复现仍有一定门槛：需要8块高端GPU，SFT初始化需要使用$\pi_{RL}$检查点（可能需要从头训练），Flow-SDE求解器的实现细节（如噪声调度、系数 $U_t$ 和 $B_t$）在附录中给出但需要仔细阅读。总体而言，具备中等RL和生成模型经验的研究团队应该能够复现本文结果。
论文图表
