FASTER：重新思考实时流式视觉-语言-动作模型 FASTER: Rethinking Real-Time Flow VLAs
通过Horizon-Aware Schedule将流式VLA即时动作采样加速10倍
前置知识
Vision-Language-Action (VLA) 模型
VLA是一类将视觉感知、语言理解和动作生成统一到单一模型架构中的机器人学习方法。这类模型将连续的电机控制问题转化为生成式序列建模问题，通过大规模预训练学习从视觉观察和语言指令到机器人动作的映射。典型的VLA模型如π0.5和X-VLA采用VLM（视觉语言模型）作为backbone，结合专门的动作专家（Action Expert）模块来生成动作序列。这种范式使得机器人能够利用大规模互联网数据中学习到的语义知识来执行复杂的操作任务。
本文针对VLA模型的推理效率进行优化，理解VLA的基本架构和工作原理是理解本文方法改进对象的前提。
Flow Matching（流匹配）
流匹配是一种生成模型方法，通过学习一个速度场（velocity field）将简单的噪声分布逐步传输到目标数据分布。在VLA中，流匹配用于动作生成：从高斯噪声开始，通过迭代求解ODE（常微分方程）逐步去噪，最终生成目标动作序列。训练时采用最优传输公式，假设噪声和真实动作之间存在线性插值路径。推理时使用Euler方法进行多步采样，典型步数为N=10。
本文的核心创新是在流匹配的采样过程中引入自适应时间调度，理解流匹配的基本原理对于理解Horizon-Aware Schedule的设计至关重要。
Action Chunking（动作分块）
动作分块是VLA策略中的标准方法，模型一次预测一段未来动作序列At=[at, at+1, ..., at+H-1]，其中H是预测时域（prediction horizon）。实际执行时，通常只执行前s个动作（执行时域），然后触发新的推理并丢弃剩余动作。这种设计可以减少推理频率，但也引入了反应延迟的问题——因为必须等待整个动作块完成去噪后才能开始执行任何动作。
本文正是针对动作分块策略中必须等待整个块完成才能执行这一瓶颈进行优化，理解动作分块机制是理解问题本质的关键。
Time to First Action (TTFA)
TTFA是本文新引入的指标，用于衡量系统产生第一个可执行动作所需的时间。类似于大语言模型中的Time to First Token (TTFT)概念，TTFA显式捕捉了机器人能够开始运动的最早时刻。在传统流匹配VLA中，TTFA约为VLM推理时间加上N倍动作专家单步推理时间。FASTER通过将第一个动作的去噪压缩到单步，显著降低了TTFA。
TTFA是本文评估反应能力的核心指标，理解其定义和计算方式对于理解实验结果中的性能提升至关重要。
异步推理（Asynchronous Inference）
异步推理是解决动作分块策略中停等问题的标准方法。核心思想是在当前动作块完全执行之前就发起下一个推理请求。当推理在时间t触发时，机器人继续执行当前块中的剩余动作。到时间t+推理延迟时，新预测的动作块预计已经可用，从而实现无缝执行而无需暂停。然而，异步推理存在感知-执行间隙问题：观察在时间t捕获，但当新块可用时，环境和机器人状态可能已经改变。
异步推理是本文方法的主要基线之一，理解其工作原理和局限性有助于理解FASTER的改进空间。
研究动机
现有流匹配VLA模型在实时部署中面临严重的反应延迟问题。具体而言，当采用标准的恒定时间步调度（constant timestep schedule）时，整个动作块必须完成全部N=10步去噪后才能开始执行任何动作。这意味着即使机器人只需要第一个动作来响应环境变化，也必须等待所有后续动作都生成完毕。在RTX 4060这样的消费级GPU上，π0.5模型的TTFA高达303.3ms，X-VLA更是达到399.5ms。更严重的是，这种延迟与执行时域的间隔叠加，导致期望反应时间在同步推理下分别达到621.6ms和799.2ms，这对于需要毫秒级响应的动态任务（如打乒乓球）来说是完全不可接受的。现有的异步推理方法虽然通过提前触发下一次推理来改善运动连续性，但它们本质上仍然采用相同的恒定调度策略，只能将期望反应时间减少0.5倍推理延迟，改善幅度有限。
本文的目标是本文的目标是开发一种即插即用的方法，在不修改VLA模型架构、不增加额外训练成本的前提下，显著降低流匹配VLA的反应延迟。具体来说，作者希望：将即时动作的生成压缩到单步采样，将TTFA降低10倍；通过流式客户端-服务器接口实现动作的即时分发；通过早停策略减少可行的最小执行时域，从而提高推理-执行循环频率；在消费级GPU上也能实现实时反应能力。
与已有工作不同的是，本文的独特切入角度在于重新审视了动作分块策略中的反应概念。作者将反应时间建模为一个随机变量，服从均匀分布，这揭示了反应时间同时受推理延迟和推理频率的双重影响。更重要的是，作者通过实验发现动作块内部存在显著的非均匀性：早期动作（约前1-10帧）的去噪路径更直（straightness更低），中间估计与最终输出的偏差更小。这意味着早期动作在更少的采样步数内就能达到准确估计，而恒定调度对这些简单维度进行了过度采样。这一洞察直接启发了Horizon-Aware Schedule的设计，使得模型能够自适应地为近期动作分配更激进的采样步数。
核心方法
FASTER的核心直觉是：在动作块中，近期动作比远期动作更容易预测，因此可以用更少的采样步数生成。这就像在写一篇文章时，第一句话通常比第十句话更容易确定——因为第一句话直接基于当前的上下文，而第十句话的不确定性随着累积误差而增加。基于这一洞察，作者设计了一个Horizon-Aware Schedule（HAS），它打破了传统流匹配中所有动作共享同一时间步调度的范式，为每个动作索引分配独立的去噪时间表。具体来说，第一个动作在单步采样后就完成去噪，可以立即分发给机器人执行；而后续动作则按照逐渐变慢的调度继续精化。这种方法与流式客户端-服务器接口和早停策略相结合，形成了完整的实时推理框架。
FASTER的核心创新是Horizon-Aware Schedule（HAS），它与传统恒定调度有本质区别。在传统方法中，所有动作在每个采样步骤共享相同的时间步，形成一个矩形的去噪过程。而HAS引入了索引依赖的时间步向量，其中i是动作索引。每个动作i有一个命中时间（hit time）ui，表示该动作完成去噪的全局时间步。命中时间的计算公式为：ui = (1 - (i/(H-1))^α) · u0，其中u0是第一个动作的完成时间，α控制命中时间的分布。当α<1时，早期动作快速达到命中时间，而远期动作的命中时间接近0。这种设计使得第一个动作在第一个采样步骤就完成去噪，而后续动作继续按照更慢的节奏精化。本质上，HAS将原来同步的去噪过程变成了渐进式的流式输出。
方法步骤详情
FASTER方法包含三个关键步骤：首先，Horizon-Aware Schedule（HAS）在推理时为每个动作索引计算局部时间步τij = max(0, (ρj - ui)/(1 - ui))，其中ρj是第j步的全局采样进度，从1迭代到0。第一个动作在ρj达到u0时完成去噪，可以立即分发。其次，流式客户端-服务器接口实现动作的即时传输：服务器端一旦有新动作完成就立即分发，同时继续生成剩余动作；客户端持续监听传入的数据包并将接收到的动作追加到机器人的动作缓冲区。第三，早停策略在执行时域内的所有动作都完成后跳过剩余采样步骤，避免完成全部AE迭代。训练时，作者引入混合调度策略：给定混合概率p，每个训练样本以概率p使用HAS，以概率1-p保留原始恒定调度，这确保模型在两种时间步参数化下都能学习速度场，提高对调度变化的鲁棒性。
技术新颖性
FASTER的技术新颖性体现在多个层面。首先，它首次系统分析了动作分块VLA策略中的反应属性，揭示了恒定调度作为实时反应瓶颈的本质。其次，HAS的设计借鉴了Diffusion Forcing的思想将流匹配时间步变为索引依赖，但创新性地通过命中时间公式实现了近期动作快速完成、远期动作保持慢速的自适应分配。第三，混合调度策略巧妙解决了从恒定调度迁移到HAS的训练稳定性问题，避免了近期动作输入始终为ground truth导致的学习退化。第四，TTFA指标的引入为反应能力提供了更精确的衡量标准，类似于LLM中的TTFT。最后，将HAS与动作条件化技术自然协同：在HAS下，早期动作频繁获得接近零的时间步，这与动作条件化将前缀动作视为完全去噪的原理一致，从而增强了模型对时间条件生成的理解。
实验结果
实验结果全面验证了FASTER在反应能力上的显著提升。在RTX 4090上，π0.5模型的TTFA从80.0ms降低到62.1ms（1.29倍加速），X-VLA从113.7ms降低到44.8ms（2.54倍加速）。在消费级RTX 4060上，提升更为显著：π0.5的TTFA从303.3ms降至238.6ms，X-VLA从399.5ms降至129.2ms（3.09倍加速）。概率分析显示，FASTER在X-VLA上实现了确定性优势——其反应时间上界低于基线方法的下界，建立了严格的性能主导地位。在真实的乒乓球任务中，同步推理完全无法响应来球，而FASTER展示了明显更快的反应速度，这从击球时的球拍角度可以直观观察到——更快的反应使机器人有充足时间旋转球拍并积累挥拍速度，实现更有力和可控的击球。在Pick Beverage和Fold Towel任务上，FASTER在RTX 4090上达到0.957和0.963的完成分数，同时将任务完成时间从24.7s和20.7s降至24.0s和20.5s。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 乒乓球反应能力 | 完成分数 | RTX 4090: 0.80, RTX 4060: 0.47 | 同步推理: 0.00, 异步推理: 0.20 (RTX 4090) | 相对最佳基线提升3-4倍 |
| X-VLA反应延迟 | TTFA | RTX 4090: 44.8ms, RTX 4060: 129.2ms | 异步推理: 113.7ms (RTX 4090), 399.5ms (RTX 4060) | RTX 4090: 2.54倍, RTX 4060: 3.09倍 |
| π0.5期望反应时间 | E[Δt_react] | RTX 4090: 112.1ms, RTX 4060: 371.9ms | 同步: 170.0ms/621.6ms, 异步: 130.0ms/470.0ms | 相比异步推理提升1.16-1.26倍 |
| X-VLA期望反应时间 | E[Δt_react] | RTX 4090: 78.1ms, RTX 4060: 229.2ms | 同步: 237.2ms/799.2ms, 异步: 180.4ms/599.5ms | 相比异步推理提升2.31-2.62倍 |
局限与改进
本文存在几个值得注意的局限性。首先，实验主要在特定的机器人平台（Piper机械臂）和有限的任务类型上进行验证，对于更复杂的操作任务（如精细装配、多物体交互）的效果尚未充分探索。其次，虽然HAS声称不损害长期轨迹质量，但在Pick Beverage任务中，FASTER在RTX 4060上的完成分数（0.788）略低于同步推理（0.825），暗示在资源极度受限时可能存在质量-延迟的权衡。第三，混合调度中的超参数p和α需要根据具体任务进行调优，论文中对这些超参数的敏感性分析不够充分。第四，论文假设推理延迟为常数，但实际部署中可能受GPU负载、网络波动等因素影响而变化。最后，乒乓球任务虽然具有挑战性，但仅展示了反应能力的提升，对于需要长期规划的任务（如烹饪、清洁）的价值尚不清楚。
独立分析的弱点
FASTER存在几个可以改进的弱点。首先，命中时间公式ui = (1 - (i/(H-1))^α) · u0中的α是一个全局超参数，无法自适应地根据任务动态调整。对于快速运动的任务（如击球），可能需要更激进的早期动作加速；而对于精细操作，可能需要更均匀的调度。改进方向是开发基于任务状态或动作不确定性自适应调整α的方法。其次，混合调度策略是随机的（以概率p选择调度），这可能导致训练过程中的梯度估计不够稳定。可以考虑设计更平滑的课程学习策略，从恒定调度逐渐过渡到HAS。第三，流式接口的设计假设网络传输是可靠的，但在实际部署中可能存在丢包或延迟抖动，需要引入容错机制。第四，当前方法对动作块长度H的选择没有提供指导，而H直接影响命中时间的分布和长程轨迹的质量。
未来方向
基于FASTER的成果，可以延伸出几个有价值的研究方向。首先，将HAS扩展到扩散模型架构的VLA，因为扩散模型和流匹配在去噪过程上有相似性，HAS的设计思想可能同样适用。其次，探索HAS与动作条件化的更深层次协同：利用早期动作的快速完成来提供更强的时序先验，指导后续动作的生成。第三，开发自适应的执行时域选择策略，根据当前任务状态和环境动态性实时调整s的大小，而不是使用固定的smin。第四，将FASTER的思想应用到多智能体协作场景中，其中一个智能体的快速反应可以为其他智能体提供更及时的信息。最后，探索HAS在大规模预训练阶段的应用，使模型从一开始就学习到动作块内部的非均匀结构。
复现评估
论文的复现条件相对友好。作者在论文中提供了详细的方法描述，包括HAS的公式定义、混合调度策略的实现细节、流式接口的设计等。关键超参数如u0=(N-1)/N、混合概率p等都有明确说明。实验使用了两个公开可用的VLA模型（π0.5和X-VLA），以及标准的硬件平台（RTX 4090和RTX 4060）。数据收集方面，乒乓球任务使用了14分钟的人类遥操作演示数据，这对于复现来说是可行的。然而，论文未明确说明是否开源代码，且实时机器人实验需要专门的硬件平台（AgileX Cobot Magic + Piper机械臂 + 乒乓球环境）。对于仅有消费级GPU的研究者，可以在仿真环境中验证HAS的加速效果，但真实世界的反应能力评估需要完整的机器人设置。
论文图表
该图展示了机器人系统中同步推理和异步推理的时间流水线。系统由策略服务器和机器人客户端组成。同步推理中，机器人在等待推理完成时会暂停执行；异步推理则在当前块执行完毕前就触发下一次推理。图中标注了最佳和最差反应情况，说明反应时间取决于推理延迟和推理-执行循环的间隔。
这张图是理解反应时间分析的关键，它清晰展示了为什么现有异步方法的反应时间改善有限。