← 返回 2026-02-18

学习动作分块流策略的原生延续机制 Learning Native Continuation for Action Chunking Flow Policies

Yufeng Liu, Hang Yu, Juntu Zhao, Bocheng Li, Di Zhang, Mingzhu Li, Wenxuan Wu, Yingdong Hu, Junyuan Xie, Junliang Guo, Dequan Wang, Yang Gao 📅 2026-02-13 👍 3 2026-07-13 08:35

VLA模型动作分块机器人控制流匹配轨迹平滑

arXiv HuggingFace PDF

通过训练时重塑流动力学，实现动作分块VLA模型的原生连续执行

前置知识

Vision Language Action (VLA)模型

VLA模型是结合视觉、语言和动作的多模态生成模型，能够根据视觉观察和语言指令直接输出机器人动作。它通常由大视觉-语言编码器加上动作解码器组成，通过端到端训练学习从观测到动作的映射。在机器人控制中，VLA模型通过推理计算生成动作序列，这些动作通常是连续的、高维的末端执行器位姿和夹爪指令。

本文的核心是改进VLA模型在实时机器人控制中的执行效果，理解VLA模型如何生成动作是读懂本文的基础。

动作分块

动作分块是指模型一次性预测未来多个时间步的动作序列，而不是每个时间步单独预测。比如模型一次性生成60个动作（对应2秒的执行时间），然后机器人在执行这些动作的同时，模型可以并行推理下一个分块。这种策略摊销了推理成本，使得大模型能够在有限计算资源下实现高频控制。分块长度、执行步长和推理延迟是三个关键参数，满足r+s+d=H，其中H是分块总长度，r是下降坡度长度，s是执行步长，d是推理延迟。

动作分块是本文问题的根源，理解分块执行的机制和参数设置对于理解为什么chunk边界会出现不连续性至关重要。

流匹配

流匹配是一种生成模型训练方法，通过学习速度场将噪声样本变换为目标分布。给定时间变量t∈[0,1]，标准流匹配构造插值Xt=(1-t)ε+tA，其中ε是高斯噪声，A是目标动作。模型学习预测速度场uFM(Xt,t)=A-ε，表示从当前状态到目标的移动方向和幅度。推理时从噪声ε开始，沿着学习到的速度场逐步积分得到最终动作A。流匹配相比扩散模型训练更稳定，推理更快。

本文的Legato方法基于流匹配，通过重塑速度场来实现原生延续。理解流匹配的数学形式和训练目标对于理解Legato如何修改标准流匹配至关重要。

多模态性

在机器人控制中，同一任务可能存在多个有效的动作模式。例如堆碗任务中，机器人可以选择左手或右手抓取，或者选择抓取不同的碗。这些模式都是合理的，但随机切换会产生犹豫和振荡。基于流的策略在生成动作时，可能会在多个模式之间切换，尤其是在分块边界处，因为前一个分块的约束被释放后，模型可能选择不同的模式。

多模态切换是导致分块边界不连续的根本原因之一。理解多模态性有助于明白为什么RTC无法从根本上解决问题，而Legato通过重新加权速度场来抑制频繁模式切换。

研究动机

现有的动作分块执行策略在chunk边界处存在不连续性问题。由于推理延迟和流策略固有的多模态性，连续分块之间的转换往往不够平滑，导致执行时出现明显的间断。Real-Time Chunking (RTC)通过推理时的inpainting来缓解这个问题，在重叠区域内约束新生成的动作chunk与之前生成的动作保持一致。虽然RTC相比朴素分块执行提高了连续性，但其延续机制只在推理时应用，不是策略的一部分。结果导致策略在chunk边界处容易出现虚假的多模态切换，产生本质上不光滑的轨迹。这种虚假的多模态切换表现为犹豫和突然的方向变化，导致任务完成时间延长，如图1所示。

本文的目标是本文的目标是提出一种训练时的延续方法，使动作延续成为策略的原生属性。作者希望：(1)实现每步引导，在去噪的每一步都应用引导，而不仅仅是在初始化时；(2)保持训练-推理一致性，确保模型在训练和推理时看到的动力学一致；(3)使策略能够适应不同的推理延迟和期望的延续强度，支持在实际部署中的变化。通过实现这些目标，作者期望产生更平滑的轨迹，减少执行过程中的虚假多模态切换，从而减少犹豫并缩短任务完成时间。

与已有工作不同的是，本文的独特切入角度是：不应该将chunk延续视为推理时的外部约束，而应该将其内化到策略本身的学习动力学中。RTC和Training-time RTC都延续了这种外部约束思路，分别是在推理时和训练时通过硬约束前缀来强制延续。但它们没有考虑推理时重复的、schedule-shaped引导所诱导的有效去噪动力学。本文则通过重塑流动力学，使策略能够支持每步、schedule-shaped引导，同时与训练目标保持严格一致，从而使chunk延续成为策略动态的原生属性。

核心方法

Legato的核心思路是通过训练时重塑流动力学，使动作延续成为策略的原生属性，而不是推理时的外部约束。方法分为三个关键部分：(1)构造schedule-shaped的训练路径，引入horizon-wise的延续向量ω，在chunk开始处施加完全引导，然后逐渐减弱；(2)推导每步重复延续引导所诱导的有效动力学，得到常微分方程Ẏ(t)=(1-ω)⊙fθ(Y(t),t)-κ⊙(Y(t)-A)；(3)重塑速度场以消除训练-推理不匹配，得到Legato速度场fθ(Y,t)=(1-ω)^-1⊙uFM(Y,t)+κ⊙(Y-A)。此外，通过训练时随机化schedule参数，使策略能够适应不同的推理延迟和延续强度。

Legato的核心创新在于认识到有效的延续需要每步引导，但简单地应用每步引导与标准流匹配的训练目标不一致。因此，Legato通过重塑速度场来匹配每步重复引导所诱导的有效动力学，从而使策略能够在推理时支持每步引导，同时与训练目标保持严格一致。这种做法将延续机制内化到了策略本身的学习动力学中，使其成为策略的原生属性。与RTC和Training-time RTC的外部约束方法不同，Legato通过修改速度场的幅度而非方向来实现延续，保持了几何方向不变，但重新加权了传输幅度。

方法步骤详情

Legato的训练过程如下：(1)构造guidance schedule ω∈[0,1]^H，由推理延迟d和下降坡度长度r决定；(2)定义action-noise mixture ϵeff=(1-ω)⊙ε+ω⊙A，其中ε是噪声，A是ground-truth action；(3)构造插值路径Yt=(1-t)ϵeff+tA；(4)计算目标速度vtarget=(1-κ⊙(1-t))⊙(A-ε)，其中κ=ω/Δt；(5)训练网络fθ(Yt,o,t,ω)回归vtarget。推理时：(1)从之前生成的chunk构建reference action chunk Aref；(2)初始化Y0=ω⊙Aref+(1-ω)⊙ε；(3)在每个去噪步骤k，先引导Yk=(1-ω)⊙Xk+ω⊙Aref，然后去噪Xk+1=Yk+Δt·fθ(Yk,tk,ω)；(4)重复N步后返回最终action chunk。

技术新颖性

Legato的技术新颖性体现在多个方面：(1)首次揭示了有效的延续需要每步引导，并证明了one-shot guidance不足以保持约束；(2)首次提出了训练-推理一致的每步引导方法，通过重塑速度场而非简单添加约束；(3)提出了schedule-shaped的引导设计，通过逐渐减弱引导强度实现从严格引导到自由生成的平滑过渡；(4)引入了schedule随机化和条件机制，使单一策略能够适应不同的推理延迟和延续强度设置；(5)从理论层面分析了每步引导诱导的动力学，并通过实验验证了训练-推理一致性的重要性。

**Fig. 2**: Overview of Legato with schedule-shaped continuation dynamics

**Fig. 3**: Continuous chunk execution and guidance construction

**Fig. 4**: One-shot prefix guidance cannot preserve prefix constraints during denoising

实验结果

在五个真实世界操作任务上的实验结果表明，Legato在轨迹平滑度和任务完成时间方面始终优于RTC。在碗堆叠任务中，多个视觉相似的碗导致大量合理的动作模式，RTC经常在竞争策略之间切换，而Legato保持一致的模式选择，更高效地完成任务。Legato在所有任务中始终实现更低的NSPARC值，表明命令减少了高频速度波动，速度调制更加规律。Legato还显著减少了chunk-overlap RMSE，表明生成更连贯的chunk-to-chunk转换。在任务完成时间方面，Legato在碗堆叠任务中从52.88±3.54秒缩短到42.66±2.68秒，在倾倒任务中从95.07±2.86秒缩短到75.73±1.51秒，在抓取放置任务中从35.53±1.24秒缩短到30.37±0.65秒，在打开抽屉任务中从25.97±0.74秒缩短到21.80±0.72秒，在折叠毛巾任务中从25.93±0.98秒缩短到20.00±0.78秒。任务完成分数方面，Legato也超越了RTC，表明执行效率和轨迹平滑度的改进没有以任务成功率为代价。

**Fig. 1**: Legato reduces task completion time while improving trajectory smoothness compared to RTC

**Fig. 5**: Real-world evaluation tasks on a dual-arm robot

**Fig. 6**: Legato suppresses spurious multimodal switching across chunk boundaries

**Fig. 7**: Schedule ablation reveals a controllable trade-off between local overlap consistency and smoothness

**Fig. 8**: Left: Legato vs. RTC, Training-time RTC, and BID in Kinetix. Right: Ablation result on the schedule randomization.

查看结构化数据

任务	指标	本文	基线	提升
碗堆叠	任务完成时间(秒)	42.66±2.68	52.88±3.54	约19.3%
倾倒	任务完成时间(秒)	75.73±1.51	95.07±2.86	约20.3%
抓取放置	任务完成时间(秒)	30.37±0.65	35.53±1.24	约14.5%
打开抽屉	任务完成时间(秒)	21.80±0.72	25.97±0.74	约16.1%
折叠毛巾	任务完成时间(秒)	20.00±0.78	25.93±0.98	约22.9%
倾倒	NSPARC	1.65±0.08	2.85±0.24	约42.1%
碗堆叠	Overlap RMSE(×10^-3)	4.58±0.17	6.83±0.50	约33.0%

局限与改进

作者承认的局限性包括：(1)去噪步数在训练时固定，限制了推理时调整的能力；(2)当训练时不包含d=0的情况，策略在首次去噪步骤没有引导时会严重分布外移，导致评估几乎完全失败；(3)在某些极端配置下（如d=s=r=8），RTC在overlap RMSE上可能优于Legato，虽然整体轨迹平滑度仍然较差。我们观察到的局限性包括：(1)Legato需要训练时随机化schedule参数，增加了训练复杂度；(2)在延迟d很小时，即使没有condition row也能获得可接受的延续行为，表明condition row的必要性取决于具体配置；(3)方法依赖于流匹配策略，对于其他类型的生成策略可能需要重新设计。

独立分析的弱点

Legato的弱点在于：(1)去噪步数N在训练时固定，推理时调整会引入训练-推理不匹配。虽然提出了启发式重缩放ω'=clamp(1-(1-ω)·(Ntrain/Ninfer),0,1)来缓解，但这仍然是一种近似。改进方向是设计更灵活的原生延续方案，使训练和推理动力学能够自适应不同的去噪步数。(2)训练时schedule参数随机化范围需要预先确定，如果推理时的延迟超出训练范围，策略性能可能下降。改进方向是使用在线自适应的schedule参数调整机制。(3)方法假设参考动作是可用的，但在极端情况下（如首次推理或系统重启）可能没有足够的历史信息。改进方向是设计更鲁棒的初始化策略，结合先验知识和历史信息。

未来方向

作者提出的未来方向是研究更灵活的原生延续方案，具有一致的训练和推理动力学，能够自适应推理时的去噪步数。基于成果可延伸的方向包括：(1)将Legato扩展到其他生成策略（如扩散策略），研究如何重塑扩散模型的反向过程以实现原生延续；(2)探索更复杂的schedule设计，如非线性下降或基于任务自适应的schedule；(3)研究如何在多智能体或层级控制场景中应用Legato的思想，实现跨智能体或跨层级的连续执行；(4)结合model-predictive control的思想，在schedule设计中考虑更长的预测视野和动态调整机制。

复现评估

论文提供了相对完整的复现信息：(1)代码和项目页面公开（lyfeng001.github.io/Legato/），但未明确说明代码仓库地址；(2)实验使用π0.5模型，动作chunk大小为60，对应2秒的连续动作，去噪步数为5；(3)硬件配置为单块RTX 4090 GPU，未优化推理时单次前向传播约170ms；(4)实验在双臂机器人平台进行，每个手臂7个关节+1个夹爪，共8自由度，使用3个相机（1个头部+2个腕部）；(5)详细报告了超参数配置、任务细节、评估指标定义和延迟构造方法。复现难度中等，主要挑战是获取相同的机器人硬件和π0.5模型，以及精确复现实验环境和延迟控制机制。

论文图表

Table I: MAIN REAL-WORLD RESULTS COMPARING RTC AND LEGATO ACROSS FIVE TASKS

该表总结了RTC和Legato在五个任务上的主要真实世界结果。报告了任务分数（↑）、完成时间（秒，↓）和平滑度指标（↓）：NLDLJ（负对数无量纲jerk）、NSPARC（负线性和角度谱弧长）和Overlap RMSE（均方根误差，×10^3）。所有任务中，Legato在完成时间和大部分平滑度指标上始终优于RTC。

这个表格对理解论文的核心实验结果至关重要。它提供了定量证据，证明Legato在多个任务和指标上的一致优越性。

Table II: COMPARISON OF TRAINING-TIME RTC AND LEGATO

该表在倾倒任务上比较了Training-time RTC和Legato，Legato的引导配置为d=8, s=30, r=22。结果显示Legato在任务分数、完成时间、NSPARC、NLDLJ和Overlap RMSE上都优于Training-time RTC。

这个表格对理解Legato与相关方法的比较很重要。它表明重塑策略动力学（而非仅仅强制硬重叠约束）对有效的chunk延续很重要。

Table III: ABLATION STUDY ON ROBUSTNESS TO INFERENCE DELAY

该表研究了Legato对推理延迟d的鲁棒性，固定执行步长s，改变延迟长度d，满足schedule约束。在不同(d,s,r)配置下，Legato始终优于RTC。

这个表格验证了Legato在不同推理延迟下的鲁棒性，这对实际部署很重要。

Table IV: ABLATION STUDY ON THE EFFECT OF THE CONDITION ROW

该表研究了不同引导配置下condition row的作用，改变推理延迟d和下降坡度长度r构造不同的schedule。结果表明，移除condition row导致性能下降，特别是在轨迹平滑度和执行稳定性方面。

这个表格验证了condition row的有用性，表明显式提供引导schedule有助于模型区分不同延续机制。

Table V: ABLATION RESULTS ON THE π0 AND GR00T N1.6 MODEL

该表在π0和Gr00t N1.6模型上比较RTC和Legato，使用相同的引导配置(d=8, s=30, r=22)。结果表明Legato在两个模型上都优于RTC，证明了方法在不同VLA模型上的泛化能力。

这个表格验证了Legato的模型泛化能力，表明方法不依赖于特定的策略骨干。

Table VI: COMPARISON OF TE AND LEGATO ON THE POUR TASK

该表在倾倒任务上比较了Temporal Ensembling (TE)和Legato。Legato在任务分数、完成时间和NSPARC上都优于TE，受益于其原生延续机制。

这个表格验证了Legato相比其他平滑方法的优势，表明原生延续机制比简单的轨迹平均更有效。

Table VII: NSPARC METRIC RESULTS UNDER VARYING INFERENCE N

该表研究了Legato在不同去噪步数N下的性能，模型在N=5上训练。结果显示，没有condition row时，Legato甚至在单步去噪下仍然有效，但可能导致不稳定的运动。

这个表格研究了Legato对去噪步数的敏感性，验证了启发式重缩放策略的有效性。