时间块扩散视觉语言动作模型 TBD-VLA: Temporal Block Diffusion Vision Language Action Model
提出TBD-VLA，结合时间自回归与并行解码的块离散扩散VLA框架。
前置知识
视觉语言动作模型
视觉语言动作模型（VLA）是一类将视觉观察和自然语言指令映射到可执行机器人动作的模型。它通常使用预训练的视觉语言模型（VLM）作为骨干网络，通过附加动作解码器或将动作表示为离散令牌来实现动作生成。主流方法包括π0.5和GR00T N1.5等连续动作专家方法，以及OpenVLA等离散令牌方法。
本文提出的TBD-VLA是离散令牌VLA框架的改进版本，理解VLA的基本范式和现有方法的问题是理解本文创新的基础。
掩码扩散模型
掩码扩散模型是一种通过迭代预测掩码令牌来生成离散序列的生成模型。与从左到右的自回归解码不同，掩码扩散可以并行地细化多个令牌，从而提高采样效率。在每一步中，模型预测被掩码位置的令牌，并根据置信度逐步揭示令牌。这种方法已经在图像生成、文本生成和多模态生成中得到应用。
TBD-VLA的核心技术基于掩码扩散，理解这一机制对于理解本文如何在块内进行并行解码至关重要。
实时分块（Real-Time Chunking）
实时分块（RTC）是一种异步推理机制，用于在执行当前动作的同时生成未来的动作。在机器人控制中，推理延迟可能导致性能下降。RTC通过在推理延迟窗口内冻结并重用之前生成的动作尾部，作为早期动作块的in-painting上下文，从而缓解推理延迟的影响。
TBD-VLA的训练目标与RTC的in-painting策略天然对齐，理解RTC有助于理解本文方法在实际机器人控制中的优势。
研究动机
现有的离散视觉语言动作（VLA）模型通常将动作生成表述为对离散动作空间的下一个令牌预测，每个令牌都以前序上下文为条件进行自回归生成。虽然这种方法有效，但存在两个主要问题：首先，对于闭环、高频率的机器人控制而言，一个接一个地生成长动作块的推理延迟过高，难以满足实时性要求。其次，这种方法在很大程度上忽略了动作轨迹中固有的时间结构。最近的努力虽然引入了并行解码来提高效率，使得推理更快，但缺乏显式的令牌依赖建模机制。例如，OpenVLA-OFT实现了完全并行动作解码，延迟降低到0.031秒，但对时间依赖的建模仍然有限。另一方面，离散扩散VLA等方法通过迭代掩码令牌细化来加速解码，延迟为0.069秒，但在时间层面上的显式建模仍然不足。现有VLA模型的推理延迟范围从0.031秒到5.633秒不等，在性能和效率之间难以取得平衡。
本文的目标是本文的目标是提出一个新的离散令牌VLA框架TBD-VLA，该框架结合了时间自回归和并行动作解码，实现强时间相干性和改进的推理速度。具体来说，目标是在保持与VLM兼容的令牌级动作生成的同时，显式地建模时间块之间的依赖关系。此外，目标还包括支持实时分块（RTC）等异步执行机制，以缓解推理延迟对性能的影响。
与已有工作不同的是，本文的独特切入角度是将块扩散（block diffusion）引入到VLA框架中，将动作序列划分为时间块，在每个块内执行掩码离散扩散，同时在块之间保持自回归生成。这种设计与现有的并行解码方法有本质区别：现有方法要么完全并行（如OpenVLA-OFT），要么完全自回归（如OpenVLA），而TBD-VLA则在一个统一的框架内结合了两者。此外，本文的训练目标与RTC的in-painting策略天然对齐，这使得TBD-VLA在推理延迟条件下表现更优。
核心方法
TBD-VLA的方法整体思路是利用块离散扩散来统一时间自回归和并行动作解码。直觉上，动作序列可以按照时间顺序分为多个块，每个块内的动作可以并行生成以提高效率，而块之间的依赖关系通过自回归方式保持以维持时间相干性。技术路线上，TBD-VLA使用Qwen3-VL 2B作为VLM骨干网络，将动作特征离散化为N_b个bin并使用共享字典进行令牌化。训练时采用时间级别的令牌偏移和双布局技巧来高效训练块掩码扩散。推理时，从完全掩码的令牌开始顺序生成动作块，每个解码块通过N_d次离散扩散步骤进行细化，并使用KV缓存和按需解码来加速推理。
核心创新点是将块离散扩散引入到VLA框架中，这与已有的离散扩散VLA方法有本质区别。已有的离散扩散VLA方法（如Discrete Diffusion VLA）在整个动作预测视界上进行掩码扩散，缺乏时间层面的显式建模。而TBD-VLA将动作序列划分为时间块，在每个块内进行并行掩码扩散，同时在块之间进行自回归生成。这种设计使得模型既能够利用并行解码提高效率，又能够显式地建模时间依赖。另一个关键创新是训练目标与RTC的in-painting策略的对齐，这使得模型能够在部分动作上下文条件下完成动作块，从而在推理延迟条件下表现更优。
方法步骤详情
TBD-VLA的方法步骤包括四个主要部分：模型架构与令牌化、训练管道、推理过程和实时分块。首先，模型使用Qwen3-VL 2B作为VLM骨干，并使用特殊令牌（掩码令牌、占位符令牌、动作令牌）扩展令牌器。本体感觉和动作特征都被离散化为N_b个bin并使用共享字典进行令牌化。VLM的提示模板为State: {state tokens}, Task: {instruction}, Actions: {placeholder tokens}。其次，训练时采用时间级别的令牌偏移，即将当前动作块的令牌训练为预测下一个动作块，以更好地与预训练VLM骨干的下一个令牌预测目标对齐。同时，采用块级离散扩散，将令牌化动作序列x_0划分为K个块，每个块通过独立掩码每个令牌来构造破坏块x_t^k，掩码概率t_{k,i}服从均匀分布U(0,1)。反向过程预测块k的干净令牌，条件是偏移预测器块z_k。损失为掩码动作令牌的平均交叉熵。为了实现高效训练，使用双布局技巧，将干净动作序列x_0和噪声序列x_t作为输入连接，同时共享相同的RoPE位置，并使用自定义注意力掩码来并行化多个动作块的学习。第三，在推理时，从完全掩码的令牌开始顺序生成动作块，每个解码块通过N_d次离散扩散步骤进行细化。在每个步骤中，模型预测所有掩码位置并提交最自信的令牌。为了减少延迟，策略只解码执行所需的块：对于滚动视界H_a，生成K_exec = ceiling(H_a/m)个块而不是所有K = H_p/m个块。使用KV缓存来存储当前视觉和提示令牌的键值状态以及之前生成的动作块的键值状态，避免在去噪步骤中重复计算。动作令牌按照置信度顺序被揭示，对于时间步h和动作维度j，标量动作值被解码为a_{t+h,j} = sum_{x in V} p_{theta,h,j}(x) c_j(x)，即使用完整的预测分布而不是最可能的离散令牌。最后，实时分块（RTC）通过异步生成未来动作来缓解推理延迟。采用硬in-painting策略，将与推理延迟窗口对应的先前生成的动作尾部冻结并重用作为早期动作块的in-painting上下文。
技术新颖性
TBD-VLA的技术新颖性体现在三个方面：首先，这是第一个将块离散扩散引入VLA框架的工作，将动作序列划分为时间块，在每个块内进行并行掩码扩散，同时在块之间进行自回归生成。这种设计统一了时间自回归和并行动作解码，实现了强时间相干性和改进的推理速度。其次，训练时采用时间级别的令牌偏移和双布局技巧来高效训练块掩码扩散，使得模型能够在单个前向传递中并行化多个动作块的学习，显著加速训练效率。第三，训练目标与RTC的in-painting策略天然对齐，使得模型能够在部分动作上下文条件下完成动作块，从而在推理延迟条件下表现更优。据我们所知，这是第一个在离散VLA框架中显式建模时间块依赖的工作。
实验结果
TBD-VLA在多个基准测试中取得了最先进的结果。在LIBERO基准测试的四个任务套件中，TBD-VLA达到了97.6%的平均成功率，分别在不同任务中达到97.6%（Spatial）、99.6%（Object）、97.4%（Goal）和96.6%（Long）的成功率，显著优于所有基线方法。在LIBERO-Plus的扰动测试中，TBD-VLA在零样本条件下达到了83.0%的平均成功率，比第二好的方法高出15.1%。在SimplerEnv Widow-X基准测试中，TBD-VLA达到了66.8%的平均成功率，仅次于UniVLA的69.8%。在SimplerEnv Google Robot基准测试中，TBD-VLA在视觉匹配和变体聚合任务中分别达到91.0%和86.3%的成功率，优于所有基线方法。在真实世界实验中，TBD-VLA在三个任务上达到了67.1%的平均成功率，显著优于π0.5的50.0%。在不使用RTC的情况下，TBD-VLA的成功率下降到60.0%，仍然优于π0.5。在推理速度方面，TBD-VLA的推理延迟为0.117秒，在性能和效率之间取得了良好的平衡。实验还表明，RTC在推理延迟条件下显著提高了性能：在4个仿真步的推理延迟下，使用RTC的TBD-VLA保持了93.2%的成功率，比使用RTC的π0.5高出3.4%，而不使用RTC的TBD-VLA成功率下降到72.3%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO (Spatial/Object/Goal/Long) | Success Rate (%) | 97.6/99.6/97.4/96.6 (Avg: 97.6) | π0.5: 98.8/98.2/98.0/92.4 (Avg: 96.9) | +0.7% average |
| LIBERO-Plus (perturbations) | Zero-shot Success Rate (%) | 83.0 | Second best: ~67.9 | +15.1% |
| SimplerEnv Widow-X | Success Rate (%) | 66.8 | UniVLA: 69.8 | -3.0% (second best) |
| SimplerEnv Google Robot (Visual Matching) | Success Rate (%) | 91.0 | InternVLA-M1: 79.3 | +11.7% |
| Real-world tasks (avg) | Success Rate (%) | 67.1 | π0.5: 50.0 | +17.1% |
| Inference Latency (LIBERO) | Latency (seconds) | 0.117 | OpenVLA-OFT: 0.031 | 0.086s slower but much better performance |
局限与改进
作者承认了几个局限性。首先，本文专注于在VLA框架中新颖地采用块扩散，留给未来工作探索替代训练策略（如与辅助VLM目标联合训练）及其对TBD-VLA的潜在好处。其次，留给未来工作对仅VLM动作解码的更深入解释，特别是视觉语言表示如何转换为可执行动作。第三，虽然TBD-VLA对扰动普遍鲁棒，但在某些out-of-distribution条件下仍然可能失败。例如，在转移液体任务中，修改的相机视角可能导致完全失败，可能是因为该任务需要准确的视觉保真度。未来工作可以通过扩大训练数据和模型规模以及探索更高级的训练策略（如与辅助目标联合训练）来提高鲁棒性。此外，TBD-VLA的推理延迟为0.117秒，虽然比完全自回归方法快，但仍然比完全并行方法（如OpenVLA-OFT的0.031秒）慢。
独立分析的弱点
TBD-VLA的主要弱点包括：首先，推理延迟虽然比完全自回归方法快，但仍然比完全并行方法慢。这限制了在需要极低延迟的应用场景中的实用性。改进方向可以是进一步优化块大小和去噪步数的权衡，或者探索更高效的并行解码策略。其次，TBD-VLA在某些out-of-distribution条件下可能失败，特别是在需要准确视觉保真度的任务中。改进方向可以是扩大训练数据的多样性，包括更多相机视角和光照条件，或者引入域自适应技术。第三，TBD-VLA的训练过程相对复杂，需要精心设计的注意力掩码和双布局技巧，这增加了实现和调试的难度。改进方向可以是简化训练过程，或者提供更详细的实现指南和开源代码。第四，TBD-VLA依赖于特定的VLM骨干（Qwen3-VL 2B），这可能限制了在其他VLM上的适用性。改进方向可以是探索与更多VLM骨干的兼容性，或者提供适配不同VLM的通用接口。
未来方向
作者提出的未来工作方向包括探索替代训练策略（如与辅助VLM目标联合训练）及其对TBD-VLA的潜在好处，以及对仅VLM动作解码的更深入解释。基于本文成果，可以延伸的未来研究方向包括：第一，扩大训练数据和模型规模，以提高在out-of-distribution条件下的鲁棒性。第二，探索更高级的训练策略，如与辅助目标联合训练，以进一步提高模型性能。第三，将TBD-VLA应用于更复杂的机器人任务，如多机器人协作、长时间任务规划和复杂环境导航。第四，探索TBD-VLA在其他领域的应用，如游戏AI、自动驾驶和虚拟助手。第五，研究TBD-VLA的可解释性，特别是理解VLM如何将视觉语言表示转换为可执行动作。第六，优化推理效率，探索更高效的块大小和去噪步数权衡，或者引入模型压缩和量化技术。
复现评估
从论文的描述来看，TBD-VLA的复现难度中等。论文提供了详细的训练细节，包括预训练数据集（DROID、Open-X Embodiment、RoboSet、RoboMIND、RH20T）、微调步骤（Bridge-V2: 20K步，Fractal: 40K步，LIBERO: 80K步）、超参数（时间块大小m=4，预测视界H_p=16，每个块的扩散步数N_d=2）和硬件（单块NVIDIA RTX A40 GPU）。然而，论文没有明确说明代码是否开源，也没有提供预训练模型。考虑到训练数据集的规模和多样性，完整的复现需要大量的计算资源和数据收集工作。推理阶段的复现相对容易，因为论文提供了详细的推理过程和超参数。总的来说，复现TBD-VLA需要较强的工程能力和计算资源，但论文提供了足够的信息来指导实现。
论文图表
