TurboVLA：基于直接视-语-动作映射的实时视觉-语言-动作模型 TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM

执行流程分四步。第一步多模态特征编码：对指令$x$用BERT提取token级特征$Z_l = P_l(f_{\text{text}}(x)) \in \mathbb{R}^{N_l \times d}$，保留完整token序列以留住物体、属性、空间关系；对每个相机观测$I^{(i)}_n$用DINOv3提取空间视觉特征并投影，叠加位置编码与相机视角编码$E^{(i)}_{pos}+e^{(i)}_{view}$，拼接$K$路得$Z^n_v$；机器人状态单独编码为$Z^n_s$，不进交互模块而直接送入解码器。第二步视-语交互：初始化$V^0_n=Z^n_v$、$L^0_n=Z_l$，经$N=6$层融合层逐层更新，每层含层归一化、双向跨注意力和带残差的模态专属FFN，最终拼接$Z^n_{vl}=[V^N_n;L^N_n]$。第三步连续动作块预测：ACT式解码器以$H=12$个可学习动作查询$Q_a$在$Z^n_{vl}$和$Z^n_s$上并行解码，单次前向传播输出$\hat{A}_n = D_\theta(Q_a, Z^n_{vl}; Z^n_s) \in \mathbb{R}^{H \times d_a}$。第四步训练：在专家动作块上用$\ell_1$损失做行为克隆，无辅助目标。整个流程仅需31.2ms。

TurboVLA的新颖性在于首次系统性地把执行级VLA从LLM-centric范式切换到direct V+L→A范式，且做到在性能不降反升的同时大幅压缩规模与延迟。技术上，它把视觉定位领域的直接跨模态交互(Grounding DINO式)迁移到机器人控制任务，用双向跨注意力同时产生'指令条件的视觉特征'与'场景感知的指令特征'，消融证明这比单向或无交互都更强。与SmolVLA、Evo-1等轻量化路线相比，那些方法仍保留预训练多模态骨干作为执行表征，只是缩小规模；TurboVLA则彻底移除大生成式语言骨干，从源头改变架构。与π0/π0.5等动作专家路线相比，那些方法虽并行解码动作，但动作解码器仍依赖大模型产出的特征；TurboVLA的动作解码器直接在轻量交互特征上工作。消融还显示该方法不绑定特定文本骨干(BERT、T5-small、SigLIP均有效)，证明'轻量文本编码器+直接交互'这一范式本身的有效性，而非依赖某个特定预训练模型。

第一，泛化能力存疑：TurboVLA用BERT这种轻量编码器，面对训练分布外的新物体、新指令或新视角时，语言条件的语义覆盖可能不如大模型丰富，论文未给出分布外泛化实验。改进方向是引入更大词汇覆盖的文本编码器或对比学习增强语言端。第二，纯执行级定位限制了应用范围：无法处理需要先推理'先做什么再做什么'的长程任务。改进方向正是作者提到的分层系统，用LLM做高层规划、TurboVLA做低层执行。第三，视-语交互模块虽轻但仍是新引入组件，需grounding预训练权重初始化，从零训练的稳定性与数据效率未充分讨论。改进方向是研究自监督的交互预训练。第四，真实世界实验只有四任务、每任务40轮、仅65条示教，规模偏小，统计上(success rate)的置信区间未给出，结论的稳健性有待更大规模验证。第五，双臂结果(60.2%)虽领先但绝对值不高，说明在需要双臂协调的复杂任务上仍有较大提升空间，可考虑引入双手协同的归纳偏置。

作者在结论中明确指出未来方向：探索把LLM的高层规划能力与TurboVLA的高效执行通路结合，构建既智能又高效的分层系统，弥补TurboVLA在复杂语义理解和推理上的不足。基于本文成果，可延伸的方向包括：第一，把direct V+L→A范式扩展到导航、移动操作等更多embodiment，验证其通用性；第二，研究视-语交互模块的自监督预训练，摆脱对grounding预训练权重的依赖，提升从零训练的数据效率；第三，结合异步动作块执行(如π0的ACT流策略)进一步压低有效延迟，逼近更高控制频率；第四，把语言接口扩展为多模态提示(图像+文本+演示)，借鉴VIMA思路增强任务表达的灵活性；第五，在更大规模、更开放的基准(如Open X-Embodiment全量)上验证泛化边界，明确该方法相对LLM-centric范式的适用域。此外，量化、剪枝等骨干侧优化虽非本文重点，但与TurboVLA的轻量架构正交，可叠加进一步压缩部署成本。

复现性整体较好。作者已公开项目页面和代码仓库(https://github.com/H-EmbodVis/TurboVLA)。论文给出较完整实现细节：视觉骨干DINOv3、文本编码BERT、隐藏维度$d=256$、交互层$N=6$、horizon $H=12$、$\ell_1$损失、学习率$5\times10^{-5}$、四张RTX 4090、LIBERO上80k步(10k warm-up)、有效batch 256；RoboTwin上55k步、batch 192、ViT-L骨干、50步14维动作块。评测协议明确：遵循VLA-Adapter的rollout协议、每任务50轮共2000 trial。所有对比方法的延迟和VRAM均在单卡RTX 4090、batch=1下统一测量，口径一致。复现难点在于：一是需四张4090的训练算力，门槛偏高；二是LIBERO/RoboTwin的rollout评测需仿真环境与较多计算；三是真实世界实验依赖特定AgileX Piper硬件与遥操示教数据，难以完全复现。整体而言仿真部分可较高概率复现，真实世界部分需相应硬件。