RoboAlign：学习测试时推理以实现视觉-语言-动作模型中的语言-动作对齐 RoboAlign: Learning Test-Time Reasoning for Language-Action Alignment in Vision-Language-Action Models
通过强化学习对齐MLLM推理与低层动作，显著提升VLA机器人操控性能
前置知识
Vision-Language-Action Model (VLA)
视觉-语言-动作模型是一类将多模态大语言模型（MLLM）与机器人控制相结合的架构。VLA接收视觉观察和语言指令作为输入，通过MLLM的感知和推理能力生成低层级的机器人动作序列。典型实现包括离散动作token预测（如OpenVLA）或通过外部动作专家从MLLM隐状态预测连续动作（如RT-2）。VLA的核心优势在于利用MLLM预训练获得的世界知识和常识推理能力，实现泛化性的机器人策略。
本文研究的核心问题是如何提升VLA的性能，理解VLA的基本架构和训练范式是阅读本文的前提。
FAST Action Tokenization
FAST是一种将连续动作序列转换为离散token的编码方法。它首先对动作块 a_{1:H}（包含H个时间步的末端执行器状态，每步包含位置x,y,z、姿态roll,pitch,yaw和夹爪状态）进行离散余弦变换（DCT），然后对DCT系数进行量化，再使用字节对编码（BPE）压缩为离散token序列 T_k = FAST(a_{1:H})。这些token被添加到MLLM词汇表中，共2K个特殊token。
FAST tokenization是本文方法的核心组件，它使得低层动作能够以语言模型的方式进行生成和优化，是实现语言-动作对齐的技术基础。
Group Relative Policy Optimization (GRPO)
GRPO是DeepSeek-R1提出的强化学习算法，专门用于优化思维链（Chain-of-Thought）推理。对于查询q，从旧策略采样G个响应，通过奖励模型计算奖励r_i，然后标准化得到优势 A_i = (r_i - mean(r)) / std(r)。优化目标通过clip和KL散度约束来稳定训练过程。GRPO通过组内相对比较来估计优势，避免了对价值函数的依赖，提高了训练效率。
GRPO是本文Stage 2的核心算法，理解其工作原理对于理解本文如何通过RL优化推理过程至关重要。
具身推理（Embodied Reasoning）
具身推理指MLLM在机器人场景中进行空间推理、时间推理和物理理解的能力。包括空间推理（理解物体位置关系、预测抓取点）、时间推理（理解动作序列、预测未来状态）、以及将高层语言描述转化为具体物理动作的能力。现有方法通过视觉问答（VQA）任务来训练这些能力，如空间关系问答、affordance点预测、末端执行器轨迹预测等。
本文的核心发现是具身推理能力与VLA性能之间的关联并不稳定，这一洞察驱动了ROBOALIGN的设计。
Diffusion-based Action Head
一种基于扩散模型的动作预测头，用于从MLLM的隐状态生成连续的机器人动作。在VLA训练中，MLLM骨干网络保持冻结，仅训练扩散动作头。动作头通过去噪过程从噪声逐步生成精确的动作序列。这种方法结合了MLLM的语义理解能力和扩散模型的精细动作生成能力，是当前VLA架构的主流选择。
本文使用这种架构将训练好的MLLM转换为VLA进行评估，理解这一组件有助于理解实验设置和结果的意义。
研究动机
视觉-语言-动作模型（VLA）在机器人操控领域取得了显著成功，但其性能和泛化能力往往受到底层MLLM的限制。现有MLLM在关键的具身任务（如空间推理和时间推理）上表现不佳。为解决这一问题，研究者开发了各种具身问答任务来提升MLLM的推理能力，包括高层动作问答、空间关系问答、affordance点预测和末端执行器轨迹预测等。然而，尽管这些方法在提升具身推理能力方面取得了一定成功，但改善的推理能力并不能稳定地转化为VLA性能的提升。论文中一个关键的反直觉发现是：RoboBrain 2.0在主要benchmark上取得了最高的推理分数，甚至超越了GPT-4o，但它产生的VLA性能却是最低的（如Figure 1所示）。这表明语言监督下的具身推理优化并不能保证实际动作生成的改善，语言和低层动作之间存在明显的模态鸿沟。
本文的目标是本文的目标是提出一种系统化的MLLM训练框架ROBOALIGN，能够可靠地提升VLA性能。具体而言，ROBOALIGN旨在解决语言模态和动作模态之间的对齐问题，使MLLM的推理能力能够直接转化为准确的动作生成。该框架需要在增强具身推理能力的同时，保持MLLM的通用视觉-语言理解能力，并且在各种机器人任务场景（仿真和真实世界）中都能稳定地带来性能提升。
与已有工作不同的是，本文的独特切入角度在于：不再将具身推理能力的提升视为独立目标，而是直接将推理过程与低层动作生成对齐。与现有方法（如SFT-based的ECoT）通过语言监督间接优化推理不同，ROBOALIGN的核心思想是将低层动作token作为具身推理的直接产出，并通过动作准确性来评估推理质量。这种方法通过强化学习直接优化推理轨迹，使其趋向精确的动作执行。本质上，ROBOALIGN认识到具身推理能力和VLA性能之间存在模态鸿沟，纯粹通过语言监督优化推理不等于优化动作生成。因此，它设计了一种机制，让模型在推理过程中探索多样化的推理轨迹，并通过RL奖励信号将这些轨迹导向精确的动作预测。
核心方法
ROBOALIGN是一个两阶段的MLLM训练框架，旨在通过强化学习直接对齐MLLM的具身推理能力与低层动作生成。整体思路分为两个阶段：第一阶段通过监督微调（SFT）赋予MLLM通过零样本推理生成FAST动作token的初始能力，同时保持其通用视觉-语言能力和增强具身推理；第二阶段利用强化学习（GRPO）在SFT模型基础上进一步强化具身推理，并提高FAST token预测的准确性。这种方法的核心直觉是：与其通过语言监督间接提升推理能力，不如让模型在推理过程中直接生成动作，并通过动作准确性来指导推理的优化。ROBOALIGN在不到SFT阶段1%的数据上进行RL对齐（12.8K vs 2.28M），却能带来显著的性能提升，证明了这种对齐策略的高效性。
ROBOALIGN的核心创新点在于直接将MLLM的推理能力与低层动作生成对齐，而非通过语言监督间接优化。这一方法与已有方法的本质区别体现在三个方面：第一，推理产出不同，ROBOALIGN要求模型在推理过程中直接生成FAST动作token，而非语言描述的高层动作或空间关系；第二，优化目标不同，使用动作准确性（FAST token前缀匹配率）作为奖励信号，而非语言答案的正确性；第三，对齐机制不同，通过RL探索多样化的推理轨迹，并将其导向精确的动作执行，而非SFT的确定性知识蒸馏。这种方法直接弥合了语言模态和动作模态之间的鸿沟，使模型的推理能力能够直接转化为动作性能。
方法步骤详情
ROBOALIGN的训练分为两个阶段。Stage 1（SFT阶段）：首先准备四类训练数据，包括(1)开源SFT数据集用于通用MLLM能力和具身推理（1.88M样本），(2)自定义ROBOALIGN VQA数据集，使用gemini-2.5 pro根据机器人图像和元数据（边界框、末端执行器状态等）生成高质量VQA对，(3)推理数据集，通过GRPO训练的推理模型生成多样化的思维链轨迹并过滤，(4)FAST token生成数据集，从BridgeV2数据集构建QA格式样本，将MLLM词汇表扩展2K个FAST token。然后使用这些混合数据对MLLM进行SFT。Stage 2（RL阶段）：将Stage 1的FAST token数据集改造，要求模型在生成动作前进行显式推理（使用think标签）。定义奖励为格式奖励r_f和准确性奖励r_a的均值，其中准确性奖励计算生成序列与目标序列的前缀相似度。最后使用GRPO算法优化策略，仅使用12.8K样本进行一个epoch的训练。
技术新颖性
ROBOALIGN的技术新颖性体现在多个层面。首先，它首次提出将强化学习直接应用于低层动作token的对齐，而非传统的语言问答对齐，这改变了具身推理优化的范式。其次，ROBOALIGN的两阶段设计解决了零样本动作生成的冷启动问题，SFT阶段赋予模型初始动作生成能力，RL阶段在此基础上探索和优化推理轨迹。第三，ROBOALIGN VQA数据集的构建方法利用强大的商用模型（gemini-2.5 pro）基于机器人元数据自动生成高质量训练数据，形成了针对机器人场景的专用数据管线。第四，论文揭示了具身推理能力与VLA性能之间的模态鸿沟现象，即语言监督下的推理优化不等于动作优化，这一洞察具有重要的理论意义。最后，实验表明RL对齐阶段在不到1%的数据上就能带来显著改进（17.5%-106.6%），展现了极高的数据效率。
实验结果
ROBOALIGN在多个机器人benchmark上展现了显著且一致的性能提升。在LIBERO仿真环境中，ROBOALIGN实现了17.5%的相对提升（平均成功率从73.95%提升至86.75%），特别在Long类别中从63.2%大幅提升至70.0%，在Goal类别中从42.4%飙升至87.2%。在CALVIN benchmark上，ROBOALIGN实现了18.9%的提升（平均成功长度从2.16提升至2.57），是唯一在长度为5的任务链上保持提升的方法（18.1%到22.2%），而其他方法在此指标上均出现下降。在真实机器人环境中，ROBOALIGN实现了106.6%的惊人提升（平均成功率从32.3%提升至66.7%），验证了其在真实场景中的有效性。消融研究表明，ROBOALIGN的SFT阶段单独仅带来适度改进，大部分性能提升来自RL阶段，尽管RL仅使用不到1%的数据（12.8K vs 2.28M）。与替代对齐策略相比，基于低层动作的RL优于语言RL（13.1% vs 17.5%）和视觉轨迹RL（15.2% vs 17.5%）。KNN表征分析显示，ROBOALIGN显著提升了MLLM表征的判别性（从39.06%提升至69.79%），表明RL对齐阶段显著增强了模型编码细粒度状态信息的能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO仿真环境 | 平均成功率 (%) | 86.75% | 73.95% (Qwen2.5VL-7B-Ins) | +17.5% 相对提升 |
| LIBERO Long类别 | 成功率 (%) | 70.0% | 63.2% (Qwen2.5VL-7B-Ins) | +10.8% 绝对提升 |
| LIBERO Goal类别 | 成功率 (%) | 87.2% | 42.4% (Qwen2.5VL-7B-Ins) | +105.7% 相对提升 |
| CALVIN ABC到D | 平均成功长度 | 2.57 | 2.16 (Qwen2.5VL-7B-Ins) | +18.9% 相对提升 |
| CALVIN 长度5任务 | 成功率 (%) | 22.2% | 18.1% (Qwen2.5VL-7B-Ins) | +22.7% 相对提升 |
| 真实机器人 | 平均成功率 (%) | 66.7% | 32.3% (Qwen2.5VL-7B-Ins) | +106.6% 相对提升 |
局限与改进
尽管ROBOALIGN取得了显著成果，但仍存在一些局限性。首先，该方法依赖于强大的商用模型（gemini-2.5 pro）来生成ROBOALIGN VQA数据集，这增加了数据准备的成本和对商用API的依赖，可能限制其在资源受限环境下的应用。其次，ROBOALIGN的RL阶段需要精心设计的奖励函数，当前仅使用FAST token的前缀匹配作为准确性奖励，可能无法完全捕捉动作质量的所有方面，例如动作的平滑性或安全性。第三，论文主要在相对简单的操控任务上进行验证（如抓取放置），对于更复杂的长序列任务（如烹饪、组装）的表现尚未验证。第四，虽然ROBOALIGN在仿真和真实机器人上都展现了改进，但真实世界的实验规模相对较小（仅4个任务，每任务96次试验），统计显著性有待更大规模验证。最后，该方法在将MLLM转换为VLA时使用了冻结的骨干网络和扩散动作头，这种架构选择可能限制了进一步的端到端优化潜力。
独立分析的弱点
ROBOALIGN存在几个值得改进的弱点。第一，对商用模型的依赖：当前使用gemini-2.5 pro生成VQA数据集，可以探索使用开源模型或更高效的数据增强方法来降低依赖和成本。第二，奖励函数设计：当前仅使用FAST token前缀匹配，可以引入更丰富的奖励信号，如动作序列的物理合理性、任务完成度的中间指标、或基于世界模型的预测奖励。第三，SFT阶段的数据效率：虽然RL阶段数据效率很高（12.8K样本），但SFT阶段仍需2.28M样本，可以探索课程学习或主动学习策略来减少SFT数据需求。第四，架构限制：当前使用冻结的MLLM骨干，可以探索参数高效的微调方法（如LoRA）来允许骨干网络的适度更新。第五，泛化性验证不足：仅在Qwen2.5VL和Qwen3VL上验证，需要在更多MLLM架构上测试以确认通用性。
未来方向
基于ROBOALIGN的成果，可以延伸多个研究方向。首先，可以探索将ROBOALIGN的对齐思想扩展到连续动作空间，而非仅依赖FAST token离散化，这可能带来更精细的动作控制。其次，可以研究多任务RL对齐，让模型同时优化多种类型的任务（如导航、操控、交互），提升通用性。第三，可以探索在线RL对齐，让模型在真实机器人交互中持续学习和改进，而非仅使用离线数据。第四，可以研究ROBOALIGN在其他模态对齐任务中的应用，如视觉-语言-音频模型或视觉-语言-代码模型。第五，可以探索更高效的推理轨迹采样策略，如基于模型不确定性的自适应采样或基于课程的渐进式采样。最后，可以研究如何将ROBOALIGN的表征对齐思想应用于少样本或零样本机器人任务迁移。
复现评估
ROBOALIGN的复现性较好，但需要注意几个关键因素。论文基于开源的Qwen2.5VL-7B-Ins模型进行实验，使用了EasyR1开源框架进行GRPO训练，并提供了详细的训练超参数（SFT学习率2e-5，RL学习率1e-6，rollout batch size 512等）。ROBOALIGN VQA数据集使用gemini-2.5 pro生成，需要商用API访问。FAST token数据基于BridgeV2数据集（开源）。VLA训练使用了Gr00t-N1.5框架。计算资源方面，需要足够的GPU进行SFT训练（1.88M样本一个epoch）和RL训练（rollout batch size 512，5 samples per prompt）。论文提供了完整的实验设置和实现细节（见Appendix A），使得其他研究者能够复现主要结果。主要的复现挑战在于ROBOALIGN VQA数据集的生成需要gemini-2.5 pro的API访问，以及大规模SFT训练的计算资源需求。
论文图表
该图展示了在LIBERO benchmark上，不同MLLM骨干（经过具身推理微调的Qwen2.5VL-7B-Instruct变体）构建的VLA性能。令人惊讶的是，专门针对具身推理微调的模型（RoboBrain 2.0、VeBrain、Cosmos-Reason1）并未显著提升VLA性能，甚至出现性能下降。RoboBrain 2.0虽然在推理benchmark上得分最高，但VLA性能最低（约57.35%）。相比之下，ROBOALIGN实现了最高的平均分数（约86.75%）。
这张图是论文核心论点的直观展示，揭示了具身推理能力与VLA性能之间的模态鸿沟现象，为ROBOALIGN的设计动机提供了强有力的实验证据。
该表格报告了ROBOALIGN在通用MLLM benchmark上的性能，包括图像理解、空间推理和具身推理任务。ROBOALIGN在具身推理任务上取得了state-of-the-art性能，超越了GPT-4o和专门的具身MLLM（如RoboBrain 2.0），同时保持了在通用图像理解任务上的性能。这表明RL对齐不仅不会损害MLLM的通用能力，反而能增强其具身推理能力。
这个表格证明了ROBOALIGN在增强VLA对齐的同时保持了MLLM的通用能力，反驳了可能存在的能力退化担忧。