ACoT-VLA：面向视觉-语言-动作模型的动作链式思维 ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models
提出在动作空间直接推理的ACoT范式，通过显式和隐式动作推理器提升机器人策略学习效果
前置知识
Vision-Language-Action (VLA) 模型
VLA模型是一类将预训练的视觉-语言模型（VLM）与动作解码器结合的通用机器人策略架构。这类模型利用VLM（如Gemma、PaLI等）将视觉观测和语言指令编码为潜在表示，然后通过动作解码器（如扩散策略、自回归token生成等）将这些表示转化为机器人可执行的动作序列。VLA的核心思想是借助大规模网络数据预训练获得的语义理解能力，来增强机器人策略的泛化性。典型代表包括π0、OpenVLA、SpatialVLA等。
理解VLA模型是本文的基础，因为ACoT-VLA正是在VLA架构上提出改进，解决VLM表征与动作执行之间的语义-运动学鸿沟。
Chain-of-Thought (CoT) 推理
链式思维推理源自大语言模型领域，指模型在生成最终答案前先进行中间推理步骤。在机器人领域，已有工作将CoT引入VLA：语言CoT让模型先预测子任务描述再生成动作，视觉CoT让模型先合成目标图像再规划动作。这些中间推理步骤为最终的动作生成提供了额外的引导信号，但存在间接性和信息损失的问题。
本文提出的ACoT（Action Chain-of-Thought）是对CoT概念的重新定义——将推理过程本身构建为动作空间中的结构化序列，这是理解本文核心创新的关键。
Flow Matching 与扩散策略
Flow Matching是一种生成建模方法，通过学习从噪声分布到目标分布的映射来生成高质量样本。在机器人动作策略中，扩散策略（Diffusion Policy）利用类似机制从噪声动作序列逐步去噪生成可执行的动作轨迹。具体而言，给定带噪声的动作序列，模型通过迭代去噪过程预测真实的动作序列，训练目标通常是最小化预测与真实动作之间的均方误差（MSE）。
ACoT-VLA的EAR和动作预测头都采用flow matching进行训练，理解这一机制对于把握模型的训练过程和推理流程至关重要。
KV-Cache 机制
KV-Cache是Transformer模型在推理时的一种优化技术，将每一层的Key和Value张量缓存起来避免重复计算。在VLA模型中，VLM编码视觉和语言输入后产生的KV-Cache包含了丰富的多模态语义信息。这些缓存不仅服务于自回归生成，还可以被其他模块（如本文的IAR）复用，从中提取与动作相关的隐含语义线索。
IAR模块直接操作VLM的KV-Cache来提取隐式动作先验，理解KV-Cache的结构和信息内容是理解IAR工作机制的前提。
研究动机
现有VLA模型存在一个根本性的语义-运动学鸿沟（semantic-kinematic gap）。具体而言，VLM骨干网络的预训练是基于大规模网络数据的语义对齐和问答任务，其表征优化的是语言理解能力而非物理动力学。当这类模型用于机器人控制时，从高级语义空间到低级动作空间的映射存在信息瓶颈。语言CoT方法（如π0.5）通过预测子任务文本来引导动作生成，但语言描述本质上是抽象的，无法传达精确的运动学信息。比如reach out这样的指令虽然隐含了动作分布，但无法直接编码具体的关节角度或末端执行器轨迹。视觉CoT方法（如CoT-VLA、DreamVLA）通过合成目标图像来提供视觉引导，但视觉表征同样无法直接编码可执行的运动模式。实验表明，这类间接引导在长时序操作任务（如LIBERO-Long）中尤为脆弱，因为累积误差会随着推理步骤增加而放大。
本文的目标是本文的核心目标是提出一种在动作空间中直接进行推理的新范式，即Action Chain-of-Thought（ACoT），使得模型的思考过程本身就是一串运动学上合理的动作意图序列。具体而言，作者希望实现：（1）设计能够从多模态输入中高效合成复杂、高维动作线索的机制；（2）将这些动作线索作为中间推理步骤整合到策略学习中；（3）在多个仿真和真实世界基准上验证该方法的有效性，特别是在长时序推理和分布外泛化场景下取得显著提升。在LIBERO基准上，目标是超越现有SOTA方法π0.5的96.9%平均成功率。
与已有工作不同的是，本文的独特切入角度在于重新定义了推理的概念——不再将推理局限于语言或视觉空间，而是直接在动作空间中进行。这是一个根本性的视角转换：现有方法都在感知空间（输入空间）中进行推理，然后将推理结果映射到动作空间，这不可避免地引入了异质性（heterogeneity）。而ACoT的核心洞察是：动作空间本身就是最直接、最信息丰富的推理场所。作者进一步观察到动作相关信息以两种互补形式存在——显式的运动轨迹（如人类示范）和隐式的动作语义（如抓取、放置等交互意图）。基于这一洞察，他们提出了显式动作推理器（EAR）和隐式动作推理器（IAR）两个互补模块，分别捕获这两种形式的动作先验，这是此前工作未曾探索的方向。
核心方法
ACoT-VLA的整体思路可以类比为一个有经验的工匠在执行任务时的思维过程：他不会先用语言描述每一步该怎么做，也不会先在脑中想象目标画面，而是直接在运动空间中思考——他的脑海中浮现的是手的轨迹、关节的角度变化、力度的调整等运动学信息。技术路线上，模型首先通过预训练的VLM（Gemma 2B + SigLIP）编码视觉观测和语言指令，产生多模态的KV-Cache表征。然后，两个互补的推理器从这些表征中提取动作引导：EAR作为一个轻量级Transformer，以去噪方式生成粗粒度的参考轨迹作为显式引导；IAR通过可学习查询与VLM KV-Cache的交叉注意力，提取隐式的动作语义先验。最后，动作预测头（AGP）通过双重交叉注意力机制融合这两种引导，生成最终的可执行动作序列。整个框架在flow matching框架下端到端训练。
ACoT-VLA最本质的创新在于提出了动作链式思维这一全新范式，将中间推理步骤从语言或视觉空间转移到动作空间。这与已有方法的根本区别在于：语言CoT（如π0.5的子任务预测）和视觉CoT（如CoT-VLA的目标图像合成）都存在模态鸿沟——语言和视觉表征虽然语义丰富，但与动作空间存在本质的异质性，需要额外的映射才能转化为可执行命令。而ACoT直接在动作空间中进行推理，生成的中间步骤就是运动学上合理的动作序列，与最终输出同质（homogeneous）。这种同质性带来两个关键优势：一是显式动作引导（EAR生成的参考轨迹）直接编码了可执行的行为模式，为动作头提供了强归纳偏置；二是隐式动作引导（IAR提取的语义先验）补充了轨迹无法捕获的交互意图和动作分布信息。这两个模块的协同作用使得策略学习更加接地（grounded），特别是在长时序和分布外场景下表现出显著优势。
方法步骤详情
ACoT-VLA的完整方法流程包括四个主要步骤。第一步，多模态编码：给定语言指令 $l$ 和当前视觉观测 $o_t$，预训练的VLM将它们编码为 $N$ 层的键值缓存 $(KV_{LM}^{1:N}, V_{LM}^{1:N})$，其中 $N=18$（Gemma 2B的层数），隐藏维度 $d=2048$。第二步，显式动作推理（EAR）：以带噪声的动作序列 $\tilde{a}_{t:t+H_{ref}-1}$（参考动作地平线 $H_{ref}=15$）作为输入，通过18层Transformer进行自注意力（捕获时间依赖性）和与VLM对应层KV-Cache的交叉注意力（注入多模态上下文），生成去噪后的参考轨迹 $a_{ref}^{t:t+H_{ref}-1}$，再通过MLP投影得到显式动作嵌入 $Z_{ex}$。第三步，隐式动作推理（IAR）：对VLM的每一层 $i$，初始化可学习查询矩阵 $Q_i \in \mathbb{R}^{M \times d}$（$M=1$），先将KV-Cache降维到 $d'=128$，然后通过交叉注意力提取动作相关特征 $z_{im}^i$，最后聚合所有层得到隐式动作特征 $Z_{im}$。第四步，动作引导预测（AGP）：将带噪声动作序列编码为动作查询 $Q_{action}$，分别与 $Z_{ex}$ 和 $Z_{im}$ 进行交叉注意力，得到 $S_{ex}$ 和 $S_{im}$，拼接后通过自注意力融合，最终输入动作头预测去噪后的动作序列 $a_{t:t+H-1}$（$H=10$）。
技术新颖性
ACoT-VLA的技术新颖性体现在三个层面。首先，在概念层面，首次将CoT推理过程形式化为结构化的动作空间意图序列，而非抽象的语言或视觉子目标。这开辟了机器人策略学习的新研究方向。其次，在架构层面，EAR和IAR的设计具有互补性创新：EAR借鉴了生成模型中的自条件化（self-conditioning）思想，将先验估计融入生成过程以提升样本质量，但将其转移到动作空间；IAR则首次探索了直接从VLM的KV-Cache中提取隐式动作先验的可能性，通过降维+交叉注意力的机制实现了高效的信息提取。最后，在训练策略上，作者采用了Teacher Forcing Stabilization：训练时使用真实参考轨迹计算 $Z_{ex}$ 而非EAR的预测，避免优化干扰；推理时切换到完全自条件化模式，由EAR自主生成参考动作。这种训练-推理分离的策略有效解决了EAR输出不稳定的问题，是工程上的重要创新。
实验结果
ACoT-VLA在多个基准上取得了SOTA性能。在LIBERO基准上，模型在所有四个任务套件（Spatial、Object、Goal、Long）上均排名第一，平均成功率达到98.5%，相比π0.5的96.9%提升1.6个百分点。特别值得注意的是在Long套件上的表现：97.0%的成功率相比π0.5的92.4%提升4.6个百分点，这验证了动作空间推理在长时序操作中的优势。在LIBERO-Plus基准的Zero-Shot Transfer设置下，模型平均成功率达到86.6%，超越π0.5的85.7%，其中在Robot初始状态扰动（+3.2%）和语言变化（+4.2%）维度上提升最为显著。在Supervised Fine-Tuning设置下，模型达到88.0%的平均成功率，相比π0.5的75.7%提升12.3个百分点。在VLABench基准上，模型在Intention Score（63.5%）和Progress Score（47.4%）两个指标上均取得最佳，特别在unseen-texture轨道上IS提升12.6%、PS提升7.2%。真实世界实验中，模型在AgiBot G1平台上实现了66.7%的平均成功率，远超π0.5的61.0%和π0的33.8%，并在跨平台（AgileX）测试中展现出良好的迁移能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO (Spatial) | Success Rate | 99.4% (frozen) / 98.6% (full) | 98.8% (π0.5) | +0.6% / -0.2% |
| LIBERO (Object) | Success Rate | 99.6% (frozen) / 99.0% (full) | 98.2% (π0.5) | +1.4% / +0.8% |
| LIBERO (Goal) | Success Rate | 98.8% (frozen) / 99.4% (full) | 98.0% (π0.5) | +0.8% / +1.4% |
| LIBERO (Long) | Success Rate | 96.0% (frozen) / 97.0% (full) | 92.4% (π0.5) | +3.6% / +4.6% |
| LIBERO-Plus (Zero-Shot Avg) | Success Rate | 83.6% (frozen) / 86.6% (full) | 85.7% (π0.5) | -2.1% / +0.9% |
| LIBERO-Plus (SFT Avg) | Success Rate | 84.1% (frozen) / 88.0% (full) | 75.7% (π0.5) | +8.4% / +12.3% |
| VLABench (IS Avg) | Intention Score | 63.5% | 60.2% (π0.5) | +3.3% |
| VLABench (PS Avg) | Progress Score | 47.4% | 43.1% (π0.5) | +4.3% |
局限与改进
作者在论文中承认了几个主要局限性。首先，推理模块引入了额外的计算成本：EAR模块将推理延迟从91ms增加到110ms（增加约21%），虽然IAR仅增加2ms，但对于资源受限的机器人平台（如嵌入式系统）可能构成挑战。其次，当前主流的动作表示（action chunks）本质上是低级控制命令序列（如关节角度、末端执行器位姿），缺乏显式的几何结构来支持更高层次的空间推理，这可能限制了ACoT推理潜力的充分发挥。从我的观察来看，还有以下局限：（1）模型依赖于预训练的VLM骨干（Gemma 2B），其表征质量直接影响EAR和IAR的效果，但论文未探讨VLM规模或架构选择的影响；（2）Teacher Forcing Stabilization策略意味着训练时EAR并未真正学习到从观测生成参考轨迹的能力，这可能导致训练-推理的分布偏移；（3）实验主要在相对简单的桌面操作任务上验证，对于需要精细力控或复杂接触的任务（如装配、柔性物体操作）的效果未知。
独立分析的弱点
尽管ACoT-VLA取得了显著的性能提升，我识别出以下几个弱点并提出改进方向。首先，EAR模块的参数规模（300M）对总模型大小（3.81B vs 基线3.35B）的贡献较大（约14%），且论文发现当EAR参数超过500M时性能反而下降，这暗示了过拟合风险。改进方向：可以探索参数共享机制（如EAR与VLM共享部分权重）或更高效的架构设计（如线性注意力替代标准注意力）。其次，IAR采用简单的平均池化来聚合各层特征，可能丢失了层间的细粒度信息。改进方向：可以引入自适应的层间加权机制，让模型学习哪些层包含最有价值的动作信息。第三，EAR和IAR的融合仅通过简单的拼接+自注意力完成，可能不是最优的信息整合方式。改进方向：可以探索更复杂的融合策略，如门控机制或层次化融合。最后，Teacher Forcing策略在训练时使用真实轨迹，但推理时依赖EAR的预测，这种不一致性可能导致累积误差。改进方向：可以引入课程学习（curriculum learning）策略，逐步从teacher forcing过渡到自条件化。
未来方向
作者提出了几个有前景的未来研究方向。首先，丰富动作表示是重要方向——当前的动作chunks缺乏几何结构，未来可以在动作空间中引入空间感知信息（如物体中心坐标、接触几何），使ACoT能够在几何可解释的3D空间中进行推理。其次，扩展到双臂操作是自然的延伸——当前实验主要在单臂设置下进行，但许多实际任务需要双臂协调，如何将ACoT扩展到双臂场景值得探索。第三，结合强化学习进行在线优化——当前模型完全依赖模仿学习，引入RL微调可以进一步提升性能和鲁棒性。从更广泛的角度，我认为还有以下方向：（1）探索ACoT在不同动作表示（如关节空间vs任务空间）下的效果；（2）将ACoT与世界模型结合，利用世界模型的预测能力增强动作推理；（3）研究ACoT的可解释性——显式动作轨迹天然具有可解释性，可以作为人机交互的界面。
复现评估
ACoT-VLA的复现条件相对较好。代码已在GitHub开源（AgibotTech/ACoT-VLA），提供了完整的训练和推理脚本。模型基于公开可用的π0.5架构构建，VLM骨干采用Gemma 2B（公开模型），视觉编码器为SigLIP。数据方面，LIBERO、LIBERO-Plus和VLABench均为公开基准，提供了标准的训练/评估分割。真实世界数据由作者在AgiBot G1和AgileX平台上自行收集，可能需要相应的硬件设备。算力需求方面，训练在单节点8×NVIDIA H100 GPU上进行，使用bfloat16精度，推理在单张RTX 4090上完成。复现难度中等——主要挑战在于：（1）需要访问8×H100的训练资源（约需数天训练时间）；（2）真实世界实验需要AgiBot G1或类似机器人平台；（3）一些关键超参数（如学习率调度、平衡因子）的敏感性需要仔细调优。总体而言，对于拥有足够算力的研究团队，复现是可行的。
论文图表
