← 返回 2026-02-10

循环深度VLA：通过潜空间迭代推理实现视觉-语言-动作模型的隐式测试时计算缩放 Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning

Yalcin Tur, Jalal Naghiyev, Haoquan Fang, Wei-Chuan Tsai, Jiafei Duan, Dieter Fox, Ranjay Krishna 📅 2026-02-08 👍 71 2026-07-13 08:35
循环神经网络 操作控制 机器人学习 测试时计算 视觉-语言-动作模型
arXiv HuggingFace PDF

RD-VLA通过潜空间循环迭代推理实现机器人控制的自适应计算缩放

前置知识

Vision-Language-Action (VLA) 模型

VLA是一类将视觉感知、语言理解和机器人动作生成统一到单一架构中的多模态模型。典型代表如OpenVLA、RT-2等，它们利用预训练的视觉-语言模型（VLM）作为骨干网络，将图像观测和语言指令映射到机器人控制命令。VLA模型通常包含三个核心组件：视觉编码器（如DINOv2、SigLIP）提取图像特征，语言模型骨干（如Qwen2-0.5B）进行多模态融合，以及动作头将潜表示解码为连续控制信号。这类模型的关键优势在于能够利用大规模互联网数据预训练获得的知识，迁移到机器人控制任务中。

RD-VLA正是在VLA框架上进行改进，理解VLA的基本架构（视觉编码、语言模型骨干、动作头）是理解本文方法的前提。

Chain-of-Thought (CoT) 推理

链式思维推理是一种通过生成中间推理步骤来增强模型推理能力的技术。在机器人控制领域，CoT被用于在动作生成前进行显式推理，包括文本推理（生成伪CoT标签）和视觉推理（生成子目标图像或2D轨迹）。例如ThinkAct利用强化视觉潜规划，MolmoAct生成深度感知token和可编辑轨迹。然而，CoT推理的核心限制在于它在token级别进行推理，需要在模型的高维潜空间和离散的低带宽输出空间之间进行迭代转换，这种循环重投影会造成信息瓶颈和量化噪声。

本文的核心动机正是要解决CoT推理在机器人控制中的局限性，理解CoT的优缺点对于把握RD-VLA的创新点至关重要。

Recurrent Transformer / 循环Transformer

循环Transformer是一种将Transformer的部分或全部层进行循环复用的架构。与标准Transformer不同，循环Transformer通过重复使用相同的层来增加计算深度，从而支持测试时计算缩放。这种架构的关键特性包括：权重共享减少参数量、支持任意推理深度、可以在推理时动态调整计算步数。近期工作（如Huggin、Looped Transformer）已证明循环架构可以在基础模型规模上实现有效的迭代推理，支持不确定性量化和自适应计算。

RD-VLA的核心架构就是基于循环Transformer设计的，理解循环复用层的机制是理解本文技术路线的基础。

Truncated Backpropagation Through Time (TBPTT)

TBPTT是训练循环神经网络的标准技术，它通过在固定长度的子序列上进行反向传播来避免梯度消失或爆炸问题。在RD-VLA中，训练时采样的迭代次数N服从重尾对数正态泊松分布，其中均值参数为32。梯度仅通过最后8个迭代步传播，早期步骤的梯度被截断。这种设计迫使网络学会从任意噪声初始化收敛到稳定流形，确保后续状态是前一状态的严格更优精炼。

TBPTT是RD-VLA训练成功的关键技术，理解其设计选择对于复现和改进该方法很重要。

KL散度停止准则

KL散度（Kullback-Leibler散度）衡量两个概率分布之间的差异。在RD-VLA中，模型使用相邻迭代步的动作分布之间的KL散度作为收敛指标，近似为均方误差。当连续迭代的动作预测差异小于阈值（如1e-3）时，模型认为已收敛，停止迭代。这种机制使模型能自我调节：简单动作快速停止，复杂动作分配更多计算。

自适应停止准则使RD-VLA能够动态分配计算资源，是实现高效推理的关键机制。

研究动机

当前的视觉-语言-动作（VLA）模型在机器人控制中面临一个根本性的计算效率问题：它们对所有控制步骤都消耗相同的计算量，无论是简单的抓握调整还是复杂的多步导航。具体而言，以OpenVLA（7B参数）、RT-2等为代表的主流VLA模型采用固定计算深度，一个简单的物体微调和一个高精度的杂乱空间导航接收相同的计算资源，这显然不符合人类认知的自适应特性。虽然Chain-of-Thought（CoT）推理方法（如ThinkAct、MolmoAct、ECoT）通过生成中间推理token来增强决策能力，但这些方法存在三个关键瓶颈：第一，CoT在token级别进行推理，需要在模型的高维潜空间和离散的低带宽输出空间（文本、深度bin、坐标）之间进行迭代转换，这种循环重投影造成信息瓶颈和量化噪声；第二，CoT推理需要策划专门的推理数据集，在机器人领域获取成本极高；第三，token级推理的内存消耗随推理链长度线性增长，难以满足高频控制的实时性要求。实验表明，这类方法在LIBERO基准上的表现（如TraceVLA的74.8%、SpatialVLA的78.1%）明显低于其理论潜力。

本文的目标是本文旨在设计一种全新的VLA架构，实现测试时计算的自适应缩放，使机器人控制能够像人类一样根据任务复杂度动态分配认知资源。具体目标包括：（1）将推理过程从离散的token空间转移到连续的潜空间，避免token生成的开销；（2）通过权重共享的循环结构实现任意深度的推理，同时保持常数内存占用；（3）设计自适应停止准则，让模型能够根据自身推理的收敛程度动态决定计算步数；（4）在LIBERO和CALVIN等标准基准上超越现有VLA方法，同时在真实机器人场景中验证实用性。最终目标是为机器人领域开辟一条新的测试时计算缩放路径，用潜空间推理替代token级推理。

与已有工作不同的是，本文的独特切入角度在于将潜空间迭代推理这一在语言模型中已被验证有效的范式（如Huggin的循环深度方法）首次引入VLA领域。与现有方法的根本区别在于：推理过程完全在表征空间内进行，不需要解码中间token，也不需要在动作空间执行计算昂贵的去噪迭代（如Diffusion Policy）。核心洞察是：物理操作的推理本质上是微妙且不适于token化的，试图将这些动力学语言化会带来显著开销。相比之下，RD-VLA通过循环复用同一Transformer块来迭代更新隐藏状态，在固定的潜空间流形内逐步精炼内部表征，实现了深度思考而非多说话。这种设计不仅避免了token级推理的内存线性增长，还通过权重共享实现了0.5B参数的轻量级架构，相比7B参数的token推理方法缩小了14倍。

核心方法

RD-VLA的核心思路可以类比为人类的深思熟虑过程：面对简单任务快速决策，面对复杂任务反复推敲。技术路线上，模型将动作头分解为三个功能阶段：Prelude（前奏）通过交叉注意力将学习到的查询grounding到VLM的中间层视觉特征；Recurrent Core（循环核心）是一个权重共享的Transformer块，通过迭代精炼潜空间草稿本；Coda（尾声）将收敛的状态解码为动作。关键创新在于：推理过程完全在连续的潜空间流形内进行，每次迭代只更新草稿本的状态 $S_k$，不需要生成任何中间token。模型通过随机化训练策略（从重尾对数正态泊松分布采样迭代次数）和截断时间反向传播（TBPTT，只通过最后8步传播梯度）来学习稳定的收敛算子。推理时，模型使用基于KL散度（近似为MSE）的自适应停止准则：当 $\|a_k - a_{k-1}\|_2^2 < \delta$ 时停止迭代，实现每个样本的动态计算分配。

RD-VLA的核心创新在于实现潜空间内的迭代推理而非token空间内的链式思维。与已有方法的本质区别体现在三个层面：第一，推理位置不同。现有方法（如ThinkAct、MolmoAct）在输出空间生成显式推理token，而RD-VLA在潜空间的固定维流形内进行迭代精炼，避免了潜空间到输出空间再到潜空间的循环重投影；第二，内存特性不同。token级推理的内存消耗随推理链长度线性增长，而RD-VLA通过权重共享的循环结构实现了常数内存占用；第三，数据需求不同。CoT方法需要策划专门的推理数据集来监督中间步骤，而RD-VLA通过架构设计（循环复用层）内生地产生迭代推理能力，无需额外监督。这种设计还自然支持自适应计算：模型可以根据任务复杂度动态调整迭代次数，从1次（简单动作）到32次（复杂操作），实现真正的测试时计算缩放。

方法步骤详情

RD-VLA的完整推理流程包含以下步骤：（1）VLM骨干处理：冻结的视觉编码器（DINOv2+SigLIP融合）生成256个视觉token（主相机和腕部相机各256），经线性投影后输入Qwen2.5-0.5B LLM骨干（通过LoRA微调）。同时，64个专门的学习潜token作为grounding占位符参与LLM前向传播。（2）表征提取与分区：从VLM执行中提取隐藏状态并分区为任务/视觉表征 $h_{vis}$ 和潜token表征 $h_{lat}$，形成静态条件流形。（3）Prelude初始化：8个学习查询先进行双向自注意力，然后通过交叉注意力到VLM中间层特征，生成grounding基础 $S_{pre}$。同时，从截断正态分布初始化噪声草稿本。（4）循环迭代精炼：对每个迭代步 $k=1,...,r$，将前一步草稿本 $S_{k-1}$ 与固定基础 $S_{pre}$ 沿特征维度拼接，通过学习适配器映射回流形维度并归一化。然后通过权重共享的循环块 $R_{\theta}$ 更新：先双向自注意力，再门控交叉注意力（查询来自 $x_k$，键/值来自条件流形）。（5）自适应停止判断：计算相邻迭代动作预测的MSE，若小于阈值 $\delta$ 则在第 $k^*$ 步停止。（6）Coda解码：收敛的草稿本经非循环Coda处理（自注意力+交叉注意力到VLM特征），最后通过线性投影层映射到动作空间。

技术新颖性

RD-VLA的技术新颖性体现在多个维度。首先，它是首个将循环深度概念引入VLA领域的模型，此前的循环Transformer工作主要聚焦于语言模型（如Huggin、Looped Transformer），而RD-VLA证明了这一范式在机器人控制中的有效性。其次，潜空间草稿本的设计极具创新性：通过将推理状态显式建模为一个可迭代精炼的潜变量 $S$，模型实现了连续空间内的思考过程，这与Diffusion Policy在动作空间的迭代去噪有本质区别，后者是生成采样技术而非深思熟虑。第三，随机化训练策略（重尾对数正态泊松分布采样迭代次数）和输入注入机制（每步都将原始grounding基础 $S_{pre}$ 拼接回去）的结合，成功解决了循环架构训练中的表征坍塌问题。第四，自适应执行策略（二值阈值、线性衰减、纯KL）首次在VLA中实现了思考越深行动越谨慎的耦合机制，将推理深度与执行视野动态关联。最后，仅用0.5B参数就达到了7B+模型的性能，展示了循环复用架构的参数效率优势。

Recurrent-Depth VLA
Fig. 1: Recurrent-Depth VLA
Recurrent-Depth VLA Architecture
Fig. 2: Recurrent-Depth VLA Architecture
Case study for adaptive computation
Fig. 3: Case study for adaptive computation

实验结果

RD-VLA在多个基准上取得了突破性结果，核心发现如下：（1）计算缩放特性：在LIBERO基准上，性能随循环迭代次数呈现清晰的对数线性增长，从N=1的8.4%平均成功率，到N=2的40.5%（提升382%），N=4的84.1%（提升108%），N=8的92.6%（提升10%），在8-12次迭代间饱和，N=24达到峰值93.1%。（2）主结果对比：固定迭代的RD-VLA在LIBERO上达到93.0%平均成功率（Spatial 92.0%、Object 99.0%、Goal 96.0%、Long 84.8%），超越所有基线包括Fast-ThinkAct（89.7%），且仅用0.5B参数，比7B的token推理方法小14倍。自适应版本保持92.5%竞争力。（3）任务依赖的收敛行为：不同任务表现出截然不同的收敛profile，LIBERO Long-horizon的Task 4从迭代1的6%跳到迭代2的近80%，而Task 5在迭代2前保持0%，到迭代3才达到约70%。（4）自适应计算效率：Binary Adaptation用平均7.93次迭代达到92.5%成功率，相比固定12次迭代的93.0%节省34%计算量。（5）CALVIN基准：RD-VLA达到最高平均链长3.39，task-5成功率45.3%，超越OpenVLA（3.27）和所有其他基线。（6）真实世界实验：在双臂YAM机器人上，固定8迭代的RD-VLA在擦拭盘子任务上接近100%完成率，在所有四个家务任务上均超越Diffusion Policy和pi0.5基线。（7）推理速度：相比prior reasoning-based VLA models实现高达80倍推理加速。

Performance across LIBERO benchmarks for different numbers of recurrences
Fig. 4: Performance across LIBERO benchmarks for different numbers of recurrences
Performance on selected 5 Long tasks across recurrence steps
Fig. 5: Performance on selected 5 Long tasks across recurrence steps
Histograms of zero-shot, per-token adaptive exits based on KL divergence
Fig. 6: Histograms of zero-shot, per-token adaptive exits based on KL divergence
Performance on real-world tasks compared to pi0.5 and Diffusion Policy baselines
Fig. 7: Performance on real-world tasks compared to pi0.5 and Diffusion Policy baselines
查看结构化数据
任务指标本文基线提升
LIBERO Spatial Success Rate (%) 92.0 (Fixed), 88.6 (Adaptive) Fast-ThinkAct 92.0, SmolVLA 93.0 与Fast-ThinkAct持平，超越OpenVLA (84.7%)、ThinkAct (88.3%)等7B模型
LIBERO Object Success Rate (%) 99.0 (Fixed), 98.8 (Adaptive) Fast-ThinkAct 97.2, pi0-FAST 96.8 超越所有基线，包括Fast-ThinkAct 1.8个百分点
LIBERO Goal Success Rate (%) 96.0 (Fixed), 96.8 (Adaptive) Fast-ThinkAct 90.2, pi0-FAST 88.6 超越Fast-ThinkAct 5.8个百分点
LIBERO Long Success Rate (%) 84.8 (Fixed), 85.8 (Adaptive) Fast-ThinkAct 79.4, MolmoAct 77.2 超越Fast-ThinkAct 5.4个百分点，超越MolmoAct 7.6个百分点
LIBERO Average Success Rate (%) 93.0 (Fixed), 92.5 (Adaptive) Fast-ThinkAct 89.7, SmolVLA 88.8 超越Fast-ThinkAct 3.3个百分点，用0.5B参数达到SOTA
CALVIN ABC-D Avg. Chain Length 3.39 OpenVLA 3.27, GR-1 3.06 超越OpenVLA 0.12，超越GR-1 0.33
CALVIN ABC-D Task-5 Success Rate (%) 45.3 OpenVLA 43.5, GR-1 40.1 超越OpenVLA 1.8个百分点，超越GR-1 5.2个百分点

局限与改进

尽管RD-VLA取得了显著成果，存在以下局限性：（1）深度泛化边界：实验发现性能在8-12次迭代后饱和，继续增加迭代次数可能导致状态饱和或性能下降而非持续精炼。这是一个根本性的架构限制，表明循环复用层的表达能力存在上限。（2）骨干网络规模：当前实现仅使用0.5B参数的Qwen2.5-0.5B骨干，虽然展示了架构的有效性，但未探索更大规模骨干（如7B、13B）的潜力。作者也承认这些结果是在最小超参数调优下获得的。（3）任务覆盖范围：评估主要集中在桌面操作任务（LIBERO、CALVIN）和有限的真实世界场景（4个家务任务），未涉及更广泛的机器人形态（如移动操作、人形机器人）和更复杂环境。（4）自适应执行的权衡：虽然Binary Adaptation等策略能节省计算，但在复杂任务（如毛巾折叠）上可能略微牺牲性能，存在效率-精度权衡。（5）缺乏不确定性量化的深入探索：虽然循环架构暴露了内部状态动态可作为不确定性代理，但论文未深入设计安全干预机制（如方差超阈值时请求人类协助）。（6）训练效率：尽管使用了TBPTT，训练循环架构仍比标准前馈网络更复杂，论文未提供详细的训练时间和计算成本分析。

独立分析的弱点

基于独立分析，RD-VLA存在以下弱点及改进方向：（1）表征坍塌风险：虽然输入注入机制（每步拼接 $S_{pre}$）缓解了长循环展开中的表征坍塌，但论文未系统验证在超过32次迭代时的稳定性。改进方向：可引入显式的表征正则化损失，如鼓励中间状态与目标状态的余弦相似度单调递增。（2）Prelude设计的局限：Prelude仅使用8个学习查询和VLM中间层（第12层）特征，可能遗漏了更深层次的语义信息。改进方向：可设计多尺度Prelude，从VLM的不同层提取特征进行层次化grounding。（3）自适应停止准则的粗糙性：当前MSE近似仅比较最终动作预测，忽略了中间状态的信息。改进方向：可基于潜空间状态的收敛性设计更细粒度的停止准则。（4）缺乏显式的不确定性估计：虽然迭代次数可作为不确定性代理，但未提供校准的概率估计。改进方向：可在循环核心中引入变分推断，输出动作分布的均值和方差。（5）训练策略的启发式性质：迭代次数的采样分布（重尾对数正态泊松）和梯度截断深度（d=8）均为启发式选择，缺乏理论依据。改进方向：可探索基于课程学习的训练策略，逐步增加循环深度。

未来方向

论文作者和基于成果可延伸的未来研究方向包括：（1）骨干网络扩展：将RD-VLA架构扩展到更大规模的VLM（如7B、13B参数），探索循环深度与骨干规模的协同效应。作者预期这将带来显著性能提升。（2）混合推理范式：作者提出将循环深度与token级CoT推理结合，探索每个token调制循环深度的混合方案，增强具身代理的推理能力。（3）安全干预机制：利用循环架构暴露的内部状态动态设计安全机制，当连续迭代状态的方差超过安全阈值时，系统可自主停止执行或请求操作员协助。（4）自适应计算与自适应执行的联合优化：当前两个自适应机制是独立设计的，未来可探索端到端的联合优化，实现思考深度和行动范围的协同决策。（5）跨形态泛化：将RD-VLA推广到不同机器人形态（如人形机器人、四足机器人）和更复杂的环境（如户外、动态场景）。（6）潜空间推理的可解释性：研究如何从循环状态的演化中提取可解释的推理过程，理解模型在想什么。（7）缩放定律研究：系统探索潜空间循环推理的缩放定律，包括迭代次数、骨干规模、数据量之间的关系。

复现评估

RD-VLA的复现评估如下：（1）开源情况：论文提供了项目主页 rd-vla.github.io，但未明确说明代码和模型权重是否开源。基于项目描述，这是一个学术研究而非工业产品，预计作者会在论文接收后发布代码。（2）数据依赖：实验使用公开数据集LIBERO（4个任务套件各10个任务）、CALVIN（ABC-D基准）和Open X-Embodiment数据集。真实世界实验使用双臂YAM机器人，需要特定硬件。（3）计算资源：基于Qwen2.5-0.5B骨干的模型规模较小（0.5B参数），相比7B模型显著降低了计算门槛。但论文未提供详细的训练时间和GPU需求。（4）技术复现难度：中等偏高。核心架构（循环Transformer、TBPTT训练）有成熟实现参考（如Huggin），但需要仔细实现输入注入、随机化训练策略和自适应停止准则等细节。建议复现者先在LIBERO简单任务上验证基本收敛行为，再扩展到完整评估。（5）关键超参数：循环核心维度D、Prelude查询数K=8、梯度截断深度d=8、停止阈值delta（1e-3到1e-4）、迭代采样分布参数（均值32）等，这些在论文中均有明确说明。

论文图表

Table I: Comparison on the LIBERO benchmark

LIBERO基准对比表，将方法分为三类：端到端VLA（SmolVLA、OpenVLA、WorldVLA、pi0-FAST）、token推理VLA（CoT-VLA、FlowVLA、SpatialVLA、ThinkAct、Fast-ThinkAct、TraceVLA、MolmoAct）和潜空间推理（RD-VLA固定/自适应）。报告参数量和四个任务套件的成功率。RD-VLA用0.5B参数达到93.0%，超越所有7B+基线。

这是论文的核心结果表，直观展示了RD-VLA与现有方法的全面对比，证明了潜空间推理相对于token级推理的优势。

Table II: Comprehensive Ablation of Recurrent-Depth VLA

消融实验表，对比固定计算深度（1-32次迭代）和三种自适应策略（Binary Adaptation、Linear Decay、Pure KL）在不同阈值下的表现。报告平均迭代次数、标准差和四个任务套件的成功率。Binary Adaptation用7.93次迭代达到92.5%，节省34%计算。

这是验证自适应计算有效性的关键消融表，展示了不同策略和阈值的权衡，为实际部署提供了调参指导。

Table III: Comparison on the CALVIN ABC-D benchmark

CALVIN长程任务链基准对比表，报告连续完成1-5个任务的成功率和平均链长。RD-VLA达到最高平均链长3.39和task-5成功率45.3%，超越OpenVLA（3.27/43.5%）和所有其他基线。

CALVIN评估长程规划和任务链能力，这张表证明RD-VLA的潜空间迭代推理能有效扩展模型的顺序规划能力。