← 返回 2026-04-15

LARY：一个可泛化视觉-动作对齐的潜在动作表示基准测试 LARY: A Latent Action Representation Yielding Benchmark for Generalizable Vision-to-Action Alignment

Dujun Nie, Fengjiao Chen, Qi Lv, Jun Kuang, Xiaoyu Li, Xuezhi Cao, Xunliang Cai 📅 2026-04-13 👍 21 2026-07-13 08:36
具身智能 基准测试 机器人学习 潜在动作表示 视觉-动作对齐
arXiv HuggingFace PDF

提出LARYBench基准，评估潜在动作表示在语义理解和机器人控制两个维度上的能力

前置知识

潜在动作

潜在动作是将原始视觉信号转换为独立于特定本体的抽象表示，它类似于自然语言处理中的词片段token。这些表示通过无监督方法从视频帧之间的视觉变化中提取，能够跨越不同的实体和任务进行泛化，解决了机器人领域标注数据稀缺的问题。

论文的核心就是评估不同模型提取的潜在动作表示质量，理解这个概念是理解整个基准测试设计的基础

VLA模型

视觉-语言-动作模型是一种结合视觉感知、语言理解和动作生成能力的统一框架。在机器人控制中，VLA模型将视觉观察转换为动作指令，同时支持高级推理和低频控制。潜在动作在这些模型中充当统一接口，能够解耦高频控制和低频推理。

潜在动作表示的主要应用场景就是VLA模型，论文的动机就是解决VLA训练中的数据瓶颈问题

逆动力学模型

逆动力学模型是一种从视觉观察序列中学习控制信号的方法。给定状态序列，IDM学习产生这些状态变化的动作，即学习从状态变化到动作的映射。在潜在动作学习中，IDM被用来将视觉变化转换为离散或连续的潜在动作token。

论文中提到的LAPA、Moto等方法都是基于IDM框架，理解这个概念有助于理解不同LAM的工作原理

向量量化

向量量化是一种将连续向量映射到离散码本的技术，在潜在动作学习中被用来生成离散的动作token。通过VQ-VAE架构，视觉特征被编码为离散码本索引，这类似于文本中的词片段。然而离散化可能导致细粒度信息的丢失。

论文中的LAPA框架使用VQ-VAE，消融实验专门研究了码本大小对性能的影响，理解VQ有助于理解论文的方法选择

探针式评估

探针式评估是一种通过训练简单分类器或回归器来评估表示质量的方法。在LARYBench中，使用4层注意力探针进行语义动作分类，使用MLP专家进行控制回归。这种方法的优点是能够解耦表示质量与下游策略性能，直接评估表示本身的能力。

论文的核心评估方法就是探针式评估，理解这个概念有助于理解为什么LARYBench能够比传统方法更准确地评估潜在动作表示

研究动机

机器人学习领域面临严重的数据孤岛问题，多样化的动作标注数据集过于稀缺，无法训练通用基础模型。虽然大规模无标注的人类视频数据提供了解决方案，但如何将原始视觉信号转换为独立于特定本体的潜在动作表示仍然是一个关键挑战。现有的评估方法主要依赖下游操作任务性能或聚类可视化等定性方法，这些方法无法将VLA组件的评估与潜在动作质量本身解耦。此外，现有的评估方法缺乏跨越不同实体、任务和粒度的评估方法，难以评估动作表示的泛化能力。现有的具身视频数据集存在不精确的时间边界和不一致的动作标注问题，影响了评估的可靠性。

本文的目标是本文的目标是引入LARYBench基准，这是一个定量的评估框架，旨在严格评估潜在动作表示的质量。目标建立一个标准化指标，评估跨越跨代理和跨场景应用的具身能力以及视频理解能力。LARYBench评估潜在动作表示沿着两个互补的维度：指定做什么的高级语义意图，和决定如何做的低级物理控制。通过自动数据引擎重新分段和重新注释大规模语料库，构建一个包含120万以上视频、620K图像对和595K运动轨迹的综合数据集，覆盖151个动作类别和11个机器人实体。

与已有工作不同的是，本文的独特切入角度是首次将潜在动作表示的评估与下游策略性能解耦。与现有依赖下游任务性能或定性可视化的评估方法不同，LARYBench通过两个具体的任务实例化两个评估维度：语义动作分类和低级控制回归，能够直接、标准化地测量表示质量本身。另一个独特角度是系统性地比较了四类模型：具身LAM、通用语义编码器、生成像素编码器和我们提出的通用LAM，揭示了通用视觉基础模型在没有任何动作监督的情况下，持续优于专门的具身潜在动作模型的惊人发现。

核心方法

LARYBench的整体方法分为三个阶段：数据构建、潜在动作提取和评估。首先，构建一个包含原子和组合动作的综合数据集，支持分类和回归任务。然后，使用各种表示范式提取连续潜在动作z，特别强调在VQ-VAE训练架构中集成预训练的通用视觉编码器。最后，利用基于探针的分类和潜在条件回归来量化这些表示的语义可分性和物理动力学建模能力。直觉上，高质量的潜在动作表示应该既能区分不同的语义动作，又能保留足够的物理细节来重构末端执行器轨迹。

核心创新点在于设计了一个两层评估协议来分别评估语义理解和物理控制能力。对于语义评估，采用分层语义探针协议，包括运动学级原子primitives，如向上移动、闭合夹爪，和任务级组合行为，如拿起、放置、扭转。对于物理控制评估，采用物理执行映射评估，通过轨迹回归任务检验潜在空间是否保留了足够的物理细节。另一个核心创新是开发了自动化数据引擎，通过Vision-Language Model进行精确的时间分段和语义对齐，解决了现有数据集的不精确时间边界和不一致动作标注问题。

方法步骤详情

数据构建阶段首先收集多样化的多实体数据集和人类数据集，涵盖151个精心定义的动作，包括28个原子动作和145个组合动作，和120万以上标注样本。对于组合分类任务，集成具有强大时空视频理解能力的Vision-Language Model，Doubao-1.5-pro-vision API，VLM作为核心推理代理进行时间视频分段和语义动作对齐。具体流程包括原始视频分割、视频描述动作匹配、视频动词一致性检查、手动采样和检查。对于原子分类任务，通过轨迹检测和阈值分析提取图像对。对于回归任务，通过时间子采样和固定间隔提取动作块。潜在动作提取阶段，对于原子机器人和回归任务，主要依赖精心策划的图像对，直接从LAM获得潜在动作表示。对于组合分类任务，由于源数据集的FPS不同且运动速度不均匀，采用运动引导采样器选择表现出足够动态变化的有效帧序列。评估阶段，对于语义动作分类，统一从每个视频片段采样9帧并调整为224乘224，采用4层注意力探针作为分类器，使用多头部优化策略。对于低级控制回归，实现简单的基于MLP的动作专家来回归绝对末端执行器轨迹，采用带有残差连接的标准MLP架构，包含2个残差块和4096的隐藏维度。

技术新颖性

技术新颖性体现在多个方面。首先，LARYBench是第一个将潜在动作表示评估与下游策略性能解耦的基准，通过探针式评估直接测量表示质量。其次，提出了通用LAM这一新模型类别，通过在LAPA框架中用各种预训练骨干，如DINOv2、DINOv3、SigLIP2、MAGVIT2替换默认编码器，利用预训练视觉先验增强潜在动作学习。第三，开发了自动化数据引擎，通过VLM进行时间视频分段和语义动作对齐，解决了现有数据集的质量问题。第四，引入了运动引导采样器来处理源数据集的FPS差异和非均匀运动速度问题，确保表示有效地封装过渡动力学。最后，系统性的消融研究揭示了有效潜在动作空间需要两个关键组件：强大的自监督视觉先验来捕获精确的时空动力学，以及严格正则化的量化瓶颈来维持稳定性和密集利用。

LARYBench evaluates vision-to-action transformation on both action generalization and robotic control
Figure 1: LARYBench evaluates vision-to-action transformation on both action generalization and robotic control
Overall pipeline of our benchmark LARY
Figure 2: Overall pipeline of our benchmark LARY
Data curation process for LARY-Bench
Figure 3: Data curation process for LARY-Bench

实验结果

论文通过三个核心问题揭示了潜在动作表示的关键发现。第一个问题是潜在动作是否捕获多样化动作。如表1所示，通用视觉基础模型，如V-JEPA 2和DINOv3表现出惊人的强大性能，平均准确率分别为76.62%和68.68%，尽管它们似乎没有进行任何显式的运动提取。这表明视觉自监督训练固有地产生了涵盖机器人和人类数据的通用语义动作表示。V-JEPA 2直接从视觉潜在特征学习而非像素特征，以显著优势实现了最佳性能，支持了动作可以从潜在特征中导出而不需要在像素空间中显式表示的假设。相比之下，现有的具身LAM，如LAPA、UniVLA和villa-X在多样化动作上的泛化受限，平均17.99%到20.90%。General LAMs表现优于现有具身LAMs，即使在捕获机器人动作上也是如此。第二个问题是潜在动作是否编码足够的控制信息。如表2所示，动作回归结果显示候选模型之间的性能相似，通用视觉基础模型在4种数据集上都实现了显著更好的性能。DINOv3和V-JEPA 2的平均MSE分别为0.19和0.25，远优于具身LAMs的0.87到0.97。特别地，基于潜力的视觉编码器比基于像素的视觉编码器更好地捕获机器人控制，表明基于潜力的视觉空间比基于像素的空间更好地与机器人动作空间对齐。第三个问题是什么构成有效的潜在动作模型。消融研究揭示了性能进化路径：自监督视觉编码器，如DINOv3始终比基于重建和视觉语言对比的模型构建更优的LAM。扩展码本容量可以改善下游回归，但过大的大小，如256会导致码本利用下降而没有进一步收益，中等大小，cs等于64对于密集表示是最优的。序列长度至关重要地决定时间多样性，短序列，sl等于16触发灾难性码本崩溃，1.6%利用，而中等长度，sl等于49确保100%利用和稳健泛化。缩放潜在维度改善理论容量但引入量化不稳定性，dim等于256在容量稳定性平衡方面最佳。

Action Classification results of latent action representations
Table 1: Action Classification results of latent action representations
Ablation on Codebook Size
Table 3: Ablation on Codebook Size
Ablation on Sequence Length
Table 4: Ablation on Sequence Length
Ablation on Latent Dimension
Table 5: Ablation on Latent Dimension
Ablation study on VLABench sampling stride
Table 6: Ablation study on VLABench sampling stride
Performance Evolution of Latent Action Models
Figure 4: Performance Evolution of Latent Action Models
Action classification performance across the long-tail distribution of the Composite Human dataset
Figure 5: Action classification performance across the long-tail distribution of the Composite Human dataset
Cross-attention heatmaps of the temporal pooler across various models for a 9-frame pour sequence
Figure 6: Cross-attention heatmaps of the temporal pooler across various models for a 9-frame pour sequence
查看结构化数据
任务指标本文基线提升
Semantic Action Classification (Average) Accuracy V-JEPA 2: 76.62% LAPA (Embodied LAM): 20.17% +56.45 percentage points
Atomic Robot Classification Accuracy V-JEPA 2: 79.09% villa-X (Embodied LAM): 15.00% +64.09 percentage points
Composite Human Classification Accuracy DINOv3: 76.19% LAPA (Embodied LAM): 14.61% +61.58 percentage points
Low-Level Control Regression (Average) MSE DINOv3: 0.19 LAPA (Embodied LAM): 0.97 -0.78 (80% reduction)
CALVIN Regression MSE DINOv3: 0.22 LAPA (Embodied LAM): 0.96 -0.74 (77% reduction)
VLABench Regression MSE V-JEPA 2: 0.27 UniVLA (Embodied LAM): 0.82 -0.55 (67% reduction)

局限与改进

论文承认了几个局限性。首先，General LAMs在人类动作上实现了相对较高的准确率，但由于数据规模和多样性有限，它们在机器人动作上的性能下降。作者将解决这个问题留给未来工作。其次，在RoboCOIN中故意屏蔽了灵巧手关节数据，专注于宏观手臂位移，因为精细手指运动对当前视觉编码器来说仍然是病态逆问题。第三，当前的评估主要集中在单个时间步的潜在动作提取，对于需要长时间推理的任务可能不够充分。从我的观察来看，另一个潜在局限性是数据引擎依赖于VLM的准确性，如果VLM在边缘案例上失败，可能会引入噪声。此外，虽然论文揭示了通用视觉基础模型的优势，但没有提供关于如何在VLA系统中有效利用这些表示的具体指导，这是一个实际的部署挑战。

独立分析的弱点

论文的弱点之一是缺乏对跨域泛化的深入分析。虽然数据集涵盖了多种环境和实体，但论文没有详细讨论在完全未见过的领域，如新的机器人形态或全新的任务类型上的性能表现。另一个弱点是缺乏对实时性能的评估，这对于实际机器人应用至关重要。论文关注表示质量但忽略了计算开销和推理延迟。第三个弱点是评估主要基于模拟或特定数据集，缺乏在真实机器人上的实际部署验证。改进方向包括：在更多样的真实机器人平台上进行部署测试，评估推理延迟和计算成本，设计更长时间跨度的评估任务来测试时序推理能力。

未来方向

作者提出的未来工作方向是解决General LAMs在机器人动作上性能下降的问题，这可以通过增加更多样化和更大规模的机器人训练数据来实现。基于论文成果可以延伸的未来研究方向包括：第一，探索如何在VLA系统中有效利用通用视觉基础模型的表示，特别是解决连续信号解码和特征对齐的架构挑战。第二，研究如何将强大的视觉先验与特定于机器人的物理约束相结合，以获得最佳性能。第三，开发更精细的粒度评估协议，例如评估不同动作粒度之间的表示一致性。第四，探索多模态融合策略，例如结合语言和视觉信息来增强潜在动作表示。第五，研究在线学习和适应机制，使VLA系统能够在新任务上持续改进。

复现评估

论文提供了良好的复现支持。代码和数据已开源：GitHub仓库在https://github.com/meituan-longcat/LARYBench，主页在https://meituan-longcat.github.io/LARYBench，HuggingFace数据集在https://huggingface.co/datasets/meituan-longcat/LARYBench。数据集包含120万以上视频、620K图像对和595K轨迹，规模庞大但公开可用。论文在附录中提供了详细的实验设置、训练配置和超参数，附录C。然而，由于涉及的模型，如DINOv3、V-JEPA 2、FLUX.2-dev等都是大规模预训练模型，完整复现所有实验需要大量计算资源。探针训练使用bfloat16精度和多头部优化策略，相对容易复现。自动化数据引擎的实现细节在附录B中提供，但依赖Doubao-1.5-pro-vision API，可能需要API访问权限。总体而言，复现难度中等偏高，主要挑战在于计算资源需求和API访问。

论文图表

Table 2: Action Regression results of latent action representations

该表格展示了11个模型在动作回归任务上的结果，使用MSE指标。包括四个数据集：CALVIN、VLABench、RoboCOIN和AgiBotWorld-Beta。最佳结果是DINOv3，平均MSE为0.19，其次是V-JEPA 2的0.25。最差的是LAPA，平均MSE为0.97。具体数据集上，V-JEPA 2在CALVIN上MSE为0.27，DINOv3在VLABench上MSE为0.06，FLUX.2-dev在RoboCOIN上MSE为0.04，DINOv3在AgiBotWorld-Beta上MSE为0.24。

这个表格支持了论文的第二个核心发现：基于潜力的视觉编码器比基于像素的编码器更好地与机器人动作空间对齐，DINOv3和V-JEPA 2在所有数据集上都实现了最低的MSE。