AffordanceVLA：基于功能可供性理解的视觉-语言-行动模型 AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding
通过结构化功能可供性预测作为中间表示，解决VLA模型语义空间与物理控制空间不匹配问题。
前置知识
Vision-Language-Action (VLA) 模型
VLA模型结合了视觉-语言预训练模型（如CLIP、GPT-4V）的世界知识与机器人控制策略，能够根据自然语言指令和视觉观察直接生成机器人动作。它们通常采用端到端训练，将RGB图像、本体感知状态和文本指令编码为潜在表示，然后解码为关节位置或末端执行器姿态等连续动作。VLA的核心挑战在于如何将VLM的语义空间与3D物理空间的控制策略有效对齐。
AffordanceVLA本质上是对VLA范式的改进，理解VLA的基本工作原理对于把握本文的问题背景和解决方案至关重要。
功能可供性
功能可供性（Affordance）最初由心理学家Gibson提出，指物体为操作者提供的动作可能性。在机器人领域，affordance通常表示为可操作的对象、交互位置和操作方式等结构化信息，例如杯子的把手暗示了抓取的位置和方式，门把手暗示了推拉的动作。它自然地耦合了视觉中的空间定位、语言中的语义条件和行动中的执行指导，是连接感知与控制的理想桥梁。
affordance是本文的核心创新点，理解其概念有助于领会作者为何选择它作为中间表示来bridge语义与控制之间的gap。
Mixture-of-Transformer (MoT) 架构
MoT是一种多专家Transformer架构，将不同的功能模块解耦为专门的专家网络。在AffordanceVLA中，三个专家分别是Understanding Expert（负责视觉-语言语义对齐）、Affordance Generation Expert（负责affordance预测）和Action Expert（负责动作生成）。专家之间通过单向的progressive attention机制通信，确保信息流向从高层语义到低层控制的因果顺序，防止动作信息泄露到预测阶段。
MoT架构是本文技术实现的核心框架，理解其设计原理有助于把握作者如何通过解耦设计来防止表示坍塌并提升泛化能力。
流匹配
流匹配（Flow Matching）是一种生成式建模方法，通过学习从噪声分布到数据分布的连续变换路径来生成样本。与扩散模型类似，它也采用迭代去噪过程，但使用更简单的ODE路径，训练更稳定。在机器人动作生成中，flow matching可以生成平滑、时间连续的动作块，避免离散token化带来的高频噪声。AffordanceVLA的Action Expert使用flow matching来预测连续动作序列。
flow matching是本文Action Expert生成动作的核心技术，理解其工作原理有助于把握作者如何实现低层控制的鲁棒性。
研究动机
现有的Vision-Language-Action (VLA)模型虽然利用了预训练VLM的丰富世界知识，但直接端到端地从自然语言指令和视觉观察映射到机器人动作存在根本性的结构不匹配问题。VLM的核心预训练目标是在语义空间中对齐视觉和语言，而机器人动作本质上是3D物理空间的表示，这种gap使得学习直接映射极具挑战性。许多方法试图通过视频预测或视觉预测来作为中间表示，但密集的视觉信号通常包含大量冗余信息，且视频预测模型的推理过程耗时。此外，仅依赖数据缩放无法解决根本性的空间gap问题，盲目扩大数据规模无法充分发挥数据集的内在潜力。
本文的目标是本文的目标是构建一个统一的VLA框架，引入结构化的affordance预测作为任务导向的中间表示，建立更精确、鲁棒的感知-行动映射。具体而言，作者希望通过建模Which2Act（操作哪个对象）、Where2Act（在哪里交互）和How2Act（如何交互）三个互补的affordance组件，逐步将操作先验从粗到细、从2D到3D编织进VLA的感知-行动循环中，为模型提供结构化且深度物理化的世界理解。
与已有工作不同的是，本文的独特切入角度在于将affordance作为视觉、语言和行动之间的天然桥梁——它在空间上锚定于视觉、语义上条件于语言、行动上耦合于执行。与现有方法不同，作者不是将affordance作为外部提示消费，而是将其内化为VLA内部的、与VLM骨干和行动专家联合优化的中间表示。这种设计使affordance从外部先验转变为行动耦合的中间表示，在语义、操作和空间-几何三个维度上联合优化，从而提升推理、泛化和性能。此外，作者提出了MoT架构和渐进式数据课程的三阶段训练策略，系统性地从广泛的视觉-语言对齐过渡到任务特定的具身控制。
核心方法
AffordanceVLA的整体思路是在VLA框架中引入结构化的affordance预测作为中间监督信号，通过MoT架构和渐进式训练策略来建立精确、鲁棒的感知-行动映射。具体而言，模型首先将RGB观察和语言指令输入Understanding Expert，获得指令感知的语义表示；然后Affordance Generation Expert基于该表示预测结构化的affordance token（Which2Act、Where2Act、How2Act）；最后Action Expert综合语义表示和affordance token，生成低层动作序列。整个过程通过单向的UAA (Understanding-Affordance-Action) progressive attention机制协调，确保信息流向的因果性。训练上采用三阶段渐进式课程：Stage I在参考定位和交互感知场景数据上预训练affordance生成能力；Stage II在大规模合成机器人数据上联合训练整个框架；Stage III在目标数据集上微调以适应特定环境。
核心创新点在于将affordance作为结构化的、任务聚焦的中间表示，它同时是空间上锚定的、语义上条件的、行动上耦合的。作者提出了三个互补的affordance预测模块：Which2Act通过预测目标视觉潜在表示实现对象中心定位，抑制背景干扰；Where2Act通过预测2D affordance map实现精细的交互定位；How2Act通过提取3D几何表示指导操作策略。这三个模块不是作为脆性的串行流水线（Which→Where→How），而是在共享的指令感知表示下通过双向注意力联合精炼，然后被Action专家一起消费。这种设计实现了从粗到细、从2D到3D的渐进式信息融合，建立了更可靠的感知-行动映射。与现有的视频预测或世界模型相比，结构化的affordance预测明确过滤掉表层场景相关性，迫使模型纯粹关注任务关键实体、交互区域和空间布局，使感知-行动映射对新颖视觉扰动具有高度鲁棒性。
方法步骤详情
AffordanceVLA的完整操作流程包含三个主要步骤。第一步是语义理解：Understanding Expert (Mund) 接收RGB观察O_t ∈ R^{H×W×3}和语言指令l，通过预训练VLM先验动态融合多模态输入，生成指令感知的表示h_t^und = M_und(O_t, l)。本体感知状态s_t绕过该专家，直接馈送给M_act，遵循标准的π0风格解耦。这一步骤不仅提取全局特征，还将语言概念精细地定位到空间视觉patch中，为后续的物理化规划提供鲁棒的语义基础。第二步是affordance预测：Affordance Generation Expert (M_gen) 基于指令感知语义h_t^und，预测结构化表示A_t^hat = M_gen(h_t^und)。该表示通过三个并行的子模块解码操作先验：Which2Act通过预测目标边界框并提取其视觉潜在z_q ∈ R^{C×H×W}（使用冻结的Flux VAE编码器），通过MSE损失优化对齐；Where2Act通过轻量级Transformer解码器将1D查询token转换为2D空间分布logits ŷ ∈ R^{H_t×W_t}，通过像素级BCE损失与真实mask M对齐；How2Act将token分为两个协同分支：3D形状生成（通过条件扩散过程预测目标3D形状潜在，使用噪声预测目标）和空间布局回归（通过MLP回归10自由度空间布局向量ŷ_layout，包含旋转、缩放和平移）。第三步是动作生成：Action Expert (M_act) 基于高层语义上下文h_t^und和物理化affordance A_t^hat，使用鲁棒的生成过程将这些统一表示解码为低层动作，合成平滑、时间连贯且物理合理的动作块：a_t:t+k^hat = M_act(h_t^und, A_t^hat, s_t)。
技术新颖性
技术新颖性体现在三个方面。首先，在表示学习层面，作者提出将affordance作为内在的视觉-语言-行动桥梁，其训练信号紧贴VLM的语义空间，既锚定骨干网络又直接服务于动作生成，这与近期强通用策略（如π0.5和π0.7）引入的仅训练时结构化中间监督的精神一致，但affordance是更自然的选择。其次，在架构设计层面，MoT架构解耦了多专家设计，促进从广泛感知到闭环控制的渐进信息融合和表示传播，同时自然吸收来自不同源（如VQA和机器人轨迹）的多样化多模态知识。第三，在数据方法论层面，作者开发了一个鲁棒的自动化数据增强管道来合成关键的affordance监督信号，通过基于规则的关键帧检测、Claude Opus 4.5的指令分解、Qwen3-VL的每关键帧affordance标注，以及RexOmni的视觉定位和SAM/SAM-3D的分割，生成超过10万个affordance标注，克服了大规模机器人数据集缺乏密集affordance标签的挑战。
实验结果
在LIBERO基准测试中，完整模型在四个任务套件上的平均成功率达到95.8%，在比较的方法中最高，与近期最强的VLA具有竞争力。即使没有大规模affordance增强的机器人数据联合训练阶段，AffordanceVLA (w/o stage II) 仍达到了86.2%的令人印象深刻的平均成功率，这直接证明了MoT架构的固有优势。在CALVIN ABC→D基准测试中，完整模型实现了4.33的平均长度，在75.9%的rollout中完成5个连续任务，在这个具有挑战性的零样本OOD协议下具有竞争力。从AffordanceVLA (w/o stage II) (3.81) 到完整模型 (4.33) 的显著性能提升突显了Stage II渐进式训练策略的绝对必要性，它系统性地积累了通用世界知识，防止对训练环境的过拟合。在真实世界实验中，AffordanceVLA在基本任务中展现出强大的泛化能力，平均成功率为88.3%，在多样化的物体、空间关系和语义类别上持续优于Pi0基线。在复杂任务（如抽屉和烤面包机）中，给定相同的初始视觉观察但不同的指令（例如'pick' vs. 'close'），AffordanceVLA果断地超越Pi0：例如，我们的模型在抽屉(pick)和抽屉(close)任务中分别达到86.7%和100.0%的成功率，而Pi0分别为46.7%和40.0%。在连续的'Pick all the rubbish'任务中，AffordanceVLA在第3次执行时保持46.7%的稳健成功率，而Pi0的性能急剧下降到6.7%，并且affordance驱动的方法将总冗余动作减少到11次，而Pi0为33次。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO模拟基准测试 | 平均成功率 (%) | 95.8 | Pi0: 94.4 | +1.4 |
| LIBERO-Spatial | 成功率 (%) | 98.6 | Pi0: 98.0 | +0.6 |
| LIBERO-Object | 成功率 (%) | 98.4 | Pi0: 96.8 | +1.6 |
| LIBERO-Goal | 成功率 (%) | 96.2 | Pi0: 94.4 | +1.8 |
| LIBERO-Long | 成功率 (%) | 89.8 | Pi0: 88.4 | +1.4 |
| CALVIN ABC→D | 平均完成链长度 | 4.33 | Pi0: 3.84 | +0.49 |
| CALVIN ABC→D | 5/5连续任务成功率 (%) | 75.9 | Pi0: 60.1 | +15.8 |
| 真实世界基本任务 | 平均成功率 (%) | 88.3 | Pi0: 70.8 | +17.5 |
| 真实世界复杂任务 | 平均成功率 (%) | 82.9 | Pi0: 44.8 | +38.1 |
| 数据效率 (40%微调数据) | LIBERO成功率 (%) | ~92 | Pi0完全微调: ~94 | 仅用40%数据接近基线完全微调性能 |
局限与改进
作者承认的局限性包括：模型在LIBERO-Long任务上的优势收窄（89.8%），表明极长时序序列任务将进一步受益于显式的长期记忆模块，这是当前VLA共同面临的限制。How2Act在LIBERO/CALVIN的简单桌面、两指设置下效益相对适中，但在复杂真实世界的6自由度交互中变得突出，这暗示了模型的表示能力与任务复杂度之间的权衡。作者还观察到，在没有显式长期规划架构的情况下，单帧模型通过动态重新评估工作空间来生成连续视觉目标，这在某些情况下可能不足以处理极其复杂的多步骤任务。从自己的观察来看，模型的affordance预测依赖于高质量的视觉输入，在极端光照变化或严重遮挡情况下可能会性能下降。此外，affordance标注管道虽然实现了接近完美的准确性，但仍然依赖于多个外部模型（Claude Opus 4.5、Qwen3-VL、RexOmni、SAM、SAM-3D）的级联，这增加了系统的复杂性和潜在的累积误差。模型的推理延迟约为176ms（在RTX 5090上），虽然支持约5.7Hz的实时控制，但对于需要更高控制频率的高速任务可能仍有改进空间。
独立分析的弱点
第一个独立分析的弱点是缺乏显式的时序建模。当前模型基于单帧观察，虽然在连续任务中通过动态重新评估展现出了一定的长期执行能力，但对于需要复杂多步骤推理的任务，显式的时序记忆模块可能更有效。改进方向可以是引入时序Transformer或递归网络来编码历史信息，或者将affordance预测扩展到时序affordance轨迹。第二个弱点是How2Act在简单任务中的边际效益递减。在LIBERO/CALVIN的桌面操作中，3D形状和布局先验的价值被场景的简单性限制，这暗示了模型容量与任务复杂度之间的不匹配。改进方向可以是自适应地调整How2Act的容量，或者设计更细粒度的6自由度操作评估基准来更好地激发该模块的潜力。第三个弱点是affordance预测的鲁棒性限制。模型在理想光照和清晰视野下表现优异，但在极端视觉条件下的鲁棒性尚未充分验证。改进方向可以是在训练中引入更多的视觉扰动（如光照变化、遮挡、运动模糊），或者设计多视角融合机制来增强视觉鲁棒性。第四个弱点是推理效率。虽然176ms的延迟支持实时控制，但对于大规模部署或资源受限平台仍有优化空间。改进方向可以包括affordance专家的蒸馏、模型量化或异步推理流水线。
未来方向
作者提出的未来工作方向包括探索显式的时序建模以及扩展到双手操作和可变形物体操作。基于本文成果的可延伸方向包括：1) 将affordance预测扩展到多模态affordance（如触觉、力觉），以增强对接触丰富任务的推理能力；2) 研究affordance在跨具身迁移中的作用，探索如何在不同形态（如机械臂、移动机器人、人形机器人）之间共享affordance先验；3) 开发更高效的affordance标注方法，减少对外部模型的依赖，例如通过自监督学习或主动学习来降低标注成本；4) 探索affordance与世界模型的结合，将affordance作为结构化的世界状态表示，提升对场景动态的推理能力；5) 研究affordance在人机协作中的应用，例如通过共享affordance表示来增强人与机器人的意图对齐。
复现评估
本文在复现性方面表现良好。作者已在GitHub上开源代码（https://github.com/Skywalker-yqz/AffordanceVLA/），并提供了项目页面（https://skywalker-yqz.github.io/AffordanceVLA/）展示更多细节。论文详细描述了模型架构、训练配方和数据统计，包括在三个训练阶段使用的所有数据集（PRISM、AGD20K、RefSpatial、InternData-A1、LIBERO、CALVIN、DROID等）。训练在16×NVIDIA H200 GPU集群上进行，每卡配备141 GB HBM3e内存，论文提供了超参数的完整表格（包括批量大小、学习率、损失权重、训练步数等）。作者还提供了推理延迟的详细分解（在RTX 5090上总推理时间约176ms）。affordance标注管道的详细描述和提示模板在附录中提供，虽然依赖于多个外部模型，但作者实现了严格的质量控制（包括点在边界框内的一致性验证和100轮随机采样的人工审计）。总体而言，论文提供了充分的技术细节，使其他研究者能够复现实验结果，但需要注意的是，训练完整模型需要大量的计算资源（16×H200 GPU）和多个外部模型的访问权限（Claude Opus 4.5、Qwen3-VL等），这可能会对部分研究者的复现造成挑战。
论文图表
