EgoActor：通过视觉语言模型将任务规划转化为人形机器人的空间感知自我中心动作 EgoActor: Grounding Task Planning into Spatial-aware Egocentric Actions for Humanoid Robots via Visual-Language Models
统一视觉语言模型，将自然语言指令直接转化为人形机器人的自我中心动作序列
前置知识
视觉语言模型(VLM)
视觉语言模型是一类能够同时理解图像和文本的深度学习模型，通常基于Transformer架构，通过大规模图文数据预训练学习跨模态对齐。在具身智能领域，VLM被用于将视觉观察和语言指令转化为机器人可执行的动作，如SayCan、NaVid等模型展示了VLM在机器人任务规划中的潜力。
EgoActor的核心创新在于将VLM的推理能力与人形机器人的多模态动作需求结合，理解VLM的工作原理是理解本文方法的基础。
自我中心感知(Egocentric Perception)
自我中心感知指从机器人第一人称视角获取的视觉信息，与第三人称全局视角不同，自我中心视角更贴近人类感知方式，能直接反映机器人所见的环境状态。这种视角对人形机器人尤为重要，因为人形机器人的感知和动作执行都依赖于其头部摄像头提供的第一人称视野。
本文的核心设定是基于自我中心RGB图像进行动作预测，理解这种感知方式对理解模型输入和任务设定至关重要。
人形机器人全身控制
人形机器人全身控制涉及协调机器人的行走、转身、蹲下、站起等基础运动能力，以及手臂和手部的精细操作能力。与轮式机器人不同，人形机器人需要维持动态平衡，且动作精度要求更高。现代人形机器人通常采用分层控制架构：高层策略决定动作意图，低层控制器执行具体运动。
EgoActor需要输出涵盖运动、感知、操作等多种动作类型，理解人形机器人的控制架构有助于理解模型输出的设计和执行流程。
视觉语言导航(VLN)
视觉语言导航是具身AI的核心任务之一，要求智能体根据自然语言指令在视觉环境中导航到目标位置。传统VLN方法主要关注静态导航，不涉及物体操作或人机交互。代表性的数据集和基准包括R2R、Touchdown、VLN-CE等，这些工作为导航任务提供了标准化的评估框架。
EgoActor将导航扩展到包含操作和人机交互的完整任务，理解传统VLN的局限性有助于认识本文的创新点。
LoRA微调
LoRA(Low-Rank Adaptation)是一种参数高效的微调方法，通过在预训练模型的线性层中插入低秩矩阵来适应新任务，只更新少量参数而保持原始模型大部分权重不变。这种方法在保持模型泛化能力的同时，显著降低了微调所需的计算资源和存储空间。
EgoActor使用LoRA微调Qwen3-VL模型，理解这种微调策略有助于评估模型的训练成本和可复现性。
研究动机
在真实世界部署人形机器人面临多重挑战。首先，人形机器人本质上不如轮式平台稳定，对控制精度极为敏感——即使微小的控制误差也可能破坏平衡或导致不安全行为，尤其是在动态、杂乱且未见过的环境中。其次，现有方法通常采用模块化设计，将感知、运动和操作分离处理，导致在不同类型子任务之间切换时缺乏流畅性。例如，机器人可能需要停止行走、倾斜头部感知目标、伸出手臂抓取物体，然后恢复行走——这些动作需要精确的时间协调和空间理解。此外，现有工作大多聚焦于单一能力（如纯导航或纯操作），缺乏统一处理移动、感知、操作和人机交互的框架。
本文的目标是本文提出EgoActing任务和EgoActor模型，旨在实现以下具体目标：1）建立一个新的任务范式，要求模型直接将自然语言指令转化为人形机器人的多类型动作序列；2）开发一个统一的视觉语言模型，能够预测运动基元（行走、转身、侧移、高度调整）、头部运动、操作指令和人机交互动作；3）实现亚秒级推理延迟，支持实时机器人控制；4）在真实世界和虚拟环境中验证模型的泛化能力。
与已有工作不同的是，与现有工作相比，本文抓住了三个被忽视的关键点：第一，现有VLM-based具身智能体大多聚焦于轮式或简化机器人形态，而人形机器人需要更复杂的全身协调；第二，现有方法通常将任务分解为模块化子目标，而EgoActor实现了动作类型的统一推理；第三，现有导航方法在精确位置控制方面表现不佳，而EgoActing任务强调对交互位置的精确要求。此外，本文发现真实世界视频数据对空间理解的价值被低估，通过结合人类演示视频和空间推理数据，模型能够学习到更符合人类直觉的空间关系理解。
核心方法
EgoActor的核心思路可以类比为一个经验丰富的驾驶员：它通过第一人称视角观察环境，理解高级指令（如"靠近桌子并拿起苹果"），然后规划一系列协调的动作——先调整位置和朝向，再执行精细操作。技术路线上，模型接收自我中心RGB图像和任务指令，输出结构化的动作序列。这些动作分为两类：结构化语言动作(SLA)用于精确的空间控制（如"向左转30度"、"向前移动0.26米"），自然语言动作(NLA)用于开放式的操作和交互（如"拿起水瓶"、"问洗手间在哪里"）。模型基于Qwen3-VL视觉语言模型，通过LoRA微调适配到具身控制任务，训练数据混合了真实世界演示视频、空间推理数据和虚拟环境轨迹。
EgoActor最本质的创新在于将人形机器人的多种动作类型统一到一个语言动作空间中进行推理。与传统方法不同，EgoActor不依赖预定义的技能库或模块化控制器，而是直接从视觉观察预测文本形式的动作指令。这种设计有三大优势：首先，结构化语言动作（如精确的距离和角度）使得模型能够进行空间定位，为后续操作做好准备；其次，自然语言动作允许模型泛化到未见过的操作类型，只需通过语言描述即可指定新动作；最后，统一的文本表示使得模型能够学习动作之间的时序依赖关系，例如在转弯后执行侧移以避开障碍物。这种"先定位，后操作"的范式，配合语言动作的灵活性，构成了EgoActor的核心技术优势。
方法步骤详情
EgoActor的工作流程包含以下步骤：1）输入处理：模型接收任务指令I、历史自我中心观察O_1:t（从历史帧中均匀采样10帧，分辨率240p）和最近3个观察-动作对（分辨率480p），这些信息通过Qwen3-VL的视觉编码器和语言编码器进行多模态融合；2）动作预测：模型输出下一个动作a_t，遵循公式a_t = argmax P(a | I, O_1:t, a_1:t-1, Π)，其中Π表示可用的低层策略集合；3）动作解析：对于结构化语言动作，解析器提取参数（如距离、角度）并转换为速度/角度指令；对于自然语言动作，根据关键词触发执行路由——语音相关动作转换为音频，交互关键词调用预设动作，其余作为操作指令转发给预训练的VLA模型；4）技能执行：运动策略（Unitree官方行走策略）执行移动指令，GROOT-N 1.5模型执行操作任务，头部2-DoF机构支持主动感知。
技术新颖性
EgoActor的技术新颖性体现在三个方面：第一，动作表示的创新——将运动、感知、操作和人机交互统一到语言动作空间，其中结构化语言动作提供精确的空间控制（阈值过滤微小动作以减少噪声），自然语言动作支持开放式交互，这种混合表示兼顾了精度和灵活性；第二，数据利用的创新——通过结合真实世界视频（EgoTaskQA数据集）、空间推理数据（MindCube）、虚拟环境轨迹（Habitat-Sim）和DAgger在线数据，构建了多样化的训练信号，其中真实世界数据提供了丰富的空间关系先验，虚拟环境数据提供了精确的动作标注；第三，模型架构的创新——基于通用VLM（Qwen3-VL）进行微调，而非设计专用架构，证明了通用视觉语言模型在具身控制任务上的潜力，同时支持4B和8B两种规模以适应不同计算资源需求。
实验结果
论文在多个任务上进行了广泛实验，核心发现如下：在人机交互任务中，EgoActor-8B在单人场景下实现100%成功率（12/12），在多人属性区分任务中，面对服装、配饰、姿势、朝向、性别等分布外变化，仍保持83%-100%的成功率，显著优于仅能导航的基线模型（NaVILA、NaVid、UniNaVid）。在移动操作任务中，面对未见过的物体布局，EgoActor-8B对已见物体（苹果、瓶子）实现100%抓取成功率（6/6），对未见物体（笔筒、粉杯）达到83%-100%成功率。在可通行性评估中，EgoActor-4B在已见环境进入房间任务中达到91.7%成功率（11/12），显著优于NaVid的25%-41.7%成功率。虚拟环境实验显示，EgoActor-8B在严格距离阈值（<0.5m）下达到51.4%成功率，在宽松阈值（<3.0m）下达到89.9%，而基线模型在相同条件下仅为6.3%-8.8%和51.7%-60.0%。自然语言动作预测的F1分数达到0.62，最终视图相似度为0.41。推理延迟低于1秒，满足实时控制需求。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 人机交互-单人场景 | 成功率 | EgoActor-8B: 100% (12/12) | NaVid-7B: 66.7% (8/12) | 提升33.3个百分点 |
| 移动操作-已见物体 | 抓取成功率 | EgoActor-8B: 100% (6/6) | 无直接可比基线 | 达到完美执行 |
| 可通行性-已见环境 | 进入房间成功率 | EgoActor-8B: 91.7% (11/12) | NaVid-7B: 25.0% (3/12) | 提升66.7个百分点 |
| 虚拟环境导航 | 距离阈值<0.5m成功率 | EgoActor-8B: 51.4% | NaVid-7B: 8.8% | 提升42.6个百分点 |
| 虚拟环境导航 | 自然语言动作F1 | EgoActor-8B: 0.62 | 无直接可比基线 | 首个评估此指标 |
局限与改进
论文和实验暴露出以下局限性：首先，模型依赖外部组件——高级规划器（如大语言模型）和下游技能（如行走策略、操作模型），EgoActor本身不是端到端系统，单独无法执行完整任务。其次，长期上下文处理存在不足——模型在扩展或多阶段任务中可能陷入局部最优但错误的决策模式。第三，操作精度受限——4B模型在预测操作动作时，有时在距离目标过远时就触发操作，导致失败。第四，虚拟环境评估存在模糊标注和视觉质量下降问题，部分失败案例源于教堂、历史遗迹等与训练数据差异较大的场景类型。第五，站立和蹲下动作仅在模拟环境中实现，当前Unitree行走策略不支持真实世界部署。最后，人机交互任务的训练数据极少（不到20个样本），限制了该能力的泛化性。
独立分析的弱点
独立分析发现以下弱点及改进方向：首先，动作表示的局限——结构化语言动作虽然提供精确控制，但需要手动设计动作模板和阈值，未来可探索连续动作空间或学习动作嵌入；自然语言动作依赖关键词路由，可能产生歧义，可引入更精细的动作分类器。其次，数据偏差问题——训练数据以室内家庭环境为主，对户外、工业等场景泛化能力有限，且EgoTaskQA数据经过大幅采样（从650万样本到16万），信息损失显著，建议构建更大规模、更多样化的具身数据集。第三，模型规模与性能的权衡——4B模型在多人场景和精确操作上明显弱于8B，但8B模型推理延迟更高，未来可探索知识蒸馏或模型压缩技术。第四，实时性限制——虽然单次推理低于1秒，但端到端延迟受网络传输影响，且模型需要历史帧输入，在快速动态场景中可能响应不及时，建议引入增量推理或状态记忆机制。第五，安全性考量——论文未充分讨论安全约束，人形机器人在真实环境中操作需要更严格的安全机制，如碰撞预测、紧急停止等。
未来方向
基于论文成果，未来研究方向包括：第一，端到端系统集成——将EgoActor与下游技能（行走、操作）整合为统一框架，减少模块间依赖和延迟，这需要设计新的训练策略来协调不同抽象层次的动作。第二，多模态感知扩展——当前仅使用RGB图像，可引入深度信息、触觉反馈等多模态数据，提升空间理解和操作精度，尤其是在精细操作和避障场景中。第三，持续学习与适应——通过在线学习或元学习，使模型能够快速适应新环境和新任务，减少对大规模离线数据的依赖。第四，人机协作增强——扩展人机交互能力，支持更复杂的协作任务，如协同搬运、教学演示等，这需要更深入的社会认知和意图理解。第五，仿真到真实迁移——改进虚拟环境训练数据的质量和多样性，缩小仿真与真实世界的差距，实现更可靠的真实世界部署。第六，长期任务规划——引入层次化规划机制，支持更长周期的任务执行，避免局部最优决策。
复现评估
论文在可复现性方面表现良好：1）开源承诺——作者明确表示将开源代码、模型、数据集和评估协议，项目主页已建立（https://baai-agents.github.io/EgoActor/）；2）数据可用性——训练数据混合了公开数据集（EgoTaskQA、MindCube、GQA、VLN-CE等）和自采数据，自采数据部分（398个视频、15万样本）可能需要复现者自行采集；3）算力需求——训练使用16块A100 40GB GPU，4B和8B模型各训练1个epoch，对算力要求中等偏高，但低于大规模预训练；4）硬件依赖——真实世界实验需要Unitree G1人形机器人、Dex3-1手部、自定义2-DoF头部和RealSense D455摄像头，硬件门槛较高；5）评估基准——提供了详细的评估协议和场景描述，便于标准化比较；6）复现难度——中等，主要挑战在于硬件获取和数据采集，但模型架构和训练流程相对标准。
论文图表
展示了EgoActor在多人场景中基于属性区分目标人物的能力，包括服装、配饰、姿势、朝向、性别等分布外属性。
这个表格证明了模型的细粒度视觉理解能力，能够区分具有相似外观的多人。
比较了EgoActor在未见布局环境中对已见和未见物体的抓取和放置成功率，展示了模型的物体泛化能力。
这个表格提供了移动操作任务的定量评估，证明了模型对新物体的泛化能力。
比较了不同模型在已见和未见环境中进入和离开房间的成功率，EgoActor显著优于基线导航模型。
这个表格证明了EgoActor在狭窄空间导航中的优势，这是人形机器人的关键挑战。
展示了EgoActor在205个未见虚拟环境样本上的性能，包括不同距离阈下的成功率、自然语言动作F1分数和视图相似度。
这个表格提供了最全面的定量评估，包括导航精度和动作预测质量两个维度。
总结了EgoActor支持的所有技能类型，包括运动技能（移动、转身、侧移、站起、蹲下）和感知技能（头部转动），以及自然语言操作和交互技能。
这个表格清晰展示了模型的能力范围，帮助理解动作空间的设计。