ABot-N0：面向通用具身导航的视觉-语言-动作基础模型技术报告

统一五大导航任务的VLA基础模型，1690万轨迹+7802场景，7项基准SOTA

前置知识

Vision-Language-Action (VLA) 模型

VLA模型是一种将视觉感知、语言理解和动作生成统一在单一架构中的多模态模型。与传统的视觉-语言模型（VLM）只做理解不同，VLA模型需要在给定视觉观测和语言指令的条件下，直接输出可执行的机器人动作（如航点坐标或速度命令）。这种端到端的设计避免了模块化系统中信息逐级损失的问题，使感知与控制共享同一表征空间。VLA模型通常基于预训练大语言模型（LLM）作为骨干，通过在机器人数据上微调来获得动作生成能力。

本文的核心就是提出一个统一五大导航任务的VLA基础模型，理解VLA范式是理解全文架构设计（Brain-Action分离、Flow Matching动作头）的前提。

Flow Matching

Flow Matching是一种生成模型方法，它学习从简单噪声分布到目标数据分布的连续变换路径（即流）。与扩散模型（Diffusion Models）类似，Flow Matching也能建模复杂的多模态分布，但其训练目标更简洁——直接回归速度场（velocity field），而非去噪。具体来说，给定噪声样本 $z_0$ 和目标样本 $z_1$，Flow Matching学习一个速度场 $v_t$ 使得沿时间 $t$ 从 $z_0$ 到 $z_1$ 的路径是平滑的。推理时，从噪声出发沿学到的流积分即可生成样本。它天然支持连续值输出和多模态分布建模。

本文选择Flow Matching而非确定性回归来生成轨迹航点，是因为导航中同一场景可能有多种合理行为（如绕障碍物从左侧或右侧），确定性回归会平均这些模式导致无效路径，而Flow Matching能建模这种多模态分布。

具身导航（Embodied Navigation）

具身导航是指智能体（机器人）在物理或仿真3D环境中，基于自身传感器观测（如RGB图像、深度图）自主移动到目标位置的任务族。常见的子任务包括：点目标导航（Point-Goal，到达指定坐标）、物体目标导航（Object-Goal，找到某类物体）、指令跟随导航（Instruction-Following，按自然语言指令行走）、POI导航（到达特定兴趣点入口）和人员跟随（Person-Following，跟踪动态目标）。传统方法为每个子任务设计专门的模型和数据集，导致研究碎片化。

本文的核心贡献就是打破这种碎片化范式，用一个统一模型同时解决五大导航任务。理解这些任务的定义和差异是评估统一模型效果的基础。

SAFE-GRPO（Socially-Aware Flow Exploration GRPO）

SAFE-GRPO是本文采用的一种基于强化学习的后训练对齐方法，专门用于使导航策略遵守社会规范。它基于GRPO（Group Relative Policy Optimization）框架，但在Flow Matching生成的轨迹空间中进行探索。其核心是定义一个复合奖励函数 $R = w_{soc}R_{social} + w_{exp}R_{expert} + w_{sm}R_{smooth} + w_{eff}R_{eff}$，其中社会合规奖励 $R_{social}$ 利用环境提供的语义占用图来惩罚智能体进入非社交可通行区域（如草坪、车道），从而迫使策略内在化社会规范。

这是本文实现社会感知导航的关键技术。模仿学习只能学到专家行为的表面统计，但无法理解'为什么不能走草坪'的因果逻辑。SAFE-GRPO通过强化学习中的奖励信号来弥补这一缺陷。

3D高斯溅射（3D Gaussian Splatting, 3DGS）

3DGS是一种基于显式三维高斯基元的场景重建和渲染方法。与NeRF等隐式方法不同，3DGS用一组各向异性三维高斯椭球来表示场景，每个高斯有位置、协方差（形状）、颜色和不透明度等属性。渲染时通过可微分的溅射（splatting）操作将这些高斯投影到图像平面上。3DGS的优势在于渲染速度极快（实时）、支持高质量新视角合成，且可直接用于导航场景的闭环保真仿真。

本文的数据引擎大量使用3DGS技术来重建高保真3D场景（如购物中心、办公楼、交通站点），这些场景是生成大规模训练轨迹的基础。3DGS的渲染质量直接影响训练数据的真实性。

研究动机

当前具身导航研究严重碎片化。现有方法通常为每个导航子任务（点目标、物体目标、指令跟随等）设计专门的模型架构和数据集，导致跨任务泛化能力极差。具体来说，一个在Point-Goal上表现优异的模型（如CityWalker在CityWalker基准上MAOE为15.2）完全无法处理Instruction-Following任务；而专门为VLN设计的模型（如ETPNav在R2R-CE上SR为57%）在物体导航上又大幅落后。更深层的问题是，这种碎片化使得不同任务的数据无法被统一模型共享学习，无法从大规模异构数据中提取统一的物理先验。此外，现有模型大多缺乏社会合规意识——在SocNav基准上，CityWalker的社会合规距离率（DCR）仅为36.1%，意味着智能体有超过60%的时间在社交不可接受的区域（如草坪、车道）行走。这些限制严重阻碍了具身导航从实验室走向真实世界的部署。

本文的目标是本文的直接目标是构建一个统一的VLA基础模型ABot-N0，用单一架构和统一的动作表示同时解决五大核心导航任务（Point-Goal、Object-Goal、Instruction-Following、POI-Goal、Person-Following），并在所有任务上达到或超越任务专用模型的SOTA性能。具体可量化目标包括：在7个权威基准上建立新SOTA；构建大规模数据引擎（目标百万级轨迹）支持模型训练；实现真实世界部署验证（在四足机器人上实现2Hz VLA推理和10Hz闭环控制）。

与已有工作不同的是，本文的独特切入角度是'大一统'哲学——不是简单地将多个任务的数据混合训练，而是从架构设计、数据构建、训练策略三个层面系统性地实现统一。在架构层面，采用'Brain-Action'分层设计，将高层认知推理（基于LLM的Cognitive Brain）与低层运动控制（基于Flow Matching的Action Expert）解耦但统一在一个前向传播中；在数据层面，构建了包含7802个高保真3D场景、1690万轨迹和500万推理样本的统一数据引擎，覆盖室内外多种环境类型；在训练层面，采用三阶段课程学习（认知预热→统一感觉运动SFT→SAFE-GRPO对齐），确保模型先建立世界理解再学习动作。这种系统性统一的方法论是此前工作所缺乏的。

核心方法

ABot-N0的整体设计可以用'大脑+执行器'的类比来理解：Cognitive Brain就像人类大脑的前额叶皮层，负责理解场景语义、推理空间关系、解析导航意图；Action Expert就像小脑和脊髓，负责将抽象的运动意图转化为精确的连续轨迹。两者通过统一的多模态编码器连接，形成一个层次化的感知-推理-行动管道。技术路线是：(1) 用Universal Multi-Modal Encoder将异构输入（RGB观测、视觉历史、导航目标）统一编码为token序列；(2) 将这些token输入基于Qwen3-4B的Cognitive Brain，通过双模式头（Reasoning Head用于语义理解、Action Head用于运动规划）进行推理；(3) Brain的输出条件化Action Expert，后者通过Flow Matching生成5步航点轨迹 $W = \{(x_1, y_1, \theta_1), ..., (x_5, y_5, \theta_5)\}$。这种设计的关键在于Brain和Action Expert不是严格的串行关系，而是基于任务token的'If-Else'分支——推理任务激活Reasoning Head，导航任务激活Action Head。

本文的核心创新是分层'Brain-Action'架构与Flow Matching轨迹生成的结合。与此前的端到端导航模型（如Uni-NaVid、NaVILA）直接从视觉到动作不同，ABot-N0引入了一个基于LLM的Cognitive Brain作为中间推理层。这个Brain不是简单的特征提取器，而是被显式训练来执行多种认知任务（可通行区域分析、社会导航推理、物体目标推理等），从而在内部建立对物理世界的丰富语义表征。然后，这些表征被用来条件化Action Expert生成精确轨迹。这种设计的本质区别在于：传统端到端模型学到的是'看到什么就做什么'的反应式策略，而ABot-N0学到的是'理解场景→推理决策→精确执行'的认知式策略。Flow Matching的选择也至关重要——它解决了确定性回归在多模态行为分布上的'模式平均'问题（如障碍物左右两侧都是合理路径，回归会输出中间的无效路径），同时提供连续精度输出，满足机器人控制的需求。

方法步骤详情

ABot-N0的推理流程分为以下步骤：(1) 多模态编码：当前RGB观测通过ViT编码（支持全景模式——左/前/右三视角分别编码，通过视角特殊token区分；或前视模式）；视觉历史帧被编码并追加到上下文窗口处理POMDP问题；导航目标根据类型编码——语义目标（指令、物体类别、POI名称、人员描述）通过LLM的文本tokenizer嵌入，几何目标（坐标x,y）通过MLP投影到共享嵌入维度。(2) Cognitive Brain处理：编码后的token序列输入Qwen3-4B LLM骨干，根据任务token激活不同分支——Reasoning Head执行显式推理（场景可通行性分析、社会规范判断等），Action Head为运动规划提供条件化上下文。(3) Action Expert生成轨迹：Brain的输出作为条件输入Flow Matching Action Expert，后者从噪声分布出发，沿学到的速度场积分，生成5步航点序列，每步包含2D坐标和偏航角（$x_i, y_i, \theta_i$）。(4) 训练采用三阶段课程学习：Phase 1（认知预热）冻结Vision Encoder和tokenizer，仅用推理数据微调LLM骨干；Phase 2（统一感觉运动SFT）引入轨迹数据，联合优化Reasoning Head和Action Expert，推理数据以约20%比例混入防止灾难性遗忘；Phase 3（SAFE-GRPO后训练对齐）冻结Brain，仅微调Action Expert，用强化学习强制社会合规。

技术新颖性

ABot-N0的技术新颖性体现在多个层面。首先，它是第一个在单一架构内统一五大核心导航任务的VLA基础模型，此前的工作要么专注于单一任务（如ETPNav只做VLN），要么只统一2-3个任务。其次，'Brain-Action'分层设计与任务条件化分支（If-Else关系）是独特的架构创新——它避免了串行CoT方法的延迟开销，同时保留了LLM的推理能力。第三，数据引擎的规模和多样性前所未有：7802个3D场景（10.7km²）、1690万轨迹、500万推理样本，覆盖从住宅到商场、从街道到公园的全场景。特别是从互联网视频提取伪轨迹的管道（利用$\pi_3$做稠密3D重建、MoGe做度量对齐），巧妙地将被动观测数据转化为导航知识。第四，SAFE-GRPO在Flow Matching空间中进行强化学习探索来实现社会合规对齐，这在技术路线上是新颖的——此前的RL方法大多在离散动作空间工作。最后，Agentic Navigation System的'粗到细'任务分解策略（Point-Goal做远距离接近→Object/POI-Goal做精确定位→Interaction做交互）以及Self-Reflector闭环机制，为实际部署提供了完整方案。

**Figure 20**: Self-Reflector机制与自适应重规划可视化

实验结果

ABot-N0在所有7个基准上均达到SOTA，且大幅超越此前的专用模型。在点目标导航方面：开环CityWalker基准上MAOE为11.2，比CityWalker（15.2）降低26.3%；闭环SocNav基准上成功率为88.3%，几乎是CityWalker（47.8%）的两倍，社会合规距离率（DCR）从36.1%跃升至85.1%——这意味着模型不仅更会导航，而且真正学会了遵守社会规范。在指令跟随方面：R2R-CE Val-Unseen上SR为66.4%、SPL为63.9%，分别比此前最佳NavFoM（61.7%/55.3%）高出4.7%/8.6%；RxR-CE上SR达69.3%、SPL达60.0%，同样显著领先。在物体目标导航方面：HM3D-OVON Val-Unseen上SR为54.0%、SPL为30.5%，比MTU3D（40.8%/12.1%）分别高出13.2%/18.4%，且泛化差距极小——从Val-Seen（55.3%）到Val-Unseen（54.0%）仅下降1.3%，而MTU3D下降了14.2%。在POI目标导航方面：BridgeNav 0.1m阈值下SR为32.14%，比OmniNav（18.78%）提升70.1%，平均轨迹偏差降低30.5%。在人员跟随方面：EVT-Bench歧义跟踪（AT）任务上SR从51.2%（TrackVLA++）提升到67.3%，提升16.1个百分点。这些结果表明，统一模型不仅没有在多任务间产生负迁移，反而通过跨任务知识共享实现了全面超越。

查看结构化数据

任务	指标	本文	基线	提升
Point-Goal（开环，CityWalker基准）	MAOE（平均值）	11.2	15.2（CityWalker）	降低26.3%
Point-Goal（闭环，SocNav基准）	SR（成功率）	88.3%	47.8%（CityWalker）	提升40.5个百分点
Point-Goal（闭环，SocNav基准）	DCR（社会合规距离率）	85.1%	36.1%（CityWalker）	提升49.0个百分点
Instruction-Following（R2R-CE Val-Unseen）	SR（成功率）	66.4%	61.7%（NavFoM）	提升4.7个百分点
Instruction-Following（RxR-CE Val-Unseen）	SR（成功率）	69.3%	64.4%（NavFoM）	提升4.9个百分点
Object-Goal（HM3D-OVON Val-Unseen）	SR（成功率）	54.0%	45.2%（NavFoM）	提升8.8个百分点
POI-Goal（BridgeNav 0.1m阈值）	SR（成功率）	32.14%	18.78%（OmniNav）	提升70.1%
Person-Following（EVT-Bench AT任务）	SR（成功率）	67.3%	51.2%（TrackVLA++）	提升16.1个百分点

局限与改进

尽管ABot-N0取得了全面SOTA，但仍存在以下局限。首先，模型的推理速度受限——边缘端部署时（Jetson Orin NX）VLA推理仅2Hz，虽然通过Neural Controller补充到10Hz闭环控制，但对于需要快速反应的紧急场景（如突然出现的行人）仍然偏慢。论文提到边缘部署时性能有约3%的下降，说明轻量化压缩（token merging size=4）引入了一定的精度损失。其次，POI-Goal任务在最严格阈值（0.1m）下SR仅为32.14%，虽然已是SOTA但绝对值仍然不高，说明'最后几米'的精确导航仍然是开放难题。第三，Person-Following任务中碰撞率（CR）指标表现不一——在AT任务中CR为7.05%，虽然优于多数基线但仍非零，实际部署中碰撞风险需关注。第四，数据引擎虽然规模庞大（1690万轨迹），但互联网视频伪轨迹（200万）的质量依赖于$\pi_3$和MoGe的3D重建精度，存在噪声累积风险。第五，论文未报告模型参数量级的详细对比——虽然骨干为Qwen3-4B，但加上Vision Encoder和Action Expert后的总参数量和计算成本未明确给出，难以评估在更受限硬件上的可行性。第六，所有仿真实验在特定基准上进行，但真实世界场景（Fig. 13-21）的定量评估缺乏，仅有定性可视化。

独立分析的弱点

第一，架构效率问题：当前模型以Qwen3-4B为骨干，即使经过token merging压缩，边缘端仍只能达到2Hz推理。对于需要高频决策的场景（如密集人群中的实时避障），这个频率远远不够。改进方向：可以探索知识蒸馏将4B模型压缩到1B级别，或设计更激进的视觉token压缩策略（如自适应token选择而非固定merge），同时研究异步推理架构——让Brain以低频运行而Action Expert以高频运行。第二，数据质量可控性：互联网视频伪轨迹依赖多步3D重建管道，每步都引入误差。改进方向：可以设计数据质量评估模块，对伪轨迹进行置信度打分，在训练时加权采样；或者引入对抗训练让模型学会识别和忽略低质量样本。第三，社会合规的泛化性：SAFE-GRPO仅在SocCity虚拟城市中训练，但社会规范在不同文化、地区差异很大（如不同国家的人行道规则）。改进方向：可以在多个不同文化背景的仿真环境中进行RL训练，或引入在线学习机制让部署后的智能体根据真实环境反馈持续调整。第四，缺乏真实世界定量评估：论文展示的实景部署都是定性可视化，没有系统的定量指标（如真实场景成功率、平均任务完成时间）。改进方向：设计标准化的真实世界评估协议，包括不同光照、天气、人流密度条件下的系统测试。

未来方向

作者在结论中暗示了几个方向但未展开。基于本文成果，可以延伸出以下研究方向：(1) 多智能体协作导航——当前ABot-N0是单智能体模型，但真实场景中多个机器人需要协调行动避免冲突，可以将SocialNav的社会感知能力扩展到机器人间交互；(2) 动态环境适应——当前训练数据以静态场景为主，虽然SocCity有动态车辆和行人，但对突发事件（如施工、活动）的适应能力未充分验证，可以结合在线地图更新和few-shot适应技术；(3) 导航与操作（Navigation + Manipulation）统一——当前模型到'到达目标旁边'就结束，但实际任务（如'帮我拿那杯咖啡'）需要将导航与机械臂操作统一；(4) 更大规模的VLA预训练——本文已在1690万轨迹上训练，但与LLM领域的scaling law相比，数据规模仍有限，可以探索在互联网规模的视频数据上进行自监督预训练再微调的范式；(5) 安全关键场景的形式化验证——当前的安全保障主要靠奖励函数，但无法提供硬保证，在医疗、护理等高风险场景需要更严格的安全验证机制。

复现评估

论文的复现评估如下：代码和模型权重方面，论文提供了项目主页（https://amap-cvlab.github.io/ABot-Navigation/ABot-N0/）但未明确说明是否开源代码和权重，这对复现是关键瓶颈。数据方面，ABot-N0数据引擎规模巨大（1690万轨迹、7802场景），其中大部分场景是阿里高德AMAP CV Lab的专有3DGS扫描数据，外部研究者无法直接获取。可公开获取的组件包括：VLN-CE R2R/RxR数据集（公开基准）、HM3D-OVON数据集（公开）、EVT-Bench（公开）、InteriorGS（部分公开）。但核心的大规模轨迹数据和推理数据的构建管道细节（如互联网视频来源、3DGS重建参数）在论文中未完整披露。算力方面，训练Qwen3-4B骨干加上Flow Matching Action Expert需要大量GPU资源，仅推理就需要NVIDIA Jetson Orin NX（边缘端）或RTX 4090（云端规划器），完整训练可能需要数十到上百张A100级别GPU。总体而言，完整复现本文结果的难度较高，主要障碍是专有数据和大规模算力需求；但核心架构设计（Brain-Action分层、Flow Matching动作头）在概念上是清晰的，研究者可以在较小规模上验证架构思想的有效性。

ABot-N0：面向通用具身导航的视觉-语言-动作基础模型技术报告 ABot-N0: Technical Report on the VLA Foundation Model for Versatile Embodied Navigation