VLingNav：基于自适应推理与视觉辅助语言记忆的具身导航 VLingNav: Embodied Navigation with Adaptive Reasoning and Visual-Assisted Linguistic Memory
融合自适应思维链与语言记忆的VLA导航模型，在多任务基准上达到SOTA并零样本迁移到真实机器人
前置知识
Vision-Language-Action (VLA) 模型
VLA模型是将视觉感知、语言理解和动作生成统一在一个架构中的端到端模型。它继承了大规模视觉-语言模型（VLM）的泛化能力，同时增加了动作输出头，可以直接从视觉观测和语言指令生成机器人动作。VLA模型的核心优势在于避免了传统模块化系统中各模块之间的信息损失和接口设计问题，实现了感知到动作的直通映射。本文基于的LLaVA-Video-7B就是一个典型的VLM骨干，VLingNav在此基础上增加了动作预测模块。
理解VLA模型是理解本文的基础——VLingNav本身就是一个增强版的VLA模型，加入了推理和记忆能力
Chain-of-Thought (CoT) 思维链推理
思维链推理是指模型在给出最终答案之前，先生成一系列中间推理步骤。这类似于人类在解决复杂问题时会先进行逐步分析。在具身导航场景中，CoT表现为模型在输出动作前先进行环境感知、任务分解、已访问区域判断等推理过程。传统CoT在每一步都执行推理（Dense CoT），但这会带来巨大的计算开销和推理延迟。本文的创新在于提出了自适应CoT，让模型自主决定何时需要推理。
本文的核心创新之一就是AdaCoT（自适应思维链），理解传统CoT的工作方式有助于理解自适应策略的必要性
双过程理论 (Dual-Process Theory)
这是认知科学中的经典理论，由Daniel Kahneman提出，将人类思维分为两个系统：系统1是快速、直觉、自动化的思维（如看到红灯就停车），不需要有意识的努力；系统2是慢速、深思熟虑、分析性的思维（如解数学题），需要集中注意力和认知资源。本文受此启发，将简单的导航场景对应为系统1（快速反应），复杂的决策点对应为系统2（深度推理），让模型像人类一样在两种模式间灵活切换。
这是本文AdaCoT机制的理论基础，理解这个理论有助于理解为什么模型需要在快速执行和慢速推理之间动态切换
模仿学习 (Imitation Learning / SFT) 与强化学习 (RL) 后训练
模仿学习（SFT）是通过监督学习的方式让模型模仿专家的行为轨迹，模型学习从观测到动作的映射。其优势是训练稳定，但受限于专家数据的质量和覆盖范围，存在协变量偏移（covariate shift）和因果混淆（causal confusion）问题。强化学习则通过与环境交互获取奖励信号来优化策略，能够让模型超越专家数据发现更优策略。本文采用先SFT再RL的两阶段训练范式，SFT建立基础能力，RL提升泛化和鲁棒性。
理解这两种训练范式是理解本文训练流程三阶段设计的关键
具身导航任务族 (ObjectNav / ImageNav / EVT)
具身导航包含多个子任务：ObjectNav（物体目标导航）要求机器人根据文本描述找到指定类别的物体；ImageNav（图像目标导航）要求机器人找到与给定图像相匹配的位置或物体实例；EVT（具身视觉跟踪）要求机器人在复杂场景中识别并持续跟踪特定的移动目标。这三个任务代表了具身导航的不同维度：静态搜索、视觉匹配和动态跟踪。本文的一个重要贡献是用单一模型同时处理这三个任务。
本文在这些任务上进行了全面评估，理解各任务的定义才能理解实验结果的意义
研究动机
当前VLA模型在具身导航中存在三个根本性缺陷。首先，大多数VLA模型是反应式系统，直接将观测映射为动作，缺乏显式推理能力。它们在固定的推理预算下运行，无法根据任务复杂度调整计算量——在面对歧义场景时（如十字路口选择方向、被遮挡物体的搜索）无法增加推理深度。其次，现有模型缺乏持久的语义记忆机制，仅依赖有限的上下文窗口。这导致智能体在长程导航中无法追踪进度，频繁出现重复探索、循环行为，以及对环境动态变化适应能力差的问题。第三，现有训练范式主要依赖SFT模仿学习，模型受限于专家数据的分布，存在协变量偏移问题，无法超越专家演示的表现。此外，已有的具身CoT方法（如OctoNav）需要手动配置推理频率，无法自适应；纯视觉记忆（如视频特征缓存）在反复压缩中逐渐丢失语义信息；地图格式的记忆与VLM骨干缺乏原生兼容性。
本文的目标是本文的目标是构建一个具备认知能力的VLA导航框架VLingNav，使其能够：（1）根据任务复杂度自适应地决定何时进行深度推理、何时快速反应，以最小的计算开销获得最大的决策质量提升；（2）通过跨模态语义记忆有效防止重复探索并推断运动趋势，提升长程导航效率；（3）通过大规模高质量数据集训练和在线强化学习后训练，使模型超越纯模仿学习的限制；（4）用单一模型权重在多种导航任务上达到SOTA，并实现到真实机器人的零样本迁移。
与已有工作不同的是，与已有工作相比，VLingNav的独特切入角度是以语言为核心的认知架构。现有方法从视觉特征、隐式潜变量或地图格式构建记忆，但这些表示与VLM骨干的语义空间存在对齐问题。本文认为，语言是与VLM预训练最自然对齐的表示形式，因此将记忆建模为语言摘要（linguistic summary），辅以视觉特征作为辅助信号。在推理方面，不同于OctoNav的固定频率CoT或Aux-Think的全员推理，本文借鉴认知科学的双过程理论，让模型自主学习何时需要推理——平均仅在2.1%的关键步骤触发深度思考。在训练方面，不同于GRPO等离散动作空间的RL方法，本文提出基于MLP的概率连续动作模型和专家引导的混合rollout策略，在保证推理速度的同时支持高精度连续控制。这些设计共同构成了一个语言驱动认知的完整框架。
核心方法
VLingNav的整体思路可以用一个直觉来理解：想象你在陌生环境中导航时，大多数时候你凭直觉走路（快系统），但遇到岔路口或迷路时你会停下来想一想（慢系统），同时你脑中会记住我刚走过这个房间这样的语言记忆来避免重复。VLingNav将这个认知过程形式化为三个核心组件：（1）AdaCoT机制，让模型动态决定每一步是否需要显式推理，输出think_on或think_off标记来切换快慢系统；（2）VLingMem模块，将关键视觉观测压缩为语言摘要（summary标签），形成持久的跨模态语义记忆；（3）基于MLP的动作模型，将VLM的高层表征解码为机器人运动轨迹。技术路线上，VLingNav基于LLaVA-Video-7B VLM骨干，通过三阶段训练（预训练-SFT-在线RL后训练）逐步赋予模型自适应视觉推理、多任务导航和闭环交互优化的能力。
VLingNav的核心创新在于两个互相协同的认知机制。第一个是自适应思维链（AdaCoT），它不是简单地在每一步都推理（这会导致巨大的延迟开销，如Dense CoT在ObjNav上SR从50.1%暴跌至25.3%），也不是完全不推理（SR降至36.2%），而是让模型自主学习何时需要思考。具体来说，模型首先预测一个CoT指示标记，如果输出think_on则生成详细推理内容（环境感知、任务分析、行动决策）和环境摘要；如果输出think_off则直接输出动作。实验表明，模型平均仅在2.1%的步骤触发推理，却达到了所有策略中的最佳性能。第二个是视觉辅助语言记忆（VLingMem），它将CoT生成的环境摘要以summary标签的形式持久化到上下文中，形成可累积的语言记忆。与纯视觉记忆相比，语言记忆更鲁棒（不易因特征压缩而衰减），且与VLM的语义空间天然对齐。这两个机制的协同效应体现在：当模型选择不推理时，语言记忆仍能提供历史上下文，确保决策连贯性。这本质上是将认知科学的双过程理论和情景记忆理论工程化到了VLA架构中。
方法步骤详情
VLingNav的完整工作流程可以分为在线推理和离线训练两个阶段来描述。在线推理过程（Algorithm 1）：在每个时间步t，系统接收机器人自我中心相机的观测图像o_t和指令I。首先对当前帧进行视觉编码（SigLIP-400M），得到特征向量V_t，并更新视觉缓存。然后执行动态FPS采样与网格池化策略——基于Ebbinghaus遗忘曲线公式 fs(i) = fs_max * exp(-delta_T * s) 对历史帧进行采样，距当前帧越远的帧采样率越低，同时通过网格池化 g(i) = floor(exp(-delta_T)) 控制特征维度。接着为每帧添加基于RoPE的时间戳指示标记以消除采样导致的时间不一致性。视觉特征通过两层MLP投影器映射到VLM的潜空间。将视觉标记、语言标记、时间标记和记忆标记拼接后输入VLM，模型首先预测CoT指示标记。若为think_on，则自回归生成推理内容（包含在think和think_end之间）和环境摘要（包含在summary和summary_end之间），摘要更新到语言记忆中。最后，将最后一个生成token的隐状态输入动作模型，预测未来轨迹，每个航点包含(x, y, theta)三个分量。离线训练阶段包含三步：（1）预训练阶段，在1.6M开放世界视频数据上训练1个epoch，赋予模型自适应视觉推理基础能力；（2）SFT阶段，混合2.9M导航数据和1.6M视频数据共同训练20K步，损失函数为轨迹MSE损失和文本CE损失的加权和；（3）在线RL后训练阶段，策略与模拟环境交互收集轨迹，通过混合rollout（专家引导+自主探索）和PPO风格策略梯度优化复合损失函数。
技术新颖性
VLingNav在技术上有四个层面的新颖性。第一，AdaCoT机制是首个在具身导航中实现自适应推理频率的方案。与OctoNav需要手动配置CoT频率、Aux-Think全员推理导致效率下降不同，AdaCoT通过数据驱动的方式让模型自主学习推理策略，平均CoT激活率仅2.1%却取得最佳性能，这在效率和性能之间找到了帕累托最优。第二，VLingMem是首个将VLA记忆建模为可累积语言摘要的方案。与MemoryVLA的单个隐式认知token、视频VLA的隐式视觉特征、地图VLA的空间表示都不同，语言记忆与VLM的语义预训练天然对齐，且支持自然的跨模态信息融合。第三，在动作模型设计上，VLingNav采用了基于MLP的概率连续动作头，通过预测高斯分布的均值和方差来参数化策略，既避免了离散token化的精度损失，又避免了扩散/流匹配模型的迭代去噪开销，在推理速度和控制精度之间取得了平衡。第四，在训练范式上，引入了专家引导的在线RL后训练，通过混合rollout策略（自主探索+专家纠错）和混合损失（RL+SFT），使模型能够超越纯模仿学习的限制，发现更优的导航策略。
实验结果
VLingNav在多个标准具身导航基准上全面达到SOTA。在物体目标导航（ObjectNav）任务中，VLingNav在HM3Dv1基准上取得79.1% SR和42.9% SPL，相比此前最佳视频VLA模型Uni-NaVid（73.7%/37.1%）提升了+5.4 SR和+3.9 SPL；在HM3Dv2上达到83.0% SR，超过FiLM-Nav的77.0%；在MP3D长程探索基准上达到58.9% SR（CogNav为46.6%，提升26.4%）和26.5% SPL（CogNav为16.1%，提升32.8%），展示了其在复杂长程导航中的强大探索和记忆能力。在开放词汇物体导航（HM3D OVON）基准上，VLingNav在三个测试分割上均取得最佳：val seen 59.3% SR（超过Nav-R1的58.4%），val seen synonym 56.8% SR（超过Nav-R1的48.1%，+18.1%），val unseen 50.1% SR（超过NavFoM的43.6%，+15.1%），验证了强大的跨域泛化能力。在具身视觉跟踪（EVT-Bench）任务中，单目标跟踪达到88.4% SR和81.2% TR，干扰跟踪达到67.6% SR和73.5% TR（TrackVLA++分别为66.5%/68.8%），且仅使用单目相机就超过了使用多视角输入的NavFoM。在图像目标导航（HM3D Instance ImageNav）上达到60.8% SR和37.4% SPL，SPL相比UniGoal（23.7%）提升57.8%，说明导航路径效率大幅提升。消融实验进一步验证了各组件的有效性：AdaCoT相比无CoT提升了38.4%的ObjNav SR（50.1% vs 36.2%），Dense CoT反而降至25.3%；VLingMem相比无记忆提升了226.6%（50.1% vs 15.4%）；开放世界视频共训练提升了16.2%（50.1% vs 43.1%）；在线RL后训练在所有基准上均显著超越纯SFT。真实世界实验使用Unitree Go2四足机器人在家庭、办公和室外三种场景中进行了零样本迁移测试，VLingNav在所有任务和场景上均显著优于对比方法，推理延迟控制在300ms以内（含通信约100ms，有效推理速度约2.5 FPS）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HM3Dv1 ObjectNav | SR (成功率) | 79.1% | Uni-NaVid 73.7% | +5.4 (相对+7.3%) |
| HM3Dv1 ObjectNav | SPL (成功路径长度) | 42.9% | Uni-NaVid 37.1% | +5.8 (相对+15.6%) |
| HM3Dv2 ObjectNav | SR | 83.0% | FiLM-Nav 77.0% | +6.0 (相对+7.8%) |
| MP3D ObjectNav | SR | 58.9% | CogNav 46.6% | +12.3 (相对+26.4%) |
| HM3D OVON (val unseen) | SR | 50.1% | NavFoM 43.6% | +6.5 (相对+15.1%) |
| EVT-Bench (Distracted Tracking) | SR | 67.6% | TrackVLA++ 66.5% | +1.1 (相对+1.7%) |
| EVT-Bench (Distracted Tracking) | TR (跟踪率) | 73.5% | TrackVLA++ 68.8% | +4.7 (相对+6.8%) |
| HM3D Instance ImageNav | SPL | 37.4% | UniGoal 23.7% | +13.7 (相对+57.8%) |
局限与改进
尽管VLingNav取得了显著成果，仍存在以下局限性。作者在论文中明确承认了三点：（1）当前模型主要依赖单目自我中心观测，有限的视野（FOV）约束了感知能力，后续计划探索多视角观测融合；（2）模型采用单系统架构，预测频率受限，无法在高度动态环境中实现快速决策和障碍物处理，计划升级为支持高频动作输出的双系统架构；（3）当前仅使用MPC航点控制器，缺乏更灵活的运动模型（locomotion model），限制了移动速度和可达区域。此外，从实验结果中也能观察到若干值得关注的问题：SPL指标的提升幅度通常远小于SR的提升幅度，表明虽然成功率提高了，但路径效率的改善仍有空间；在MP3D基准上，FiLM-Nav的SPL（41.3%）仍高于VLingNav（40.5%），因为FiLM-Nav利用最短路径规划器到达前沿点；在线RL后训练需要10轮迭代，每轮128个episode的模拟交互，计算开销较大；训练需要128张A100 GPU，资源门槛较高；从SFT到RL后训练的增益虽然显著但并非在所有指标上一致（如EVT-Bench的CR从1.23升至2.07）；真实世界实验中包含约100ms的通信延迟，在网络不稳定场景下可能增加。
独立分析的弱点
从独立分析的角度看，VLingNav存在以下几个值得关注的弱点。第一，语言记忆的容量瓶颈：虽然语言摘要比视觉特征更紧凑，但在极长程导航（数百步以上）中，累积的summary内容仍可能超出VLM的上下文窗口限制。论文未详细讨论记忆截断或选择性遗忘策略。改进方向可以引入记忆管理机制，如基于时间衰减的记忆淘汰、或基于相关性的记忆检索（RAG风格），而非简单地将所有历史摘要拼接在上下文中。第二，动作模型设计相对简单：当前仅使用两层MLP作为动作头，可能在复杂的连续控制场景中表达能力不足。与扩散策略（如TrackVLA的anchor-based diffusion policy）相比，MLP头可能在多模态动作分布上表现受限。改进方向可以探索混合动作模型，如在需要精细操作时切换到更复杂的生成式策略。第三，专家引导的RL后训练效率问题：每轮迭代需要128个episode的模拟交互，且需要最短路径规划器作为专家，这在更复杂的环境中（如室外非结构化地形）可能难以提供。改进方向可以探索无需在线专家的纯结果奖励RL，或引入课程学习逐步增加环境复杂度。第四，多任务协同的潜在干扰：虽然实验显示多任务训练带来增益，但在任务差异更大时（如加入导航以外的操作任务），不同任务的动作空间和奖励信号可能产生冲突。改进方向可以探索任务特定的适配器（adapter）或路由机制。第五，真实世界评估的规模有限：论文的真实世界实验虽然覆盖了三种场景，但每个目标仅10次重复试验，统计显著性有待更严格的验证。
未来方向
基于VLingNav的成果，未来研究可以沿以下几个方向展开。作者提出的三个方向——多视角观测融合、双系统高频架构、灵活运动模型——都是直接且必要的改进。此外，基于本文的认知架构可以进一步延伸：（1）将AdaCoT的自适应推理机制扩展到更具挑战性的任务，如多智能体协作导航或人机协作场景，让推理深度不仅取决于环境复杂度，还取决于交互对象的行为；（2）探索语言记忆的层次化组织，从低级的空间描述到高级的语义地图，支持更复杂的空间推理（如我应该去厨房，因为冰箱在那里）；（3）将在线RL后训练与更大的VLM骨干（如72B参数模型）结合，验证认知架构在更强基座模型上的缩放效应；（4）探索从仿真到真实世界的域适应策略，而非仅依赖零样本迁移，通过少量真实世界数据微调进一步提升性能；（5）将VLingMem的语言记忆机制与大语言模型的长期记忆研究（如MemoryBank、Generative Agents中的记忆模块）相结合，构建更完善的具身智能体记忆系统。
复现评估
从复现评估角度看，VLingNav的复现存在以下情况。开源方面，论文提供了项目主页（https://wsakobe.github.io/VLingNav-web/），但未在论文中明确说明代码和模型权重是否开源。数据方面，训练使用的Nav-AdaCoT-2.9M是论文自建数据集，包含2.9M样本和472K CoT标注，尚不清楚是否会公开发布；开放世界视频数据部分使用了公开数据集（LLaVA-Video-178K、Video-R1、ScanQA），这部分可以获取。算力需求方面，训练在128张NVIDIA A100 GPU上进行，这是一个非常高的资源门槛，普通研究团队难以复现完整的三阶段训练流程。不过，在线RL后训练阶段每次迭代仅需128个episode，如果只复现SFT+RL的后两阶段，资源需求可适当降低。推理方面，真实世界部署仅需单张RTX 4090，推理延迟300ms以内，这是可以接受的。复现难度整体评估为中高：主要难点在于（1）大规模CoT标注数据的生成需要Qwen2.5-VL-72B等大型VLM；（2）128 A100的训练资源；（3）Habitat模拟器中的在线RL交互环境配置。如果只复现核心架构（AdaCoT + VLingMem + MLP动作头）并在较小规模数据上验证，难度可降至中等。
论文图表
