LightNav-0：激发VLM空间智能的通用具身导航模型 LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation

完整流程五步。第一步观测编码：ego-RGB流按上述指数采样与自适应网格池化压缩，当前帧保留最细分辨率，历史分长/中/短三层分配token预算。第二步指向预测：模型在网格上输出$\langle\mathrm{aposi}\rangle$与$\langle\mathrm{oposi}\rangle$，构成潜在空间推理前缀。第三步轨迹解码：续写3个RVQ token，$\hat z_t=\sum_{\ell=0}^{L-1}e^{(\ell)}_{k_\ell}$ 重建 $z_t\in\mathbb{R}^{10\times3}$ 的10步SE(2)航点并积分。第四步执行：统一轨迹接口交给共享轨迹跟随器，转成各平台内置locomotion策略所需的里程计与速度指令——人形LIMX TRON 1、四足Unitree Go2、自研四旋翼、轮式LightBot-0共用同一高层策略。第五步训练与数据：相机随机化（FOV 90°–130°、高度0.5–1.5m、俯仰±15°）贯穿数据生成；INSIGHT-Bench用“采样视角→四朝向渲染→Molmo2指向→深度提升到3D→跨视角合并”自动标注；ER中期训练混36源，SFT配比指令跟随43.4%、VQA 12.2%、ObjectNav 22.0%、跟踪22.4%；GRPO按任务给终端奖励：跟踪=可见性/位置/持续性，指令跟随=对齐/到达/终止，搜索=发现/效率/进度。

新颖性集中在“接口”而非堆模块。对比离散命令式（NaVid），RVQ把动作精度从语言粒度提升到亚厘米——0.72cm，对比单级K=4096的VADv2式轨迹词表2.48cm降低约71%；对比双系统（DualVLN、InternVLA-N1），不需要第二个规划器和扩散专家，视觉编码器与语言模型同进程vLLM部署；对比扩散/流匹配/回归动作头（TrackVLA、π系列），动作完全留在语言模型内，每个token有精确log概率，GRPO的组相对更新原封不动可用，无需把去噪过程重构为MDP或另设critic，且一条轨迹仅3个token使信用分配视野短、rollout便宜；对比VADv2式单token规划词表，残差结构保证“非空前缀即可执行”，支持资源受限时只解码1-2级。指向作为潜在CoT也与文本CoT本质不同：定长、常数开销、与动作同在token空间、共享同一个交叉熵损失 $\mathcal{L}_{CE}=-\sum_{j\in M}\log p_\theta(y_j|x,y_{<j})$，从而保留了显式推理的可解释性却免去了自由文本解码的可变延迟。

弱点一：单通路决策在动态密集环境中既可能慢又欠安全——每步5 token自回归加压缩历史，对突发障碍的反应延迟没有量化，也没有显式避障模块；改进方向是作者自己提出的双系统：给RVQ L0级粗轨迹配一个免VLM的轻量反应策略，仅在停滞点唤回慢规划。弱点二：RVQ短视距（10步）依赖高频调用，长走廊和大空间会累积漂移并反复询问模型；可引入自适应chunk长度或“粗长+细短”双层轨迹。弱点三：评测闭环同源——benchmark构建、到达检查、模型指向监督共用同一网格token与Molmo2系工具，自建基准的优势可能部分来自表示亲和；应发布人工标注子集并交叉验证。弱点四：8B退化提示瓶颈在数据与配方而非参数，当前RL学习率仅1e-6、组大小G=8，探索信号弱；可按任务分组归一化优势、课程化提升难度、加大G与更大模型重试。弱点五：真实世界部署无定量指标与失败统计，工程可用性难以评估；建议发布带标准协议的真实场景评估套件。弱点六：跟踪泛化到非人类目标属于无监督的“运气”，应扩充动态目标类别或引入类别无关的目标一致性目标函数，把个例变成能力。

作者明确提出的两个方向：一是双系统架构，用轻量反应策略承担避障与频繁轨迹修正、慢速VLM规划器负责长视距推理；二是在互联网规模视频上加强预训练，扩展开放世界概念覆盖，见到比策划数据集中更稀有的场景、交互与运动模式。基于其成果可自然延伸的：其一，利用RVQ“非空前缀即可执行”的特性做自适应精度推理——用token熵或不确定性门控决定发射几级，把算力花在关键决策点；其二，把GRPO扩展为多任务混合奖励加跨具身并行rollout，检验RL信号是否是4B上限的真正约束；其三，在指向token之外增加深度/占据等3D一致的几何第三通道，针对性缓解Institution-Extremum这类需要全局多实例比较的失败模式（该格仅18.0%）；其四，把INSIGHT-Bench的“场景×指令”两轴诊断法推广为社区标准细粒度评测协议；其五，把无参数的规则式历史压缩替换为可学习记忆或检索机制，在不膨胀token预算的前提下拉长有效视野。

复现友好度较高但成本不小。开源：论文给出Project Page、GitHub与HuggingFace入口，INSIGHT-Bench（训练1,683场景/53,090 episodes，评测210场景/1,097 episodes，两套场景严格不相交）与模型权重的公开是最大资产；训练超参披露完整——ER中期训练lr 1e-5、batch 128、序列长10,240，SFT lr 1.5e-5、batch 320、序列长8,192，GRPO G=8、B=32、clip 0.2、KL 0.01、lr 1e-6，奖励超参如方位死区 $\alpha_0=0.14$ rad、距离带 $[1.5,3.0]$ m均有给出。算力：ER约170 H100·时、SFT约950 H100·时、RL为8×H100单节点，合计千级H100·时，中等规模实验室可承受；推理仅RTX 4090。难点：4K+小时、2K+场景语料依赖Habitat、HM3D/MP3D、自研Habitat-GS渲染器及Molmo2、Seed2.0等第三方模型的数据管道，许可证与工程门槛高；GRPO rollout基础设施细节多；36个ER源与16个导航源的采样权重需仔细对齐。总体判断：有工程团队的实验室约2-3个月可复现核心结果，单人复现全流程难度大。