SuperNav：面向任意任务任意场景的智能体导航系统 SuperNav: An Agentic Navigation System for Any Task in Any Scene

完整流程分五步。第一步初始化：hab_init_scene 打开会话并返回四视角 RGB（640×480、90° 水平视场、相机高 1.25m），模型从中解释目标与完成条件。第二步循环决策：每步模型基于当前上下文与目标记录选择观察、转向、导航、更新进度或读取 Skill；文本历史保留检查过的区域、候选线索和失败尝试。第三步视觉点导航：模型在带方向标签的图上选点；Geo 后端用深度与相机内外参把像素反投影成三维位置，在 navmesh 上吸附可行点（0.7m 站立距离、0.75m 吸附上限、0.3m 到达半径、200 步 follower 上限），由 PathFinder 规划、GreedyGeodesicFollower 执行；Learned 后端在参考图上画红圈标记目标，用 DINOv2 编码参考图、当前帧与最多 12 帧年龄感知历史，流匹配头预测 $8\times 2$ 个位移增量（0.25m 刻度），每次执行前 3 个增量后重观测重规划，停止概率 $p_t\ge 0.1$ 连续两次确认才结束本次移动。第四步反馈回填：工具返回新四视角图、执行状态与诊断信息供模型复检。第五步进度与终止：进度工具查询/更新待办与已找到目标；模型判定达成或受阻后调用终止工具关闭会话，评测在会话外独立计分。全程上下文管理会把已被新观测取代的图像媒体负载剪掉，只留路径与文本。

技术新颖性体现在四点。其一，跨域方法论迁移：首次把 SWE-agent 式“接口设计决定 agent 表现”的结论系统搬进具身导航，用 Codex CLI 加 MCP 搭建导航运行时。其二，视觉点统一接口：一个 $\text{PointNav}(d,[u,v])$ 契约同时兼容依赖深度与 navmesh 的几何后端和纯 RGB 的学习后端，实验证明换后端不换决策流程仍能保住相近成功率（OVON 1m 阈值下 Geo 73.33% 对 Learned 70.83%）。其三，Skills 的弱约束设计：以文本指导影响决策而非强制执行，既注入搜索/恢复/完成的领域经验，又不损害模型通用能力；对比实验中，用外部 grounding 模型（LocateAnything）替代模型直接指点的 Grounding Motion Tool 变体成功率反而从 73.33% 降到 62.50%，说明保留模型自身的直接视觉指点是更优接口。其四，媒体剪枝式上下文管理：只删图像负载、保留文本与图像路径，兼顾长时程记忆与上下文窗口限制。

独立分析几个弱点。第一，延迟与成本：每步都要前沿 MLLM 推理，单任务预算高达 3600 秒，几乎无法跑在实时服务机器人上；改进方向是把高频决策蒸馏进小模型、缓存重复决策，或让 Learned Executor 承担更长的动作段以减少调用次数。第二，特权信息依赖：Geo 后端在仿真用真值深度与 navmesh，真机也需要 LiDAR、标定与里程计，且无回环检测，长时程漂移会让图像点与地图错位；改进方向是在线增量建图加鲁棒定位，或给学习后端加入深度输入以缩小 SPL 差距（单物体上 0.2059 对 0.4127）。第三，语义完成的不可靠性：“成功关闭会话”只是模型的口头报告，错误确认会导致提前 STOP；改进方向是引入几何一致性校验或轻量独立验证器。第四，Skills 人工维护：四个 Markdown 包针对室内导航手写，换到户外、工业场景或新传感器构型需重新设计；改进方向是从失败轨迹自动总结与修订 Skill，形成技能库自我扩展。第五，评测可组合性差：各基准阈值、STOP 要求、动作预算不一，社区横向比较困难；改进方向是发布统一协议的标准化 harness 评测套件。

作者提出的方向：把评测扩展到更多真实世界场景，提高长导航序列上的可靠性。基于成果可延伸的方向包括：其一，技能层自动化——让 agent 从成功与失败轨迹中自动撰写、修订、归档 Navigation Skills，形成跨任务复用的技能库，减少人工提示工程；其二，后端融合——利用统一接口在 Geo 与 Learned 后端间动态切换（有几何信息时用 Geo 保效率，无几何时退回 Learned），或在 Learned Executor 训练中加入深度与更广的场景数据；其三，把“视觉点接口+Skills+上下文管理”的 harness 模式推广到操纵、开门等交互任务，检验任务泛化论断的边界；其四，上下文管理升级——用空间记忆或场景图替代纯文本历史，支撑上百步任务；其五，用世界模型或重访验证替代“模型口头确认”，让完成判定更客观；其六，多机器人协作下共享 Skills 与目标进度记录。

复现评估：论文给出项目页（zju3dv.github.io/SuperNav），正文与附录对 harness 实现描述非常详尽——Codex CLI 加 MCP 的工具清单、Skill 快照与哈希校验、超时配置（会话 3600s、MCP 启动 180s、单工具调用 300s）、Geo 后端全部默认参数、Learned Executor 完整训练配方（DINOv2 ViT-S/14 骨干、45k 次更新、batch 256、AdamW 学习率 $10^{-4}/10^{-5}$、bfloat16 混合精度、EMA 0.999）全部写出。数据方面：自建 InteriorGS 基准依赖 VLM 辅助标注并经人工复核，是否随代码发布未明说；Demand-Bench、HM3D、HM3D-OVON 均公开。主要门槛有二：决策模型是闭源的 GPT-5.6 Terra (high) 与 GPT-6 Astra (medium)，API 费用不菲，且结果随模型版本漂移（Table 3 显示 Astra medium 比 Terra high 高约 3–6 个百分点）；真机复现需要 Unitree Go2 加四相机与 LiDAR 的硬件集成。综合判断：仿真复现属中等难度（Habitat 生态成熟，但 Skill 与提示工程需细致调试），含真机的完整复现偏难，最大不确定性在闭源模型依赖。