ScaleNav：面向语言条件局部导航的可扩展互联网视频预训练 ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation
用互联网第一人称视频学导航先验，三阶段训练转化为可执行动作块
前置知识
世界-动作模型（World-Action Model, WAM）
一类用单一生成模型同时预测环境未来观测（视频）和智能体动作的架构。视频与动作 token 拼接后送入同一骨干网络联合去噪，两个模态共享大部分参数，因此动作预测可以直接继承视频预训练学到的时空表征。代表工作如 DreamZero，本文沿用该思路。
ScaleNav 的核心就是一个 WAM：理解视频与动作如何共享同一个 DiT 骨干，才能理解互联网视频先验为什么能迁移到动作生成上。
流匹配（Flow Matching）
一种生成式训练目标：构造从数据 $z_0$ 到高斯噪声 $\epsilon$ 的线性插值路径 $z_t=(1-t)z_0+t\epsilon$，训练网络预测路径上的速度场 $v=\epsilon-z_0$，推理时用常微分方程数值积分从噪声还原数据。比扩散模型更稳定、采样步更少。
论文的视频损失 $\mathcal{L}_{video}$ 和动作损失 $\mathcal{L}_{action}$ 都是流匹配目标，联合损失的平衡权重 $\lambda$ 也由两者计算得出，这套公式贯穿全文方法与训练细节。
动作块与闭环执行（Action Chunking）
策略一次预测未来 $T$ 步动作序列（动作块）而非单步动作，机器人依次执行块内动作，再用更新后的观测预测下一块。这种方式兼顾推理效率（一次前向覆盖多步控制）和闭环纠错（定期根据新观测重规划），是 ACT、扩散策略等现代机器人策略的标准做法。本文 $T=9$，以 4Hz 执行。
ScaleNav 的部署循环（预测→连续执行 9 个动作→再预测）以及到达后停止的判据，全部建立在动作块机制之上。
Sim-to-Real 差距
在仿真器中训练的策略部署到真实世界时，因渲染逼真度、物理动力学、传感器噪声等差异导致性能下降的现象。缓解手段包括更高保真的仿真器（如本文用的高斯溅射仿真 Habitat-GS）、域随机化和真实数据微调等。
本文动机正是用真实互联网视频取代昂贵的真机数据、只用少量仿真数据补动作标签，从源头绕开大规模仿真训练带来的 sim-to-real 代价。
SPL（Success weighted by Path Length）
具身导航的标准指标，在成功率基础上按路径效率加权：设 $s_i$ 表示是否成功、$l_i$ 为最短路径长、$p_i$ 为实际路径长，则 $\mathrm{SPL}$ 取各回合 $s_i \cdot l_i/\max(p_i, l_i)$ 的均值，成功且实际路径接近最短时才接近 1。
论文所有主表同时报告 SR 和 SPL，ScaleNav 在两个指标上均领先，说明其优势不只是成功率，还有更短的行进路径。
Diffusion Transformer（DiT）
把 Transformer 用于扩散/流匹配生成的骨干架构：将带噪 latent 切分为 token，用注意力块迭代去噪，并通过自适应层归一化等机制注入时间步与文本条件。自 Peebles & Xie 提出后成为 Sora、Wan 等视频生成模型的主流骨干。
ScaleNav 基于 Wan2.2-TI2V-5B 的 DiT 改造而来，理解其 token 化与条件注入方式，有助于理解动作 token 如何与视频 token 在同一注意力空间中联合建模。
研究动机
机器人按自然语言指令走到初始视野内可见目标并停下的「语言条件局部导航」，是家庭服务机器人和 LLM 长程任务分解（把大任务拆成一串短程可见子目标）的基础能力。现有方案有两条路，各有痛点：模块化方案先用目标定位模块把指令转成空间目标点再交给导航器，目标定位与坐标转换的误差会逐级累积成导航错误；端到端 VLA 策略虽然直接把观测和指令映射为动作，但要跨真实场景泛化就必须有海量多样化训练数据——真实机器人动作数据采集成本极高，仿真动作数据又存在 sim-to-real 差距。互联网第一人称视频（如 YouTube 行走视频）覆盖多样真实场景和人类自然导航行为，是几乎免费的可扩展数据源，可惜没有机器人动作标签。已有的利用方式要么从中估计相机轨迹/几何目标（依赖位姿估计），要么推断 latent action，这些中间监督的误差和偏差会直接传播进下游策略学习。论文自己的消融也证实了这一点：用 Depth Anything 3 估计位姿生成伪动作标签来训练，成功率反而从 90.4% 掉到 73.9%。
本文的目标是本文的目标是构建一个统一框架：从大规模互联网第一人称视频中学习「朝指令目标前进时观测如何演化」的导航先验，并把这种先验无损地转化为机器人可执行的动作块输出，使模型在语言条件局部导航上同时取得高成功率和路径效率，并能迁移到真实机器人上。具体拆成三个可验证的子目标：(1) 用动作无关的视频预训练，在 18.2K 条互联网导航片段上学会目标导向的视觉动态；(2) 只用约 2.6K 条带动作标签的仿真数据完成动作对齐与微调，避免昂贵的真机动作采集；(3) 在两个仿真基准（单视角适配的 Short-Horizon OVON 和自建的 HabitatGS-LN）上超过 LocateAnything+NavDP、LocateAnything+ApexNav、StreamVLN、Uni-NaVid 等基线，并在 Unitree Go2 四足机器人的三个真实室内环境中验证泛化能力，同时推理延迟要满足 4Hz 在线闭环执行的要求。
与已有工作不同的是，本文的独特切入是「不造代理监督，直接学视觉动态」。与 NaVILA、LeLaN、VEGA 等从视频提取轨迹或几何目标的做法不同，ScaleNav 不为互联网视频构造任何伪动作标签，而是把未来视频本身作为预测目标：模型在预训练阶段学的就是「给定指令和当前画面，接下来画面序列如何演化」。与 NWM、Garrido 等导航世界模型也不同——那些方法依赖外部搜索或策略提供候选轨迹再打分，预测得再好也未必带来好决策；ScaleNav 用共享 DiT 骨干联合去噪视频和动作，让动作头直接复用视频先验，推理时不需要任何外部规划器或搜索过程。与「先生成视频计划、再用逆动力学恢复动作」的两段式方案相比，单模型联合预测避免了级联误差。此外，初始帧锚点机制解决了指令指代随视角变化失效的问题（如「左边第二扇门」的「第二」是相对初始视野的）。消融实验支撑了这一路线的必要性：同样加入互联网视频，若跳过专门的预训练阶段、直接与仿真数据混训，SR 只有 90.4%，而完整三阶段方案达到 94.9%。
核心方法
直觉上，人看过大量「走近某个物体」的视频后，能想象接近目标时画面如何连续变化；把这种想象力装进模型，动作生成就只剩「让想象中的画面成真」。技术上，ScaleNav 是统一世界-动作模型（WAM）：以 Wan2.2-TI2V-5B 为底座，用共享 DiT 骨干同时预测未来观测的 VAE latent 和动作块的流速度，两模态共享注意力表征，动作预测能直接借用视频预训练的视觉先验。输入是指令、当前观测、以及由初始帧锚点和最近两个 chunk 组成的历史；输出是未来观测 latent 和长度 $T=9$ 的动作块 $\tau = (a_1, \ldots, a_T)$，单步动作 $a_t = (\Delta x_t, \Delta y_t, \Delta \psi_t)$ 表示平面位移和偏航变化。训练分三阶段：Stage 1 在 18.2K 条互联网片段上做指令条件视频预训练；Stage 2 用 2.6K 条带动作标签的仿真数据做动作对齐，只训动作通路；Stage 3 全参数联合微调。部署时预测一个动作块，以 4Hz 执行 9 个动作，再用新观测预测下一块，循环直到停止判据触发。
核心创新有三。第一，「视频预训练→动作对齐」的知识注入：先在动作无关视频上用流匹配损失 $\mathcal{L}_{video} = \mathbb{E}[\|v^v_\theta - (\epsilon^v - z^v_0)\|^2]$ 学导航先验，再用带标签仿真数据训练随机初始化的动作 MLP 和动作头，冻结大部分 DiT、只放开自注意力层。这与给视频造伪动作标签的路线本质不同——伪动作有害（SR 90.4%→73.9%），本文方案 +4.5 个百分点。第二，双模态平衡与防遗忘：联合损失 $\mathcal{L} = (1-\lambda)\mathcal{L}_{video} + \lambda\mathcal{L}_{action}$，$\lambda$ 由 stop-gradient 逆损失加权自动平衡；Stage 2/3 以 10%/20% 概率重放互联网视频防遗忘。第三，初始帧锚点：指令相对初始视野描述（「左边第二扇门」），锚点把初始帧 token 零噪声保留全程，配合 chunk-wise 因果注意力使指代理解不随视角漂移，去掉锚点 SR 掉 5.1 个百分点。
方法步骤详情
流程分四步。(1) 数据构建：从 YouTube 筛 6 万条室内剪辑，VLM 识别「已到达可描述目标附近」的关键帧为终点、回溯其首次可见帧为起点，截取片段生成指令，按一致性等四准则审查得 18.2K 条；仿真侧在 650 个 InteriorGS 场景中用 navmesh 规划无碰撞轨迹、以相邻位姿差为动作标签，得约 2.6K 条 episodes。(2) Stage 1 视频预训练（10000 步）：先按 Wan 双向 TI2V 训 2000 步，再切换 chunk-wise 预测训 8000 步——块内双向、对历史因果注意力。(3) Stage 2 动作对齐（2500 步）：$t_v, t_a$ 独立采样，联合预测两模态流速度，只训动作 MLP、动作头和共享自注意力层；停止靠尾块补零动作隐式建模。(4) Stage 3 联合微调（6500 步）解冻全部 DiT 和视频头。动作经 symlog 归一化 $f(u)=\mathrm{sign}(u)\log(1+|u|/c)$；推理 4 步 Euler 去噪，每 chunk 9 动作按 4Hz 执行，连续 5 个动作近乎静止即判停。
技术新颖性
技术新颖性体现在四个层面。架构上，把通用文生视频模型（Wan2.2-TI2V-5B）改造成导航 WAM：新增动作 token 与动作头，VAE 把 9 帧编码为 3 个时间 latent 切片，视频和动作在同一 DiT 联合去噪——延续 DreamZero 的联合建模思路，但首次系统用于语言条件局部导航。训练策略上，三阶段解耦了「数据分布变化」与「预测结构变化」：Stage 1 先用 Wan 原生双向 TI2V 目标适配新数据，再切换 chunk-wise 因果预测，避免同时改变两者导致训练不稳。利用互联网视频的方式上，与几何代理监督（估位姿→伪动作）和 latent action 两条主流路线形成对照，直接以未来观测为监督，从根源绕开位姿估计误差——消融中伪动作方案掉 16.5 个百分点是最有力的证据。系统工程上，历史 KV 缓存、CFG 批处理、CUDA 图、跳过视频解码，把每 chunk 延迟从 1791ms 压到 684ms（2.6 倍），摊销到每动作仅 76ms，让 5B 扩散模型支撑 4Hz 闭环控制，该优化路径对同类工作有直接参考价值。
实验结果
仿真结果（Table 1）：单视角 Short-Horizon OVON（524 episodes）上 ScaleNav 取得 SR 86.5%、SPL 71.3%，超过微调后最强的 Uni-NaVid（80.2%/68.1%）；LocateAnything+NavDP 仅 74.4%/37.2%，零样本 Uni-NaVid 仅 11.6%。HabitatGS-LN（157 episodes）上达 SR 94.9%、SPL 86.1%，比次优 Uni-NaVid 高 12.7 个百分点。关键证据：去掉互联网视频后 SR 掉到 81.1%/90.4%，即互联网视频贡献 +5.3/+4.5 个百分点。消融（Table 2）：伪动作训练仅 73.9% SR，比不用互联网视频差 16.5 个点，说明位姿噪声监督有害；跳过 Stage 1 混训仅 90.4%；去锚点 89.8%；去动作对齐、去重放分别 93.6%/94.3%。真机（Table 3）：Go2 三环境 60 次试验，总体 SR 83.3% 全部第一，比无互联网视频版高 18.3 个点；摊销延迟 76ms/动作。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 单视角 Short-Horizon OVON 仿真导航（524 episodes / 36 场景） | 成功率 SR (%) | 86.5 | Uni-NaVid（微调）80.2；LocateAnything+NavDP 74.4 | +6.3 pp（对最强基线）；互联网视频贡献 +5.3 pp |
| 单视角 Short-Horizon OVON 仿真导航 | SPL (%) | 71.3 | Uni-NaVid（微调）68.1 | +3.2 pp |
| HabitatGS-LN 仿真导航（157 episodes / 45 场景） | 成功率 SR (%) | 94.9 | Uni-NaVid（微调）82.2；无互联网视频版 90.4 | +12.7 pp（对最强基线）；互联网视频贡献 +4.5 pp |
| HabitatGS-LN 仿真导航 | SPL (%) | 86.1 | Uni-NaVid（微调）71.6；无互联网视频版 80.8 | +14.5 pp（对最强基线） |
| 真机 Unitree Go2 三环境导航（60 trials） | 总体成功率 SR (%) | 83.3 | 无互联网视频版 65.0；Uni-NaVid（微调）51.7；StreamVLN（微调）41.7 | +18.3 pp（对无互联网视频版） |
| 推理效率（RTX 4090 闭环执行） | 摊销延迟 (ms/执行动作) | 76 | LocateAnything+NavDP 184；LocateAnything+ApexNav 511 | 约 2.4–6.7 倍加速 |
局限与改进
作者明确承认两点局限：定量评估局限于室内环境、且要求目标在初始视野中可见；室外场景和区域级目标（如「走到窗边」而非具体物体）的泛化尚未验证。我的补充观察：(1) 指令理解依赖初始帧锚点，若目标信息需要移动后才能显现（被遮挡、藏在拐角后），该机制帮助有限，任务定义排除了探索需求；(2) 数据管线深度依赖 VLM（Gemini 3.5 Flash）做切分、指令生成和审查，标注上限受 VLM 限制，且 18.2K/2.6K 规模下「可扩展性」更多是路线论证，缺少数据规模—性能曲线；(3) 仿真动作来自规划器的平滑轨迹，与人类视频自然、迂回的运动风格有分布差异，Stage 2/3 仅用 2.6K 条数据弥合；(4) 仿真中动作历史用模型预测值而非真实里程计，真机上误差可能在长 rollout 累积；(5) 真机只在 Go2 四足形态、三个室内环境验证，多样性有限；(6) NavDP/ApexNav 需要仿真器 ground-truth 深度做目标反投影，输入模态并非严格对齐。
独立分析的弱点
独立分析的弱点及改进方向：(1) 任务定义窄——只处理初始可见目标的局部导航，实际任务常需要目标最初不可见（「去厨房拿水杯」），框架没有任何探索行为，可引入主动搜索策略或与全局地图模块组成分层系统。(2) 停止判据是手工规则（连续 5 个动作位移 <0.015m 且偏航 <0.015rad），目标附近有可通行空间时可能提前或延后停，可改为学习式停止头或对到达分布显式建模。(3) 推理时视频预测头被完全跳过（不解码 RGB），视频模态在部署时只贡献隐式表征、无法被检验，可用生成的未来帧做一致性校验或风险预警——如预测到障碍物骤近时拒绝执行当前动作块。(4) 互联网片段从约 6 万候选筛到 1.82 万，瓶颈在 VLM 审查的召回与精度，可先人工抽检校准审查阈值再放大规模，验证数据 scaling 收益。(5) 锚点只保留初始帧，环境动态变化（行人移动、门窗开关）时可能提供过时参考，可扩展为可更新记忆或多锚点。(6) 真机执行是「开环 chunk+定期重预测」，无低层反应控制层，动态行人场景的安全性与避障未评估，应叠加反应式局部避障或 collision-aware 动作过滤。
未来方向
作者提出的方向：把评估扩展到室外环境和区域级导航目标（而非具体物体实例）。基于本文成果可延伸的方向：(1) 数据规模化实验——固定方法，按倍数扩充互联网片段与仿真 episodes，画出 SR–数据量曲线，检验「互联网视频是可扩展数据源」这一核心论断的天花板；(2) 跨具身迁移——动作空间是机体中心增量位姿 $(\Delta x, \Delta y, \Delta\psi)$，理论上可直接映射到轮式、人形或无人机，验证视频先验的具身无关性；(3) 与长程系统结合——作为 LLM 任务分解的底层技能执行层，或引入双系统架构（慢系统语义重规划、快系统执行动作块）；(4) 目标不可见导航——把锚点思想推广到指令描述的远景目标，结合探索策略与记忆地图；(5) 用视频预测头做 world-model 式评估——rollout 多个候选动作块、用预测画面加价值模型选优，把纯前馈策略升级为带「想象」的智能体；(6) 动态场景——在数据管线加入行人与移动物体，学习社交避让；(7) 停止行为显式化——研究零动作 padding 之外的显式停止机制。
复现评估
开源情况：代码与演示视频在项目页 zju3dv.github.io/ScaleNav 公开；底座模型 Wan2.2-TI2V-5B 与数据源 SpatialVID-HQ、InteriorGS、Habitat-GS、HM3D 均公开；但 18.2K 互联网片段、2.6K 仿真 episodes 和 HabitatGS-LN 基准是否随代码发布，正文未承诺。数据构建依赖 Gemini 3.5 Flash API，复现标注管线需承担 API 成本且 VLM 审查有随机性，好在附录 C 完整给出四套 prompt。算力：三阶段合计约 19000 次更新，最大 batch 64，BF16，5B 参数、512×288 分辨率，估计需多卡训练数天，GPU 配置未披露。推理只需单张 RTX 4090。真机复现需 Go2 + RealSense D435i + Jetson + 远程 4090。综合：若权重和数据发布，复现仿真结果难度中等（主要工作量在环境配置与协议对齐）；从零重建数据管线难度较高（VLM 标注质控是隐性壁垒）；附录 B–E 提供实现细节、延迟剖析与逐任务真机结果，透明度较高。
论文图表