稀疏视频生成推动真实世界超越视野视觉语言导航 Sparse Video Generation Propels Real-World Beyond-the-View Vision-Language Navigation
首次将视频生成模型引入VLN，通过稀疏生成实现超越视野导航
前置知识
视觉语言导航（VLN）
视觉语言导航是指智能体通过将自然语言指令与视觉观察结合，执行一系列动作来完成导航任务的技术。典型场景如：用户说'走到门口停下'，机器人需要理解这条指令，观察当前画面，决定往哪走、何时停。近年来大语言模型（LLM）的兴起为该领域带来重大突破，但现有方法通常需要密集的、逐步的语言指令引导，这在真实世界场景中往往不可行。
本文要解决的核心问题——超越视野导航（BVN）——是VLN的一个更具挑战性的子任务。理解VLN的基本范式（指令跟随导航IFN）及其局限性是理解本文创新点的前提。
视频生成模型（VGM）
视频生成模型是一类能够根据文本或图像输入生成视频序列的生成式AI模型。代表性模型包括Wan、HunyuanVideo等。与LLM主要处理文本token不同，VGM通过学习帧间动态变化来隐式编码运动信息，天然具备对长时间跨度未来状态的建模能力。本文采用的Wan2.1-1.3B T2V模型使用3D因果VAE结构将视频压缩为时空潜在表示，并通过DiT（Diffusion Transformer）进行生成。
本文的核心创新就是将视频生成模型首次引入导航领域，利用其天然的长时序预测能力来解决LLM的'短视'问题。理解VGM的工作原理是理解本文方法论的关键。
Flow Matching
Flow Matching是一种生成模型训练范式，通过对噪声和数据之间的线性插值路径进行建模来训练生成模型。具体而言，给定噪声 $x_0 \sim \mathcal{N}(0, I)$ 和目标数据 $x_1$，中间状态为 $x_t = tx_1 + (1-t)x_0$，模型学习预测速度场 $v_t = x_1 - x_0$。与扩散模型的DDPM不同，Flow Matching使用更直接的线性插值路径，训练目标为最小化模型预测速度与真实速度之间的均方误差。Wan模型采用此范式进行训练。
本文的Stage 1（T2V到I2V适配）保留了原始Flow Matching训练目标，理解这一范式是理解四阶段训练流程中各阶段损失函数设计的基础。
扩散蒸馏（Diffusion Distillation）
扩散蒸馏是一种加速扩散模型推理的技术。原始扩散模型通常需要50-1000步去噪才能生成高质量样本，推理延迟很高。蒸馏技术通过让一个学生模型学习教师模型ODE轨迹上的解点，将推理步数大幅减少。本文采用PCM（Phased Consistency Models）方法，将噪声调度分为4个阶段，通过相邻时间步之间的一致性损失逐步将推理步数从N=50蒸馏到M=4，实现约10倍的推理加速，同时保持视觉保真度。
本文面临的核心挑战之一是视频生成推理延迟过高导致无法实时部署。扩散蒸馏是实现27倍加速的关键技术，直接关系到方法的实用性。
Beyond-the-View Navigation（BVN）
超越视野导航（BVN）是指智能体在只有简单高层意图（如'找到一个花盆'）的情况下，必须自主定位远处不可见目标的导航任务。与指令跟随导航（IFN）需要逐步密集指令不同，BVN要求智能体具备长时序推理能力来预见未来场景。现有LLM方法因依赖短时序监督（4-8步动作）而存在两种典型失败模式：长距离不确定性导致意外转向或原地打转，以及进入死胡同后误判为路径尽头而被困。
BVN是本文要解决的核心任务定义。理解IFN和BVN的区别，以及现有LLM方法在BVN上的失败模式，是理解本文动机和贡献的关键。
Q-Former与Video-Former
Q-Former是一种可学习查询的Transformer模块，最初由BLIP-2提出，用于将高维视觉特征压缩为固定数量的潜在token。Video-Former是其在视频领域的扩展，用于沿空间维度进一步压缩特征。在本文中，Q-Former沿时间维度处理历史观察特征，Video-Former沿空间维度进行4倍降采样，将历史信息的token负担从海量压缩到2560个。这种两步压缩策略使得推理延迟与历史长度解耦，确保稳定的推理速度。
历史信息的高效压缩是实现稳定推理延迟的关键设计。没有Former结构，推理延迟会随历史长度增加而显著上升（+54.9%），严重影响实时部署。
逆动力学模型（Inverse Dynamics Model）
逆动力学模型是一种从观察序列反推动作序列的模型，与正向动力学模型（从动作预测下一状态）相反。在导航场景中，给定当前观察和生成的未来稀疏视频，逆动力学模型可以推断出连接这两个状态所需的连续动作序列。本文Stage 4采用DiT（Diffusion Transformer）作为动作头，通过交叉注意力注入生成的稀疏未来和语言指令来预测8步连续动作轨迹，使用DDIM从噪声动作重建干净动作。
逆动力学范式是将视频生成的视觉预测转化为可执行导航动作的桥梁，是SparseVideoNav系统闭环运行的关键组件。
研究动机
现有基于大语言模型（LLM）的视觉语言导航方法在面对超越视野导航（BVN）任务时存在严重的'短视'问题。这些模型在训练时通常只使用4-8步的短时序动作序列作为监督信号，导致在部署时产生两种典型的失败模式：第一，由于无法在长距离上观察到目标，模型面临严重的不确定性，导致意外转向或原地打转行为；第二，当进入死胡同时，模型错误地认为路径已经到达尽头，导致被困在死胡同中。虽然延长监督时序看似是一个合理的解决方案，但这往往会使LLM的训练过程变得不稳定，因此不是一个可行的解决方案。在真实世界场景中，特别是夜间场景（如Square和Mountain场景），由于能见度降低，短视问题更加严重，导致所有现有基线方法在BVN任务上的成功率为0%。
本文的目标是本文的目标是实现智能体在仅有简单高层意图（如'找到一个花盆并停在旁边'）的情况下，能够自主定位远处不可见目标的超越视野导航能力。具体而言，研究团队希望开发一个能够提供长时间跨度（20秒）未来预测的导航系统，使智能体能够'看到'远处的未来场景，从而做出更明智的导航决策。同时，该系统需要达到亚秒级的推理延迟以支持真实世界的实时部署，并在多种真实场景（包括室内、室外和夜间环境）中实现零样本泛化。
与已有工作不同的是，本文的独特切入角度在于首次将视频生成模型（VGM）引入导航领域，这是一个范式性的创新。与LLM依赖短时序文本token监督不同，VGM天然受益于长时间跨度的监督来与语言指令对齐，这使其特别适合BVN任务。更关键的是，本文没有遵循传统视频生成模型生成连续视频的默认范式，而是创新性地提出了稀疏视频生成的概念。研究团队认识到，连续性所需的密集高频时间信息对于导航引导是冗余的，通过稀疏化可以同时实现预测时序的扩展和计算开销的降低。这一观察驱动了从连续到稀疏的范式转变，使得20秒的预测时序成为可能，同时将推理延迟降低了27倍。
核心方法
SparseVideoNav的核心思路是将视频生成模型的长时序预测能力与稀疏化策略相结合，为导航任务提供长时间跨度的未来视觉引导。直觉上，就像人类在导航时会'脑补'前方场景一样，视频生成模型可以想象出远处的未来画面。但直接生成连续的20秒视频计算量巨大且不必要——导航决策不需要每一帧都精细，只需要关键时间点的场景信息。因此，方法的技术路线是：首先选择Wan2.1-1.3B T2V模型作为骨干网络，通过四阶段渐进式训练将其适配为导航专用模型；在训练目标中引入稀疏视频帧作为直接监督信号，设置稀疏间隔为3，仅生成8个稀疏帧覆盖20秒；通过扩散蒸馏将推理步数从50步减少到4步；最后使用逆动力学模型将生成的稀疏未来转化为可执行的连续动作。
本文的核心创新点是'稀疏视频生成'范式，这与已有方法存在本质区别。所有之前的视频生成方法（无论用于导航、自动驾驶还是机器人操作）都采用连续视频生成的默认假设，即必须生成时间上连续的每一帧。本文首次挑战了这一假设，论证了导航任务不需要连续的高频时间信息。通过将稀疏间隔设置为3，模型仅在关键时间点[T+1, T+2, T+5, T+8, T+11, T+14, T+17, T+20]生成视频帧，覆盖4FPS下20秒的时序跨度。这一设计带来了三重优势：预测时序从约2秒扩展到20秒；训练速度提升1.4倍；推理速度提升1.7倍。与直接使用LLM或连续视频生成方法相比，稀疏视频生成在保持视觉保真度的同时实现了效率和性能的双重提升。
方法步骤详情
SparseVideoNav采用结构化的四阶段训练流程。Stage 1（T2V到I2V适配）：将文本到视频模型适配为图像到视频模型，输入当前帧观察、语言嵌入、随机噪声和时间步，通过Flow Matching目标学习从当前帧生成符合指令的未来视频。Stage 2（历史注入）：在Wan骨干网络的每个Transformer块中引入额外的交叉注意力块，通过Q-Former处理时间维度特征和Video-Former处理空间维度特征，将历史观察压缩为2560个token并注入生成过程。Stage 3（扩散蒸馏）：采用PCM方法将50步去噪过程蒸馏为4步，教师模型为Stage 2的历史注入I2V模型，学生模型通过一致性损失学习ODE轨迹上的解点。Stage 4（动作学习）：冻结蒸馏后的I2V模型，使用DiT动作头通过交叉注意力注入生成的稀疏未来和语言指令，预测8步连续动作轨迹，使用DA3对生成的未来帧重新标注以确保动作监督对齐。
技术新颖性
SparseVideoNav的技术新颖性体现在多个层面。首先，它是首个将视频生成模型引入视觉语言导航领域的工作，开辟了全新的研究方向。其次，稀疏视频生成范式是原创性的理论贡献——此前所有视频生成方法都默认采用连续生成，本文首次论证了导航任务中连续性是冗余的，并通过稀疏化同时实现了时序扩展和效率提升。第三，四阶段训练流程的设计具有系统性创新：Stage 1的渐进式T2V到I2V适配比从头训练快2倍收敛；Stage 2通过Q-Former和Video-Former的两步压缩实现了与历史长度解耦的稳定推理延迟；Stage 3的PCM蒸馏在Flow Matching框架下实现了10倍推理加速且保持视觉保真度；Stage 4的DA3重新标注策略解决了生成帧与真实动作标签之间的不对齐问题。此外，系统在训练中排除了动态行人轨迹，却涌现出了动态避障能力，这表明视频生成范式具有强大的泛化潜力。
实验结果
SparseVideoNav在六个多样的真实世界未见场景中进行了广泛的零样本评估，涵盖室内（Room、Lab Building）、室外（Yard、Park）和夜间（Square、Mountain）三类环境，每个场景包含4个任务（2个IFN、2个BVN），每个任务测试10次，总计每个模型240次试验。核心发现包括：第一，在IFN任务上，SparseVideoNav平均成功率达到50.0%，相比最强基线StreamVLN的35.0%提升+15.0%；在更具挑战性的BVN任务上，成功率达到25.0%，相比StreamVLN的10.0%提升+15.0%，相比InternVLA-N1的8.3%提升+16.7%。第二，在夜间场景中，SparseVideoNav是唯一能够完成BVN任务的方法，在Square场景达到20%、Mountain场景达到15%的成功率，而所有LLM基线的成功率均为0%。第三，通过扩散蒸馏将推理延迟从7.56秒降低到0.79秒，实现约9.6倍加速，加上稀疏设计的贡献，总加速达到27倍。第四，数据可扩展性实验显示FVD分数随数据规模从8小时到50小时到140小时持续下降，证明了方法吸收大规模真实世界导航数据的能力。第五，涌现能力测试表明，尽管训练中排除了动态行人轨迹，系统仍展现出动态避障能力；尽管训练数据收集在约1米高度，系统在50厘米固定高度下仍能成功导航。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 指令跟随导航（IFN）- 平均6场景 | 成功率（%） | 50.0 | StreamVLN 35.0 / Uni-NaVid 10.0 / InternVLA-N1 17.5 | 相比最强基线StreamVLN提升+15.0% |
| 超越视野导航（BVN）- 平均6场景 | 成功率（%） | 25.0 | StreamVLN 10.0 / Uni-NaVid 2.5 / InternVLA-N1 8.3 | 相比最强基线StreamVLN提升+15.0% |
| 夜间BVN任务（Square + Mountain） | 成功率（%） | 17.5（Square 20% + Mountain 15%均值） | 所有基线均为0% | 首次实现夜间BVN能力，从0%到17.5% |
| 推理延迟（RTX 4090） | 秒/帧 | 0.79秒（蒸馏4步+稀疏） | 7.56秒（50步+连续） | 约9.6倍加速（稀疏设计贡献1.7倍，蒸馏贡献约5.6倍） |
| 训练收敛时间 | 小时（32xH200 GPU） | 32小时（渐进式T2V到I2V） | 64小时（从头训练Stage 2） | 2倍训练加速 |
| 数据可扩展性 | FVD分数 | 8h: 2534 / 50h: 1390 / 140h: 最低 | N/A | FVD随数据规模持续下降，验证可扩展性 |
局限与改进
尽管SparseVideoNav取得了显著成果，论文承认了几个重要局限性。第一，当前140小时的数据规模相比网络规模数据仍然有限，论文明确指出'our curated 140-hour data scale is not yet exhaustive compared to the web-scale'，这是导致在高度挑战性场景中出现模式崩溃（mode collapse）的主要原因。第二，尽管经过大量优化，推理速度仍然略慢于现有LLM导航范式——SparseVideoNav约0.79秒每帧，而StreamVLN等LLM方法可以达到更低延迟。第三，DA3在存在前方动态行人时难以可靠估计动作，因此训练中过滤掉了这类轨迹，虽然系统涌现出了避障能力，但这种能力的边界和可靠性尚未充分验证。第四，论文仅在6个真实世界场景中进行了测试，每个场景10次试验，样本量相对较小，统计显著性有待进一步验证。第五，硬件部署方面，训练需要32块NVIDIA H200 GPU运行约64小时，计算成本高昂。从我个人观察来看，系统的泛化能力在更复杂的真实环境（如拥挤街道、多楼层建筑）中尚未得到验证；夜间场景虽然实现了首次突破，但15-20%的成功率距离实用化仍有较大差距。
独立分析的弱点
SparseVideoNav存在几个值得关注的弱点。首先，模式崩溃问题在高度挑战性场景中仍然存在（论文Fig. A-1展示了具体案例），特别是在需要复杂路径规划的场景中，模型可能生成错误的未来预测导致导航失败。改进方向包括扩大训练数据规模，特别是增加死胡同、窄通道等挑战性场景的数据占比；引入更强的正则化或多样性约束来抑制模式崩溃。其次，推理延迟虽然已大幅优化（0.79秒），但相比LLM方法仍有差距，对于需要高频决策的快速导航场景可能不够。可以探索更激进的蒸馏策略（如将4步进一步减少到1-2步）或模型量化技术。第三，历史压缩模块（Q-Former + Video-Former）虽然实现了延迟解耦，但2560个token的压缩可能丢失部分细粒度的时空信息，影响在需要精确空间推理场景中的表现。第四，DA3重新标注策略虽然解决了生成帧与动作标签的对齐问题，但引入了额外的处理步骤和对DA3模型的依赖，如果DA3在特定场景（如极端光照、透明物体）中失败，会影响动作学习质量。
未来方向
论文作者明确提出了两个未来研究方向。第一，扩大数据规模——结合YouTube视频和仿真轨迹等大规模多样化数据源，这是降低FVD分数和减少模式崩溃的关键途径。论文指出'we envision combining large-scale data from diverse sources, such as YouTube videos and simulation trajectories in the future'。第二，探索加速蒸馏和量化技术以进一步降低VGM推理延迟，使其达到或超过LLM范式的速度。基于当前成果，我认为还有几个有前景的延伸方向：将稀疏视频生成范式扩展到其他具身任务（如机器人操作、自动驾驶），验证其通用性；探索自适应稀疏间隔策略，根据场景复杂度动态调整预测密度；引入多模态反馈（如深度信息、语义地图）来增强视频生成的导航相关性；开发在线学习机制，使系统能够在部署过程中从成功和失败案例中持续改进。
复现评估
在可复现性方面，SparseVideoNav具有较好的开源基础。代码已在GitHub开源（https://github.com/OpenDriveLab/SparseVideoNav），采用CC BY-NC-SA 4.0许可证。论文承诺将发布140小时的真实世界导航数据集，这将是最大的真实世界VLN数据集。骨干网络基于Wan2.1（Apache License 2.0）。然而，复现存在一定门槛：训练需要32块NVIDIA H200 GPU运行约64小时，这对大多数研究团队来说计算成本过高；四阶段训练流程较为复杂，涉及多个组件的协调训练；数据收集需要使用DJI Osmo Action 4配合RockSteady+稳定化，并由人工专家标注语言指令。推理部署相对可行，仅需单块RTX 4090即可达到实时性能。论文提供了详细的超参数配置（Table A-I, A-II, A-III）和训练细节，包括优化器（AdamW）、学习率调度等，有助于复现。总体而言，完整复现训练流程需要显著的计算资源，但推理和微调相对可行。
论文图表
图的上半部分展示了超越视野导航任务的挑战：在真实世界场景中，目标位于远处不可见位置。下半部分展示了传统LLM方法的失败模式（意外转向和死胡同陷阱）以及SparseVideoNav通过稀疏视频生成提供长时序引导的解决方案。图中还标注了四阶段训练流程和稀疏视频生成的关键设计。
这张图是理解论文核心问题和解决方案的入口，直观展示了BVN任务的挑战性以及本文方法的创新性。
展示了将相机固定在50cm高度时的导航结果。绿色框中的图像为SparseVideoNav的预测结果。尽管训练数据在约1米高度收集，系统展现出对相机高度变化的强鲁棒性，在50cm高度下仍能成功导航。
验证了视频生成范式对相机高度变化的鲁棒性，这对不同机器人平台的部署具有重要意义。
展示了SparseVideoNav和三个基线方法在6个真实世界场景（室内Room/Lab Building、室外Yard/Park、夜间Square/Mountain）上的IFN和BVN任务成功率。SparseVideoNav在所有场景的所有任务类型上均达到SOTA性能，平均IFN成功率50.0%（+15.0%）、BVN成功率25.0%（+15.0%）。消融研究部分展示了4个变体的结果，验证了稀疏设计和蒸馏的有效性。夜间场景中，SparseVideoNav是唯一能完成BVN任务的方法。
这是论文最重要的定量结果表格，全面展示了方法在所有场景和任务上的性能，以及消融实验的结果。
列出了四个训练阶段的详细超参数：Stage 1（batch 32, lr 1e-5, 常数调度, 1.3B参数, FM均匀采样, 1000步）、Stage 2（batch 32, lr 1e-5, 常数调度, 1.8B参数, FM均匀采样, 1000步）、Stage 3（batch 32, lr 5e-6, 常数调度, 1.7B参数, PCM蒸馏, 50步）、Stage 4（batch 256, lr 5e-5, 余弦调度, 23.4M参数, DDIM, 100步）。
提供了复现训练流程所需的关键超参数信息。
Q-Former配置：隐藏维度512、4层、8头、10240个潜在token。Video-Former配置：隐藏维度512、6层、8头、2560个潜在token。
提供了历史压缩模块的具体架构参数，是理解token压缩过程的必要信息。
Action Video-Former配置：隐藏维度256、8层、8头、640个潜在token。Diffusion Transformer配置：隐藏维度256、12层、8头、8个动作步。
提供了动作预测模块的具体架构参数。
展示了当输入指令'Head straight to the cone and turn right to the staircase and stop by it'时，模型预测出现模式崩溃的示例。图像中标注了Mode Collapse，表明在高度挑战性场景中模型可能生成错误的未来预测。
诚实地展示了方法的局限性——模式崩溃问题，这与Results部分讨论的FVD和数据可扩展性分析相互印证。
展示了从原始视频流到高质量训练图像-动作对的数据处理流程，包含三个阶段：(1)时间采样——原始视频降采样到4FPS；(2)姿态估计——使用Depth Anything 3估计6-DoF相机外参；(3)基于外参的动作提取——计算帧间相对姿态变换，投影到局部XY平面得到连续动作标签，过滤静态片段和极端俯仰角。
提供了140小时训练数据的具体处理方法，是理解数据集构建和复现数据准备的关键信息。
展示了Square（夜间）、Mountain（夜间）和Lab Building（室内）三个场景的完整任务规格，包括语言指令、机器人初始位置和目标位置。每个场景包含2个IFN任务和2个BVN任务。
提供了评估实验的具体任务设计细节，有助于理解实验设置和结果的上下文。
展示了Room（室内）、Park（室外）和Yard（室外）三个场景的完整任务规格，包括语言指令、机器人初始位置和目标位置。每个场景包含2个IFN任务和2个BVN任务。
提供了评估实验的具体任务设计细节，与Fig. A-3共同构成完整的24个评估任务规格。