PanoVLN：迈向高效的全景视觉语言导航 PanoVLN: Towards Effective Panoramic Vision-and-Language Navigation
全景输入+长序列规划+不确定性执行+几何融合，导航成功率大幅刷新SOTA
前置知识
视觉语言导航（VLN 与 VLN-CE）
智能体接收一条自然语言指令（如“出门左转走到楼梯口停下”），并根据第一视角视觉观察逐步执行前进、转向、停止等动作，直到到达指令描述的目标。VLN-CE（连续环境版本）把任务从离散导航图扩展到可连续执行的平移与旋转，智能体每次动作通常是固定步长（如 25cm）或固定转角（如 15°），在目标区域内停止才算成功。
本文的全部方法设计（动作序列预测、停止监督、数据构建）都围绕 VLN-CE 的动作空间与评估协议展开，不理解任务定义就无法理解为什么要预测 18 步动作和置信度执行。
等距柱状全景投影（ERP）
把 360°×180° 的球面视野线性展开成一张矩形图像：水平坐标对应方位角（0°–360°），垂直坐标对应仰俯角（90°至-90°）。机器人朝向居中，图像左右边界在机器人背后相接（接缝）。ERP 让普通卷积/VLM 直接处理全景，但两极有拉伸形变，且左右相邻区域的空间连续性被切断。
PanoVLN 的输入就是 RGB ERP 而非深度图或透视图；几何特征融合、两极 20° 裁剪、接缝两侧线索等设计都源于 ERP 的特性。
基于 VLM 的自回归动作策略
把导航动作当作语言 token：视觉编码器把图像变成视觉 token，与指令 token 一起送入视觉语言模型（如 Qwen3.5-4B），语言模型自回归地生成“forward / left / right / stop”组成的动作词序列。训练时用专家轨迹做监督（teacher forcing 交叉熵），推理时按贪心解码输出动作。NaVid、NaVILA、StreamVLN 等均属此类。
PanoVLN 的骨干正是这种范式（Qwen3.5-4B，贪心解码 18 个动作词），其创新（长 horizon 监督、CGE、几何融合）都在该范式上做改造。
预测 horizon 与执行长度
预测 horizon H 指模型一次输出多少步未来动作（训练目标长度），执行长度指推理时实际执行其中多少步后再重新观察规划。二者可以解耦：可以训练时预测 18 步、每次只执行 6 步。传统 VLM 导航方法通常一次只预测 1–4 步并按固定周期重新观察，导致频繁的停顿与策略调用。
本文的核心发现之一就是全景策略的最佳 horizon（18）远大于透视策略（4），并进一步用 CGE 把执行长度动态化，这是全文方法主线。
导航评估指标（NE/OS/SR/SPL/nDTW）
NE（导航误差）是停止点到目标的米数；OS（oracle 成功率）要求轨迹曾进入目标 3 米内；SR（成功率）还要求最终停在目标区域内；SPL 按路径长度对成功加权，衡量效率；nDTW 衡量实际轨迹与参考路线的吻合度。NE 单位为米，其余为百分比（0–100）。
解读主结果表（SR 77.3/78.0、SPL 70.6/65.9 等）与消融表都必须依赖这些指标的含义，尤其是 OS 与 SR 的差值能反映停止决策的可靠性。
DAgger（数据集聚合）
一种模仿学习算法：让当前策略自己滚动执行，把途经状态交由专家标注动作，再把新数据并入训练集。它能缓解“分布漂移”——纯静态专家数据只覆盖专家路线上的状态，而策略执行时难免走到专家没见过的状态。训练时通常滚动一次、标注一批、合并重训。
PanoVLN 的完整训练配方里，DAgger 贡献了 +5.3/+7.0 的 SR 提升，是在其之上再叠加 98K 决策中心数据，理解这一点才能正确解读 Table 7 的累积消融。
研究动机
现有 VLN 智能体绝大多数以透视 RGB 图像为输入，视场角通常只有约 90°。在连续环境中，一旦路线出现较大转弯，后续路径往往落到当前视野之外，智能体必须“先转身、再观察、再决策”，单次决策只能推进很短一段路线。这种视野外决策是常态而非例外：论文统计了 R2R-CE 与 RxR-CE 参考路线中共 54,457 个不小于 30° 的转弯，其中 45°–180° 的大转弯占 53.3%（Figure 10），而前向 90° 视野根本看不到 45° 以外的去向。这直接造成真实部署中频繁停顿与重复调用策略——每执行一个动作就请求一次预测的 JanusVLN，平均每条路线要调用策略 101.7 次、产生 95.3 次超过 1 秒的停顿、耗时 412.9 秒。另一方面，作者诊断发现现有训练数据（R2R/RxR 轨迹）中“多条路径同时可见、必须做出选择”的分支场景很稀疏，对路线选择的监督天然不足。更关键的是，直接把透视图像替换成 360° 全景 ERP、保持其余训练推理设置不变，性能只有有限提升甚至下降：horizon 消融显示全景策略在短预测长度下反而落后于透视策略，说明“看得更全”并不会自动转化为“走得更准”。
本文的目标是本文的目标是让全景观察的完整视觉上下文真正转化为导航决策质量与执行效率的提升，并把这一目标拆解为三个层面的适配。第一，适配动作预测：全景能看到转弯之后路线如何延续，因此模型应能在一次观察下预测并执行更长的动作序列，实现大角度转弯后的连续行进；同时预测越远越不可靠，需要有机制动态判断“这段预测还可信多久”，避免盲目执行到不确定的动作。第二，适配训练监督：现有数据分支点稀疏，因此要构建分支点密集、指令明确指路、并经视觉验证的训练数据，让“从全景中多条可见路径中选出正确一条”成为被反复监督的核心能力，同时在转弯与停止处加密采样，强化路线转换与终止决策。第三，适配视觉表示：全景导航需要理解不同朝向区域之间的空间关系而非只识别单个地标，因此要在不增加视觉 token、不依赖深度输入的前提下，把几何布局信息注入语义特征。最终指标是在 4B 骨干、纯 RGB 输入下于 R2R-CE 和 RxR-CE Val-Unseen 刷新 SOTA，并在真实四足机器人上实现更快、更少停顿的导航。
与已有工作不同的是，已有工作大致分三类：waypoint/地图类方法（ETPNav、HNR、GridMM）预测可达点或维护空间记忆，但通常依赖额外的 waypoint 预测器或深度输入；VLM 策略类方法（NaVid、NaVILA、StreamVLN、JanusVLN、DualVLN、AwareVLN）用视觉历史或流式视频自回归预测动作，输入仍是透视图像；全景几何研究（PanoVGGT、UniK3D、Depth Any Panorama）解决全景深度与前馈三维重建，但并未接入导航决策闭环。PanoVLN 的独特切入点是一个诊断式问题：“为什么把透视换成全景并不会自动变好？”作者把答案归结为监督、执行、表示三个层面与全景可见性不匹配，并针对性给出三项改造，而非单纯堆数据或换更大的骨干。其中最有辨识度的是置信度引导执行（CGE）：把“预测多远”（horizon，由训练决定）与“执行多远”（execution，由动作不确定性 $u_{t,i}=-\log q_{t,i}(\hat{a}_{t,i})$ 的累积值是否超过预算 $B$ 决定）解耦，区别于固定周期重规划或逐动作重规划。另一个差异是构造 98K 条分支密集、经运动/选择/停止三重视觉验证的轨迹，把训练信号直接对准“选择”而非“走直线”。
核心方法
直觉上，一次全景快照包含 360° 的路径信息，足以支撑“转过去之后继续走”的多步规划；但预测越远越不可靠，执行长度应当随置信度伸缩；同时从全景中做正确决策取决于能否读出不同朝向区域间的空间布局，因此需要几何信息补足语义特征。技术路线上，PanoVLN 以 Qwen3.5-4B 视觉语言模型为骨干，输入纯 RGB：当前帧是 960×480 的 ERP 全景（编码前裁掉上下两极各 20°），历史帧从最近 100 次观察中均匀采样最多 10 帧、每帧 448×224，当前与历史共享视觉 token 预算 $N_c + M N_h$，当前帧分配更多 token 以支持精细的路线选择，历史帧提供指令执行进度。视觉特征经 merger 投影进语言模型嵌入空间；冻结的 PanoVGGT 编码器从同一张全景提取几何特征，在 ERP 坐标下按 2×2 分组与当前视觉 token 覆盖的区域对齐，经 RMSNorm 和 MLP（8192→4096→2560，GELU）投影后以残差形式融合 $\bar{V}_t = V_t + \alpha f_\psi(G_t)$，其中固定残差尺度 $\alpha=0.2$，token 数量与顺序保持不变。语言模型自回归输出恰好 18 个动作词（前进 25cm、左/右转 15°，不足处用 stop 补齐），训练用 teacher forcing 最小化交叉熵 $\mathcal{L}_{act}=-\frac{1}{H}\sum_{i=1}^{H}\log p_\theta(a^*_{t,i}\mid O_t, A^*_{t,<i})$；推理时 CGE 按不确定性预算 $B=1.2$、最少执行 $E_{min}=4$ 步自适应选择执行前缀，然后重新观察再规划。
核心创新可以概括为“让全景的宽视野重塑导航策略的学习与执行方式”，与已有方法的本质区别体现在四处。其一，长 horizon 监督：消融显示透视策略的最佳预测长度是 $H=4$（SR 49.5% 后回落），而全景策略是 $H=18$（SR 56.4%）；短目标往往在可见路径分岔之前就结束，只有长目标才把“选哪条路＋选完之后怎么走”写进训练目标，迫使模型利用视野边缘乃至接缝两侧的线索，而透视模型的长目标只能依赖看不见的区域，因此越长越差。其二，CGE 把“学多远”和“走多远”解耦：论文观察到动作不确定性随位置先降后升、且不同策略调用间差异巨大（Figure 3），固定执行 1 步（SR 64.6%）或 18 步（SR 57.2%）都次优，随机 1–18 步也只有 61.3%，而 CGE 按累积不确定性 $U_t(k)\le B$ 自适应截断，把 R2R-CE SR 提到 66.6%、SPL 提到 61.5%。其三，决策中心数据：与 ScaleVLN 等以覆盖为目的的随机数据不同，98K 条轨迹被构造为必须穿越分支点、指令经三重 grounding 验证，在匹配轨迹数下全面优于 ScaleVLN 及其指令重写版，证明路线结构本身（而不仅是指令措辞）贡献增益。其四，无 token 增量的语义-几何融合：PanoVGGT 几何特征按 ERP 区域对齐分组后残差相加，不扩大序列长度，区别于把深度图作为额外输入模态或维护独立空间记忆的方案，在两个基准上同时带来 +2.0/+0.6 的 SR 提升。
方法步骤详情
完整流程分五步。第一步，路线构建与过滤：在 800 个 HM3D 场景的导航网格上把可行走空间划分为连通区域，定义“分支点”为至少有两条可见可通行路径通向不同区域（不含来路）的节点；在不同区域间采样起终点并保留穿过分支点的路线；依次做渲染质量检查（剔除网格破洞、几何不完整）、路线解耦（近重复路线只留一条）、重放验证（专家把路线转成原始动作序列后重放，验证目标可达、所选路径及其备选在分支点均可见）。第二步，指令构建：把路线按事件切成行进/分支/到达三类片段，用带专家路径标注的第一人称视频（分支与到达段另加八向罗盘图）喂给 Qwen3.8-27B，分别生成动作描述、从可见线索中指认所选入口、并给出停止位置；按路线顺序拼接去重并润色。随后用“干净”视频（无指令与路线叠加）逐段验证三件事：运动一致性（动作顺序与转向方向）、选择 grounding（是否指认了演示的那个入口）、停止 grounding（是否描述了观察到的到达区域），不合格片段局部修订后复验，全部通过才保留。第三步，样本选择：$H=18$ 时用 stride-6 网格采样使相邻目标重叠从 17 降到 12 个动作，并在持续转弯起点和临近终止处额外加采样，每个状态配其 18 步专家动作序列。第四步，模型与训练：当前 960×480 ERP 与最多 10 帧历史（448×224）编码为视觉 token，冻结的 PanoVGGT 提取几何特征并融合；以式 (1) 的动作交叉熵训练 VLM 与投影层，几何编码器全程冻结；AdamW、有效 batch 128（8 卡×4×4 累积）、视觉编码器学习率 $2\times10^{-6}$、语言/merger/投影层 $2\times10^{-5}$、cosine 调度、bfloat16、训 1 个 epoch。第五步，推理执行：greedy 解码 18 个动作，按式 (2)–(3) 计算每个已生成动作的不确定性 $u_{t,i}$ 与累积 $U_t(k)$，在 $U_t(k)\le B=1.2$ 内取最长前缀（至少 4 步）执行，除非触发 stop，否则重新观察进入下一轮规划。
技术新颖性
技术新颖性有四点。第一，它是首批系统回答“全景输入需要哪些配套改造”的工作：不是把 ERP 当作又一种输入模态直接喂进 VLM，而是用 horizon 消融给出量化证据——ERP 策略在短 horizon 时落后于透视策略，随 $H$ 增大在 $H=18$ 处反超（SR 56.4%），而透视策略在 $H=4$ 就达峰（49.5%）后持续下降；论文进一步用注意力可视化（Figure 11）展示短 horizon 训练使注意力集中在正前方、呈“透视式”，而 $H=18$ 的 PanoVLN 会关注指令相关但位于侧向的通道，直接证明监督长度改变了模型对全景的使用方式。第二，CGE 形式极简（对动作 token 的负对数概率做累积并设阈）但机制上区别于固定重规划周期（StreamVLN 每 4 个动作）与逐动作重规划（JanusVLN 每个动作），Table 4 表明它同时优于全部固定与随机策略，且作者明确区分了两个设计变量：长目标负责教路线选择，CGE 负责决定何时重新观察。第三，数据管线的验证闭环（生成→三重 grounding 验证→局部修订→复验→重放确认）保证了指令的视觉接地，Figure 8 的三组对照（ScaleVLN、ScaleVLN-rewrite、本文数据）把“指令质量”与“路线结构”的贡献干净地分离。第四，论文证明全景几何基础模型可作为即插即用的空间先验：对比 UniK3D、DA2、DAP 等深度/几何编码器，只有理解球面投影的 PanoVGGT 在两个基准上同时提升（SR 68.6/67.1 对无几何的 66.6/66.5），其余甚至有害（DAP 64.5/61.1），说明关键不是“任意几何特征”而是与 ERP 对齐的几何表征。
实验结果
主结果（Table 1）：在 R2R-CE Val-Unseen 上，PanoVLN 取得 NE 2.83m、OS 83.1%、SR 77.3%、SPL 70.6%，比此前最佳 SR（AwareVLN 65.4）高 11.9 个点、比最佳 SPL（DualVLN 58.5）高 12.1 个点；在 RxR-CE Val-Unseen 上取得 SR 78.0%、SPL 65.9%、nDTW 73.3，比 CorrectNav 的 69.3 高 8.7 个点。仅用 R2R+RxR 数据训练的 PanoVLN† 也达到 73.9/74.1 的 SR，已超过所有对比方法，说明增益来自方法而非额外数据量。horizon 消融（Figure 7）：透视策略在 $H=4$ 达峰（SR 49.5%）后回落，ERP 策略短 horizon 时落后、$H=18$ 达 56.4%；固定执行 6 步时 ERP 从 $H=8$ 到 $H=18$ 持续提升，证明增益来自更长的监督而非执行方式变化。采样消融（Table 3）：转弯/终止感知采样把 SR 从 56.4 提到 62.8、SPL 从 49.5 提到 57.2，而 OS 基本持平（70.7→69.9），说明提升来自更可靠的转向与终止决策。执行消融（Table 4）：固定执行 1/6/12/18 步的 SR 分别为 64.6/64.2/61.4/57.2，随机 1–18 步为 61.3，CGE 达 66.6（R2R）与 66.5（RxR），SPL 61.5/56.4。几何编码器消融（Table 5）：PanoVGGT 68.6/67.1 最优，UniK3D 67.8/65.4，DA2 65.5/63.0，DAP 64.5/61.1，无几何 66.6/66.5。数据组成消融（Table 7）：R2R+RxR 基线 68.6/67.1，加 DAgger 后 73.9/74.1，再加 98K 决策中心数据后 77.3/78.0（RxR nDTW 71.4→73.3）。数据对照（Figure 8）：在 2K–30K 匹配轨迹数下，本文数据全面优于 ScaleVLN，指令重写版介于两者之间，分离出指令质量与路线结构的贡献。骨干消融（Table 8）：Qwen2.5-VL-7B 75.9/76.3，Qwen3-VL-4B 76.2/75.7，Qwen3.5-4B 77.3/78.0，说明方法不绑定单一骨干。真实世界（Figure 6、Table 2）：在 Unitree Go2 + Insta360 X5（1.5m 高）+ 远程 RTX 3090 上，Hallway/Office/Campus 三场景各 20 条共享指令-路线对、零场景微调，PanoVLN 全部取得最佳 NE 与 SR；平均导航时间 86.4s、速度 25.7cm/s、等待占比 13.6%、暂停 5.4 次、策略调用仅 7.4 次，全面优于 NaVid（135.2s、29.4 次调用）、NaVILA（194.0s、41.3 次）、StreamVLN（117.8s、34.3 次）与 JanusVLN（412.9s、101.7 次）；部署仅需约 12GB 显存，网络开销平均 272ms/次。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| R2R-CE Val-Unseen 视觉语言导航（RGB-only 组） | 成功率 SR | 77.3% | AwareVLN 65.4%（次佳 DualVLN 64.3%） | +11.9 个百分点 |
| R2R-CE Val-Unseen 视觉语言导航 | SPL（路径效率加权成功率） | 70.6% | DualVLN 58.5% | +12.1 个百分点 |
| R2R-CE Val-Unseen 视觉语言导航 | 导航误差 NE（米，越低越好） | 2.83 m | AwareVLN 4.02 m | -1.19 m |
| RxR-CE Val-Unseen 视觉语言导航 | 成功率 SR | 78.0% | CorrectNav 69.3%（RGB-only 最佳 AwareVLN 67.6%） | +8.7 个百分点 |
| RxR-CE Val-Unseen 视觉语言导航 | nDTW（参考路线吻合度） | 73.3 | CorrectNav 75.2 / DualVLN 70.0 | 未达全表最高，但为 RGB-only 无 waypoint 组最佳 |
| 真实世界导航（Hallway/Office/Campus，各 20 条路线） | 平均导航时间 | 86.4 s | StreamVLN 117.8 s（最慢 JanusVLN 412.9 s） | 比最快基线再快 26.7% |
| 真实世界导航执行效率 | 策略调用次数 / 停顿次数 | 7.4 次 / 5.4 次 | StreamVLN 34.3 次 / 8.3 次；JanusVLN 101.7 次 / 95.3 次 | 调用次数减少约 78%（对 StreamVLN），停顿最少 |
局限与改进
作者承认或可从文中推出的局限：其一，真实部署是同步执行——机器人必须等策略返回才能行动，PanoVLN 单次推理延迟 1.08s 其实高于 StreamVLN 的 0.58s，效率优势完全来自减少调用次数而非更快的模型；网络开销平均 272ms/次，对带宽受限或需要低延迟反应的场景是负担。其二，nDTW 在 RxR-CE 上（73.3）并未超过带 waypoint 预测器的 CorrectNav（75.2），说明路径吻合度尚未全面领先。其三，训练与评估集中在室内扫描环境（HM3D/Matterport3D），Campus 户外仅是零样本迁移，没有户外训练数据支撑。我自己的观察：第一，系统依赖 Insta360 类 360° 相机，硬件门槛高于单个前视相机，且 ERP 两极 20° 裁剪和 960×480 的分辨率可能损失天花板/地面信息，远处小目标（指令常引用的细节）难以辨认。第二，CGE 的预算 $B=1.2$ 与 $E_{min}=4$ 是手工超参，论文未报告灵敏度分析，模型置信度也未做校准，更换骨干或迁移到分布外场景可能需要重新调整。第三，98K 轨迹的指令全部由 Qwen3.8-27B 生成并经规则化验证，语言风格可能单一、偏模板化，与人类指令（尤其 RxR 的多语言口语化风格）存在分布差距，验证标准本身也可能漏掉语义模糊的指令。第四，真实世界评估每场景仅 20 条共享路线，样本量小，结论的统计功效有限；动作基元固定为 25cm/15°，避障与动态障碍完全交给底层，论文未讨论楼梯、台阶等复杂地形上的安全机制。第五，几何特征只融合当前帧，历史帧仍纯语义，长路线中“走过什么、在哪转的弯”没有显式空间记忆，对回溯类指令可能不利。
独立分析的弱点
弱点一：同步执行架构。机器人等待策略响应期间完全静止，Wait 占比 13.6%，且单次延迟 1.08s 偏高。改进方向是异步流水线——执行当前前缀的同时并行请求下一批预测，或用小模型蒸馏/量化把推理降到 100ms 级，配合底层局部避障控制器让机器人在等待中保持安全滑行。弱点二：CGE 超参与置信度质量。$B=1.2$、$E_{min}=4$ 靠手工设定，论文未分析灵敏度；动作 token 的负对数概率并非校准过的概率，长序列中可能系统性偏乐观或偏悲观。改进方向是在验证集上做置信度校准（如 conformal prediction 保证覆盖率），或让执行长度由学习到的价值/失败风险头决定。弱点三：数据规模与语言多样性受限于 800 个 HM3D 场景与单一生成模型，指令风格同质化。改进方向是引入场景组合与程序化重排、接入真实扫描数据，并混入多语言、口语化人工指令以贴近 RxR 分布。弱点四：ERP 分辨率与 token 预算的矛盾。960×480 折叠 360° 内容，每像素信息密度低，识别远处门牌、小物体吃力。改进方向是显著性引导的动态分辨率编码——只对指令相关区域投入更多 token，或采用 tile 化高分辨率方案。弱点五：记忆缺失。历史 10 帧只是语义外观快照，无空间记忆，遇到“原路返回”“在第二个路口右转”类指令仍依赖隐式注意力。改进方向是把 PanoVGGT 逐帧几何聚合成在线点云或拓扑图，形成持久的几何-语义记忆。弱点六：安全性。固定步长动作基元下避障完全外包给底层，家庭环境中的行人、宠物等动态障碍未被建模，需要接入代价地图或反应式安全层。
未来方向
作者提出的方向：论文结论指出“更宽的可见性应当塑造导航策略的学习与执行方式”，这可直接延伸为把 CGE 的不确定性机制推广到其他具身任务（移动操作、探索）的自适应规划周期，以及用更大骨干、更长上下文处理完整视频历史（当前仅最近 100 步中采样 10 帧）。基于本文成果可延伸的方向：其一，双系统异步架构——慢速全景规划器与快速反应控制器解耦（类似 DualVLN 的双系统思路），彻底消除同步等待，同时保留长 horizon 全局规划。其二，持久空间记忆：把 PanoVGGT 的逐帧几何与语义 token 聚合为在线拓扑图或神经点云，支持重定位、回溯与多房间长程任务，这也符合 HNR、WS-MGMap 等地图路线的传统优势。其三，失败恢复与自校正：结合 CorrectNav 式的错误检测，在偏离指令时利用全景的完整视野选择回头路径，全景天然适合“看见来路”的回退决策。其四，不确定性校准与分布外检测：让 CGE 在陌生场景自动缩短执行长度、提高安全裕度，并触发主动探索。其五，数据引擎扩展：把决策中心数据管线推广到户外扫描、真实家庭重建与多语言指令，配合域随机化做系统性 sim2real；同时研究生成指令的难度 curriculum（分支数、转弯角、指令长度递增）。其六，降低传感器门槛：用多相机拼接或视频外推合成伪全景，验证全景优势能否在无 360° 硬件时部分保留。
复现评估
复现透明度总体较好。项目页为 https://wangzhen-w.github.io/PanoVLN/（代码与模型发布情况文中未明确承诺，需关注项目页更新）。所有依赖组件均公开可得：Qwen3.5-4B 与 Qwen3.8-27B（阿里 Qwen 系列，可用相近开源 VLM 替代）、PanoVGGT（CVPR 2026 开源）、HM3D（需 Matterport 协议许可）、Matterport3D、R2R-CE/RxR-CE 基准与 Habitat 仿真器。数据构建管线在 3.3 节与附录中描述得相当细：分支点定义、三步过滤、四步指令构建、三重 grounding 验证、stride-6 加事件采样，复刻 98K 轨迹的主要成本是指令生成与验证的 VLM 调用以及场景渲染。训练成本中等：8 卡 GPU、有效 batch 128、bfloat16 加梯度检查点、只训 1 个 epoch，4B 模型属于单机 8×A100/4090 级别可负担的规模；超参在 Table 6 完整给出（学习率 $2\times10^{-6}$/$2\times10^{-5}$、$\alpha=0.2$、$B=1.2$、$E_{min}=4$、动作基元 25cm/15° 等）。真实世界复现门槛较高：需要 Unitree Go2 四足、Insta360 X5 全景相机（1.5m 高安装）、远程 RTX 3090（约 12GB 显存）与 272ms 平均网络开销的通信链路。综合评估：只下载公开 checkpoint 在 R2R-CE 上评测属于低难度；复现训练属于中等难度（多卡+数据许可）；完整复刻含数据构建与机器人实验属于中上难度，瓶颈在 98K 数据重建与机器人硬件。
论文图表
概览图。左侧对比透视 VLN 与 PanoVLN：指令要求从起始房间进入开阔区域再转入最右侧房间，透视相机因视场受限可能进错房间，而 360° 全景能直接看到正确入口。右侧是真实世界部署示意（360° 相机、360° 观察、转弯与停在电视前）和一张关键曲线图：R2R-CE 成功率对训练样本数（50 万至 5000 万，对数轴），PanoVLN 以极少数据（约 10 万级）即超过 DualVLN、JanusVLN、StreamVLN、DeCoVLN、NaVILA、Aux-Think、Uni-NaVid 等用数百万至数千万样本训练的方法。
一图概括全文卖点：全景视野避免“看不见就进错门”的失败模式，且数据效率远超对手，是吸引读者理解后续三个技术改造的入口。
分组柱状图，在 Hallway（连续转弯）、Office（杂物与房间切换）、Campus（花园、运动场、广场，测试室内训练向户外的迁移）三个场景、每场景 20 条共享指令-路线对上比较 NaVid、NaVILA、StreamVLN、JanusVLN 与 PanoVLN 的导航误差（NE，米）与成功率（SR）。PanoVLN 在全部三个场景同时取得最低 NE 与最高 SR（例如 NE 低至 0.3–1.2m 量级），而 NaVid 在长指令进度跟踪上挣扎、NaVILA 受 Office 杂物干扰、StreamVLN 与 JanusVLN 难以迁移到开阔户外。
真实世界的定性差异（哪个方法在哪种场景失败）只有此图给出，是验证全景策略跨场景鲁棒性与户外零样本迁移的核心证据。
导航提示词模板。系统提示要求模型作为自主导航助手，依据指令、近期观察与当前观察，只用四种动作（左右转 15°、前进 25cm、完成后 stop）输出恰好 18 个按执行顺序排列、以空格分隔的动作词，不足 18 步时用 stop 填充；用户提示依次填入导航指令、从旧到新排列的历史全景、当前全景。
复现的直观入口：动作空间、H=18 的输出格式约束与 stop 填充规则都由该模板定义，直接影响训练目标与推理行为。
柱状分布图，统计 R2R-CE 与 RxR-CE 参考路径上所有不小于 30° 的转弯（共 54,457 个）按 15° 分箱的分布：30° 箱占 46.7%，45° 占 21.9%，60° 占 13.0%，75° 占 8.5%，之后各箱递减（4.0%、1.9%、1.1%、1.0%、0.9%、0.8%、0.3%），45°–180° 合计 53.3%。
为“视野外决策是常态”提供数据支撑：对前向 90° 视野，45° 以上的去向都在视野之外，这解释了为何全景+长 horizon 监督能针对真实路线结构发力。