面向导航的递归自改进：策略同步的语言-动作双重自举 Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping
单一模型统一指令跟随与生成，分片自生成指令、执行过滤并同步更新，递归自改进导航
前置知识
视觉语言导航（VLN）
VLN 要求具身智能体在 3D 环境中根据自然语言指令导航到目标位置：智能体接收第一视角 RGB 观测，通过低层动作（前进、左转、右转、停止）逐步移动，需要把指令中的地标与空间关系描述对接到视觉观测上，并在长时序中持续决策。代表数据集包括 R2R（简短指令）、RxR（长程多语言指令）、REVERIE、SOON 等。
本文的任务载体就是 VLN，所有方法设计（指令跟随、指令生成）与实验评测（R2R-CE、RxR-CE）都围绕这一任务展开，不理解任务设定就无法理解执行式过滤的含义。
VLN-CE 连续环境导航
早期 VLN 在离散导航图上按视点跳跃，VLN-CE 则要求智能体在连续空间中以低层动作交互（每步前进 0.25 米或转 15 度），观测由 Habitat 仿真器实时渲染，更接近真实机器人的控制方式。成功判定通常要求执行 STOP 时距目标测地距离小于 3 米。
本文全部训练与评测都在 VLN-CE 设定下进行；其「生成指令后从原起点重新执行」的过滤机制正是依赖连续环境中可重放的低层控制，也解释了动作空间与 3 米阈值等细节。
SR / SPL / nDTW 评测指标
SR（成功率）要求执行 STOP 时终点离目标测地距离小于 3 米；OSR 衡量途中是否曾进入成功区域；SPL 在成功基础上按最短路长度惩罚绕路；NE 是终点到目标的测地距离（米）；nDTW 衡量执行轨迹与参考轨迹的对齐程度，反映是否沿指定路线行走而非绕路抵达。
RSI-Nav 的数据过滤规则直接使用 $d_i<3$ 米与 SPL 阈值判定生成指令是否合格；论文还用 nDTW 增益论证模型更忠实跟随指令路线，这些都是本文的核心量化语言。
Speaker-Follower 与回译数据合成
早期 VLN 数据增强范式：speaker 模型观察轨迹生成指令，follower 模型学习跟随指令，通过回译为海量无标注轨迹补充语言监督。后续 ScaleVLN、SRDF 等将其扩展到百万级指令-轨迹对，用更大环境与更强生成器持续规模化。
本文的指令生成方向继承该范式，但其改进点——统一单一模型、策略同步更新、执行验证过滤——正是针对该范式「固定标注器 + 监督滞后」两大痛点，理解旧范式才能看清本文贡献。
双重学习
源于机器翻译（He et al., 2016）：正向任务（源语言到目标语言）与反向任务互为对偶，两个方向的输出可以互相提供反馈或监督，从而在无标注数据上形成互补学习。在本文中，指令生成（视觉+动作到语言）与指令跟随（语言+视觉到动作）构成语言-动作的双向对偶，且共享同一模型参数。
双重对偶结构是方法的理论骨架：论文消融（Table 5）专门验证联合训练 VL2A 与 VA2L 带来的双向收益，是理解「为什么一个模型要同时学两个方向」的关键。
递归自改进（RSI）与策略同步
RSI 指系统用自身的输出生成训练数据来改进其后续版本，如 STaR、Self-Rewarding LM 等在语言推理中的实践。「策略同步」指数据生成与过滤由最新模型反复刷新，而非固定模型一次性完成，使生成的监督与被训练策略之间的差距始终保持较小；本文通过逐 shard 立即更新实现，作者强调这不是严格的 on-policy 学习。
这是全文标题中的核心概念：理解为何要分片处理、每片后立即更新，以及更新粒度消融（Table 3）为何是全文最重要的设计证据之一。
研究动机
VLN 智能体的能力上限很大程度上由语言监督的质量决定，而人工标注一条导航指令成本高昂，社区因此转向自动数据合成：用 speaker 模型为无标注轨迹生成指令，ScaleVLN、SRDF 等已构建起百万级指令-轨迹对。但现有管线存在两个结构性问题。其一，指令生成与导航通常由两个独立模型分别承担，少数双重学习方法（CCC、LANA）又依赖任务特定的双解码器架构与一致性损失，双向语言-动作学习的收益受限。其二，更关键的是监督滞后：合成指令一般由一个固定模型在训练开始前一次性标注完整个轨迹库，之后才开始训练导航策略；以 SRDF 为例，数据精炼按粗粒度轮次进行，随着策略在多轮训练中不断变强，早期生成的指令与当前模型能理解、能执行的指令分布越来越脱节，标注质量的提升跟不上策略的提升，自生成数据的潜力没有被充分释放。
本文的目标是本文要构建一个数据中心、递归自改进的导航框架：用同一个模型统一指令跟随（VL2A）、指令生成（VA2L）与空间理解三种能力，让模型为自己加工训练数据。具体目标可以拆成三层：第一，把无标注连续轨迹库切成小分片，循环执行「生成指令、从起点执行、按到点与否和路径效率过滤、立即更新模型」的流程，使每一批新监督都由最新策略产生并检验，消除固定标注器带来的监督滞后；第二，递归演化不仅要提升导航成功率与路线忠实度（nDTW），还要沉淀一批经过执行验证的高质量指令-轨迹对，其下游训练效用要超过既有方法（如 SRDF）生成的数据；第三，导航自改进不能以牺牲通用能力为代价，空间理解（VSI-Bench、ScanQA、SQA3D、MindCube）需保持甚至小幅提升，最终在 R2R-CE 与 RxR-CE Val-Unseen 上全面超越其监督初始化基线。
与已有工作不同的是，作者的独特观察是：VLN 天然内嵌一个闭环对偶结构——任何无标注轨迹都可以被描述成一条路线指令（视觉+动作到语言），而这条指令又可以从原起点重新执行（语言+视觉到动作）；执行结果本身就是指令质量的免费验证器，如果指令能引导当前模型高效到达原轨迹终点，它就是合格的监督信号，完全不需要额外的奖励模型或人工打分。基于此，RSI-Nav 把两个对偶任务放进同一个持续演化的模型：执行反馈过滤自生成的语言监督，合格数据反过来更新模型本身，形成「模型越强、生成的数据越好、模型更强」的递归循环。与 SRDF（生成与模型更新分离成粗轮次）、CCC/LANA（任务特定架构）的本质区别在于：数据生成、验证与策略更新在细粒度的 shard 级别上同步进行，监督永远不落后于策略。
核心方法
直觉上，一条无标注轨迹是「沉默的经验」：它包含完整的视觉观测与动作序列，只缺一句语言描述。让当前模型补上这句话，再让它按这句话从原起点走一遍，验证能否到点且不绕路——通过筛选的（轨迹, 指令）对就是新鲜可靠的教学材料，而且随着模型变强，它生成并验证的教材也会同步变好。技术路线上，RSI-Nav 以 Qwen3.5-9B 为底座，先在多源数据上做监督微调建立导航、指令生成与空间理解三种基础能力；再把无标注轨迹库切成每片 16,384 条的不重叠 shard；对每一片执行四步循环：生成（32 帧均匀采样+完整动作序列，输出指令）、执行（指令+原起点，跑出导航 rollout）、过滤（保留 $q_i=\mathbb{I}[d_i<3\,\mathrm{m}\wedge\mathrm{SPL}_i\ge\tau_{\mathrm{SPL}}]$ 的样本）、立即更新（合格对与回放的空间数据混合做一次 SFT），然后用更新后的模型 $\theta_k$ 处理下一片。全流程共生成约 250 万条指令跟随样本与 110 万条指令生成样本。
核心创新是「策略同步」的语言-动作双重自举。它不是严格的 on-policy 学习——源轨迹本身离线固定，被持续刷新的是语言侧监督：指令生成与执行验证始终由最新模型完成，把生成监督与演化策略之间的差距压到最小。有两个容易被忽视的关键设计：第一，训练目标保留原始轨迹 $\tau_i$ 而非模型执行出的轨迹。因为指令 $\hat{x}_i$ 由 $\tau_i$ 生成，成功且高效的执行说明 $\hat{x}_i$ 忠实于 $\tau_i$ 所表达的任务，直接复用原轨迹既避免执行误差在多轮递归中累积，也省去在 Habitat 中反复重渲染连续轨迹的开销，让递归改进集中在语言监督质量上。第二，每条合格样本同时服务两个方向：$\hat{x}_i$ 配原观测历史与动作训练跟随，$(\tilde{V}_{\tau_i}, A_{\tau_i})$ 配 $\hat{x}_i$ 训练生成，一次生成双重收益。执行反馈在此充当免费的指令质量评估器，无需独立验证模型或人工审查。
方法步骤详情
第一步，数据准备：导航监督来自 SRDF、EnvDrop、ScaleVLN、R2R、RxR 的连续轨迹，并把轨迹-指令对反转构造指令生成数据；SRDF 的离散路径经坐标映射（相机高度偏移 1.25 m）后由最短路跟随器在 Habitat 中转成低层轨迹（每步 0.25 m 或转 15 度，动作预算 500，路径超 100 m 丢弃）；空间数据混合 VSI-590K、LLaVA-3D 的 546K 样本与 MindCube。第二步，SFT 冷启动：多源混合训练 1 epoch，学习率 $5\times10^{-6}$，全局 batch 128，AdamW。第三步，分片递归：每 shard 16,384 条（64 GPU、每卡 256 条）；导航时模型以 8 帧历史观测预测 4 步动作块，按 $\mathcal{L}_{\mathrm{IF}}=-\log p_\theta(c_t\mid x,\tilde{H}_t)$ 训练；生成时输入 32 帧+完整动作序列，按 $\mathcal{L}_{\mathrm{IG}}=-\log p_\theta(\hat{x}\mid\tilde{V}_\tau,A_\tau)$ 训练；执行终点测地距离 $d_i<3$ m 且 $\mathrm{SPL}_i\ge\tau_{\mathrm{SPL}}$ 才保留。第四步，每片结束立即用 $\mathcal{L}_k=\mathcal{L}_{\mathrm{IF}}+\mathcal{L}_{\mathrm{IG}}+\mathcal{L}_{\mathrm{spa}}$ 联合更新并回放空间数据，再处理下一片。整个过程源轨迹始终离线固定，被持续刷新的只有语言侧监督，这正是「策略同步而非严格 on-policy」的含义。
技术新颖性
技术新颖性有四点。其一，据作者所知，这是首个把统一的语言-动作双重学习与策略同步递归自改进结合起来的导航框架：此前双重学习要么用独立的 speaker-follower 双模型，要么依赖任务特定架构（CCC、LANA 的双解码器加一致性目标），而这里导航、指令生成、空间理解三种能力共享 Qwen3.5-9B 的全部参数，仅靠任务提示区分，没有单独的生成器、验证器或输出头。其二，更新粒度的系统研究：消融显示每卡 256 条候选的中间粒度最优（SR 57.2%），64 条时每次更新策略变化太小（SR 51.9%），1,024 条则退化为传统离线设定、扩大策略-数据差距（SR 55.1%），首次给出了「策略-数据同步粒度」的权衡证据。其三，动作条件化指令生成：VA2L 相比仅看图像的 V2L 把下游 SR 从 47.0% 提到 48.8%、SPL 从 38.8% 提到 41.0%，说明动作序列信息能更有效地把生成侧监督迁移回导航侧。其四，把空间理解作为第三监督源与双重自举共存，并以固定比例回放防止遗忘，使自改进不侵蚀通用能力。
实验结果
核心结果分四块。导航：R2R-CE Val-Unseen 上 RSI-Nav 达到 SR 68.6%、SPL 58.6%、NE 3.70、OSR 78.0%，相对 SFT 冷启动（SR 52.9%、SPL 45.5%）提升 15.7 个百分点，并超过 NavFoM（61.7）、DualVLN（64.3）、AwareVLN（65.4）等仅用 RGB 的最强方法；RxR-CE 上 SR 72.4%、SPL 56.5%、nDTW 70.6，超过 AwareVLN 的 67.6。nDTW 从冷启动的 62.4 提到 70.6，说明模型更忠实沿指令路线行走而非绕路到点。空间理解：递归演化后 VSI-Bench 64.6 到 64.9、ScanQA 93.2 到 96.4、SQA3D 65.1 到 65.4、MindCube 91.8 到 93.5，四项全部小幅提升，证明导航自改进未以牺牲通用能力为代价。生成效用：NLP 指标上 SRDF 的 BLEU-4 更高（31.1 对 28.2），但用 RSI-Nav 生成指令训练的导航模型 SR 41.3%、SPL 35.1%，显著高于 SRDF 数据的 36.8%、30.4%，揭示 NLP 相似度与下游训练效用脱钩。消融：加 VA2L 使 SR 从 44.7% 升至 48.8%，叠加空间数据到 52.9%；更新粒度 256 候选/卡最优。真机部署于 DEEP Robotics M20（远程 RTX 4090 推理），定性完成避障、窄道、跨房间长程等任务。总体而言，递归自改进的增益来自监督与策略共同演化，而非单纯堆数据。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| R2R-CE Val-Unseen 导航 | SR / SPL / NE | 68.6% / 58.6% / 3.70 | AwareVLN 65.4% / 55.1% / 4.02（最强基线）；冷启动 52.9% / 45.5% | SR 较最强基线 +3.2 pt，较冷启动 +15.7 pt |
| RxR-CE Val-Unseen 导航 | SR / SPL / nDTW | 72.4% / 56.5% / 70.6 | AwareVLN 67.6% / 56.1% / 65.7；冷启动 54.7% / 48.8% / 62.4 | SR 较最强基线 +4.8 pt，nDTW +4.9 pt；较冷启动 SR +17.7 pt |
| 空间理解 ScanQA | CIDEr | 96.4 | 冷启动 93.2；Qwen3.5-9B 原始 73.1 | 较冷启动 +3.2，远超底座模型 |
| 空间理解 MindCube | Accuracy | 93.5 | 冷启动 91.8；Qwen3.5-9B 原始 33.1 | 较冷启动 +1.7 |
| 空间理解 VSI-Bench / SQA3D | Overall / EM1-R | 64.9 / 65.4 | 冷启动 64.6 / 65.1；Embodied R1.5 56.1 / 48.2 | 均小幅优于冷启动，明显高于空间理解专用模型 |
| 指令生成训练效用（下游 R2R-CE） | SR / SPL | 41.3% / 35.1% | SRDF 生成数据 36.8% / 30.4% | SR +4.5 pt、SPL +4.7 pt（尽管 BLEU-4 反而低于 SRDF） |
| 策略更新粒度消融（64K 轨迹子集） | SR / SPL | 256 候选/卡：57.2% / 48.7% | 64 候选：51.9% / 45.9%；1,024 候选（近离线）：55.1% / 46.3% | 中间粒度较离线式更新 SR +2.1 pt |
局限与改进
作者承认的局限：整个自改进循环仍依赖仿真环境与离线轨迹池，执行式过滤带来可观的计算开销；真机部分只有定性演示，跨多样真实环境、未见域和更长时程任务的系统性鲁棒性尚未建立。附录 H 进一步指出更深层的问题：由于生成与验证出自同一模型，监督可能强化既有偏见；那些「有效但难执行」的指令会被过滤器拒绝，导致数据偏向简单轨迹、限制继续提升的空间；此外「高效到点」并不等于每处地标描述与空间关系都正确，语义错误可能随递归轮次传播。我的补充观察：效率阈值 $\tau_{\mathrm{SPL}}$ 固定，论文未报告其对过滤率与性能的敏感性；对比表中部分基线使用深度、全景或里程计输入，且训练数据规模与算力未对齐，虽然 RSI-Nav 仅用 RGB 更显优势，横向比较仍需谨慎；8 帧历史/32 帧轨迹的固定采样在超长指令下记忆可能不足；约 250 万+110 万自生成样本每条轨迹只处理一遍，多轮重复利用同一语料能否继续增益未被验证。
独立分析的弱点
独立分析的弱点：其一，执行过滤偏易拒难——一条提到多个精细地标的指令即使语义完美，只要当前模型执行失败就被丢弃，长期可能造成数据分布退化、能力天花板固化，改进方向是难度感知采样与自适应阈值（如按 shard 动态调整 $\tau_{\mathrm{SPL}}$），或把失败案例单独保留用于失败恢复/纠错训练。其二，语义正确性无保障——到点成功允许指令中存在错误的参照物或方向描述，这些错误会以「合格数据」的身份入库传播，改进方向是引入接地语义校验：用开放词汇检测或 VLM 核对指令提及的物体是否真的出现在对应视帧中，再决定是否入库。其三，自举偏差自我强化——同一模型既当考生又当考官，改进方向是周期性引入外部验证器（更强模型交叉验证或人工抽检）校准过滤器。其四，执行验证成本高——每条生成指令都要在 Habitat 中完整 rollout 一次，渲染与交互开销大，改进方向是先用模型置信度或自一致性预筛、只对高风险样本执行仿真验证，并缓存起点状态加速重放。其五，固定帧采样（导航 8 帧、生成 32 帧）限制长时程信息量，可引入自适应关键帧选择或分层记忆。
未来方向
作者提出的方向：难度感知的数据选择与自适应过滤，在保留有挑战性样本与控制监督质量之间取得平衡；引入互补验证信号——轨迹级执行验证之外叠加接地语义检查与针对性人工评估，以度量指令保真度并追踪误差在多轮自改进中的累积规律。基于成果可延伸的方向：把执行结果从二值过滤器升级为连续奖励信号，接入 RL（如 GRPO 类算法）做真正的 on-policy 微调，从而突破「只保留原轨迹」的限制；将框架迁移到真实机器人的在线数据流，让部署时收集的 rollout 直接进入自改进循环，打通仿真到真机的数据飞轮；把语言-动作对偶自举扩展到操作、人机对话等其他具身任务，检验该结构的普适性；用多 checkpoint 交叉生成与验证来缓解自举偏差；以及探索同一语料的多轮重放策略，观察递归改进是否还有第二波增益——目前每条轨迹只被处理一次，这个维度完全未被触及。
复现评估
代码已在 GitHub 开源（OpenGVLab/RSI-Nav2026）。底座是 Qwen3.5-9B；初始化数据全部来自公开资源（SRDF、EnvDrop、ScaleVLN、R2R、RxR、VSI-590K、LLaVA-3D、MindCube），离散转连续轨迹的完整伪代码（附录 D Algorithm 1，含 1.25 m 高度偏移、0.25 m 步长、15 度转角、500 步动作预算、100 m 路径上限等全部细节）与导航/指令生成的 prompt 模板（附录 E）均已给出，消融也在固定的 64K 轨迹子集上报告，复现路径清晰。主要门槛在算力与工程量：完整训练用 64 张 GPU 分两阶段进行（SFT 1 epoch 加分片递归演化）；递归阶段每 16,384 条轨迹都要在 Habitat 中渲染观测并完整执行验证一次，加上 64 GPU 的多卡并行 rollout 管线搭建，估计需要数千 GPU 时量级的投入。整体属于高难度复现：单卡可以跑通小规模验证流程，但要复现 68.6% SR 的完整结果需要数据中心级别的集群资源与较强的系统工程能力。
论文图表
对比三种 VLN 训练范式：(a) 任务特定双重学习，共享编码器但配动作/语言双解码器联合训练，依赖任务特定架构与昂贵人工标注的离线配对数据；(b) 双模型数据飞轮，指令生成器离线合成数据、过滤后训练独立的导航模型，数据生成与模型更新是两个分离的粗粒度阶段；(c) 本文 RSI-Nav：当前策略 $\pi_t$ 在小 shard 上生成、执行并过滤数据，随后立即更新为 $\pi_{t+1}$，形成策略同步的语言-动作双重自举循环。
这张图把本文与两类已有范式的本质区别可视化，是理解论文定位与「策略同步」卖点差异的最直接材料。
在 64K 无标注轨迹子集上对比每次策略更新前每卡处理的轨迹数：冷启动 52.9/45.5；64 候选 SR 51.9/SPL 45.9（策略演化太慢）；256 候选最优，SR 57.2/SPL 48.7、NE 4.91、OSR 68.7；1,024 候选（相当于整库一次性更新，接近离线设定）回落到 55.1/46.3。全文据此采用 256/卡、全局 16,384 的 shard 粒度。
这是「策略同步」卖点的直接实验证据，揭示了更新粒度的倒 U 形权衡，是全文最关键的设计消融。
把 Matterport3D 离散路径转为 Habitat 可执行连续轨迹的完整伪代码：逐视点查询 MatterSim 坐标并映射 $\tilde{w}_i=(x_i,z_i-1.25,-y_i)$，对导航网格做高度吸附失败则用 $h_i=z_i-1.25$；路径超 100 m 拒绝；初始化起点与朝向后，由目标半径 0.25 m 的最短路跟随器逐视点生成动作，每步前进 0.25 m 或转 15 度，动作预算 500，超限丢弃。
复现训练数据的关键工程细节：SRDF 等离散数据集如何变成可用于 VLN-CE 训练与执行验证的连续轨迹全在此算法中。