OpenFlyV2：面向空中感知与导航的机载视觉-语言-动作模型 OpenFlyV2: An onboard vision-language-action model for aerial perception and navigation
单模型机载完成空中语义理解与闭环导航，零样本真机飞行成功率48%
前置知识
视觉-语言-动作模型（VLA）
VLA 是把视觉感知、语言理解和机器人控制统一进单个神经网络的模型范式。输入图像（或视频）与自然语言指令，输出既可以是文本回答，也可以是连续动作序列。代表工作包括 RT-1/RT-2、OpenVLA、Octo 和 π0，它们证明了视觉-语言预训练获得的表征可以迁移到机器人控制任务上。
本文就是一个空中 VLA：同一个 1B 模型既能做 VQA 又能输出飞行航点，理解 VLA 的'共享表征 + 多任务输出头'结构是读懂其架构设计的前提。
视觉语言导航（VLN）
VLN 任务要求智能体根据自然语言指令（如'飞向红色钟楼并在附近停下'）在连续环境中移动到目标。评测常用四个指标：成功率 SR（显式停在目标附近才算成功）、Oracle 成功率 OSR（路径任意时刻进入过目标区域）、SPL（按路径长度加权的成功率）和导航误差 NE（终点到目标的距离）。
本文的核心评测任务就是连续环境空中 VLN，Table 1 与 Figure 4B 全部围绕 SR/OSR/SPL/NE 四个指标展开，不懂这些指标就无法解读实验结果。
条件流匹配（Conditional Flow Matching）
一种生成式建模方法：学习一个速度场 $v_\theta$，把样本从源分布（通常是高斯噪声）沿常微分方程输运到数据分布。训练目标是 $\mathcal{L} = \mathbb{E}\|v_\theta(x^\tau, \tau) - u^\tau\|_2^2$，推理时从 $\tau=1$ 用欧拉法积分到 $\tau=0$。相比扩散模型，流匹配的积分路径更直，可以少步甚至单步采样。
OpenFlyV2 的动作专家就是一个条件流匹配策略，其独特之处是把源分布从高斯噪声换成了运动原型构造的结构化分布，这是 MSP 创新的数学基础。
动作分块（Action Chunking）与实时执行
动作分块指一次推理预测未来多步动作（本文一次预测 12 个航点），而非每步重新推理。推理耗时会造成命令断流，工程上用异步执行解决：当前块被执行时并行生成下一个块，并配合训练时动作前缀条件（training-time action-prefix conditioning）让模型学会衔接已提交的运动。
10 Hz 出 12 航点、异步分块执行是本文能在一个动作周期内完成全部机载推理的关键，也是理解其部署系统设计的必要背景。
3D 高斯泼溅（3DGS）
一种基于显式 3D 高斯基元的可微渲染与场景重建技术，从多视角照片重建出可实时渲染的三维场景。相比 NeRF 训练与渲染更快，被广泛用于从真实采集图像重建可交互的三维环境。
本文 13 个训练环境中有 7 个（5 个真实大学校园 + 2 个灾后废墟）是用 3DGS 从真实影像重建的，这是其仿真数据保留真实外观、支撑零样本 sim-to-real 迁移的重要一环。
研究动机
空中机器人要做到'看懂环境—推理空间关系—执行动作'的一体化，长期被三类短板卡住。其一是能力割裂：现有 VLN 系统大多只做地标指引的导航（OpenUAV、CityNav 一类基准），VQA 与指代表达基准又只测理解，没有一个模型能同时完成语义理解、视觉定位、空间推理和连续飞行控制。其二是依赖离线计算：把推理放在地面站虽然绕开了机载算力不足，却让导航闭环受制于通信链路的可用性与延迟，无人机频繁悬停等待预测会显著拉低平均飞行速度和任务效率，浪费了无人机固有的敏捷性。其三是机载闭环本身困难：空中环境的观测跨度长、视角变化快、部分可观测，还存在三维运动；而部署平台只有 NVIDIA Jetson Orin NX 这类资源受限的嵌入式硬件，多模态理解、时序上下文处理和航点生成必须同时塞进有限的算力与延迟预算内。作者把能力整合、可扩展监督、机载执行效率视为三个不可分割的耦合挑战，这正是现有方法没有同时满足的。
本文的目标是本文的目标是构建一个统一且完全机载的空中视觉-语言-动作模型 OpenFlyV2：用单个 10 亿参数（1B）检查点，同时支持语义理解、语言接地的视觉定位、空间推理和语言条件下的连续飞行控制，并能在 Jetson Orin NX 上以 10 Hz 端到端生成含 12 个航点的动作块，支撑闭环导航。围绕这一目标有三条具体任务线：一是让同一骨干既能回答空中图像的视觉问题（颜色识别、目标描述、距离估计、空间关系、目标定位），又能在需要动作时输出连续航点；二是构建跨越场景语义、空间关系和语言条件飞行行为的大规模监督数据 OpenFlyV2-130K（约 72,352 条导航轨迹 + 60,006 条视觉-语言对，覆盖 13 个环境、254.81 平方公里），且完全不使用真实飞行示范；三是让整个'感知—记忆—动作生成'回路在机载硬件延迟预算内实时运转，并从仿真零样本迁移到物理四旋翼，最终在 4 个真实环境、100 次试飞中验证 48% 的导航成功率。
与已有工作不同的是，本文的独特之处不在于发明新模态，而在于系统级的组合与压缩。第一，与把大 VLM 直接接上控制头的做法不同，OpenFlyV2 采用 0.8B 的 Qwen3.5-VL 共享骨干加 0.2B 紧凑动作专家的分工：理解能力来自共享多模态表征，连续控制由轻量专家承担，两者通过同一份前缀表征衔接，能力按任务需求调用。第二，针对机载算力约束，文章选择压缩开销而非牺牲能力：Motion-Adaptive Memory 把稠密视觉历史压缩成有界的事件级 token；Motion-Structured Prior 则利用'短时无人机轨迹集中在少数反复出现的运动模式上'这一观察，把运动结构编码成流匹配的源分布，使单步去噪即可用。第三，监督全部来自仿真与渲染：AirSim、Unreal Engine 场景加上 3DGS 重建的真实校园与灾后废墟，指令由 GPT-5 生成、200 名标注者按严格标准核验（仅 60% 通过），真机部署零微调。这种'统一能力 + 结构化压缩 + 纯仿真监督'的三位一体切入是以往空中 VLN 工作没有同时做到的。
核心方法
直觉上，OpenFlyV2 模仿人类认知的'共享感知底座 + 按需调用'：同一个视觉-语言骨干负责理解当前观测、语言指令和历史上下文，当任务需要行动时，由一个紧凑的动作专家把同一份多模态表征转成短时程飞行航点。技术路线上，模型由 0.8B 的 Qwen3.5-VL 骨干和 0.2B 动作专家组成。在导航决策步 $t$，模型接收当前航拍图像 $I_t$、语言指令、机体状态 $s_t$（XYZ + yaw）以及 MAM 记忆 token，输出动作块 $\hat{A}_t \in \mathbb{R}^{H\times 4}$（$H=12$），每个动作含三个机体坐标系运动增量和一位停止信号，XYZ 用训练数据的 min–max 统计量归一化；低层飞控负责跟踪这些航点。做 VQA 时同一骨干直接解码文本答案，输出通路按任务选择。训练分两阶段监督：先联合 VLN+VQA 训练 2 个 epoch（用 4 张历史图像显式提供历史），再启用 MAM+MSP 继续训练 3 个 epoch；随后用组相对优化的强化学习（适配随机流策略，类似 Flow-GRPO）对动作专家做后训练。真机上，视觉处理、记忆更新与动作生成全部在 Jetson Orin NX 上以 10 Hz 异步执行。
核心创新是两个'减开销'组件与流匹配动作生成的耦合。其一是 Motion-Adaptive Memory（MAM）：以往方法用拓扑图或稠密视频历史表示时序上下文，计算成本随历史长度增长；MAM 改为按动作变化切分事件——当相邻动作差超过阈值或段长达上限时提出新边界，每个事件由动作段加起止两张锚定图像组成，动作段经时间卷积加掩码池化编码，学习到的查询偏移产生固定 $P$ 个 token 做交叉注意力检索视觉特征，再叠加事件年龄嵌入 $M_{t,j} = F_{\text{MAM}}(Q_j, V_j) + E_{\text{age}}(d_{t,j})$，把历史输入从 446 个 token 压到不超过 218 个。其二是 Motion-Structured Prior（MSP）：扩散/流策略通常从高斯噪声出发多步去噪，MSP 离线用 $K{=}4$ 的 K-means 对路径长度归一化后的训练动作块形状聚类得到固定运动原型库，在线由运动预测头根据 $h_t$ 和 $s_t$ 选择原型并用长度、累积偏航系数调整，构造上下文条件源分布，使动作专家单步积分即可生成高质量 12 航点。本质区别在于：历史被'压缩'而非截断，运动结构被'注入起点'而非限制终点。
方法步骤详情
方法可拆为五步。第一步数据构建：在 13 个环境（4 个 AirSim、2 个 UE 城市场景、7 个 3DGS 重建的真实校园与灾后废墟）中，把带语义标签、三维位置与尺寸的地标存入栅格地图，随机选目标地标、采样无遮挡起始视点并衔接成连续多地标轨迹，得到 72,352 条导航轨迹；GPT-5 生成指令与 60,006 条问答对，200 名标注者核验后仅 60% 通过。第二步记忆编码（MAM）：按动作变化因果切分历史为事件，动作段经时间卷积加掩码池化编码，起止锚定图像经共享视觉塔得到 patch 特征 $V_j$，动作查询 $Q_j$ 交叉注意力检索后叠加年龄嵌入 $M_{t,j} = F_{\text{MAM}}(Q_j, V_j) + E_{\text{age}}(d_{t,j})$，至多 $M$ 个事件、共 $MP$ 个 token，已完成事件内容可跨周期缓存。第三步源分布构造（MSP）：预测头按 $h_t$、$s_t$ 输出类别 logits 与长度/累积偏航系数，先验修正后选原型 $k_t$ 并调整，采样 $z_{\text{XYZ}} = \mu_{k_t}(L_t,\Phi_t) + \alpha C_{k_t}\epsilon_{\text{XYZ}}$。第四步动作生成：训练以 $x^\tau = \tau z + (1-\tau)A^*_t$、$u^\tau = z - A^*_t$ 和损失 $\mathcal{L}_{\text{FM}}$ 拟合速度场 $v_\theta$，推理从 $\tau{=}1$ 欧拉积分到 $\tau{=}0$，前缀 KV 在单次积分内复用、只重算专家后缀。第五步训练与部署：先 2 epoch 联合 VLN+VQA（4 历史图），再 3 epoch 启用 MAM+MSP，随后 RL 后训练（4,000 任务、每组 4 条 rollout、组相对优势、仅更新动作专家），真机异步分块执行、10 Hz 输出 12 航点。
技术新颖性
技术新颖性体现在四个层面。第一，MAM 的事件级记忆与 NaVid 等视频历史方法及拓扑图方法有本质区别：它以'动作变化'而非固定时间窗定义记忆单元，把视觉变化与引发它的运动绑定；并用'先融合后加年龄'的设计让已完成事件的内容跨预测周期缓存、只有年龄需要重算，这是对机载推理缓存友好的架构创新。第二，MSP 把概率运动基元的思想搬进了流匹配的源分布而非输出空间：路径长度归一化把轨迹'形状'与'行程'解耦，$K{=}4$ 个数据驱动原型加类内协方差保留了多模态性，预测头输出的长度与累积偏航系数再按上下文缩放——源分布被结构化，但输出并不被限制在所选原型上。第三，明确地把'积分步数预算'作为一等评测维度：Table 1 系统比较一/两步配置，证明 MSP 的收益集中在单步预算（SR 从 53.45% 提到 57.09%），这与 Rectified Flow 关于少步积分的动机呼应，但给出了面向部署的实证。第四，系统层面证明广泛理解与闭环控制可以在单一 1B 检查点内共存并全部机载，避免了'云端大模型 + 机载小控制器'双系统架构的通信依赖。
实验结果
实验覆盖四个层面。第一，空中理解：0.8B 骨干综合表现与 GPT-5.5 相当，五项感知任务全面超过 Qwen3.5-9B 和 Gemini 3 Flash；视觉定位 Acc@0.5 达 67.1%（GPT-5.5 为 61.6%），距离估计 MAE 47.32 m、相对误差 0.27（GPT-5.5 为 52.62 m 和 0.34），描述质量 6.38 对 6.36（10 分制）。第二，仿真导航：800 已见 + 300 未见 episodes 上 SR 为 62.88% 和 52.67%，比最强基线 DualVLN（38.88%、36.67%）高 24.00 和 16.00 个百分点；NE 从 65.75 m 降到 33.72 m（已见）、57.98 m 降到 38.81 m（未见），OSR 与 SPL 均为最高。第三，消融（Table 1，合并 1,100 episodes、RL 前）：MAM 把单步 SR 从 49.82% 提到 53.45%、NE 从 49.18 m 降到 37.54 m；输入 token 从 446 降到不超过 218（至少省 51.1%），Orin NX 上去噪从 80 ms 降到 20 ms（4 倍加速）；MSP 在单步预算下再把 SR 提到 57.09%，单步组合模型全面超过两步 base（56.36%）；两步时 MAM 单独最强（59.45%）。第四，真机：同一检查点零微调部署于 DJI M30T + Jetson Orin NX，4 个环境（2 已见 2 未见）、100 次试飞（50 单地标 + 50 双地标）总成功率 48%，机载 10 Hz 单步生成 12 航点。另注意单步组合模型 OSR（68.36%）明显高于 SR（57.09%），说明'进入目标区域'与'正确停止'之间仍有差距。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 仿真导航（已见环境，800 episodes） | SR 成功率 | 62.88% | DualVLN 38.88% | +24.00 个百分点 |
| 仿真导航（未见环境，300 episodes） | SR 成功率 | 52.67% | DualVLN 36.67% | +16.00 个百分点 |
| 仿真导航（已见环境） | NE 终点导航误差 | 33.72 m | DualVLN 65.75 m | 降低 32.03 m |
| 视觉定位（1,000 例） | Acc@0.5 | 67.1% | GPT-5.5 61.6% | +5.5 个百分点 |
| 距离估计（300 例） | MAE 平均绝对误差 | 47.32 m（相对误差 0.27） | GPT-5.5 52.62 m（相对误差 0.34） | 降低 5.30 m / 0.07 |
| 单步消融（合并 1,100 episodes） | SR 成功率 | 57.09%（MAM+MSP，1 步） | 49.82%（Base，1 步） | +7.27 个百分点 |
| 真机零样本导航（100 次试飞，4 环境） | SR 成功率 | 48% | 无（AeroVLA/DualVLN/OpenUAV/OmniNav 均无法在 Jetson Orin NX 上运行） | 首个全机载 VLA 真机闭环结果 |
| 机载动作专家去噪（Jetson Orin NX） | 单次去噪时延 | 20 ms（MAM） | 80 ms（Base） | 4 倍加速 |
局限与改进
作者明确承认的局限包括：可靠的真实世界空中 VLN 仍是重大挑战，48% 的成功率意味着过半试飞失败；系统尚不能检测任务偏离、从错误中恢复或在观测变化下重启导航；评估只覆盖四个真实环境，需要在更多环境和运行条件下做更广泛验证；真机成功判据由人工现场判断（按顺序经过地标并在时限内停在正确目的地附近），与仿真中'25 m 内显式停止'的自动判据不同质。我的补充观察有四点。其一，仿真与真机之间存在未量化的域差：训练全靠 AirSim/UE 渲染与 3DGS 重建，真实世界的光照剧变、动态行人车辆、风扰都不在训练分布内，48% 里有多少归因于感知失败、多少归因于动作失败并未拆解。其二，基线比较对本文有利：四个基线（AeroVLA、DualVLN、OpenUAV、OmniNav）都无法在 Orin NX 上运行，只能在仿真中用本文数据重训，其原本的训练配方可能不适配这批数据，也没有与更轻量的专用导航小模型做真机对比。其三，MSP 的 $K{=}4$ 聚类相当粗糙，原型库规模的敏感性没有报告。其四，理解能力虽接近 GPT-5.5，但颜色识别与空间推理只是'接近'，0.8B 骨干的语言天花板可能限制复杂指令的理解深度。
独立分析的弱点
独立分析本文弱点，可以列出五点并给出改进方向。第一，真机成功率 48% 对实际部署仍偏低，且论文没有失败案例分析（是跟丢地标、停错位置还是超时），难以针对性改进——建议引入显式的失败检测与重试机制，例如基于语言目标的在线一致性校验，检测'是否已在描述的地标附近'。第二，OSR 与 SR 之间约 11 个百分点的差距（单步 68.36% 对 57.09%）说明模型经常路过目标区域却不能正确停止，停止信号的学习明显弱于航点预测——可为停止决策设计单独的监督信号，或在 RL 奖励中加大停止正确性权重。第三，数据管线成本高且依赖 GPT-5 生成，200 名标注者核验后仅 60% 通过，意味着约 40% 的生成算力与人力被浪费，且单一模型的生成指令语言风格可能偏窄——可引入自动质量过滤与多样化 prompt 策略，或用拒采样降低人工负担。第四，MAM 的事件边界阈值与最大段长是手工设定的固定超参，对不同运动风格（悬停盘旋 vs 直线冲刺）未必最优——可改成可学习或自适应的事件边界预测。第五，系统只依赖单个 RGB 相流，无深度或 IMU 的显式几何约束，距离估计 MAE 仍高达 47.32 m——融合轻量深度头或与飞控位姿估计做闭环校验会更稳健。
未来方向
作者在讨论部分提出的方向包括：检测飞行对既定任务的偏离、从错误中恢复并在观测变化下重启导航；把这套感知-动作回路与敏捷四旋翼平台、分布外飞行、自主集群和安全保障导航等已有基础整合；扩展到语言引导巡检——导航到描述性地标后对所见内容提问，进而支持多轮对话、跨请求的指代跟踪和并发导航问答（可借鉴 Aerial Vision-and-Dialog 与在线对话动作模型）；并在更多环境与运行条件下做更广泛评估。基于本文成果还可以自然延伸：一是把 RL 后训练从仅更新动作专家扩展到微调视觉骨干与 MAM，用真实飞行数据做在线适配；二是引入显式三维记忆或语义地图，把 MAM 的事件级 token 与可查询的空间表征结合，支撑公里级长程任务；三是让 VQA 与导航真正并发（当前按任务选择输出通路），实现飞行途中回答操作员提问；四是研究 MSP 原型库的自动扩展与跨环境迁移，用更大的 $K$ 或层次化原型覆盖更复杂机动；五是量化拆解零样本 sim-to-real 的成功归因，例如对比纯 AirSim 数据与含 3DGS 真实重建数据对真机性能的贡献差异，为社区提供数据配方指导。
复现评估
复现难度总体中等偏上：仿真部分容易，真机部分有硬件门槛。有利因素：代码承诺开源于 https://github.com/Ideal-ljl/AeroBrain；骨干是公开的 Qwen3.5-VL 0.8B；数据完全由公开仿真平台（AirSim、Unreal Engine）加团队自建 3DGS 重建场景生成，标注流程（GPT-5 生成 + 200 人核验）描述具体；模型仅 1B 参数，训练与推理算力需求适中，Jetson Orin NX 是常见嵌入式板卡；论文给出了完整公式、训练阶段划分（2+3 epoch 监督 + RL）、4,000 个 RL 任务、每组 4 条 rollout 等细节，消融协议（五 epoch、RL 前、一/两步）也写得清楚。不利因素：7 个 3DGS 环境需要实地采集真实校园与废墟影像并重建，普通团队难以完整复制；GPT-5 标注生成依赖闭源 API，人工核验成本高；RL 后训练的部分超参（学习率、奖励各项权重、正则系数）正文未给出；真机评测用 DJI M30T 整机，价格昂贵且需要飞行许可；评测 episodes 的确切划分需等代码与数据发布后核对。若只复现仿真导航与消融，一台 GPU 服务器即可；若要复现真机零样本部署，需准备等效的无人机 + Orin NX 平台并自行处理飞控接口。
论文图表
四联总览图：(A) 共享视觉-语言骨干整合视觉观测、语言指令与运动感知时序记忆，带动作先验的动作专家生成短时程航点实现闭环飞行；(B) 单一模型支持语义理解、视觉定位、空间推理和导航四类任务；(C) OpenFlyV2-130K 数据集来自 13 个环境、覆盖 254.81 平方公里，含约 70,000 条导航轨迹和 60,000 条视觉-语言对；(D) 1B 参数模型在搭载 Jetson Orin NX 的 DJI M30T 上以 10 Hz 生成 12 航点动作块，零样本真机导航成功率 48%。
一图总览全文四大卖点（统一架构、多能力、大规模仿真数据、机载部署），读者先看这张图就能建立对整个系统的框架性认识。