空间中的自我：无人机具身智能的自我意识与空间认知基准评测

首个统一评测无人机空间认知与自我意识的基准，揭示MLLM自我建模的巨大缺口

前置知识

多模态大语言模型（MLLM）

MLLM 是将视觉编码器（通常是 CLIP-style ViT）与大语言模型通过连接器（connector）拼接的模型，可同时处理图像、视频和文本。典型代表有 Qwen-VL、InternVL、Gemini、GPT 等。视频 MLLM 通过均匀或自适应采样若干帧（本文至多 32 帧）输入视觉编码器，得到视觉 token 后与文本 token 一并送入 LLM 推理。

本文评测的 26 个模型全部是视频 MLLM，理解其帧采样、视觉 token 化机制是判断结果可信度的前提。

具身智能（Embodied Intelligence）

具身智能强调智能体（agent）不仅感知外部世界，还要持续维护自身内部状态（位置、姿态、运动），并通过感知—推理—行动闭环与物理环境交互。无人机（UAV）是典型的具身智能载体：它的视角变化会直接改变对外部场景的观察方式，因此自我状态与空间理解是耦合的。

本文核心论点是现有 UAV MLLM 只关注环境感知而忽视 agent 自身状态建模，需要理解具身智能的耦合特性才能领会 self-in-space 框架。

光流估计（Optical Flow）

光流是相邻视频帧之间每个像素的二维位移向量场，形式为 $U \in \mathbb{R}^{T_f \times 2 \times H_f \times W_f}$，两个通道分别表示水平和垂直位移。经典方法 RAFT、Sea-RAFT、MemFlow、MOFNet 通过深度网络回归稠密位移场。光流能直接编码相机/物体的运动信息，对视角变化、平移与旋转区分都敏感。

SIS-Motion 的核心创新就是将光流转换为伪图像序列送入运动编码器，理解光流是理解为何运动线索能同时改善自我意识和空间认知的关键。

自我意识 vs 空间认知

本文定义两个互补维度：空间认知（spatial cognition）指模型对外部环境的理解，包括物体存在性、属性、相对方向、地标顺序与一致性；自我意识（self-awareness）指模型对 UAV 自身运动状态、动作历史与未来行为的理解，如动作识别、动作序列、动作预测、路径规划。两者在具身场景中本应耦合：UAV 的运动改变了它看到的世界。

本文最重要的发现就是现有模型在空间认知上明显强于自我意识，这一维度划分是理解全文结论的主轴。

LoRA 参数高效微调

LoRA（Low-Rank Adaptation）冻结预训练模型主体权重，仅在注意力等线性层旁路注入低秩矩阵 $\Delta W = BA$（$B \in \mathbb{R}^{d \times r}$, $A \in \mathbb{R}^{r \times d}$，秩 $r$ 远小于 $d$）进行训练。本文使用 rank 32、alpha 64、dropout 0.05，在 4 张 RTX 4090 上即可完成 Qwen2.5-VL 3B/7B 的微调。

SIS-Motion 的所有实验都在 LoRA 下完成，这决定了它的可复现门槛以及与全参数 SFT 的可比性边界。

研究动机

随着轻量化硬件与电池技术进步，无人机已广泛应用于城市监控、基础设施巡检、应急响应等场景，越来越多任务依赖多模态大语言模型（MLLM）进行感知、推理与决策。然而现有 UAV 评测体系（如 AerialVLN、CityNav、OpenUAV、UrbanVideo-Bench、MM-UAVBench）几乎都是环境中心化或任务中心化的：它们要么关注模型能否识别场景中的物体、完成预定义导航，要么评测通用的视觉语言能力，却把 agent 自身的状态（位置、姿态、运动、动作历史）当作隐式背景处理。在真实飞行中，UAV 并非静止观察者，它的每一次前飞、转向、爬升都会改变画面的整体光流模式和场景布局——比如前飞时所有物体向后退、转向时整张图旋转。如果模型无法显式跟踪自身运动状态，就无法在动态视角下保持稳定的空间表征。现有方法的这一盲点直接体现为：当前 26 个主流 MLLM 在 UAV 自我相关任务上的准确率（如动作识别、动作序列、路径规划）系统性低于空间感知任务，且随任务认知层级升高（感知→记忆→推理）急剧退化，与人类 91.7% 的上限存在超过 20 个百分点的巨大鸿沟。

本文的目标是本文有两个层次目标。第一，构建一个能在统一框架下系统评测 UAV 具身空间智能的基准 SIS-Bench：要求把能力分解为可量化、可比较的结构化组件，而不是给出单一聚合分数。具体而言，沿两个互补维度（空间认知、自我意识）和三个递进认知层级（感知、记忆、推理）组织评测，覆盖 13 个任务、4856 道多选题、1646 段真实飞行视频（合计约 14.9 小时），并提供人类基线（91.7%）作为上限参考。第二，基于评测暴露的不平衡现象，进行一次受控的运动感知探索：通过 SIS-Motion 框架将光流引入视频 MLLM，验证「显式建模 agent 自身运动能否同时提升自我意识与空间认知」，并把这种提升迁移到下游 OpenUAV 导航任务上。整体目标是用量化证据回答「MLLM 到底多差地联合建模空间与自我」以及「运动线索能补多少」这两个具体问题。

与已有工作不同的是，本文的独特切入角度在于把「agent 自身」从评测的隐式背景里显式拎出来，与「外部环境」并列为两个对等维度。已有 UAV 基准都默认 agent 是透明观察者，把所有失败归因于视觉感知或任务理解；而本文指出 UAV 操作本质是连续的 agent-环境交互过程，agent 自身状态的变化会反过来改变它对外部世界的观察。基于这一视角，作者设计了三种此前无人系统组合的机制：用四类视频类型（Single/Concatenated/Long/Shuffled）匹配不同认知需求；用感知—记忆—推理的三级金字塔刻画能力退化曲线；用光流这一天然携带自我运动信号的模态作为受控探针。这种「先暴露问题、再用最小改动验证假设」的研究风格，使结论比单纯刷榜更具诊断价值。

核心方法

整体工作可类比为「先体检、再开小处方」。SIS-Bench 是体检：它把 UAV 具身空间智能拆成 2 维 × 3 级 = 6 个能力象限、13 个具体任务，用 4856 道经过双专家审核的多选题给模型做 CT，看哪些能力短板最致命。SIS-Motion 是小处方：作者没有从头训练旗舰模型，而是在 Qwen2.5-VL 3B 这一开源骨干上挂一个并行的运动编码器，把光流当作自我运动的显式线索，通过轻量加性融合喂给语言模型。技术路线分两段：基准侧采用四阶段流水线（数据处理 → 任务特定标注 → QA 生成 → 双专家验证），从 AirScape、UrbanVideo-Bench、VisDrone 三个公开源出发，通过转换、拼接、洗牌三种操作得到四类视频；模型侧采用双编码器设计，视觉编码器输出场景 token，运动编码器把光流转成 3 通道伪图像后输出运动 token，两者通过 $e = e_v + \text{MLP}_m(\text{LN}(e_m))$ 简单相加，保证对比可控，让任何性能增益都能直接归因于运动感知线索。

核心洞察是：在具身 UAV 场景下，空间与自我是天然耦合的——UAV 的自身运动状态决定了它如何观察世界，因此任何只看外观、不建模自我动态的方法都注定在自我意识任务上失衡。已有视频 MLLM 大多继承 CLIP 式预训练，对高层语义友好，却对细粒度运动、视角演化、自我姿态变化几乎盲视。本文用光流作为「自我运动」的物理探针：把 $U = \Phi(\{f_i\}_{i=1}^N) \in \mathbb{R}^{T_f \times 2 \times H_f \times W_f}$ 转成 $P_t = [\|U_t\|_2, U_t^x, U_t^y]$ 的 3 通道伪图像，再用 ViT 运动编码器把它对齐到与视觉 token 同维度，最终通过加性融合注入 LLM。与已有方法的本质区别在于：它不是在任务端做奖励或约束，而是在表征端补充一种全新的模态——自我运动的几何信号；这种信号对外能改善在变化视角下对环境的理解（空间认知提升 72.0→74.2），对内能直接反映 agent 自身动作（自我意识提升 60.3→63.7），从而证明「空间」和「自我」可以通过同一组运动线索联合增强。

方法步骤详情

流程分六步。第一步取材：从 AirScape、UrbanVideo-Bench、VisDrone 三个公开 UAV 源获取原始视频。第二步视频处理：VisDrone 按 15 FPS 转视频；2–4 段 AirScape 短片拼接为 Concatenated Video；长视频按四段比例切分后随机洗牌得到 Shuffled Video；保留部分长视频原序作为 Long Video，最终得 689 Single + 467 Concatenated + 237 Long + 253 Shuffled 共 1646 段。第三步标注：Pipeline-A 复用动作标注；Pipeline-B 用 VLM 辅助标注物体属性再人工过滤；Pipeline-C 由专家手工标注推理任务。第四步 QA 生成：13 个任务模板配合多个 LLM 生成多选题，干扰项优先选同场景但方向错误的物体。第五步双专家验证：6174 题经两人独立审核最终保留 4856 题。第六步 SIS-Motion 训练：Qwen2.5-VL 3B 骨干冻结双编码器，仅用 LoRA 训练连接器，1 epoch，4 张 RTX 4090。

技术新颖性

技术新颖性体现在四个层面。其一，首次为 UAV 提出统一的 self-in-space 公式化，把 agent 自身从隐式背景提升为与空间对等的评测维度，这是组织层面的创新。其二，任务条件化视频构造：不像通用基准把所有题目压在同一视频格式上，而是为每种认知需求定制视频类型——Single 对应瞬时感知、Concatenated 对应跨段记忆、Long 对应长时序推理、Shuffled 对应时空一致性恢复，这种「视频结构匹配认知结构」的设计显著增强了评测的诊断力。其三，三级认知金字塔（感知—记忆—推理）首次系统刻画了 MLLM 在 UAV 场景下的退化曲线，揭示出能力短板主要集中在时间整合与高层次推理。其四，运动编码器把光流转换为语言模型可直接消费的 token，并通过加性而非拼接方式融合，保证可对照；同时验证了四种不同光流估计器（RAFT、Sea-RAFT、MemFlow、MOFNet）都能带来增益，说明收益来自运动模态本身而非某一具体实现。

**Figure 2**: Task illustrations of SIS-Bench. The benchmark evaluates 13 tasks under two dimensions (Spatial Cognition and Self-Awareness) and three cognitive levels.

**Figure 4**: Overview of the SIS-Motion framework. The architecture comprises parallel encoders for synchronized visual and motion processing.

**Figure 3**: Overview of the SIS-Bench construction pipeline and statistics.

实验结果

评测覆盖 26 个视频 MLLM（6 闭源 + 20 开源），得出三条核心结论。第一，与人类存在巨大鸿沟：人类在 1040 题平衡子集上达 91.7%，最强模型 Gemini-3-Flash 仅 71.6%，差超 20 点，在自我意识与推理上差距更大，基准远未饱和。第二，空间认知 vs 自我意识系统性失衡：几乎所有模型空间任务都高于自我任务，例如 Gemini-3-Flash 空间感知 79.1%、自我感知 75.0%、空间推理 71.8%、自我推理仅 53.7%。第三，认知层级递进退化：感知 > 记忆 > 推理在所有模型族一致。SIS-Motion 受控实验给出可干预证据：3B 骨干 Self Avg 60.3→63.7、整体 66.4→69.1（+2.7）；7B 增益扩到 +3.8；四种光流估计器中 MOFNet 最佳。但收益集中在感知和记忆，推理不一致——Path Planning SFT 20.6%、SIS-Motion 23.5%，均低于随机 25.2%。错误分类显示动作理解错误 33.0%、空间推理错误 18.2%，证明失败源于无法把视觉证据转化为稳定的自我运动状态估计。

**Table 1**: Performance on SIS-Bench. Accuracy (%) across 13 tasks on 6 proprietary models and 20 open-source models.

**Table 2**: Results of the motion-aware exploration on SIS-Bench. Accuracy (%) across 13 tasks, comparing the zero-shot baseline, visual-only SFT, and SIS-Motion.

**Figure 6**: Scenarios of the downstream UAV navigation task. Representative samples evaluate the drone's decision-making and path-planning capabilities.

查看结构化数据

任务	指标	本文	基线	提升
SIS-Bench 整体准确率	Accuracy (%)	71.6 (Gemini-3-Flash 闭源最强)	91.7 (人类上限)	与人类差 20.1 个百分点，基准远未饱和
SIS-Bench 自我意识平均	Self Avg (%)	63.7 (SIS-Motion)	60.3 (仅视觉 SFT)	+3.4 个百分点，证明运动线索同时改善自我建模
SIS-Bench 空间认知平均	Spatial Avg (%)	74.2 (SIS-Motion)	72.0 (仅视觉 SFT)	+2.2 个百分点，空间认知也受益于自我运动建模
SIS-Bench 整体 (3B 骨干)	Overall (%)	69.1 (SIS-Motion)	66.4 (仅视觉 SFT)	+2.7 个百分点，受控探针级别的最小增益
SIS-Bench 整体 (7B 骨干)	Overall (%)	76.9 (MOFNet + 7B)	73.1 (7B 仅视觉 SFT)	+3.8 个百分点，骨干放大运动感知增益
OpenUAV 下游导航	Accuracy (%)	92.2 (SIS-Motion 零样本)	71.2 (Qwen2.5-VL 3B 骨干)	+21.0 个百分点，运动感知可迁移到真实决策
Path Planning 自我推理	Accuracy (%)	23.5 (SIS-Motion)	25.2 (随机基线)	低于随机 -1.7，暴露长期规划未解瓶颈

局限与改进

作者承认的局限包括：SIS-Bench 仅限多选题和开环视频理解，并非全新原子任务，而是对已有数据集的标准化重组；SIS-Motion 只是受控探针而非优化架构，3B 骨干增益仅 +2.7 个百分点，在推理任务上不一致（Path Planning 仍低于随机）；3 个真实数据源限制了场景覆盖。从独立观察看还有几处更深的局限：第一，SIS-Motion-54K 仅覆盖感知和记忆 9 个任务、无规划数据，因此 Path Planning 失败本质是监督范围问题而非方法本质缺陷；第二，下游 OpenUAV 高达 +21 的迁移增益需警惕——测试集仅 3895 题且采用规则化标签，可能与训练分布存在风格泄漏；第三，仅用 Qwen2.5-VL 单一骨干族验证，跨架构普适性未检验；第四，光流在弱光、稀疏纹理场景下天然脆弱，论文失败案例已承认但未给方案；第五，加性融合 $e = e_v + e'_m$ 过于简单，可能无法刻画运动与外观的复杂交互。

独立分析的弱点

第一，Path Planning 在所有变体上都低于随机（SFT 20.6%、SIS-Motion 23.5%、随机 25.2%），说明局部光流无法支撑长时序目标条件规划；改进方向是引入分层规划与显式动作—后果监督，或结合强化学习从飞行日志学动作—状态转移。第二，SIS-Motion 只在 Qwen2.5-VL 上验证，未在 InternVL3.5、GLM-4.6V、Kimi-VL 等其他骨干上做对照，运动感知收益的架构普适性存疑；改进方向是跨骨干复现并报告方差。第三，评测全部多选题，无法反映真实 UAV 需要的连续控制信号；改进方向是引入开放式轨迹生成任务并配合 SR、SPL 等导航指标。第四，光流在夜间、弱纹理、剧烈运动模糊下不可靠，论文失败案例已暴露但未给方案；改进方向是用深度、IMU、几何一致性的集成感知替代单一光流。第五，加性融合 $e = e_v + \text{MLP}_m(\text{LN}(e_m))$ 缺乏门控与交互机制，改进方向是引入 cross-attention 或门控融合 $e = e_v + g \odot e'_m$。

未来方向

作者明确提出的方向有四条：一是发展原生多模态基础模型（如 Gemini、Doubao、Qwen3.5、Kimi），统一语言、视觉、运动、环境反馈，特别面向 UAV agent 的动态场景理解与指令执行；二是集成感知（integrated sensing），融合外观、运动、深度、几何、时序对应以支撑稳定场景重建；三是自主飞行 agent，把 self-in-space 理解用于真实导航、规划、交互与长时决策；四是闭环感知—推理—行动。基于本文成果可延伸的方向我认为还包括：把 SIS-Motion 的运动编码器替换为更现代的 3D 表征（如 3D 高斯泼溅、NeRF、点云）以提供更结构化的空间几何；用强化学习或专家轨迹模仿在 SIS-Motion-54K 基础上扩展规划数据，针对性突破 Path Planning 瓶颈；探索跨具身平台迁移（车载、机器人）以检验 self-in-space 公式化的普适性；把基准从多选扩展为开放式生成 + 自动评分（如 VSI-Bench 的 LLM-as-judge），更贴近真实部署需求。

复现评估

复现门槛中等偏低。论文在首页提供 Contact、Website、Code 与 Collection 链接承诺开源；三个源数据集（AirScape、UrbanVideo-Bench、VisDrone）全部公开可下载。骨干 Qwen2.5-VL 3B/7B 开源，四种光流估计器（RAFT、Sea-RAFT、MemFlow、MOFNet）均有官方实现。训练只需 LoRA 微调，4 张 RTX 4090、1 epoch、BF16 即可完成，单卡推理也能跑（上下文 32768 token，最多 32 帧/视频，输出 128 token）。评测协议细节充分：vLLM 推理、贪心解码、帧采样（2 FPS for <16s，1 FPS for 16–32s，32 帧均匀 for >32s）均明示。SIS-Motion-54K 训练数据承诺释放。主要难点是 Pipeline-B/C 的人工标注（4 名 EECS/AI 硕士、双专家审核）难以完全复刻，但 QA 集本身开源，可直接复用做后续模型评测。整体属于「能复现、能复用、可扩展」的工作。

空间中的自我：无人机具身智能的自我意识与空间认知基准评测 Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence