← 返回 2026-05-06

ESARBench：面向具身搜索与救援任务的无人机智能体基准 ESARBench: A Benchmark for Agentic UAV Embodied Search and Rescue

Daoxuan Zhang, Ping Chen, Jianyi Zhou, Shuo Yang 📅 2026-05-02 👍 6 2026-07-13 08:36
具身智能 基准测试 多模态大模型 强化学习 搜索与救援 无人机
arXiv HuggingFace PDF

首个高保真无人机具身搜救基准与仿真平台。

前置知识

具身智能（Embodied AI）

具身智能指智能体通过传感器与物理环境交互、感知并完成真实任务的研究范式，核心在于把感知、推理与动作控制闭环起来。其主体通常是机器人或无人机，需要在 3D 空间中做长时间规划。

ESARBench 正是面向具身智能体的仿真基准，读者需要理解『视觉感知 + 语言指令 + 动作输出』这一联合决策框架才能看懂文中公式 $A_{t+1}, M_{t+1}=\pi(O_t, S_t, P, H_t)$。

多模态大语言模型（MLLM）

MLLM 指能同时处理图像、文本、视频等多种模态输入的大语言模型，典型代表如 GPT-4V、Qwen-VL。本文中所有 MLLM 基线都依赖 Qwen3.5-Plus 来做高层语义推理与动作决策。

论文实验的设计直接围绕 MLLM 展开（包括 Pure-MLLM、NavGPT、UniGoal、SPF、APEX 五个基线），不熟悉 MLLM 就无法理解语义推理为何是 ESAR 任务的关键瓶颈。

视觉语言导航（VLN）与物体导航（ObjectNav）

VLN 要求智能体根据自然语言指令导航到目标位置；ObjectNav 则只需根据物体类别（如『找到一把椅子』）寻找目标。两者长期被视为具身导航的标准范式，论文把它们从地面推广到空中。

ESARBench 的基线几乎全部来自地面 VLN/ObjectNav 与空中 VLN/ObjectNav 方法，读者需要了解这些范式的差异才能理解论文『空中策略不可直接迁移自地面』的结论。

Unreal Engine 5 + AirSim 仿真栈

Unreal Engine 5（UE5）提供电影级实时渲染，AirSim 是微软维护的无人机仿真插件，提供真实飞行动力学、LiDAR、GPS、IMU 等传感器接口。本文将 ALOS PALSAR 12m DEM 数据映射进 UE5 来还原真实地形。

仿真平台是 ESARBench 的核心基础设施，理解 UE5 与 AirSim 的分工（渲染 vs 物理）才能解释论文为何强调『最小化视觉 sim-to-real gap』。

研究动机

传统无人机搜索与救援（UAV SAR）研究长期依赖『经典视觉感知 + 几何路径规划』的解耦流程，例如基于预计算地图的路径规划 $[21, 48, 61]$ 与基于概率模型的搜索 $[11, 16]$。这类方法严重依赖预先定义的运营模式与环境先验，一旦遇到地形、天气、能见度动态变化的真实灾区就容易失效。更严重的问题在于现有具身空中研究几乎全是 Aerial VLN，需要逐步细粒度的语言指令（如『向前飞 3 米后左转』），把无人机降格为『被动指令跟随者』，完全无法测试长时间自主探索与高层任务级决策能力。再加上不同基准各自针对特定假设评估，没有统一指标，导致我们根本无法横向比较各个 agent 在真实 SAR 任务中的能力。

本文的目标是本文提出全新的具身搜索与救援（Embodied Search and Rescue, ESAR）任务范式，要求无人机智能体在仅获得一段描述『目标最后轨迹』的文本提示（例如『最后一次目击在河边，受害者已经往山坡上行进很久』）后，自主完成多模态线索发现、环境语义推理与最终受害者定位的完整闭环。具体而言，作者构建 ESARBench：包含 4 个基于真实 GIS 数据的大型开放环境、12 类任务关键线索模型、13 种天气与可变时段、600 个分层难度的任务实例，并提出统一的评估协议（SR/TSR/CDS/RS 四类指标）来衡量感知精度、推理能力与任务效率。

与已有工作不同的是，本文的独特切入角度是把 SAR 从『视觉子任务集合』升级为『端到端具身决策任务』，并在三个层面同时创新：任务定义层面首次把高层抽象目标（受害者最后轨迹）而非逐步指令作为输入；仿真层面首次用 UE5 + AirSim + 真实 ALOS PALSAR 12 m DEM 数据构造 2km×2km 至 5km×5km 的大尺度荒野环境；评估层面首次把『成功定位』『时间效率』『线索召回』『飞行安全』耦合为一个 Rescue Score，并设计了一个『Event-Snapshot-Task』三层级层次化生成框架来保证实验可复现性与公平性。

核心方法

ESARBench 的整体设计理念是『把 SAR 重建为可复现的具身决策问题』。直觉上，作者希望无人机在飞出去之后像人类救援队员一样：边飞边观察，发现帐篷、背包、衣物等线索后立即调整搜索策略，最终推测出受害者坐标。为此他们采用『环境构建 + 任务生成』双流水线并行的方式（Figure 2）。在环境侧，他们利用 ALOS PALSAR 12 m 数字高程模型与卫星影像把中国四个真实搜救热点（Aotai 高山、Lop Nur 沙漠、K2 雪峰、Dapeng 海岸）导入 Unreal Engine 5，再叠加 AirSim-Colosseum 插件提供飞行物理与多模态传感器。在任务侧，他们提出『Event-Snapshot-Task』三层级生成框架：12 个真实事件被离散化为 60 个时间快照，再对每个快照随机采样天气、时段、起始点，生成 600 个任务实例。最后通过 4 个难度等级（Simple 25.2% / Medium 27.0% / Hard 27.5% / Extreme 20.3%）进行分层评估。

核心创新点在于把『端到端具身决策』与『真实地理尺度仿真』首次整合到 SAR 场景。与已有 Aerial VLN 基准（AerialVLN [35]、TravelUAV [53]、UAV-Flow [52]）相比，ESARBench 不再依赖逐步细粒度指令，而是给出抽象的『目标最后轨迹』描述，让 agent 必须自己做长时间规划。与已有空中 ObjectNav（Aerial Object Navigation）相比，SAR 任务的成功判定不是『找到目标物体』而是『输出受害者精确 3D 坐标』，引入了显式空间输出的几何误差阈值 $E$，并通过匈牙利算法最优匹配多个受害者。数学上，作者将决策过程形式化为 $A_{t+1}, M_{t+1}=\pi(O_t, S_t, P, H_t)$，即除了输出动作 $A_{t+1}$，agent 还必须显式输出新发现的线索语义与空间信息 $M_{t+1}$，这一点和传统导航只输出离散动作有本质区别。

方法步骤详情

方法构建分四步。第一步『环境构建』：选取中国 4 个真实搜救热点地理环境，分别对应高山 2km×2km、沙漠 2km×2km、雪峰 3km×3km、海岸 5km×5km 四种典型地形，把 ALOS PALSAR 12m DEM 数据映射到 UE5，并支持雪堆积、水坑、沙尘等动态物理现象。第二步『事件到任务』：每个真实搜救事件被离散化为多个时间快照，目标与线索静止；再随机采样 13 种天气、定制时段与起始位置，扩展为 600 个任务。第三步『线索与受害者部署』：根据事件真实历史部署 12 类线索模型（帐篷、背包、衣物、营火、信号弹等），受害者在符合事件时间线的位置生成。第四步『评估协议』：9 个基线连接同一 AirSim 接口、同一 4 摄像头 YOLO-World RGB-D 模块、同一 Qwen3.5-Plus MLLM，输入任务提示 $P$、观测 $O_t$、历史 $H_t$ 与状态 $S_t$，输出动作 $A_{t+1}$ 与线索报告 $M_{t+1}$，并用 SR/TSR/CDS/RS 四指标打分。

技术新颖性

技术新颖性主要体现在三处。第一，仿真层首次把真实 GIS 数据驱动的 2-5km 大尺度荒野环境与完整飞行动力学耦合，弥补了现有 AerialVLN（4 个小尺度城市场景）、U2UData（7 个感知子任务）等基准只能在小场景或仅视觉评估的不足。第二，任务层提出『Event-Snapshot-Task』三层级生成框架，把真实 SAR 故事离散化以保证算法可复现，这是现有空中基准都没有做的工作。第三，评估层设计了带权耦合的 Rescue Score $\text{RS}=W_{\text{safe}} I_{\text{safe}}+\text{SR}\cdot(W_{\text{base}}+W_{\text{time}}\cdot E_t)+W_{\text{clue}}\cdot\text{CDS}$，其中 $W_{\text{safe}}=0.1, W_{\text{base}}=0.3, W_{\text{time}}=0.3, W_{\text{clue}}=0.3$，把『安全完成』『定位精度』『时间效率』『线索探索』耦合成一个标量，这是与已有基准只报 SR 不同的设计。

Overview of the UAV-ESAR Simulator and Benchmark construction pipeline.
Figure 2: Overview of the UAV-ESAR Simulator and Benchmark construction pipeline.
Environment Construction and Scenario Variations.
Figure 3: Environment Construction and Scenario Variations.
Dataset Statistics.
Figure 4: Dataset Statistics.

实验结果

实验在四档难度 Simple/Medium/Hard/Extreme 上对比了 9 个基线。核心发现三：（1）空中特定方法显著优于地面迁移。APEX（空中 ObjectNav, MLLM）取得最强综合性能，Overall SR=13.89，CDS=4.14，RS=13.45；SPF RS=13.12 紧随；地面 MLLM 基线 NavGPT、UniGoal Overall SR 仅 5.92 与 6.47，证实空中策略不能直接迁移自地面。（2）MLLM 推理只有嵌入具身搜索结构才有效。4 个 MLLM 基线平均 CDS=3.48 高于非 MLLM 2.70，但 Pure-MLLM Overall SR 仅 3.45，必须配合 VLM point prediction（SPF）或 3D voxel map（APEX）才行。（3）效率与广度难兼顾。APEX/SPF TSR 仅 0.87 与 0.94，远低于 FBE 的 2.05，说明 MLLM 方法缺『多目标 SAR 何时完成』的判定机制。所有档位最高 SR 仅 27.83（APEX Simple），证明本基准对当前方法难度极高。

Comparison of ESARBench with Existing Aerial Robotics Benchmarks.
Table 1: Comparison of ESARBench with Existing Aerial Robotics Benchmarks.
The performance of different baseline methods in victim searching tasks.
Table 2: The performance of different baseline methods in victim searching tasks.
Baseline experiment results in clue discovery tasks and comprehensive scores.
Table 3: Baseline experiment results in clue discovery tasks and comprehensive scores.
查看结构化数据
任务指标本文基线提升
Overall Victim Search (Success Rate) SR (%) 13.89 (APEX) FBE baseline 8.19, Pure-MLLM 3.45 比最强非 MLLM 基线 FBE 提升约 +5.7 个百分点，比 Pure-MLLM 提升约 +10.4 个百分点
Overall Clue Discovery CDS 4.14 (APEX) FBE 3.40, NavGPT 3.30, SemExp 2.47 APEX 比 FBE 提升 +0.74，比 SemExp 提升 +1.67，验证 MLLM 语义推理对线索召回最关键
Overall Rescue Score RS 13.45 (APEX) FBE 9.97, VLFM 10.50, NavGPT 10.89 比最强非 MLLM VLFM 高 +2.95，比 NavGPT 高 +2.56
Overall Time-weighted SR TSR 0.87 (APEX) FBE 2.05, VLFM 3.17 反而比 FBE/VLFM 低 1.18-2.30，说明 MLLM 方法效率明显落后
Hard 等级 Rescue Score RS 11.54 (SPF) FBE 9.39, APEX 9.59 SPF 在 Hard 等级上首次超越 APEX，提示任务越难，空中 VLN 点飞行策略越稳健
Extreme 等级 Clue Discovery CDS 4.86 (NavGPT) APEX 3.96, SPF 3.08, FBE 0.27 NavGPT 在最极端条件下偶然表现出最强的语义匹配能力，但综合 RS 仍只有 12.54

局限与改进

局限性可从作者自述与本人观察两个角度分析。作者明确承认两点：其一，所有基线的 Overall SR 都在 14% 以下、Overall CDS 都在 5 分以下，说明整个领域还远未解决 ESAR；其二，APEX 与 SPF 强大的 RS 伴随极低的 TSR（0.87 与 0.94），说明缺少『多目标任务何时完成』的判定机制与时间效率优化。本人额外观察到三点：第一，论文只评估 Qwen3.5-Plus 一个 MLLM 后端，没有给出 GPT-4V、Gemini、Claude 等模型对比，难以判断结论是否对 MLLM 选择敏感；第二，环境数量仅有 4 个且全部在中国地理范围内，跨地理文化泛化能力未验证；第三，受害者生成完全基于规则化的事件拆分，缺乏对真实灾难突发性、受害者随机移动等动态因素的建模；第四，评估中线索匹配使用 LLM-as-a-judge，对评判 prompt 高度依赖，可能引入主观偏差。

独立分析的弱点

独立分析得到四个主要弱点及对应改进方向。（1）仅单一 MLLM 后端：所有基线都用 Qwen3.5-Plus，无法判断 MLLM 推理能力是否是 SR 上限瓶颈。改进方向是加入 GPT-4V、Gemini-2.0、Claude-3.5、LLaVA-OneVision 等模型横评。（2）4 个环境都集中在中国，跨地理泛化未验证。改进方向是引入 ITER、Copernicus DEM 等全球开放数据集扩展到 8-12 个跨大洲环境。（3）线索匹配依赖 LLM-as-a-judge 验证语义，存在主观偏差。改进方向是引入人工标注的 ground-truth 语义标签或采用 embedding cosine 阈值法替代 LLM 判定。（4）受害者位置在每个 snapshot 内完全静止。改进方向是引入『动态受害者』事件序列，对每个 snapshot 内的目标轨迹加随机扰动，测试 agent 对变化目标的在线追踪能力。

未来方向

作者在结论里明确提出三个未来方向：第一，加入更多传感器模态（如热成像、夜间 IR、毫米波雷达）以适配夜间或烟雾场景下的真实搜救；第二，设计更高级的具身架构，把主动感知、语义推理、长时间规划、空间记忆融合到一个端到端可学习网络中；第三，扩展任务配置空间，加入『多无人机协同搜索』等更复杂场景。基于成果，本人认为还有四条可延伸方向：（1）探索『自演进』的 agent：通过 ESARBench 中的 600 个任务做 RL fine-tune，让 agent 从仿真迁移到真实 DJI/Holybro 硬件平台；（2）研究跨环境元学习：在 4 个环境上做 domain randomization，训练对地形、天气、光照都鲁棒的策略；（3）引入人机协同接口：把任务 prompt 拓展为实时语音 / 视觉对话，让真人搜救队员与无人机 agent 协同；（4）构建真实 SAR 数据回放：用历史搜救事件（如九寨沟地震、莫拉克风灾）的卫星与航拍视频做 sim-to-real 评测。

复现评估

可复现性总体良好。源代码与项目主页公开在 https://4amgodvzx.github.io/ESAR.github.io，UE5 资产通过 Epic Marketplace 公开下载。仿真侧基于开源 Unreal Engine 5 + AirSim，硬件需求是 RTX 3080 以上 GPU，单次任务约需 20-40 分钟跑完。9 个基线全部开源且使用统一的 AirSim 接口、统一的 4 摄像头 YOLO-World RGB-D 模块、统一的 Qwen3.5-Plus MLLM 调用 prompt，外部研究者只需替换自家 agent 即可加入评测。复现难度主要集中在：UE5 场景构建需要一定引擎基础，从零搭建 5km×5km GIS 地形耗时约 1-2 周；大规模同时仿真需要 GPU 集群支持；Qwen3.5-Plus 是闭源 API，不同评测时间的模型版本可能影响 TSR 一致性。论文在『任务定义—仿真平台—评估协议』三层面都做到了 benchmark 级别可复现。

论文图表

Illustration of the Embodied Search and Rescue (ESAR) task workflow.
Figure 1: Illustration of the Embodied Search and Rescue (ESAR) task workflow.

示意图展示了 ESAR 任务在一个真实山地搜救案例中的完整流程。左侧是任务初始条件（5月13日晴朗天气、坐标 (100,-50,-35)、最近目击者报告『最后一次出现在河边』）。中间阶段显示 UAV 在飞行中通过感知发现『帐篷』并调整搜索方向，随后又发现『背包』。最右侧展示 UAV 通过高层推理得出『受害者已往山顶移动很久』，最终定位并输出受害者精确 (x,y,z) 坐标。

这张图把抽象任务定义具象化为真实流程，是理解 ESAR 任务『主动探索 + 语义推理 + 空间定位』三段式的最佳切入点。