MobilityBench：面向真实出行场景的路径规划智能体评估基准 MobilityBench: A Benchmark for Evaluating Route-Planning Agents in Real-World Mobility Scenarios
首个大规模真实出行场景LLM路径规划智能体评估基准，含10万episode覆盖350+城市
前置知识
工具增强语言智能体（Tool-Augmented Language Agent）
这类智能体将大语言模型的自然语言理解能力与外部API调用能力相结合。用户用自然语言表达需求，智能体解析意图后调用相应的工具（如地图API、搜索引擎）来获取信息或执行操作。核心挑战在于准确理解用户意图、选择正确工具、填充正确参数，并根据工具返回结果进行推理。典型架构包括ReAct（思考-行动-观察循环）和Plan-and-Execute（先规划后执行）两种范式。
本文评估的核心对象就是这类智能体在路径规划场景下的表现，理解其工作原理是分析实验结果的基础
确定性重放沙箱（Deterministic Replay Sandbox）
一种评估框架设计，通过预先录制真实API的响应数据，在评估时拦截智能体的API调用并返回缓存的响应，而非查询实时服务。这样可以消除交通状况变化、服务更新等环境不确定性，确保相同输入始终产生相同输出，实现公平可复现的评估。关键技术包括参数规范化、模糊匹配回退策略和严格的schema验证。
这是本文解决地图服务非确定性问题的核心创新，使得不同时间、不同团队的评估结果具有可比性
多维度评估协议（Multi-dimensional Evaluation Protocol）
不同于传统的端到端成功率指标，该协议将智能体行为分解为四个核心能力维度进行细粒度评估：指令理解（意图检测和信息抽取）、规划（任务分解）、工具使用（工具选择、schema合规、参数填充）、决策（交付率和最终通过率）。每个维度包含多个量化指标，能够精确诊断性能瓶颈和失败模式。
这是本文的评估方法论创新，帮助研究者不仅知道智能体'做对了没有'，还能诊断'哪里出了问题'
路径规划任务分类体系（Task Taxonomy）
本文构建的四层任务分类体系覆盖真实出行场景的复杂性：基础信息检索（POI查询、定位、周边搜索、天气、交通）、路线相关信息检索（路线属性查询、到达/出发时间）、基础路径规划（点对点、多途经点）、偏好约束路径规划（选项约束、路线约束）。共11个任务场景，从简单到复杂逐层递进。
理解这个分类体系是理解实验结果如何按场景分布的关键，也是评估智能体能力边界的基础
研究动机
现有路径规划智能体评估面临四大核心困境。首先，真实出行需求的多样性远超现有基准的覆盖范围：用户可能要求'避开高速去迪士尼'或'经过人民广场的最短路线'，这类涉及偏好约束和路线约束的请求在TravelPlanner等基准中几乎没有涉及。其次，地图API的非确定性严重影响评估可比性——由于交通动态变化、服务可用性波动和后端更新，相同查询在不同时间可能返回完全不同的结果，导致智能体性能评估充满噪声。第三，现有评估过度依赖LLM主观评判或简单的端到端成功率，无法诊断智能体在'意图理解→规划→工具调用→决策'链条中的具体失败环节。第四，缺乏轻量化的评估工具包，使得研究者难以快速复现和扩展评估。
本文的目标是本文构建MobilityBench基准，目标是：（1）覆盖真实出行场景的完整意图空间，包含基础信息检索、路线信息、基础规划和偏好约束规划四大类11个子场景；（2）基于高德地图真实用户查询构建大规模数据集，目标规模达到10万episode，覆盖全球350+城市；（3）通过确定性API重放沙箱消除环境非确定性，确保评估的公平可复现；（4）设计多维度评估协议，从指令理解、规划、工具使用、决策和效率五个维度进行细粒度评估；（5）开源基准数据、评估工具和文档，支持快速部署和扩展。
与已有工作不同的是，本文的独特切入点在于三个'首次'：首次将路径规划评估从高层行程生成下沉到底层路线优化，覆盖点对点导航、多途经点、偏好约束等细粒度场景；首次解决地图API非确定性对评估的影响，通过重放沙箱实现确定性评估；首次将智能体行为分解为可量化的多维度指标，而非黑盒式的成功率。这些切入点共同构成了对现有评估范式的根本性改进。
核心方法
MobilityBench的整体架构可以用'录制-回放-评估'三阶段来理解。想象一个音乐录制场景：首先，我们收集真实用户的出行请求（如同录制现场演奏），通过多阶段过滤和分类构建任务分类体系；然后，执行标准化工具程序获取真实API响应并缓存（如同录制并保存音频）；最后，让不同智能体在相同的缓存环境下执行任务（如同在录音棚回放），通过多维度指标评估表现。技术路线包括：数据收集与分类（从高德地图匿名化语音查询构建）、标准化真值构建（按场景SOP执行工具程序）、确定性重放沙箱（拦截API调用返回缓存响应）、多维度评估协议（分解为指令理解/规划/工具使用/决策/效率五个维度）。
本文的核心创新是'确定性API重放沙箱'设计。现有评估面临一个根本矛盾：真实的地图服务具有非确定性（交通实时变化、服务更新），但评估又需要确定性结果才能公平比较。本文的解决方案是：在数据构建阶段，通过标准化工具程序执行真实API调用，将响应数据缓存；在评估阶段，拦截智能体的所有API调用，从缓存中返回预先录制的响应。关键技术包括：参数规范化（统一坐标格式、时间格式）、模糊匹配回退策略（实体查询用字符串相似度、坐标查询用最近邻空间匹配）、严格schema验证（必填字段检查、类型范围检查）。这种设计的本质区别在于：它不是简化环境来获得确定性（如模拟器），而是在保持真实环境复杂性的同时通过缓存实现确定性，从而在'真实'和'可复现'之间取得平衡。
方法步骤详情
MobilityBench的构建分为五个关键步骤。第一步，数据收集与过滤：从高德地图过去六个月的匿名化语音查询中，通过多阶段过滤（去除不完整、歧义、重复请求）和去重，确保每个episode在'不追问'假设下可解。第二步，任务分类：使用Qwen-4B进行意图分类，采用开放集标注协议（无法匹配已有标签时让模型提出新候选意图），通过专家多轮合并精炼形成11个任务场景。第三步，真值构建：针对每个场景定义标准工具程序（SOP），包括提取规范化查询槽位、解析位置为结构化实体、调用下游工具并验证约束可行性，最终将执行轨迹和关键中间产物整合为结构化真值y。第四步，重放沙箱实现：在数据构建时缓存API响应，在评估时拦截智能体API调用，通过规范化参数键匹配缓存，失败时使用模糊匹配回退，所有调用都经过严格schema验证。第五步，多维度评估：从指令理解（意图检测ID、信息抽取IE）、规划（任务分解DEC）、工具使用（工具选择TS、schema合规SC）、决策（交付率DR、最终通过率FPR）、效率（输入token IT、输出token OT）五个维度进行全面评估。
技术新颖性
MobilityBench的技术新颖性体现在四个层面。首先，在评估粒度上，不同于TravelPlanner关注高层行程生成（多日游规划），本文下沉到底层路线优化（点对点导航、多途经点、偏好约束），更贴近日常出行的实际需求。其次，在环境确定性上，不同于τ-bench等通过模拟器简化环境，本文通过API重放沙箱保持真实环境复杂性的同时实现确定性，这是首次在地图服务评估中解决这一问题。第三，在评估维度上，不同于传统的端到端成功率黑盒评估，本文将智能体行为分解为可量化的五维度指标体系，能够精确诊断意图理解、规划、工具调用等环节的具体问题。第四，在数据规模和覆盖范围上，本文基于10万episode覆盖全球350+城市，远超现有基准的规模和地理多样性。
实验结果
实验在7,098个episode上评估了12个LLM骨干和2种智能体框架，揭示了多层次的发现。整体性能方面，Claude-Opus-4.5在Plan-and-Execute框架下表现最强，交付率DR达83.53%，最终通过率FPR达65.77%；Gemini-3-Pro-Preview在ReAct框架下FPR最高达69.09%。开源与闭源模型差距正在缩小：Qwen3-235B-A22B（MoE架构，激活22B参数）在ReAct下DR达85.95%、FPR达66.69%，DeepSeek-V3.2-Exp的FPR达68.88%且推理成本显著更低。框架对比显示根本性权衡：ReAct的FPR普遍优于Plan-and-Execute，因其闭环'思考-行动-观察'机制能根据工具返回动态调整策略；但ReAct的平均输入token比Plan-and-Execute高约35.38%，带来更高API成本和延迟。场景分析显示，偏好约束路径规划是最困难的任务类别（从基础信息检索到偏好约束，任务逻辑深度和约束复杂性递增），Plan-and-Execute在此类任务中表现更好，因其提前建立清晰策略抑制了幻觉和轨迹偏离。模型规模效应明显：从4B到32B的密集架构提升0.91%成功率，从30B到235B的MoE架构提升5.43%。Thinking模式能持续提升性能（Qwen-30B-A3B提升最大达5.98%），但显著增加token生成量和推理成本，难以部署到实时在线场景。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体路径规划（ReAct框架） | Final Pass Rate | Gemini-3-Pro-Preview: 69.09% | Claude-Opus-4.5: 62.22% | +6.87% |
| 整体路径规划（Plan-and-Execute框架） | Final Pass Rate | Claude-Opus-4.5: 65.77% | Gemini-3-Pro-Preview: 62.80% | +2.97% |
| 开源模型路径规划（ReAct框架） | Final Pass Rate | Qwen3-235B-A22B: 66.69% | Qwen3-4B: 53.80% | +12.89% |
| 偏好约束路径规划 | Final Pass Rate | 最优模型约60% | 基础信息检索约80% | 差距约20% |
| Thinking模式提升 | Final Pass Rate提升 | Qwen-30B-A3B: +5.98% | 无Thinking基线 | 最大提升5.98% |
局限与改进
本文存在多个层面的局限性。首先，数据来源单一：所有查询均来自高德地图，主要覆盖中国市场和中文查询，可能无法代表其他地区（如欧美、东南亚）的出行需求和语言表达习惯。其次，任务范围有限：虽然覆盖了11个任务场景，但未涉及更复杂的多日行程规划、动态调整（如途中改变目的地）、多人协同出行等场景。第三，评估环境的理想化：重放沙箱虽然保持了真实API的复杂性，但消除了真实环境中的网络延迟、API限流、服务降级等工程挑战，可能高估了智能体在实际部署中的表现。第四，智能体框架的局限：仅评估了ReAct和Plan-and-Execute两种主流框架，未涉及LLM Compiler、LATS、Tree-of-Thought等更高级的框架。第五，评估指标的局限：虽然提出了多维度指标，但各维度权重和最终通过率的定义（满足所有约束才算通过）可能过于严格，未考虑部分满足的情况。
独立分析的弱点
本文存在几个值得改进的弱点。第一，地理和语言偏差：数据完全来自高德地图的中文查询，而真实世界中英文、日文、西班牙文等查询可能有不同的表达习惯和意图分布。改进方向：联合多个地图服务商（如Google Maps、OpenStreetMap）构建多语言多地区基准，或使用LLM翻译和改写现有查询扩展语言覆盖。第二，静态评估的局限：当前评估假设环境不变，但真实出行场景中交通状况可能在规划执行过程中发生变化。改进方向：引入动态环境模拟，在智能体执行过程中注入交通变化事件，评估其适应能力。第三，缺乏交互式评估：当前设计禁止智能体向用户追问，但实际场景中用户请求常常不完整或有歧义，需要智能体主动澄清。改进方向：构建包含模糊请求的数据集，评估智能体的澄清能力和交互质量。第四，成本效益分析不足：虽然报告了输入输出token数量，但未提供不同模型的成本效益比分析。改进方向：引入'每美元成功率'或'每秒成功率'等综合指标，帮助实际部署决策。
未来方向
基于MobilityBench的成果，未来研究可在多个方向展开。首先，扩展任务复杂度：从单次路径规划扩展到多日行程规划、动态调整、多人协同出行等更贴近真实需求的场景。其次，引入强化学习优化：利用基准的确定性环境作为训练沙箱，通过GRPO等强化学习方法优化智能体的路径规划策略，参考作者团队的GPG等已有工作。第三，多模态扩展：当前仅处理文本查询，未来可扩展到语音、图像（如拍摄路标识别位置）等多模态输入。第四，跨平台泛化：评估在高德地图上训练的智能体能否泛化到其他地图服务，测试工具增强智能体的迁移能力。第五，部署优化：研究如何在保持性能的同时降低Thinking模式的成本，或开发更高效的推理策略。
复现评估
MobilityBench的复现条件相对友好。数据方面，作者已在GitHub（https://github.com/AMAP-ML/MobilityBench）开源基准数据、评估工具和文档，包含100,000个episode的完整数据集。算力需求方面，评估使用了7,098个episode的子集，每个episode的推理成本取决于所用LLM（从Qwen3-4B到GPT-5.2），温度设为0.1，最大输出8192 token，单次评估的API成本可控。复现难度方面，由于提供了确定性重放沙箱，研究者无需访问真实地图API即可复现结果，降低了环境配置门槛。但需注意：评估依赖高德地图的工具schema定义，虽然文档提供了详细参数说明，但完全理解需要一定的地图服务背景知识。整体而言，复现难度为中等偏易，适合有一定工程基础的研究团队。
论文图表
