Gaia2：在动态异步环境中评测大语言模型智能体 Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments
首个统一异步执行、时间推理、噪声鲁棒性、歧义消解与多智能体协作的可验证评测基准
前置知识
ReAct 框架
ReAct（Reasoning and Acting）是一种将推理和行动交替进行的智能体范式。在每一步中，智能体先生成一段推理（Thought），再选择一个工具调用（Action），然后观察环境返回的结果（Observation），如此循环直到任务完成。这种模式让大语言模型能够像人类一样「想一步、做一步、看一步」，是当前最主流的 LLM 智能体编排方式。Gaia2 使用 ReAct 作为基线脚手架来保证跨模型的公平比较。
理解 ReAct 是理解 Gaia2 实验设置的基础——所有模型都在相同的 ReAct 脚手架下评测，实验结论（如性能瓶颈来自模型而非脚手架）也依赖于这一设计。
RLVR（Reinforcement Learning from Verifiable Rewards）
RLVR 是一种利用可验证奖励信号来训练大语言模型的强化学习方法。与依赖人类偏好的 RLHF 不同，RLVR 的奖励来自客观可验证的判断（如代码是否通过测试、答案是否正确），因此更可靠、更可扩展。DeepSeek-R1、OpenAI o1 等推理模型都采用了这一范式。Gaia2 的写操作验证器（write-action verifier）正是为 RLVR 训练而设计的奖励信号来源。
Gaia2 被明确定位为支持 RLVR 训练的基准——其验证器不仅用于评测，还可直接作为强化学习的奖励函数，理解 RLVR 有助于把握本文的系统设计动机。
异步环境与事件驱动仿真
传统的智能体评测环境是同步的：环境只在智能体行动时才发生变化。而异步环境意味着环境独立于智能体运行，时间持续推进，外部事件（如收到新消息、订单取消）会在智能体思考或行动期间自主发生。事件驱动仿真则通过事件队列和依赖图（DAG）来管理这些事件的调度和执行。这种设计使得评测能够覆盖时间感知、响应性、鲁棒性等同步环境中无法测试的能力。
异步性是 Gaia2 区别于所有已有基准的核心特征——正是这一设计使得时间约束、噪声鲁棒性、动态适应等能力首次被纳入统一的评测框架。
写操作验证器（Write-action Verifier）
Gaia2 的验证器不检查最终状态，而是检查智能体的每一步写操作（修改环境状态的操作，如发送邮件、更新日历）是否与标注者提供的 oracle 动作序列一致。验证包括四个维度：一致性（工具名和参数匹配）、因果性（操作必须遵循依赖 DAG 的顺序）、时间性（操作必须在容差窗口内完成）、完整性（所有 oracle 写操作都必须被匹配）。读操作（如搜索、浏览）不参与验证，因为多种读取策略可能导向相同的正确写操作。
写操作验证器是 Gaia2 的核心基础设施——它实现了细粒度的信用分配（知道哪一步做对了、哪一步做错了），使得评测结果不仅可用于排行榜，还可直接用于强化学习训练的奖励信号。
Agent2Agent 协作协议
Agent2Agent（A2A）是 Google 提出的智能体间互操作协议。在 Gaia2 的 A2A 评测设置中，主智能体不再能直接访问应用工具，而是需要通过消息传递与「应用子智能体」协作来完成任务。例如，主智能体不能直接调用联系人工具，而是需要向「联系人应用智能体」发送消息请求信息。这要求主智能体具备目标分解、子任务设定和协调能力。在实验中，主智能体和应用子智能体默认使用相同的底层模型。
A2A 是 Gaia2 的七大能力维度之一，实验发现多智能体协作对弱模型的提升大于强模型，且异构团队（强主智能体+弱应用智能体）可实现成本-质量的最优平衡。
研究动机
当前 LLM 智能体评测面临一个根本性的局限：几乎所有主流基准都是静态或同步的。在 GAIA、SWE-bench、BrowseComp 等静态基准中，环境只在智能体行动时才发生变化，评测通常只看最终结果；在 WebArena、AppWorld、ToolSandbox 等同步基准中，虽然引入了应用状态验证，但环境仍然不会在智能体思考期间自主变化。这意味着真实部署中智能体面临的核心挑战——处理异步事件、在时间约束下操作、适应噪声和不确定性、与其他智能体协作——完全未被测试。例如，一个日历助手需要在用户等待时处理新收到的会议邀请变更，一个客服智能体需要在对话过程中应对系统故障和信息干扰，这些场景在同步基准中无法复现。此外，现有基准大多只能用于评测，无法直接支持 RLVR 训练——缺乏细粒度的、可作为奖励信号的验证机制。
本文的目标是Gaia2 的目标是构建一个统一的、异步的、事件驱动的 LLM 智能体评测基准，同时覆盖七大核心能力维度：执行能力（Execution）、信息检索（Search）、歧义消解（Ambiguity）、动态适应（Adaptability）、时间感知（Time）、噪声鲁棒性（Noise）和多智能体协作（Agent2Agent）。具体而言，Gaia2 包含 1,120 个人工标注的场景，每个场景都配有写操作验证器，使得评测结果不仅可用于模型排行榜，还可直接作为 RLVR 训练的奖励信号。论文还同步开源了底层平台 ARE（Agents Research Environments），提供可扩展的异步环境构建基础设施。
与已有工作不同的是，Gaia2 抓住了已有工作忽视的三个关键点。第一，时间维度：智能体的推理耗时本身就是一种「成本」，在时间敏感任务中，思考更久的模型可能反而表现更差——这种「逆向缩放」现象在同步基准中完全不可见。第二，验证粒度：大多数基准只验证最终答案，而 Gaia2 验证每一步写操作，实现了细粒度的信用分配，这对于强化学习训练至关重要。第三，成本感知：论文首次系统性地展示了「每美元成功率」这一指标，揭示了模型之间的成本-性能-时间三角权衡——例如 Claude-4 Sonnet 的准确率与 GPT-5 (low) 相当，但成本高出约 3 倍而速度更快。这些视角填补了从「能做对」到「能部署」之间的评测空白。
核心方法
Gaia2 的方法可以类比为搭建一个「虚拟手机沙盒」来测试 AI 助手的真实能力。想象你有一个功能完整的智能手机，里面有邮件、聊天、日历、联系人、购物、打车等 12 个应用，每个应用都有 101 个可调用的工具。Gaia2 在这个虚拟手机上设计了 1,120 个真实场景，每个场景都从一个用户请求开始，然后环境会自主产生各种事件（如朋友发来新消息、订单被取消、邮件到达），智能体需要在时间约束下完成任务并适应这些变化。技术路线分为三层：底层是 ARE 平台，提供应用（Apps）、事件（Events）、通知（Notifications）、场景（Scenarios）四大抽象，将环境建模为一个时间驱动的事件仿真系统；中层是 Mobile 环境，将这些抽象实例化为一个消费者移动设备环境，包含 12 个应用和跨应用一致的合成数据；顶层是 Gaia2 基准，在 Mobile 环境中定义了七大能力维度的 1,120 个可验证场景，并配套写操作验证器实现自动评测。
Gaia2 最本质的创新在于将「异步性」引入智能体评测。在已有基准中，环境是被动的——只有智能体行动，环境才响应，就像一个安静等待指令的机器人。而 Gaia2 的环境是主动的——时间持续推进，外部事件在智能体思考期间自主发生。这意味着智能体的推理耗时本身就会影响任务成败：如果一个模型花了 30 秒思考，而任务要求在 3 分钟内回复消息，那么它只有 2.5 分钟来完成后续操作。这种设计首次使得「时间感知」「响应速度」「动态适应」等能力可以被量化评测。实验结果也验证了这一设计的价值：移除生成延迟后（instant 模式），GPT-5 (high) 在时间任务上的得分从 0.0% 跃升至 34.4%，Claude-4 Sonnet 从 8.1% 升至 26.7%——说明当前模型的推理速度是时间任务的主要瓶颈，而非推理能力本身。
方法步骤详情
Gaia2 的方法分为以下几个关键步骤。首先是环境构建：ARE 平台定义了五大核心抽象——应用（有状态的 API 接口，工具分为只读和写两类）、环境（应用集合+时间管理器+规则）、事件（所有发生的事情，通过 DAG 依赖图组织）、通知（可配置的可观测性层，分为低/中/高三个详细程度）、场景（初始状态+事件序列+验证方法）。Mobile 环境将这些抽象实例化为 12 个消费者应用，每个「宇宙」（Universe）包含 400K-800K tokens 的跨应用一致合成数据。其次是场景设计：800 个核心场景由人工标注，每个场景强调一种能力（Execution/Search/Ambiguity/Adaptability/Time），另有 320 个增强场景（Noise/A2A）通过环境级修改自动生成，无需额外标注。然后是智能体编排：使用 ReAct 循环，每步输出一个 JSON 格式的工具调用，pre-step 钩子将通知注入上下文，post-step 钩子检查终止条件。最后是验证：ARE Verifier 将智能体的写操作序列与 oracle 动作进行匹配，检查一致性（工具名/参数）、因果性（依赖顺序）、时间性（容差窗口）和完整性（所有 oracle 动作都被匹配）。
技术新颖性
Gaia2 的技术新颖性体现在三个方面。第一，验证机制的创新：与 GAIA 的最终答案精确匹配、ToolSandbox 的里程碑检查不同，ARE Verifier 验证每一步写操作，支持精确参数匹配（如邮件 ID）和 LLM 软判断（如邮件内容语义等价），并强制因果和时间约束。在 450 条标注轨迹上，验证器达到 0.98 一致率和 0.99 精确率，显著优于纯 LLM 裁判基线（0.72 一致率）。第二，异步仿真的创新：环境时钟独立于智能体运行，智能体的推理时间消耗模拟时间，这使得时间感知和响应性首次可被评测。第三，ARE 平台的通用性：ARE 不仅服务于 Gaia2，还可以复现 τ-bench、GAIA、BFCL-v3、VendingBench 等已有基准，并支持桌面自动化、客服、网页浏览等其他领域的环境扩展。这种「平台+基准」的双层设计使得 Gaia2 不仅是一个评测集，更是一个可持续扩展的智能体评测基础设施。
实验结果
Gaia2 的核心实验揭示了当前 LLM 智能体的根本性权衡。在总体排名中，GPT-5 (high) 以 42.1% pass@1 领先，Claude-4-Sonnet (Thinking) 紧随其后达 37.8%，两者在 Execution（69.2% vs 62.1%）和 Search（79.6% vs 60.6%）上差距较小，但在 Ambiguity（51.9% vs 27.3%）和 Adaptability（40.4% vs 42.1%）上各有胜负。开源模型中，Kimi-K2 以 20.1% pass@1 显著领先，尤其在 Adaptability 上达 24.0%，接近 Claude-4 Sonnet 的 38.1%。令人意外的是，GPT-5 (high) 在 Time 任务上得分 0.0%——因为其深度推理模式的延迟导致所有时间约束任务超时；而 Gemini 2.5 Pro 在 Time 上达 7.3%，得益于其低延迟优势。移除生成延迟后（instant 模式），GPT-5 (high) 在 Time 上跃升至 34.4%，Claude-4 Sonnet 从 8.1% 升至 26.7%，证实推理速度而非推理能力是时间任务的主要瓶颈。在成本-性能权衡方面，GPT-5 (high) 每场景平均成本约 $1.5，Claude-4 Sonnet 约 $0.5 达到相近准确率但速度更快，Kimi-K2 仅约 $0.1 即达 21% pass@1，性价比最优。Noise 鲁棒性普遍较差，大多数模型低于 20%，GPT-5 (high) 最高为 35.4%。Agent2Agent 协作实验发现，弱模型（如 Llama 4 Maverick）通过多智能体协作可提升 pass@k 缩放曲线，而强模型（如 Claude-4 Sonnet）则无明显收益。异构团队实验表明，Claude 主智能体 + Claude 应用智能体达 29.3% pass@1，而 Llama 主 + Llama 应用仅 8.5%，说明执行层面的忠实度对任务完成至关重要。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Gaia2 Overall | pass@1 | GPT-5 (high): 42.1% | Claude-4-Sonnet Thinking: 37.8% | +4.3pp |
| Gaia2 Execution | pass@1 | GPT-5 (high): 69.2% | Claude-4-Sonnet Thinking: 62.1% | +7.1pp |
| Gaia2 Search | pass@1 | GPT-5 (high): 79.6% | Claude-4-Sonnet Thinking: 60.6% | +19.0pp |
| Gaia2 Ambiguity | pass@1 | GPT-5 (high): 51.9% | Claude-4-Sonnet Thinking: 27.3% | +24.6pp |
| Gaia2 Adaptability | pass@1 | Claude-4-Sonnet Thinking: 42.1% | GPT-5 (high): 40.4% | +1.7pp |
| Gaia2 Time | pass@1 | Claude-4-Sonnet Thinking: 8.5% | Gemini-2.5-Pro: 7.3% | +1.2pp |
| Gaia2 Noise | pass@1 | GPT-5 (high): 35.4% | Claude-4-Sonnet Thinking: 31.2% | +4.2pp |
| Gaia2 Agent2Agent | pass@1 | Claude-4-Sonnet Thinking: 32.5% | GPT-5 (high): 17.9% | +14.6pp |
| Gaia2 Open-source Best (Kimi-K2) | pass@1 | Kimi-K2: 20.1% | GPT-5 (high): 42.1% | -22.0pp |
| ARE Verifier | Agreement/Precision/Recall | 0.98/0.99/0.95 | In-context Verifier: 0.72/0.53/0.83 | Agreement +0.26, Precision +0.46 |
局限与改进
Gaia2 存在若干局限性。首先，时间场景目前限制在 5 分钟窗口内，这远不能代表真实部署中可能跨越数小时甚至数天的长时任务，且单线程的 ReAct 脚手架无法表达「在 3 分钟窗口内同时执行多个操作」这类并发需求。其次，Mobile 环境虽然覆盖了 12 个应用，但仍局限于消费者移动设备领域，尚未扩展到桌面自动化、企业客服、代码开发等更广泛的智能体应用场景。第三，场景标注虽然经过多轮验证和难度校准，但 800 个核心场景的规模对于训练 RLVR 模型可能仍然不足——论文提到 RL 实验中发现了验证器被利用（reward hacking）的问题，说明验证机制本身也需要持续改进。第四，异构跨应用依赖（如消息时间戳与日历可用性的对齐、联系人在不同通信渠道的关系一致性）在当前实现中尚未完全处理，可能导致部分场景的数据一致性不够完美。第五，所有评测都使用相同的 ReAct 脚手架和 temperature 0.5，未充分探索不同编排策略和推理参数对结果的影响。最后，论文未评估 Claude 4 Opus 等部分高端模型（因成本过高），这使得最前沿能力的上限仍不明确。
独立分析的弱点
Gaia2 的主要弱点之一是时间场景的覆盖范围有限。当前所有 Time 任务都被限制在 5 分钟窗口内，且验证器的时间容差窗口为 $[\Delta t - 5\text{sec}, \Delta t + 25\text{sec}]$，这意味着需要精确到秒级响应的任务（如实时交易、紧急通知）未被覆盖。改进方向是引入更长时间跨度（小时/天级）的时间场景，并支持并发操作的并行编排。第二个弱点是 A2A 实验中应用子智能体是「按需调用」的半自主模式，而非真正自主的智能体，这限制了对完整多智能体协作能力的评测。未来可以引入更自主的子智能体，让它们有自己的记忆和规划能力。第三个弱点是验证器的 LLM 软判断部分存在被利用的风险（论文已报告 reward hacking 案例），虽然通过添加「风格检查」缓解，但根本解决方案可能需要引入多模型交叉验证或基于嵌入的语义匹配。第四个弱点是合成数据的跨应用一致性仍有缺陷，如时间戳对齐和语义关系追踪未完全实现，这可能影响场景的真实感和评测的准确性。
未来方向
论文和作者提出了多个未来研究方向。首先，自适应计算策略：实验发现推理深度与时间约束存在逆向缩放关系，未来智能体需要根据任务复杂度动态切换浅层和深层推理——简单任务用快速轻量模型，复杂任务才投入深度思考。其次，异构多智能体团队的优化：实验表明强主智能体 + 弱应用智能体可以实现成本-质量的最优平衡，未来可以探索自动化的团队组合策略。第三，ARE 平台的领域扩展：虽然当前聚焦于 Mobile 环境，但 ARE 的抽象设计（应用、事件、通知、场景）是领域无关的，未来可以扩展到桌面自动化、客服系统、网页浏览等领域。第四，基于 Gaia2 的 RLVR 训练：论文明确指出 Gaia2 的验证器可直接作为 RL 奖励信号，未来可以探索如何利用 Gaia2 的场景数据来训练更强的智能体模型。最后，验证器的持续改进：结合标量奖励和偏好信号的混合方法是一个开放方向。
复现评估
Gaia2 的可复现性较好。ARE 平台和 Mobile 环境均已开源，基于 ARE 可以完整重建 Gaia2 的评测环境。实验使用标准化的 ReAct 脚手架，所有模型在相同设置下评测（temperature 0.5，16K token 生成限制，每个场景运行 3 次）。数据方面，10 个 Mobile 宇宙的合成数据通过 PersonaHub 采样生成，每个宇宙包含 400K-800K tokens 的结构化内容，确保了跨应用一致性。评测结果使用 Gaia2-mini（160 个场景子集）支持快速低成本评估。算力需求方面，完整评测需要调用多个商业 API（GPT-5、Claude-4 等），成本约为每场景 $0.1-$1.5 不等，完整跑完 1,120 个场景×3 次的成本较高。对于开源模型（如 Kimi-K2、Qwen3-235B），可通过本地部署降低长期成本。验证器使用 Llama-3.3-70B-Instruct，可在消费级 GPU 上运行。总体而言，复现难度中等——环境和脚手架开源可用，但完整评测需要显著的 API 调用成本。
论文图表
