智能体的首日工作：职场场景下的学习、探索与调度能力基准测试 The Agent's First Day: Benchmarking Learning, Exploration, and Scheduling in the Workplace Scenarios
提出 Trainee-Bench 动态职场基准，揭示 SOTA 智能体在探索和持续学习上的严重不足
前置知识
LLM Agent（大语言模型智能体）
以大语言模型为核心推理引擎，通过“思考-行动”循环与外部环境交互来完成复杂任务的自主系统。典型的 LLM Agent 遵循 ReAct 范式：先产生推理链（Thought），再调用工具执行操作（Action），观察环境反馈（Observation），然后进入下一轮迭代。Agent 可以访问文件系统、数据库、API 等外部工具，并根据任务需求进行多步推理和规划。
本文的核心就是评估这类智能体在动态、不确定环境中的真实能力，理解 Agent 的基本工作范式是读懂本文的前提。
Partial Observability（部分可观测性）
指智能体在任务执行初期只能看到目标描述，但无法获取完成任务所需的关键信息（如技术手册、访问密码、隐含指令等）。这些“隐藏线索”散布在环境的不同位置，智能体必须主动探索——读取文件、与 NPC 对话——才能逐步收集到必要信息。这与传统的“信息完全”基准形成鲜明对比，后者在初始提示中就提供了所有需要的信息。
部分可观测性是 Trainee-Bench 区别于其他基准的核心设计之一，它迫使智能体从被动执行者转变为主动探索者，直接决定了论文对“主动探索”能力的评估。
Dynamic Task Scheduling（动态任务调度）
在真实工作场景中，多个任务会以流式方式持续到达，每个任务有不同的优先级和截止时间。智能体需要在处理当前任务的同时，感知新到达的高优先级任务（如突然插入的会议），在时间冲突时进行上下文切换，完成紧急任务后再恢复之前的工作流程。这要求智能体具备长期记忆管理、优先级判断和动态重新规划的能力。
这是 Trainee-Bench 评估的第一个核心维度。论文发现即使是最强的模型，在任务数从 2 增加到 6 时，成功率也会从 50% 下降到 36%，说明动态调度仍是巨大挑战。
Continual Learning（持续学习）
指智能体能够从过去任务的经验中提炼出通用策略，并将其应用到未来类似任务中以提升表现。这与“记忆具体实例”不同——由于每次任务的随机参数不同，智能体必须学会抽象出可迁移的规律，而非死记硬背。持续学习要求智能体具备反思能力、经验总结能力和知识迁移能力。
这是本文评估的第三个核心维度。实验发现，智能体从第一天经验中总结的“教训”在第二天反而可能导致简单任务性能下降，揭示了当前持续学习机制的严重缺陷。
Checkpoint-based Evaluation（基于检查点的评估）
不同于传统的二元成功/失败评估，Trainee-Bench 在每个任务中嵌入多个可验证的检查点（checkpoint）。每个检查点对应任务执行中的一个关键里程碑，通过则提供自然语言反馈。最终得分 S 通过归一化所有已完成检查点的比例计算：S = (1/N) * Σ|c^i_completed|/|C_i|，其中 N 是子任务数，|C_i| 是任务 i 的总检查点数。
这种细粒度评估方式能够区分“完全失败”和“部分完成”，比单纯的成功率更能反映智能体的真实能力水平和具体弱点所在。
研究动机
当前 LLM 智能体研究主要聚焦于静态环境下的性能上限评估，严重忽视了真实部署所需的鲁棒性。具体来说，现有基准（如 GAIA、TheAgentCompany、ToolBench 等）存在三个关键缺陷：第一，任务组织是静态的——固定的题目集合无法评估智能体处理流式任务的能力，而在真实职场中，员工每天面对的是不断涌入、优先级各异的新任务；第二，环境是信息完全的——所有完成任务所需的信息在初始提示中就已提供，无法测量智能体在信息不完整时的主动探索能力；第三，任务之间是孤立的——每个任务都是独立的一次性挑战，无法评估智能体从过往经验中学习和进化的能力。这些局限导致实验室评估结果与生产环境中的实际表现之间存在巨大鸿沟。
本文的目标是本文旨在提出一个全新的基准评估范式，从“静态实验室测试”转向“动态生产环境模拟”。具体目标包括三个方面：(1) 评估智能体在流式任务场景下的上下文感知调度能力，包括优先级管理、时间冲突处理和跨任务干扰抑制；(2) 评估智能体在部分可观测环境中的主动探索能力，即面对不确定性时能否通过主动获取信息来减少幻觉；(3) 评估智能体的持续学习能力，即能否从过往任务的经验中提炼出可迁移的策略来避免重复犯错。这三项目标共同构成了一个面向“可靠自主智能体”的综合评估框架。
与已有工作不同的是，本文的独特切入角度在于将智能体模拟为“企业实习生”——一个在陌生工作环境中不断学习和适应的新员工。这个视角抓住了已有工作忽视的一个关键现实：智能体的真实价值不在于在完美条件下完成已知任务，而在于在充满不确定性、信息不完整、任务动态变化的真实环境中可靠地工作。通过引入随机化参数生成（同一个元任务规则可以产生无限多个不同的实例）、部分可观测性（关键线索被隐藏需要主动探索）和跨天经验传递（第一天的经验需要迁移到第二天），Trainee-Bench 构建了一个比现有基准更接近真实生产环境的评估体系。这种“自底向上”的设计——从原子技能到复合工作流——使得评估既系统化又可扩展。
核心方法
Trainee-Bench 的设计哲学可以用一个类比来理解：就像一个真正的公司实习生入职第一天面对的工作场景——你不会提前拿到所有信息，任务会以不确定的顺序到达，有些紧急任务需要你放下手头的工作立即处理，而且你还需要学会从错误中积累经验。技术路线上，论文采用“自底向上”的三层架构：首先，人工设计 181 个元任务规则（meta-task rules）作为基础模板，覆盖信息综合分析、时间管理调度、主动探索监控、策略建模优化四大功能域；其次，通过随机化引擎将这些模板实例化为无数个具体任务，并将多个任务沿时间线组合成动态复合场景；最后，通过自动化验证机制（基于检查点的评估）对智能体的表现进行客观评分。
Trainee-Bench 最核心的创新在于将逻辑规则与随机数据解耦。每个元任务 r_i 是一个抽象的逻辑模板（如“交易审计”），通过随机化函数 F_{rnd} 生成环境变量 {P_{rnd}, D_{rnd}}（NPC 身份、文件路径、数值分布等），再将这些变量注入规则中产生唯一的任务三元组 {D_{task}, C, K}（任务描述、检查点、隐藏线索）。这意味着同一个逻辑模板可以产生无限多个不同的具体实例，智能体必须依赖通用推理而非死记硬背来解决问题。与已有方法的本质区别在于：已有基准要么是静态固定数据集（如 SWE-bench），要么虽然有随机化但缺少部分可观测性和经验学习机制（如 τ-bench），Trainee-Bench 是第一个同时具备动态配置、部分可观测、中间反馈和跨天经验传递四个维度的基准。
方法步骤详情
基准构建遵循三个关键步骤。第一步是元任务实例化：从 181 个规则库 R 中均匀采样规则 r_i，通过随机化引擎 F_{rnd}(seed) 生成 NPC 配置文件 P_{rnd} 和环境数据 D_{rnd}，然后将这些随机变量注入规则逻辑中，产出任务三元组 {D_{task}, C, K}——其中 D_{task} 是自然语言任务目标，C 是可验证的检查点集合，K 是需要主动探索才能发现的隐藏线索。第二步是动态复合场景构建：随机采样 k ~ U{2, 6} 个任务实例，将它们沿时间线分布，引入三种结构约束——冲突解决（唯一性约束避免实体标识冲突）、时间优先级（高优先级中断作为抢占信号）、任务间依赖（上游任务的输出作为下游任务的输入）。第三步是自动化验证：通过归一化检查点完成比 S = (1/N) * Σ|c^i_completed|/|C_i| 计算最终得分，每个检查点触发详细的自然语言反馈，支持智能体进行回顾性分析。整个基准共构建 50 个动态场景用于评估。
技术新颖性
Trainee-Bench 的技术新颖性体现在四个层面的创新组合上。第一，解耦式任务生成：将逻辑规则与随机数据分离，实现了“一对多”的实例化映射，这在现有基准中是独有的——即使是同样使用随机化的 MCP-World，也缺少部分可观测性设计。第二，部分可观测性机制：通过故意隐藏关键线索 K = {k_1, ..., k_n}（如技术手册位置、访问密码、隐含指令），迫使智能体从被动执行者转变为主动信息寻求者。第三，抢占式中断调度：引入时间关键任务作为高优先级中断，要求智能体能够暂停当前工作流、进行上下文切换、处理紧急任务后再恢复——这种“混乱”的工作空间设计在实验室环境中从未被评估过。第四，跨天经验传递：通过“第一天-第二天”两阶段评估框架，结合基于检查点的结构化反馈，系统性地测量智能体的持续学习能力，这是现有基准全面忽视的维度。
实验结果
实验覆盖了 7 个主流模型（4 个闭源 + 3 个开源/思维模型），在 50 个动态场景上进行了全面评估。整体表现揭示了当前智能体在动态环境中的严重不足：即使是最强的 Gemini-3-Flash，成功率也仅为 35%，Checkpoint Score 为 0.63。闭源模型中，Gemini-3-Flash 以 SR=0.35、CS=0.63 领先，使用了 90 个平均步骤和 232 次工具调用，说明其通过更深入的交互来弥补推理不足；Claude-4-Sonnet 和 Grok-4 分别以 CS=0.59 和 CS=0.54 位居其后，但它们的交互深度明显较低（29 步/75 次和 34 步/95 次调用）。开源模型表现更差，Qwen3-VL-235B 的 CS 仅 0.37，Llama-4-Maverick 低至 0.13，后者主要因工具调用格式错误频繁失败。在任务难度分析中，Easy 任务与 Hard 任务之间出现了惊人的性能悬崖：Grok-4 的 SR 从 Easy 的 34% 暴跌到 Hard 的 7%，Claude-4-Sonnet 从 37% 跌至 8%，GPT-4o 从 26% 跌至 3%。只有 Gemini-3-Flash 在 Hard 任务上维持了相对较高的 SR=32%，展现了显著更强的复杂推理鲁棒性。任务类型分析揭示了模型能力的严重不对称：在“时间管理”维度上，多个模型表现尚可（Qwen3-VL 达到 CS=0.73），但在“主动探索”维度上全面崩塌（GPT-4o 仅 CS=0.34，Qwen3-VL 仅 CS=0.34）。这种两极分化说明当前模型擅长执行程序性操作，但在需要自主决策和逻辑重构的场景中能力严重不足。持续学习实验（使用 MUSE 框架）的结果令人意外：总体而言，经验利用导致了 -0.06 的 Checkpoint Score 下降。细分发现，Easy 任务中经验反而有害（GPT-4o 从 0.61 降至 0.50），因为成功案例缺乏有意义的经验积累，有限的经验可能提供误导性指导；Hard 任务中经验有微弱正面效果（GPT-4o 从 0.20 升至 0.24），但改善幅度很小。人类引导实验显示了智能体自主能力与人类辅助之间的巨大鸿沟：在 Hard 任务上，GPT-4o 自主执行得分仅 0.24，但逐步提供人类提示后，得分依次提升至 0.48、0.76，最终达到 0.83。相比之下，多轮自我进化仅带来 +0.04 的微弱提升。这突显了智能体在自主探索和经验内化方面的根本性不足。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Overall Performance (All Scenarios) | Success Rate | Gemini-3-Flash: 0.35 | Claude-4-Sonnet: 0.23, GPT-5.1: 0.23, GPT-4o: 0.13 | Gemini-3-Flash 领先第二名 12 个百分点 |
| Overall Performance (All Scenarios) | Checkpoint Score | Gemini-3-Flash: 0.63 | Claude-4-Sonnet: 0.59, GPT-5.1: 0.49 | GLM-5 达到 0.72（Thinking Model 最高） |
| Hard Tasks | Success Rate | Gemini-3-Flash: 0.32 | Claude-4-Sonnet: 0.08, GPT-5.1: 0.08, Grok-4: 0.07 | Gemini-3-Flash 在 Hard 任务上领先 24 个百分点 |
| Active Exploration (Checkpoint Score) | CS | Gemini-3-Flash: 0.63 | GPT-5.1: 0.37, GPT-4o: 0.34, Qwen3-VL: 0.34 | Gemini-3-Flash 在主动探索维度领先 26 个百分点 |
| Continual Learning (MUSE, GPT-4o) | Day 2 CS Gain | Easy: -0.11, Hard: +0.04 | Day 1: Easy 0.61 / Hard 0.20 | 经验利用对 Hard 任务微弱提升，对 Easy 任务反而有害 |
| Human Guidance (GPT-4o, Hard Tasks) | Checkpoint Score | Human Hint 3: 0.83 | No Hint: 0.24, Self-Evolve: +0.04 | 人类引导使得分提升 245%，自主进化仅提升 17% |
局限与改进
作者在论文中坦诚承认了以下局限：首先，在基准构建方面，任务组合的多样性仍然受限，缺乏复杂的因果链式依赖关系；元任务规则依赖人工编写，限制了基准的可扩展性，未来需要开发自动化的规则生成方法。其次，在实验范围方面，受计算资源和时间限制，评估仅覆盖了特定职场模拟场景下的有限模型，未能涵盖更多顶级框架和多样化领域（如复杂生产和工业场景）。从独立分析的角度，我观察到以下额外局限：第一，评估框架缺少对智能体协作能力的考察——真实职场中团队协作是常态，但 Trainee-Bench 将智能体视为独立个体；第二，181 个元任务的分类粒度可能不够细——四大功能域中的某些类别（如“策略建模与优化”）涵盖了差异很大的子能力；第三，人类引导实验仅使用了 GPT-4o，如果对所有模型进行同样的实验可能会揭示不同的能力结构；第四，“第一天-第二天”的两阶段设计对持续学习的评估窗口仍然较短，无法观察更长期的学习曲线。此外，论文没有讨论不同模型的推理成本和延迟差异——在生产环境中，这些是与准确性同等重要的考量因素。
独立分析的弱点
第一个弱点是主动探索能力的系统性缺失。在所有评估模型中，“主动探索”维度的得分普遍最低（最高仅 Gemini-3-Flash 的 0.63），这说明当前 LLM Agent 在面对不确定性时倾向于“猜测”而非“探索”。改进方向可以是设计专门的探索策略训练数据，或者在 Agent 框架中内置“不确定性感知”模块——当模型对当前状态的信息置信度低于阈值时，自动触发探索行为而非直接行动。第二个弱点是经验总结的“噪声”问题。论文发现经验在简单任务上反而有害，根本原因是智能体将成功案例中积累的少量经验不加区分地应用到新场景。改进方向是引入经验质量评估机制——只有当经验的可靠性达到一定阈值时才纳入参考，同时对不同类型的任务建立经验分类索引。第三个弱点是上下文切换的高成本。随着任务数增加，性能持续下降，且 Gemini-3-Flash 需要 90 步和 232 次工具调用才能取得最高分，说明当前的“轨迹摘要”机制不足以有效管理多任务上下文。改进方向包括开发更高效的长期记忆架构，或者引入显式的任务状态管理器来维护每个任务的独立上下文。第四个弱点是工具调用的鲁棒性不足。Llama-4-Maverick 的失败案例显示，即使是最基本的工具参数格式也无法可靠遵循。这提示需要在训练阶段增加更多工具使用的强化学习信号。
未来方向
作者提出了几个明确的未来方向：引入更复杂的因果链式依赖来增加任务组合的真实感；开发自动化的元任务规则生成方法来提升基准的可扩展性；将评估扩展到更多领域和更多模型。基于本文成果，可以延伸出以下研究方向：第一，开发专门针对“主动探索”能力的训练方法——既然这是所有模型最薄弱的环节，针对性的训练可能带来最大的收益。第二，构建“经验蒸馏”框架——将智能体从多个任务中积累的经验进行压缩和结构化，形成可迁移的“技能库”，而非依赖原始轨迹记忆。第三，引入多智能体协作场景——真实职场中实习生需要与同事和上级协作，评估协作能力可以更全面地衡量智能体的实用价值。第四，设计“渐进式难度”课程学习——从简单任务开始，逐步增加复杂度，研究智能体的学习曲线和能力涌现模式。第五，将评估框架扩展到非文本模态——如图像理解、视频分析等，评估多模态智能体在动态环境中的表现。
复现评估
论文已在 GitHub 上开源了代码（https://github.com/KnowledgeXLab/EvoEn），这为复现提供了良好基础。基准的构建基于确定性的随机种子机制——给定相同的种子，可以生成完全相同的任务实例，保证了评估的可重复性。50 个动态场景的构建通过 Algorithm 1 明确定义，每个场景包含 2-6 个任务，每个任务从 181 个规则中均匀采样。复现的主要挑战在于：第一，推理成本较高——Gemini-3-Flash 平均需要 232 次工具调用，这意味着复现一次完整评估需要大量的 API 调用费用；第二，环境搭建复杂——需要模拟文件系统、NPC 对话、云盘等多种工具环境；第三，模型版本控制——实验使用了 2025-2026 年的最新模型，随着时间推移，模型的 API 行为可能会发生变化。总体而言，对于具备基本 LLM Agent 开发经验的团队，复现难度为中等，主要成本来自 API 调用和环境搭建。
论文图表
图中展示了 Trainee-Bench 评估的三个核心维度：(1) 流式任务调度——任务以不确定顺序到达，智能体需要进行时间规划和优先级管理；(2) 主动探索——面对陌生任务，智能体需要发现并利用隐藏线索，而非忽略它们或凭空猜测；(3) 从经验中学习——智能体需要从过往任务中提炼出通用策略，而非忽视先前经验。图中用时间轴展示了任务的流式到达，用问号表示信息不完整状态，用里程碑表示任务完成节点。
这张图是理解论文全部贡献的入口，清晰地展示了三大研究问题之间的关系以及它们如何共同构成一个从“静态评估”到“动态评估”的范式转换。
表格对比了 GPT-4o 和 DeepSeek-R1 在使用 MUSE 框架进行经验传递后的 Day 1 和 Day 2 表现。总体而言，两个模型的 Checkpoint Score 都出现了下降（GPT-4o: -0.06, DeepSeek-R1: -0.03）。细分后发现，Easy 任务中经验有害（GPT-4o 下降 0.11），Hard 任务中经验微弱有益（GPT-4o 提升 0.04）。
这张表是评估智能体持续学习能力的核心数据，揭示了一个反直觉的发现——经验传递不一定带来性能提升，甚至可能有害。