AgentIF-OneDay：面向日常场景的通用AI智能体任务级指令跟随基准 AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios
评估AI智能体在日常工作/生活/学习场景中完成多样化任务的能力
前置知识
AI Agent（AI智能体）
由大语言模型驱动的自主系统，能够进行推理、规划和工具使用来完成复杂任务。与传统聊天机器人不同，Agent可以自主调用外部工具（如网页搜索、文件处理、代码执行），维护多轮对话状态，并交付具体的文件产出物（如PPT、Excel、HTML）。现代Agent产品包括ChatGPT-Agent、Manus、Genspark等，它们代表了从简单问答到端到端任务完成的技术演进。
本文的核心评估对象就是这些通用AI Agent产品在日常场景中的表现，理解Agent的能力边界和工作方式是理解本文评估框架的基础。
指令跟随（Instruction Following）
指AI系统根据用户提供的自然语言指令准确执行任务的能力。传统评估如IFEval主要关注单模型在格式化指令上的表现，而本文将其扩展到完整的Agent系统层面。指令跟随不仅包括理解明确的操作步骤，还需要从附件中推断隐含规则，并在多轮交互中保持状态一致性。一个优秀的指令跟随系统应该能够处理长上下文、避免指令遗忘、抑制幻觉，并产出符合要求的文件。
指令跟随是本文评估的核心能力维度，论文提出的三个任务类别（开放工作流执行、隐含指令推断、迭代精化）都是从不同角度测试这一能力。
Rubric-based Evaluation（基于评分标准的评估）
一种结构化的评估方法，为每个任务定义具体的评分标准（rubrics），每条标准对应一个可验证的检查点。本文采用二元评分（满足/不满足）和加分/扣分机制，将评估过程从主观判断转变为客观验证。评分标准分为三类：Content（内容完整性，385分）、Form（格式规范性，244分）和Execution（执行正确性，138分），总计767个评分点。这种方法显著提高了LLM作为评判者与人类评分的一致性。
这是本文评估框架的技术核心，理解rubric的设计和评分机制对于理解实验结果的含义至关重要。
LLM-as-Judge（LLM作为评判者）
使用大语言模型自动评估AI系统输出质量的方法。本文使用Gemini-3-Pro作为评判模型，设置max_tokens为100000、temperature为0.1。评估流程包括：LLM根据预定义的评分标准判断每条标准是否满足、对需要事实验证的项目使用Google Search进行验证、对HTML等代码文件先渲染为图像再用视觉语言模型评分。这种方法在本文中达到了与人类评分80.1%的一致率。
自动化评估是大规模benchmark能够实际运行的关键，理解LLM-as-Judge的机制和局限性对于解读实验结果非常重要。
Synthetic Data Generation（合成数据生成）
利用AI模型自动生成训练或评估数据的方法。本文设计了一个五步合成流程：从人工编写的种子任务中提取工作流模板，使用ChatGPT Agent搜索并收集领域相关的附件，基于固定工作流和新附件生成任务指令，按照人工标注指南生成评分标准，过滤和人工精化。这个流程使用Gemini-2.5-Pro进行合成，能够将单个人工任务扩展为多样化的合成任务集。
合成数据生成是解决数据收集高成本问题的关键技术，也是本文benchmark能够扩展规模的重要方法论贡献。
研究动机
当前AI Agent的评估存在一个核心矛盾：虽然Agent在编码、深度研究和复杂问题解决等垂直领域展现出卓越性能，但普通用户对这些先进AI能力的感知仍然有限。现有评估基准主要存在三个问题：首先，它们倾向于不断提高任务难度，但未能充分覆盖日常工作中所需的任务多样性。例如，GAIA评估推理和工具使用能力，VisualWebArena专注于网页环境，tau-Bench测试工具使用，但这些都局限于特定垂直领域。其次，Handa等人（2025）分析了数百万用户对话，发现AI使用主要集中在软件开发和写作任务上，57%的交互聚焦于增强人类能力而非完全自动化。Chatterji等人（2025）发现ChatGPT在非工作场景的交互正在增长，但评估基准没有跟上这种多样化趋势。第三，Mazeika等人（2025）提出的Remote Labor Index发现当前前沿Agent在这些复杂端到端工作流上仅达到2.5%的自动化率，说明现有评估与实际用户价值之间存在巨大差距。
本文的目标是本文的具体目标是构建AgentIF-OneDay基准，评估通用AI Agent能否通过自然语言指令帮助普通用户完成多样化的日常任务。这些任务不仅需要通过对话解决问题，还需要理解各种附件类型并交付具体的文件产出物。论文希望揭示当前Agent产品和Agent模型的优势与瓶颈，为未来AI Agent优化提供有实证价值的参考。同时，AgentIF-OneDay积累的高质量、精细标注的指令数据具有作为强化学习训练数据的巨大潜力。从更长远的角度看，论文希望推动评估从单模型或聊天机器人层面扩展到完整的Agent系统层面，从垂直领域扩展到覆盖工作、生活、学习的全方位场景。
与已有工作不同的是，本文的独特切入角度在于三个方面：第一，任务设计的用户中心性，评估不是从技术能力出发，而是从普通用户的日常需求出发，涵盖日常工作（59.6%）、学习（23.1%）和生活（17.3%）三大领域。第二，评估方法的创新，采用实例级评分标准（instance-level rubrics），将每个任务分解为可独立验证的评分点，配合工作流式评判（workflow-based judging），显著提高了自动化评估的可靠性。第三，数据构建方法论，设计了以文件为中心的自动化Agent流水线（File-centered Automated Agentic Pipeline），能够从人工种子任务自动生成多样化的合成任务，解决了人工标注成本高、个体扩展性有限的瓶颈。这种人工种子加合成扩展的混合模式，使得benchmark既有高质量的人工验证基础，又具备规模化扩展的能力。
核心方法
AgentIF-OneDay的整体方法可以概括为三类任务加实例级评分加合成扩展的框架。从直觉上讲，日常任务的完成质量取决于三个维度：能否忠实执行用户给出的明确工作流、能否从附件中推断用户的隐含意图、能否在多轮交互中持续优化产出。基于这个直觉，论文将任务分为Open Workflow Execution、Latent Instruction Inference和Iterative Refinement三类。技术路线上，首先通过人工标注收集高质量种子任务，然后设计自动化合成流水线扩展数据规模，最后采用基于评分标准的LLM-as-Judge方法进行评估。评估流程中，LLM根据预定义的评分标准逐条判断输出是否满足要求，对需要事实验证的项目调用Google Search，对HTML等代码文件先渲染再用VLM评分，最终通过加分和扣分机制计算归一化分数。
本文的核心创新点与已有方法的本质区别在于三个层面。第一，在评估对象上，从评估单个模型或聊天机器人转向评估完整的Agent系统，不再关注模型的孤立能力，而是关注端到端的任务完成质量。第二，在评估维度上，从单一的指令跟随扩展到三类交互模式，现有的IFEval、FOFO等基准主要测试明确指令的跟随能力，而AgentIF-OneDay额外引入了隐含指令推断和迭代精化，这两个维度更贴近真实的人机交互场景。第三，在评估方法上，提出实例级评分标准（instance-level rubrics），每个任务有独立的评分标准，每个评分点都是二元的（满足或不满足），并且区分加分项和扣分项。这种方法将评估从整体打分细化到逐项验证，显著提高了评估的客观性和可重复性。使用Gemini-3-Pro作为评判模型时，与人类评分的一致率达到80.1%。
方法步骤详情
AgentIF-OneDay的构建和评估包含以下完整步骤。任务构建阶段：首先，人工标注者按照详细指南提交原始任务，要求任务具有难度（非专家无法回答）、客观性（有唯一正确答案）和抗搜索性（标准搜索引擎无法直接获取答案）。提交的任务经过初筛、专家验证、修订和终审四阶段审核。其次，设计五步合成流水线扩展数据：第一步工作流提取，从人工种子任务中分析并抽象出操作逻辑序列；第二步附件搜索，根据工作流功能需求生成搜索查询，使用ChatGPT Agent的Search模式从网络检索相关文档和图像；第三步查询生成，使用固定工作流模板和分析后的附件生成具体任务指令；第四步评分标准生成，严格遵循人工标注指南构建加分和扣分标准；第五步过滤和重写，过滤复杂度不足的任务，替换相对时间或位置为固定数据，验证数据源有效性。评估阶段：对每个任务，Agent系统接收指令和附件并生成输出；然后LLM评判者根据评分标准逐条判断输出是否满足要求，需要时调用搜索进行事实验证；最终通过公式计算每个任务的归一化分数，所有任务的平均分即为最终得分。
技术新颖性
本文的技术新颖性体现在多个方面。首先，以文件为中心的评估范式是开创性的，要求Agent交付具体的文件产出物（PPT、Excel、HTML等），而非仅仅是文本回复，这更贴近真实工作场景。其次，合成数据生成流水线的设计具有方法论价值，通过工作流提取、附件搜索、查询生成、评分标准生成、过滤重写的五步流程，能够将单个人工任务扩展为多样化的合成任务，这种方法可推广到更广泛的Agent数据合成应用。第三，评估流水线的技术创新包括：对PPT和HTML文件实现视觉解析，使用VLM作为评判者；对需要实时验证的评分项默认使用搜索模式；将评分标准分为Content（385分）、Form（244分）和Execution（138分）三个维度，实现了多角度的细粒度评估。第四，在任务设计上，Latent Instruction Inference类别要求Agent从附件中推断隐含规则，例如从PPT模板中提取页眉或页脚结构和引用风格并应用到新内容生成，这测试了Agent的深度理解和泛化能力，是现有基准所缺乏的维度。
实验结果
本文对四个领先的通用AI Agent进行了系统测试，揭示了多项重要发现。在总体性能上，Manus以0.645的得分排名第一，Genspark（0.635）和ChatGPT-Agent（0.626）紧随其后形成第一梯队，Minimax-Agent以0.562明显落后。关键发现是：基于API构建的Agent（如Genspark、Manus）与基于Agent RL的系统（如ChatGPT-Agent）在基线Agent能力上达到了性能对等，表明基础Agent能力已经成为现代基础模型的商品化能力。在任务领域维度，ChatGPT-Agent在工作效率场景表现最佳（72.18分），Manus是最佳生活助手（73.40分），Genspark是理想的学习伙伴（71.19分）。在能力维度上，Genspark在隐含指令推断上表现最好（0.719），Manus在开放工作流执行上最优（0.661），Minimax-Agent在迭代编辑上最强（0.717）。在评分标准维度，Genspark在指令跟随（0.766）和负面约束（0.824）上表现最佳，Manus的事实性得分最高（0.731），Minimax-Agent的逻辑或功能性得分最高（0.755）。在效率方面，Genspark（484.1秒）和Manus（500.0秒）在速度和质量之间取得良好平衡，而Minimax-Agent平均需要1416.2秒，是其他Agent的2到3倍。在评估一致性方面，Gemini-3-Pro与人类评分的一致率达到80.1%，显著优于Gemini-2.5-Pro（73.9%）和GPT-5.1（63.8%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AgentIF-OneDay总体任务完成 | 归一化得分（0-1） | Manus: 0.645, Genspark: 0.635, ChatGPT-Agent: 0.626, Minimax-Agent: 0.562 | 无直接基线，四个Agent互为对比 | Manus领先第二名1.0个百分点，领先末位14.8个百分点 |
| 工作效率场景 | 得分 | ChatGPT-Agent: 72.18, Genspark: 71.86, Manus: 70.27 | 三个Agent对比 | ChatGPT-Agent在工作效率上领先1.91分 |
| 生活场景 | 得分 | Manus: 73.40, ChatGPT-Agent: 69.67, Genspark: 67.85 | 三个Agent对比 | Manus在生活场景领先3.73分 |
| 学习场景 | 得分 | Genspark: 71.19, Manus: 64.41, ChatGPT-Agent: 59.29 | 三个Agent对比 | Genspark在学习场景领先6.78分 |
| 隐含指令推断 | 得分 | Genspark: 0.719, ChatGPT-Agent: 0.613, Manus: 0.610, Minimax-Agent: 0.510 | 四个Agent对比 | Genspark领先第二名0.106分 |
| LLM评判一致性 | 与人类评分一致率 | Gemini-3-Pro: 80.1% | Gemini-2.5-Pro: 73.9%, GPT-5.1: 63.8% | 比GPT-5.1高16.3个百分点 |
局限与改进
本文存在多个层面的局限性。作者承认的局限性包括：数据收集面临高标注成本（每个任务平均需要3小时）、个体扩展性有限（标注者很快耗尽熟悉场景）、验证异质性（日常生活场景背景知识高度多样，难以招募跨领域验证专家）。此外，当前benchmark仅包含104个任务，规模相对有限；评估仅测试了四个Agent产品，样本量不足以得出统计显著的结论；评估时间点固定在2025年12月，结果可能随Agent产品更新而变化。从技术角度看，隐含指令推断是所有Agent最弱的能力维度，但论文未深入分析失败案例的具体模式；评分标准的二元化（满足或不满足）可能丢失了部分质量信息；LLM评判者与人类评分仍有约20%的不一致率，说明自动化评估仍有改进空间。从评估设计看，benchmark覆盖的任务虽然多样化，但是否真正代表了普通用户的日常需求分布尚需验证；工作、生活、学习三大领域的划分边界可能存在模糊性；部分任务的抗搜索性要求可能限制了任务的现实代表性。
独立分析的弱点
本文存在几个值得独立分析的弱点。首先，任务规模偏小，104个任务对于评估通用Agent的多样化能力来说样本量不足，特别是每个子类别（如Iterative Refinement仅22个任务）的样本更少，这可能导致个别任务的得分对整体排名影响过大。改进方向是利用论文提出的合成流水线大幅扩展任务集，目标应达到500到1000个任务。其次，评估的时效性问题，论文使用2025年11月的网络内容作为附件，但部分任务依赖实时信息（如会议日期、产品价格），这使得benchmark会随时间失效。改进方向是设计更多时间无关的任务，或建立定期更新机制。第三，Agent产品的选择偏差，仅测试了四个商业Agent，缺少开源Agent系统的对比，且不同Agent的配置（如Minimax-Agent使用Pro模式）可能不完全公平。改进方向是建立标准化的测试环境和配置规范。第四，隐含指令推断的评估标准不够清晰，论文指出这是所有Agent最弱的能力，但未深入分析失败的具体模式和改进方向。改进方向是对失败案例进行详细分类，识别出常见的推理错误类型。
未来方向
作者提出了多个有价值的研究方向。最直接的是从OneDay扩展到OneWeek，将评估时间范围从日级扩展到周级，测试Agent处理长周期、多步骤任务的能力。论文指出，当前的长周期评估基准（如Game playing、Vending-bench、Paper Bench）往往聚焦特定领域，领域特定训练不能保证泛化到其他同等时长的任务。构建覆盖工作、学习、日常活动的全面OneWeek基准，对于准确评估AGI进展至关重要。此外，基于本文成果可延伸的方向包括：将AgentIF-OneDay的高质量标注数据用于Agent RL训练，论文明确指出这些数据具有作为强化学习训练数据的潜力，特别是实例级评分标准可以提供精确的奖励信号；研究不同任务类别的能力迁移，例如能否通过提升隐含指令推断能力来间接改善迭代精化表现；探索人机协作模式，Iterative Refinement类别本质上是人机协作场景，可以进一步研究最优的交互策略和反馈机制；建立Agent能力的持续评估框架，随着Agent产品快速迭代，需要建立动态更新的评估体系来追踪能力演进。
复现评估
本文的复现性评估需要从多个维度考虑。在开源情况方面，论文提供了代码（github.com/xbench-ai）和数据（huggingface.co/xbench-ai）的访问地址，这为复现提供了基础。但需要注意的是，评估对象是商业Agent产品（ChatGPT-Agent、Genspark、Manus、Minimax-Agent），这些产品的具体版本、配置和行为可能随时间变化，完全复现原始实验结果存在挑战。在数据方面，104个任务和767个评分点的数据集规模相对可控，人工标注和合成生成的流程有详细描述，理论上可以复现数据构建过程。在算力方面，评估本身主要依赖LLM API调用（Gemini-3-Pro作为评判者），算力需求适中；但合成数据生成需要使用Gemini-2.5-Pro和ChatGPT Agent，成本可能较高。在难度方面，最大的复现障碍是商业Agent产品的不可控性，论文未详细说明各Agent的具体配置参数、prompt模板和工具集，这使得第三方复现可能存在差异。建议的复现策略是：首先验证数据集和评分标准的完整性，然后使用开源Agent框架（如AutoGPT、CrewAI）替代商业产品进行对比实验。
论文图表