TOBench:面向真实场景工具使用智能体的任务导向全模态基准 TOBench: A Task-Oriented Omni-Modal Benchmark for Real-World Tool-Using Agents

TOBench构建与评测的具体流程可以拆成五个步骤。第一步是**Omni MCP工具选型**:在Toolathlon的MCP栈基础上扩展,新增PPT编辑、TTS、ASR、视频/音频处理等全能模态服务器,并为基准特定场景实现Image Generation Server和Image Processing Toolkits,最终汇集27个MCP服务器、324个工具。第二步是**全模态场景发现**:以"category × subcategory × 可用MCP服务器"为输入,用LLM按"user need + agent role"模式生成10个候选场景JSON,通过4条约束(自然多模态证据、工具可达、依赖通用可验证规则、图像优先于视频除非时序必要)筛掉不可行候选,20个子场景合计得到约200个候选。第三步是**任务实例化**:对每个候选场景,通过结构化提示(用户-智能体角色扮演)生成三档难度(easy/medium/hard)的可执行任务,序列化为固定JSON(task_name、task_difficulty、turn_mode、required_mcp、agent_config、user_request、input_files),并加入reflection步骤筛掉不支持的任务,合计得到约600个候选。第四步是**多模态资产策展**:从公开网络或受控生成管道采集图像、音频、视频等资产,做隐私与可复现性归一化;由两位AI博士生耗时约1个月人工审核,筛掉不真实、依从性弱、缺乏合适输入资产的候选,最终从约200个高质量候选进入构建管线。第五步是**任务级verifier合成与人工审核**:对每个任务合成专属评测脚本,实现 $V_i(\tau_i,w_i,\ell_i)$,结合代码检查、VLM判定、工具回查、人工审核四道关卡;评测时按任务-级别施加"所有评测点全通过才算成功"的严格定义,并在执行时运行以应对时敏性任务。整个流程粗粒度时间线约1个月场景收集+约600候选→200通过审核→100最终入库。

技术新颖性主要体现在三个层面。第一,**评测形式化的严谨性**——把任务实例化为八元组 $h = (I,E,S,A,O,T,C,V)$ 并把状态分解为工具态/工作区态/外部世界态/历史,这在之前的工具使用基准中几乎不存在(τ-bench、Toolathlon更多用对话状态机),为可执行harness设计提供了形式化锚点。第二,**评测点的混合信号融合**:把 $C=C_{fmt}\cup C_{judge}\cup C_{tool}$ 三类约束打通,使代码校验对格式、工具回查对groundedness、VLM判定对美学/视觉一致性,弥补了"单一信号评测"的偏差。第三,**半自动化构建管道与human-in-the-loop**:从场景发现→任务实例化→资产策展→verifier合成→人工审核五段都嵌入了LLM+人类双驱,在保证规模的同时维持质量;具体而言,600个候选任务最终只入100个,审核淘汰率高,意味着每个被保留任务都经过反复打磨,这比一次性人工标注更可扩展,也比纯自动生成更可信。

独立审视后,以下弱点及其改进方向值得强调。第一,**闭环验证缺乏强制触发机制**——领域规则中虽有"完成后请检查"的措辞,但智能体仍可一句"已检查"跳过真实的视觉/格式验证;改进方向是把"强制产出validation证据"写进任务schema(如必须返回一个ScreenshotDetection dict),或引入reward shaping让"通过verifier"成为唯一成功信号。第二,**单回合/多回合混杂影响公平对比**——turn_mode参数在论文中没有作为协变量控制,某些模型可能在单回合任务上能力被高估,多回合任务上被低估;改进方向是固定turn数或多回合任务独立报告。第三,**评估时敏性任务的窗口不可重现**——TOBench要求execution-time validation,但每次评测的具体时间点不同会引入外部世界态漂移(地图、天气、搜索结果都在变);改进方向是为每类时敏任务记录"ground truth快照",并在verifier里强制回放该快照而非重新查询。第四,**VLM判官的偏置未做对照实验**——不同VLM(Claude-Opus、Gemini、GPT-4o)对美学/版式的判定一致性未报告,可能存在模型-评测器耦合偏差;改进方向是引入两套以上VLM判官并报告Kappa一致性。第五,**任务难度分级(easy/medium/hard)缺乏公开打分细则**——目前分级仅"通过提示词控制requirement complexity/ambiguity/workflow length",没有可复现的量化函数;改进方向是把难度定义为 $\text{diff} = \alpha \cdot \text{tools} + \beta \cdot \text{turns} + \gamma \cdot \text{multimodal\_mods}$,并公开分配规则。

作者在第6节提出的隐含方向是把基准扩展到更多现实工作流,并改进evaluator noise。基于此,可延伸出几条未来研究方向。第一,**扩展任务规模与子场景**——从100任务扩展到500+任务,纳入法律文档审阅、医疗报告生成、金融报表核对等高价值专业场景。第二,**多VLM评测器一致性研究**——对同一Verdant输出用GPT-4o、Claude-Opus、Gemini-3-Pro分别打分,统计Kappa,并通过few-shot校准缩小模型-评测器耦合偏差。第三,**时敏任务的快照复现**——为搜索/地图/天气类任务提供ground-truth快照,允许离线复评,从而把execution-time validation变成"execution-time within snapshot"。第四,**Learning from Verifier Feedback**——将 $V_i$ 的成败信号作为多任务训练的奖励,训练"会自我验证"的智能体,把TOBench从评测基准进一步推到训练信号来源。第五,**引入任务级human preference baseline**——除了94%的人类整体数字,报告人类在哪些子场景/任务难度上的差异,从而定位智能体真正缺失的能力。第六,**移动到动态实时工具生态**——把TOBench的工具接口从静态MCP扩展到动态微服务/事件流,使评测更具生态真实性。

复现评估分四方面看。**开源情况**:作者在论文正文标注项目主页 https://github.com/Pi3AI/TOBench,但具体代码、任务JSON、verifier脚本的开源时间未明确;基准的"representation evaluator code will be released with the benchmark pipeline"暗示verifier会开源。**数据可获得性**:任务instructions和input_assets可从仓库获取,但部分多模态资产可能因版权/隐私做归一化处理;MCP服务器中Image Generation Server和Image Processing Toolkits是作者自研,需要从仓库同步发布。**算力需求**:每任务最多100回合交互,15个模型各跑100任务意味着1500条独立轨迹;调用Claude-Opus-4.6/Gemini-3-Pro/GPT-5等闭源模型时平均每任务成本 $0.27(Claude-Haiku)$~$3.03(Gemini-3.1-Pro)$(美元),完整跑闭源部分约需 $2000-3000 美元,开源模型在本机8卡A100/H100上部署亦有较大显存开销。**复现难度**:技术栈涉及MCP服务器搭建(27个)、VLM判官调用、时敏任务快照、verifier审计,生态门槛较高;尤其是"每任务verifier单独合成"这一步在论文中没有完全公开,第三方想严格复现100个评测点只能等仓库release。综合看,获取整体排名数字可以复现,但要做到任务级逐点评测的bit-for-bit一致仍需要依赖作者仓库。