OmniGAIA：迈向原生全模态AI智能体 OmniGAIA: Towards Native Omni-Modal AI Agents
提出全模态智能体基准OmniGAIA和原生全模态基础智能体OmniAtlas
前置知识
全模态（Omni-modal）
全模态指模型能够同时处理和融合多种模态信息，包括文本、视觉（图像/视频）和听觉（音频），实现跨模态的理解和推理。与传统的多模态（通常指双模态，如视觉-语言）不同，全模态强调所有模态的统一处理和深度交互。在本文中，全模态特指能够同时理解视频、音频和图像，并基于这些模态进行推理和工具使用的能力。
本文的核心是评估和构建原生全模态智能体，理解全模态的概念是理解论文目标和技术路线的基础。
工具集成推理（Tool-Integrated Reasoning, TIR）
工具集成推理是一种将外部工具调用与模型内部推理过程紧密结合的范式。在这种范式下，模型不仅进行内部思考，还能在推理过程中自主决定何时、如何调用外部工具（如网络搜索、代码执行、页面浏览等）来获取信息或执行计算。工具调用的结果会作为新的上下文反馈给模型，形成推理-行动-观察的循环。这种设计使模型能够获取外部知识、验证假设并执行复杂计算。
OmniAtlas采用TIR范式来增强全模态智能体的能力，这是其方法的核心组成部分，理解TIR对于理解模型如何与外部工具交互至关重要。
主动感知（Active Perception）
主动感知指模型能够根据当前任务需求，有选择性地请求获取特定模态的特定区域或时间段信息，而不是被动接收所有输入。例如，在长视频中，模型可以主动请求查看某个时间段的视频片段，或者在高分辨率图像中请求裁剪某个区域进行详细观察。这种机制通过read_video、read_audio、read_image等工具实现，允许模型“按需查看”而非“全盘接收”。
主动感知是OmniAtlas的关键创新之一，它解决了长视频和高分辨率图像处理中的信息过载和细节丢失问题，对于理解论文的方法优势很重要。
事件图（Event Graph）
事件图是一种结构化的知识表示方法，用于组织跨模态的信息。在本文中，事件图将从视频、音频和图像中提取的实体、事件及其关系构建为图结构。图中的节点代表实体或事件，边代表它们之间的关系（如时序关系、因果关系、空间关系等）。这种表示支持多跳推理和证据扩展，是OmniGAIA基准测试构建的核心数据结构。
事件图是OmniGAIA数据构建流程的基础，理解事件图有助于理解基准测试如何生成复杂的多跳推理问题。
后见之明引导的树探索（Hindsight-Guided Tree Exploration）
这是一种用于合成高质量智能体轨迹的训练数据生成方法。该方法从初始状态开始，在每个步骤采样多个候选延续（推理+工具动作），然后使用一个知道正确答案的验证器（如Gemini-3-Flash）来剪枝错误或冗余的分支，只保留成功的轨迹用于训练。这种方法类似于蒙特卡洛树搜索（MCTS），但使用后见之明（即已知正确答案）来指导探索过程，确保生成的训练数据质量。
这是OmniAtlas训练数据合成的核心技术，理解这种方法有助于理解模型如何获得强大的工具使用和推理能力。
研究动机
当前多模态大语言模型研究主要局限于双模态交互（如视觉-语言或音频-语言），缺乏构建通用AI助手所需的统一认知能力。现有基准测试（如OmniBench、WorldSense、UNO-Bench）大多关注短音频/视频和以感知为中心的任务，未能充分评估长程推理和工具集成智能体能力。具体来说，在真实世界场景中，用户可能需要同时处理视频、音频和图像，并需要多步推理和外部工具使用来解决问题，但现有模型和评估体系无法有效应对这种复杂需求。例如，一个视频中可能包含视觉线索、对话内容和背景声音，模型需要整合这些跨模态信息，并通过网络搜索或代码执行来验证假设和计算答案。
本文的目标是本文的具体目标是：1）引入OmniGAIA，一个具有挑战性的全模态智能体基准测试，涵盖视频+音频和图像+音频设置，需要多跳推理和多轮工具使用；2）提出OmniAtlas，一个原生全模态基础智能体，遵循工具集成推理范式，支持主动全模态感知；3）通过后见之明引导的树探索和OmniDPO等训练策略，显著提升开源模型在OmniGAIA上的性能。量化目标是将开源模型（如Qwen3-Omni）在OmniGAIA上的Pass@1从13.3提升到接近专有模型的水平。
与已有工作不同的是，本文的独特切入角度在于：1）强调“原生”全模态智能体，即模型从设计上就统一处理视觉、音频和语言，而不是将不同模态作为独立工具；2）专注于工具集成推理，将工具使用视为智能体能力的核心组成部分，而非附加功能；3）构建了需要真实世界跨模态推理和工具使用的复杂任务，而不是简单的感知任务。与现有工作相比，本文抓住了被忽视的“全模态工具集成推理”这一关键能力缺口，这是构建真正通用AI助手所必需的。
核心方法
本文的方法可以概括为“基准测试+智能体”双轮驱动。首先，OmniGAIA基准测试通过一个创新的事件图驱动流程构建：从真实世界视频和图像数据中提取跨模态信息，构建事件图来表示实体、事件及其关系，然后通过智能体探索扩展事件图，最后通过事件模糊化生成需要多跳推理的复杂问答对。其次，OmniAtlas智能体采用工具集成推理范式，支持主动感知，通过后见之明引导的树探索合成高质量轨迹，进行轨迹级监督微调，并通过OmniDPO进行细粒度错误纠正。整体思路是：先通过高质量评估基准定义问题，再通过系统化的训练方法提升智能体能力。
本文的核心创新点在于“原生全模态工具集成推理”这一范式。与现有方法的本质区别体现在三个方面：第一，原生全模态感知——OmniAtlas从设计上就统一处理视觉、音频和语言输入，而不是将不同模态作为独立工具调用。这通过统一的token化和投影接口实现，将异构的视觉和声学输入映射到共享的token空间。第二，主动感知能力——模型可以按需请求特定媒体片段或区域，而不是被动接收所有输入，这通过read_video、read_audio、read_image等工具实现。第三，工具集成推理——模型在推理过程中自主决定何时调用外部工具（网络搜索、代码执行、页面浏览），形成推理-行动-观察的循环。这种设计使模型能够获取外部知识、验证假设并执行复杂计算。与传统的双模态模型或被动感知模型相比，这种原生全模态工具集成推理能力是构建真正通用AI助手的关键。
方法步骤详情
OmniAtlas的方法包含四个主要步骤：1）轨迹合成与监督学习——使用Gemini-3-Flash将原始多模态输入转换为详细文本描述，然后使用DeepSeek-V3.2作为探索智能体，通过后见之明引导的树探索合成工具集成轨迹。在每个步骤采样k=3个候选延续，使用验证器剪枝错误分支，只保留成功轨迹。然后进行轨迹级监督微调，使用掩码监督：只计算智能体生成的token（推理和工具调用token）的损失，掩码工具观察token。2）OmniDPO细粒度错误纠正——让SFT模型在训练集上探索，对于每个失败轨迹，Gemini-3-Flash识别第一个错误步骤并生成纠正的前缀。将原始（错误）前缀作为τ_lose，纠正前缀作为τ_win，优化掩码DPO目标。3）主动全模态感知——模型可以调用read_video(video_id, t_start, t_end)、read_audio(audio_id, t_start, t_end)、read_image(image_ids, crop_box)等工具来选择性获取特定媒体内容。4）评估与迭代——使用LLM-as-a-Judge评估答案等价性，结合精确匹配和LLM判断。
技术新颖性
本文的技术新颖性体现在多个层面：1）基准测试构建方面，OmniGAIA采用事件图驱动的流程，通过智能体探索扩展事件图，生成需要跨模态推理和工具使用的复杂任务。这与现有基准测试（如OmniBench、WorldSense）主要关注短媒体和感知任务形成鲜明对比。2）智能体训练方面，OmniAtlas提出后见之明引导的树探索来合成高质量轨迹，结合掩码SFT和OmniDPO进行训练。掩码SFT只计算智能体生成token的损失，避免拟合工具观察噪声；OmniDPO通过细粒度错误纠正进一步提升性能。3）感知机制方面，主动感知允许模型按需获取特定媒体信息，而不是被动接收所有输入。4）整体范式方面，原生全模态工具集成推理将多模态感知、推理和工具使用统一在一个框架中，这是对现有双模态被动感知模型的根本性改进。
实验结果
实验结果表明OmniGAIA基准测试极具挑战性：最强的专有模型Gemini-3-Pro达到62.5 Pass@1，而开源基线Qwen3-Omni仅达到13.3，存在约4.7倍的性能差距。这凸显了开源社区在原生全模态感知和鲁棒工具集成推理方面急需进步。参数规模扩大并不能解决问题：560B参数的LongCat-Flash-Omni（11.1）甚至不如30B参数的Qwen3-Omni（13.3），表明智能体能力（特别是工具使用策略）而非原始参数量是主要瓶颈。OmniAtlas带来了一致的改进：将Qwen3-Omni从13.3提升到20.8（+7.5绝对值），在较小模型上提升更显著，如Qwen2.5-Omni-7B从3.6提升到13.3（约3.7倍）。任务难度分析显示性能随难度急剧下降：Gemini-3-Pro从Easy任务的78.7降到Hard任务的38.5。细粒度错误分析揭示工具使用和推理失败是主要错误模式（35.3%-91.9%和15.8%-79.7%），远高于指令遵循问题（6.4%-18.3%）和无答案情况（1.4%-8.3%）。在Hard任务上，开源模型表现出接近饱和的工具误用（~90%-96%）和高推理错误率（~80%-90%），表明初始证据获取失败会级联导致推理崩溃。OmniAtlas有效减少了工具误用（如81.1%→59.4%）和推理错误（79.7%→64.4%），但视觉和音频感知错误仍然较高（~30%-50%），表明基础模型的感知能力是持续瓶颈。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OmniGAIA全模态智能体评估 | Pass@1 | OmniAtlas-Qwen-3-30B: 20.8 | Qwen-3-Omni-30B: 13.3 | +7.5绝对值，相对提升56.4% |
| OmniGAIA全模态智能体评估 | Pass@1 | OmniAtlas-Qwen-2.5-7B: 13.3 | Qwen-2.5-Omni-7B: 3.6 | +9.7绝对值，相对提升269.4% |
| OmniGAIA全模态智能体评估 | Pass@1 | Gemini-3-Pro: 62.5 | Gemini-3-Flash: 51.7 | +10.8绝对值，相对提升20.9% |
| 工具使用错误率 | Ineffective Tool Use Rate | OmniAtlas-30B: 59.4% | Qwen-3-Omni-30B: 81.1% | 降低21.7个百分点 |
局限与改进
本文存在以下局限性：1）基准测试规模相对较小，只有360个任务，虽然覆盖9个领域，但可能不足以全面评估全模态智能体能力。2）训练数据合成依赖于强大的专有模型（Gemini-3-Flash和DeepSeek-V3.2），这限制了方法的可复现性和可扩展性。3）评估使用LLM-as-a-Judge，虽然比纯精确匹配更合理，但仍存在判断偏差和一致性问题。4）OmniAtlas在Hard任务上的改进有限，表明当前训练方法难以解决需要深度多跳推理的复杂任务。5）视觉和音频感知错误仍然较高（~30%-50%），表明基础模型的模态融合能力是持续瓶颈。6）工具使用效率问题：虽然OmniAtlas增加了工具调用，但更多工具调用并不保证更好性能，存在“探索过度”现象。7）评估环境是受控的，实际部署中工具可用性和可靠性可能不同。
独立分析的弱点
经过独立分析，本文存在以下弱点：1）基准测试构建的自动化程度高但人工验证成本高——虽然流程自动化，但仍需要研究生级别的审阅者进行最终验证，这限制了规模的进一步扩大。改进方向可以是开发更可靠的自动化质量评估模型。2）训练数据合成的“鸡生蛋”问题——使用强模型（Gemini-3-Flash、DeepSeek-V3.2）为较弱模型合成训练数据，但合成质量受教师模型能力限制。改进方向可以是迭代式自我改进，让模型在自身生成的轨迹上继续学习。3）主动感知的触发机制较简单——当前模型通过系统提示鼓励“按需查看”，但缺乏明确的触发策略。改进方向可以是训练一个感知需求预测模块，自动判断何时需要主动感知。4）OmniDPO的错误纠正粒度仍较粗——只纠正第一个错误步骤，可能遗漏级联错误。改进方向可以是多步错误传播分析和纠正。5）工具使用效率优化不足——存在工具调用过多但效果不佳的“探索过度”现象。改进方向可以是引入工具使用效率的奖励信号或约束。6）评估指标单一——只有Pass@1，缺乏对推理过程质量、工具使用效率等的评估。改进方向可以是多维度评估框架。
未来方向
作者提出了三个有前景的未来方向：1）全模态智能体强化学习（Omni-modal Agentic RL）——直接优化长程智能体策略，在全模态反馈下进行训练，这可能比当前的SFT+DPO方法更有效地学习工具使用策略。2）全模态MCP服务（Omni-modal MCP Services）——开发可扩展的工具服务，支持更广泛的全模态任务，这将扩展智能体的能力边界。3）全模态具身智能体（Omni-modal Embodied Agents）——将基准测试和基础模型扩展到物理世界，推动LLM驱动的AI助手在实际任务中的应用。基于本文成果可延伸的方向包括：1）开发更高效的轨迹合成方法，减少对强教师模型的依赖；2）研究主动感知的自动化触发机制；3）探索工具使用的课程学习策略，从简单工具逐步过渡到复杂工具；4）开发多智能体协作框架，让多个专长不同的智能体共同解决复杂任务；5）研究跨模态知识蒸馏，将强模型的全模态理解能力迁移到轻量级模型。
复现评估
复现评估如下：1）开源情况——论文提供了代码和演示（GitHub: https://github.com/RUC-NLPIR/OmniGAIA）以及数据集和模型（HuggingFace），开源程度较好。2）数据集——OmniGAIA基准测试包含360个任务，数据量不大但构建流程复杂，涉及多个数据源（FineVideo、LongVideoBench、COCO 2017等）。3）算力需求——训练在4个节点，每个节点8块NVIDIA H20-141GB GPU上进行，共32块高端GPU，算力需求较高。推理评估也需要相当的算力来运行多个模型。4）复现难度——中等偏高。虽然代码开源，但训练数据合成依赖于专有API（Gemini-3-Flash、DeepSeek-V3.2），这可能产生费用和访问限制。此外，事件图构建流程需要较强的工程能力来实现。5）评估环境——论文提供了统一的评估工具和提示模板，有助于复现结果。总体而言，复现本文的核心结论（OmniGAIA的挑战性和OmniAtlas的有效性）是可行的，但完全复现训练流程可能需要相当的资源和工程投入。
论文图表
展示了两个OmniGAIA任务示例：一个图像+音频任务和一个视频+音频任务。图像+音频任务要求计算伦敦反削减抗议活动与债务减免运动启动之间的月数。视频+音频任务要求识别视频中提到的桥梁名称及其在电影开拍时的年龄。每个示例都包含多步解决方案，展示了需要跨模态证据整合和多步工具使用的复杂推理过程。
这张图直观展示了OmniGAIA基准测试的任务特点：需要整合视觉和听觉信息，进行多步推理，并使用外部工具（如网络搜索）来获取验证信息。它帮助读者理解论文要解决的问题类型和复杂性。