Atlas：协调异构模型和工具以实现跨领域复杂推理

提出双路径框架ATLAS，通过集群路由和强化学习实现动态模型-工具协同编排。

前置知识

强化学习 (RL)

一种机器学习范式，智能体通过与环境交互并获得奖励信号来学习最优策略。在本文中，RL用于训练路由策略，使代理学会在复杂推理任务中选择最优的模型-工具组合。核心要素包括状态空间、动作空间、奖励函数和策略更新。本文使用PPO算法优化策略，目标是最大化长期累积奖励。

本文的核心方法之一是RL驱动的多步路由，需要理解RL的基本原理才能掌握其如何实现自适应的工具调用和模型选择。

语义聚类

一种无监督学习方法，将语义相似的查询映射到同一组。本文使用预训练编码器将查询嵌入到D维潜在流形中，然后通过最小化惯性将嵌入空间划分为K个不相交的簇。每个查询被分配到最近的语义簇，从而利用该簇的历史性能统计进行路由决策。这实现了O(1)时间复杂度的快速路由。

ATLAS的训练免集群路由基于语义聚类，需要理解聚类如何在嵌入空间中捕获任务分布，以及如何利用历史性能模式进行高效决策。

工具增强推理

将大型语言模型与外部工具（如代码解释器、计算器、搜索引擎）结合，以扩展模型的能力。工具调用需要特定的语法和格式，正确识别何时以及如何调用工具是关键。本文的工具集包括基础工具（代码解释器、网络搜索、计算器、奖励模型）和多模态工具（图表分析、几何解析、物体计数、OCR）。

ATLAS的核心目标是协调异构模型和工具，理解工具增强推理的原理和挑战是理解论文动机和方法的基础。

PPO (Proximal Policy Optimization)

一种现代强化学习算法，通过限制策略更新的幅度来确保训练稳定性。PPO优化目标包含两个部分：奖励项和KL散度正则化项。奖励项鼓励产生高奖励的轨迹，KL散度项防止策略偏离参考策略过远。本文使用PPO来优化路由策略，使其学会选择高效的模型-工具组合。

ATLAS的RL路径使用PPO算法进行策略优化，理解PPO的原理有助于理解路由策略是如何通过训练改进的。

研究动机

随着大语言模型和外部工具的多样性不断增加，选择最优的模型-工具组合变成了一个高维优化挑战。现有方法存在三个关键问题：第一，未能利用模型-工具协同效应。LLM路由方法仅关注模型选择而不集成外部工具，限制了提升任务性能的潜力。例如，RouterDC和MLPRouter等方法将模型视为独立的执行单元，无法利用特定模型能力与外部工具接口之间的协同作用。第二，刚性调用和灵活性有限。现有的工具使用方法依赖于固定的、预配置的调用逻辑，如ReAct和Reflexion，这阻碍了适应性和可扩展性，防止推理引擎在开放领域任务中动态优化模型-工具组合。第三，RL的孤立优化。即使先进的RL方法如RLHF和DPO也专注于孤立地优化单个组件，错过了联合利用模型-工具协同进行复杂推理的机会。例如，Tool-Star和Search-R1等方法主要专注于单模型或单工具优化。

本文的目标是本文的目标是提出一个通用框架，能够动态协调最优的模型-工具组合，以应对跨领域的复杂推理任务。具体来说，目标包括：能够充分利用不同模型和工具之间的协同效应，而不仅仅是选择最强的模型；在保持推理性能的同时控制推理成本，实现性能-成本的有效权衡；具备良好的泛化能力，既能在熟悉的领域内高效路由，又能在面对全新任务时自适应地探索有效的推理路径；支持多模态推理，能够协调专门的多模态工具进行视觉和几何推理；具备可扩展性，能够适应不断演进的模型和工具生态系统。

与已有工作不同的是，本文的独特切入角度是同时考虑模型路由、工具调用和强化学习三个要素的动态交互，而现有方法往往只关注其中一两个。ATLAS采用双路径架构：训练免集群路由利用经验先验实现领域特定对齐，RL驱动的多步路由通过自主轨迹探索实现跨域泛化。这种分叉设计有效解决了高维搜索空间的可扩展性挑战，同时确保了鲁棒性。与以往工作不同，ATLAS不是简单地组合多个模型或工具，而是显式地建模和优化异构模型-工具协同，实现真正的生态系统级编排而非模型中心化扩展。

核心方法

ATLAS框架采用双路径设计，结合了经验知识和开放领域推理。第一路径是训练免集群路由，通过在语义嵌入空间中利用领域专业知识实现高效选择。该方法假设最优的模型-工具组合依赖于查询且具有语义局部性，因此利用历史性能统计来近似最优路由函数。第二路径是RL驱动的多步路由，针对需要多轮推理和迭代模型-工具交互的复杂任务。该方法将路由器实例化为一个自主代理，能够在内部推理和外部调用之间交替进行。RL路径通过探索有效轨迹来学习可迁移的协同决策原则，而不是记忆任务特定的映射。

ATLAS的核心创新点在于显式地优化异构LLM和工具之间的协同，实现动态和自适应的工具调用。与将LLM视为孤立执行单元的现有方法不同，ATLAS将模型和工具视为一个联合搜索空间S = M × T，其中M是候选LLM集合，T是可用工具集合。集群路由通过在嵌入空间中缓存历史性能模式，实现了近最优的任务-配置对齐，O(1)时间复杂度的查询时间。RL路由通过组合奖励信号（格式奖励、结果奖励、模型选择奖励）学习通用的模型-工具协同原则，而无需任务特定标注。这种设计使路由策略捕获专业知识分布的本质特征，即使在动态环境中保持鲁棒和可推广。

方法步骤详情

训练免集群路由分为三个步骤。步骤1：查询表示。使用预训练编码器E将测试查询qj映射到D维潜在流形vj = E(qj) ∈ RD。步骤2：语义聚类。通过最小化惯性将嵌入空间划分为K个不相交的簇{Ck}k=1^K，每个簇k有一个语义中心µk。查询被分配到最近的簇k* = argmink dist(vj, µk)。步骤3：动态选择。对于簇k*中的每个候选对，计算实用分数Uk*(m,t) = (1-α) · Acck*(m,t) - α · Costk*(m,t)，其中α是平衡性能和成本的超参数。选择最优组合(m*,t*) = argmax(m,t) Uk*(m,t)并执行。RL驱动的多步路由步骤如下。步骤1：初始化。设置初始状态s0 = {qj, C0}，其中C0是空的上下文集合。步骤2：多步推理循环。对于t = 0到Tmax-1：策略πθ采样动作at，可以是内部推理或动态路由。如果是推理，执行局部思维链处理；如果是路由，选择特定模型-工具对并收集外部观测ot。更新状态st+1 = {qj, Ct+1}并记录轨迹τ。如果at包含最终答案则中断。步骤3：策略更新。计算奖励rϕ = Rfmt + γRout + ξRsel，使用PPO更新策略参数θ。

技术新颖性

ATLAS的技术新颖性体现在多个方面。首先，它首次将模型路由和工具调用集成到一个统一的强化学习框架中，实现了联合优化而非独立优化。其次，双路径架构巧妙地解决了效率和泛化的权衡：集群路由利用经验先验实现低延迟决策，RL路径通过探索实现跨域泛化。第三，复合奖励设计（格式、结果、模型选择）在保持任务正确性的同时引导代理学习高效的决策原则，而无需人工标注偏好。第四，方法具有良好的可扩展性，能够在不重新训练的情况下无缝集成新模型和工具，实验证明从59.4%提升到61.7%。最后，ATLAS在性能上超越了强大的闭源模型如GPT-4o，实现了生态系统编排范式而非模型中心化扩展。

实验结果

在15个基准测试上的全面实验表明，ATLAS方法显著优于所有基线。在分布内设置下，ATLAS(cluster)达到63.5%的平均准确率，超过最强基线RouterDC 10.1%。优势在数学推理上最为明显：在AIME25上达到40.0%，在AMC上达到82.5%，分别比RouterDC高16.7%和20.0%。值得注意的是，ATLAS(cluster)超过了GPT-4o（53.1%）并接近GPT-4.1（63.0%），表明战略性模型-工具编排使小规模模型的推理引擎能够匹敌大型专有系统。在分布外场景下，ATLAS(cluster)在AIME25上从40.0%下降到3.3%，而ATLAS(RL)保持59.4%的平均准确率，比ATLAS(cluster)高10.2%，比RouterDC高13.1%。差距在数学推理上最显著：在AIME24和AIME25上，ATLAS(RL)分别保持43.3%和33.3%的准确率，而聚类方法只有13.3%和3.3%（相差10倍）。这表明RL路径学习了可迁移的协同决策原则而非任务特定映射。在多模态任务上，ATLAS通过动态工具调用达到68.9%的平均准确率，超过最强单工具基线4.3%。特别是在ChartQA上超过最佳单工具（Qwen3-Chart, 83.0%），并在Geometry3K上克服了单工具的性能限制。在动态模型-工具池扩展实验中，ATLAS(RL)从59.4%提升到61.7%（+2.3%），数学基准上提升最明显：AIME24和AIME25都提升6.7%。Pass@k分析显示RL训练带来+23.0%的绝对改进（从36.4%到59.4%），在pass@16时上限达到63.1%（+3.7%），表明ATLAS(RL)已经接近其推理能力上限。Wilcoxon符号秩检验在分布内设置下产生p = 9.7 × 10^-4，确认ATLAS的优越性在统计上显著。

**Figure 5**: LLM API调用次数和ATLAS(RL)训练动态分析

查看结构化数据

任务	指标	本文	基线	提升
数学推理	准确率	ATLAS(RL)在分布外设置下AIME24达到43.3%，AIME25达到33.3%，AMC达到67.5%	RouterDC在分布外设置下AIME24达到13.3%，AIME25达到3.3%，AMC达到47.5%	AIME24提升30.0%，AIME25提升30.0%，AMC提升20.0%
代码生成	准确率	ATLAS(RL)在分布外设置下HumanEval达到85.4%，MBPP达到81.8%	RouterDC在分布外设置下HumanEval达到79.2%，MBPP达到78.7%	HumanEval提升6.2%，MBPP提升3.1%
算术推理	准确率	ATLAS(RL)在分布外设置下Calculator达到81.6%	RouterDC在分布外设置下Calculator达到70.8%	提升10.8%
多模态推理	准确率	ATLAS平均达到68.9%	最强单工具基线平均达到64.6%	提升4.3%
综合性能	平均准确率	ATLAS(RL)在分布外设置下达到59.4%	RouterDC在分布外设置下达到46.3%	提升13.1%

局限与改进

作者承认的局限性包括：首先，当前评估主要集中在基于文本和视觉推理任务，扩展到其他模态（如音频、视频）仍未探索。其次，框架假设对候选模型和工具有可靠的API访问，实际部署中的网络延迟或服务不可用可能会影响性能。作者计划在未来研究中调查更轻量级的策略架构和强大的回退机制。此外，ATLAS依赖于预训练嵌入模型的质量，聚类效果受到嵌入模型语义表示能力的限制。RL训练需要大量的计算资源和时间，尽管实验显示250步训练后已经收敛。方法在极低资源环境下的部署可能存在挑战。作者还提到，ATLAS本身不引入新的有害能力，但继承了候选模型和工具中存在的潜在偏见、安全限制和伦理关切。

独立分析的弱点

ATLAS的独立分析弱点包括：第一，对嵌入模型依赖性强。集群路由的性能严重依赖于预训练嵌入模型的语义表示能力，如果嵌入模型无法有效捕获任务语义相似性，聚类效果会显著下降，导致路由决策不准确。改进方向可以是使用领域特定的嵌入模型或结合多个嵌入模型的集成。第二，RL训练的计算开销。虽然实验显示250步训练后收敛，但对于大规模模型-工具池，RL训练可能需要更多计算资源。改进方向包括采用更高效的RL算法如样本高效的RL或离线RL方法。第三，冷启动问题。当面对完全新颖的查询类型时，集群路由可能无法找到合适的簇，需要依赖回退策略或RL路径，这可能导致初始性能下降。改进方向可以是设计更智能的回退策略或元学习快速适应新任务。第四，奖励设计的敏感性。复合奖励中的超参数γ和ξ需要仔细调优，不同任务可能需要不同的平衡。改进方向可以是自动超参数优化或自适应权重调整机制。第五，实际部署的鲁棒性。论文假设可靠的API访问，但实际场景中可能存在网络波动、服务故障等问题，需要设计容错机制和重试策略。

未来方向

作者提出的未来研究方向包括：扩展到更多模态（音频、视频）以验证框架的泛化能力；研究更轻量级的策略架构和强大的回退机制以提高实际部署的鲁棒性；探索自动超参数优化方法以减少人工调参的需求；研究在线学习机制以持续适应新的模型和工具。基于成果可延伸的方向包括：将ATLAS应用于更复杂的长期规划任务，如多步骤问题解决或科学发现；研究如何将人类先验知识（如领域专家规则）集成到框架中以提高初始性能；探索联邦学习设置下的分布式路由策略，以保护隐私的同时实现协同优化；研究如何将ATLAS与其他代理框架结合，形成更强大的多代理系统；开发可解释性工具以帮助理解路由决策的依据，提高系统的透明度和可信度。

复现评估

论文的复现评估如下：开源情况方面，论文声称所有数据集、模型和工具都来自公开资源，但未明确提供代码或训练好的模型。论文详细描述了方法实现和实验设置，包括算法伪代码和奖励信号规范。数据方面，所有使用的基准都是公开可用的，包括数学推理（AIME2024/2025、AMC）、代码生成（HumanEval、MBPP）、算术推理（Calculator）、常识推理（NQ、WebQ）、逻辑推理（LogiQA2）、科学推理（GPQA）和多模态基准（ChartQA、Geometry3K、TallyQA、CountBench、TableVQA）。算力需求方面，RL训练使用Qwen2.5-3B-Instruct作为策略模型，批大小为32，训练250步，学习率1×10^-6，这相对较为轻量。候选模型包括6个开源LLM（Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、InternLM3-8B-Instruct、DeepSeek-R1-Distill-Qwen-7B、Qwen2.5-Coder-7B-Instruct、Qwen3-8B-VL-Instruct）和4个基础工具及4个多模态工具。难度评估方面，方法实现相对直接，算法有详细伪代码，超参数设置明确。但RL训练可能需要一定的调参经验，复合奖励的平衡可能需要根据具体任务调整。总体而言，复现难度中等，主要挑战在于模型-工具池的配置和RL训练的稳定性。

Atlas：协调异构模型和工具以实现跨领域复杂推理 Atlas: Orchestrating Heterogeneous Models and Tools for Multi-Domain Complex Reasoning