LongCat-Flash-Thinking-2601 技术报告：面向智能体推理的 560B MoE 开源模型 LongCat-Flash-Thinking-2601 Technical Report
美团开源560B MoE推理模型，在智能体搜索与工具使用任务上达到开源SOTA
前置知识
Mixture-of-Experts (MoE)
混合专家模型是一种稀疏激活的神经网络架构。模型包含多个“专家”子网络，但每个输入 token 只激活其中一小部分。LongCat-Flash-Thinking-2601 总参数量为 560B，但每个 token 平均只激活 27B 参数，这意味着推理时的计算量远小于同等参数量的稠密模型。MoE 的核心在于一个路由网络（router），它根据输入决定将 token 发送给哪些专家，从而实现计算资源的动态分配。
本文的模型架构采用 MoE，理解 MoE 的稀疏激活机制对于理解模型的训练规模、推理效率以及为什么能在有限算力下支撑 560B 参数量至关重要。
Agentic Reasoning（智能体推理）
智能体推理是指模型通过与外部环境（如搜索引擎、代码沙箱、API 工具）的多轮交互来解决复杂问题的能力。与传统的纯文本推理不同，智能体推理要求模型决定何时、如何与环境交互，并将环境反馈整合到推理链中。这涉及长时域轨迹规划、工具选择、多步骤状态跟踪等能力。
本文的核心贡献就是提升智能体推理能力，包括智能体搜索和智能体工具使用。理解这一概念是理解整篇论文动机和方法的基础。
Reinforcement Learning from Environment Feedback（环境反馈强化学习）
在后训练阶段，模型通过与环境交互产生轨迹，环境给出奖励信号（如任务是否完成、工具调用是否成功），然后使用策略优化算法（如本文采用的 GSPO）更新模型参数。这与传统的 RLHF 不同，奖励信号来自可验证的环境状态而非人类偏好标注。训练过程需要大规模异步基础设施来支撑成千上万个环境的并发执行。
本文的核心训练范式是多域环境强化学习，理解 RL 如何与环境交互产生学习信号是理解 DORA 异步训练框架和课程学习策略的前提。
Test-Time Scaling (TTS，测试时扩展)
测试时扩展是一种在推理阶段通过增加计算量来提升模型性能的技术。常见方式包括：增加推理深度（更长的思维链）和增加推理宽度（并行探索多条推理路径）。本文提出的 Heavy Thinking Mode 同时扩展深度和宽度——先让多个“思考者”并行生成推理轨迹，再由一个总结模型对这些轨迹进行反思性综合。
Heavy Thinking Mode 是本文的三大核心贡献之一，它使得模型在 AIME-2025 上达到满分，在 IMO-AnswerBench 上达到 86.8 的开源 SOTA。理解 TTS 的原理是评估该模型实际能力的关键。
Context Management（上下文管理）
在多轮智能体交互中，随着交互轮次增加，上下文长度会迅速增长，可能超出模型的上下文窗口限制。上下文管理策略包括：摘要压缩（summary-based，当超过 80K token 时用模型自身对历史工具调用结果进行摘要）和丢弃重置（discard-all，当超过最大轮次时完全丢弃历史上下文重新开始）。本文采用混合策略，在 BrowseComp 上从 55.8% 提升到 73.1%。
上下文管理直接影响智能体推理的长时域能力，是连接模型能力与实际部署的关键技术环节。
研究动机
当前推理模型在数学和编程等纯文本任务上已经接近甚至超越人类专家水平，但将这种复杂问题解决能力应用到真实世界任务时面临严峻挑战。核心问题在于：真实世界的任务本质上需要与外部环境交互——搜索网页、调用 API、执行代码、操作数据库——而现有模型在这方面表现不佳。具体来说，智能体任务通常涉及长时域轨迹（数十甚至上百轮交互）、异构环境（不同工具和接口）、以及长尾交互动态（工具可能失败、返回噪声结果）。现有训练范式存在三个关键瓶颈：第一，智能体行为在真实语料中极其稀缺，预训练模型对工具调用模式几乎一无所知；第二，强化学习阶段需要大规模异步环境支撑，但现有基础设施无法高效处理数万环境的并发执行；第三，训练环境通常是理想化的，与真实世界的噪声和不完美存在巨大差距，导致模型在部署时性能显著退化。
本文的目标是本文的目标是构建一个具有强大智能体推理能力的开源大语言模型，具体包括三个可衡量的目标：（1）在智能体搜索（BrowseComp、RWSearch）、智能体工具使用（τ2-Bench、VitaBench）等基准上达到开源模型最优性能；（2）在带噪声的真实世界环境中保持鲁棒性，噪声环境下的性能退化不超过干净环境的 30%；（3）通过 Heavy Thinking Mode 实现有效的测试时扩展，在困难推理任务上接近甚至匹配闭源顶级模型（如 GPT-5.2、Gemini-3-Pro）的性能。
与已有工作不同的是，本文的独特切入角度在于它不是简单地在现有模型上叠加工具调用能力，而是从端到端的视角统一设计了数据构建、环境建设、算法策略和基础设施四个维度。已有工作（如 DeepSeek-V3.2-Thinking）主要关注纯推理能力的提升，对智能体场景的系统性支持不足。本文抓住了三个被忽视的关键点：（1）环境可扩展性——通过自动化流水线从领域定义生成可执行的工具图和环境，覆盖 20+ 领域；（2）噪声鲁棒性——系统性分析真实世界噪声模式并通过课程学习显式注入训练；（3）推理宽度——已有 TTS 方法主要扩展推理深度，本文同时扩展宽度（并行推理）和深度（反思综合），在 Heavy Thinking Mode 下实现更有效的测试时计算扩展。
核心方法
整个训练流程可以类比为培养一个全能型实习工程师：先让他广泛阅读（预训练），再让他在模拟环境中反复练习各种工具的使用（中期训练+强化学习），同时故意在练习环境中制造各种故障和干扰来锻炼他的应变能力（鲁棒训练），最后教他在面对特别困难的问题时如何召集多个同事头脑风暴再综合判断（Heavy Thinking Mode）。技术路线上，模型基于 LongCat-Flash-Chat 的预训练基座，经过三个关键阶段：（1）中期训练阶段注入结构化智能体轨迹，提供基础的工具调用能力；（2）后训练阶段通过 DORA 异步 RL 框架在 20+ 领域、32000+ 环境中进行大规模多域环境强化学习；（3）Heavy Thinking 阶段通过并行推理+反思综合实现测试时扩展。
本文最核心的创新在于“环境即课程”的理念。不同于传统 RL 将环境视为固定的训练背景，本文将环境本身作为学习的核心对象：通过自动化流水线从高层领域规范（domain specification）生成可执行工具图，再通过受控的图扩展策略逐步增加环境复杂度。这种方法的本质区别在于三点：第一，环境构建是自动化的而非手工设计的，一个领域规范可以生成包含 60+ 工具的密集依赖图；第二，环境扩展是可验证的——通过 BFS 式扩展只添加依赖已满足的工具节点，保证扩展后的环境仍然可执行；第三，训练策略与基础设施是协同设计的——DORA 异步框架通过多版本异步训练解决了长尾环境交互导致的设备空闲问题，请求负载比达到 63%。这种端到端的协同设计使得在 400 台物理机器、数万加速器上稳定训练成为可能。
方法步骤详情
完整的训练流程分为五个步骤。第一步是预训练继承：模型继承 LongCat-Flash-Chat 的数据分布和预训练参数，保留通用语言和推理能力。第二步是中期训练：分配 500B token 给 32K/128K 阶段、40B token 给 256K 阶段，通过混合数据合成（文本驱动+环境驱动+规划导向）注入结构化智能体轨迹。文本驱动合成从大规模语料中挖掘隐含的多步工作流并转换为显式的工具调用轨迹；环境驱动合成在轻量 Python 环境中通过工具依赖图采样和执行验证生成正确轨迹；规划导向合成将线性轨迹转化为多步决策过程。第三步是冷启动：为不同能力域（通用思考、智能体编码、智能体搜索、智能体工具使用）分别构建高质量数据，其中通用思考采用滑动窗口 PPL 的 K-Center-Greedy 算法从 210K 样本中筛选。第四步是大规模 RL 训练：使用 GSPO 目标函数，结合课程学习（沿任务难度和能力需求两个轴渐进增加复杂度）、动态预算分配（基于实时训练指标的任务价值函数）、自验证（模型评估自身轨迹作为辅助信号）三大策略，在多域环境中进行强化学习。第五步是 Heavy Thinking：并行生成 K 条推理轨迹，再由总结模型进行反思性综合，可选地进行多轮迭代。
技术新颖性
本文的技术新颖性体现在多个层面。在环境构建方面，提出从高层领域规范全自动生成可执行工具图的流水线，成功率达到 95% 以上，这在已有工作中尚属首次。BFS 式受控扩展策略保证了环境复杂度增加的同时维持可执行性，避免了数据库状态不一致导致的虚假负奖励。在训练基础设施方面，DORA 框架将 RolloutManager 分解为轻量级全局控制器和多个并行 RolloutController，通过虚拟回放组实现数据并行，支持 32000+ 环境并发。PD 分离（Prefill-Decode Disaggregation）和 CPU KV-Cache 交换机制解决了 560B MoE 模型在中端加速器上的高效推理问题。在训练策略方面，噪声注入的课程学习策略（从轻微扰动渐进增加到复杂噪声）是智能体训练领域的新方法，使得模型在 VitaBench-Noise 上从 13.3% 提升到 20.5%，τ2-Noise 上从 62.2% 提升到 67.1%。Zigzag Attention 通过层间交替稀疏和全注意力实现约 1.5 倍推理加速，同时支持最长 1M token 的上下文，这比从头训练稀疏注意力模型要高效得多。
实验结果
LongCat-Flash-Thinking-2601 在智能体推理基准上取得了开源模型的 SOTA 性能。在智能体搜索方面，BrowseComp 达到 73.1%（使用上下文管理），BrowseComp-ZH 达到 77.7%，RWSearch 达到 79.5%，均为开源最优。在智能体工具使用方面，τ2-Bench 整体达到 88.2%（Avg@4），其中 Retail 88.6%、Airline 76.5%、Telecom 99.3%，显著超越 DeepSeek-V3.2-Thinking 的 80.6%；VitaBench 达到 29.3%，在开源模型中领先。在数学推理方面，Heavy Thinking Mode 下 AIME-2025 达到满分 100.0%，IMO-AnswerBench 达到 86.8%（开源 SOTA），AMO-Bench EN 达到 66.0%。在编码方面，LiveCodeBench 达到 82.8%，OIBench EN 达到 47.7%（开源最优），SWE-bench Verified 达到 70.0%。值得注意的是，该模型在噪声环境下的鲁棒性表现突出：τ2-Noise 达到 67.1%（所有模型最高），VitaBench-Noise 达到 20.5%（仅次于 Gemini-3-Pro 的 20.8%）。在 Random Complex Tasks（随机生成的跨领域复杂任务）上达到 35.8%，超越所有对比模型。训练过程表现出高度稳定性，训练奖励从初始准确率 20.75% 稳步提升到峰值 82.78%，相对增益达 298.9%。DORA 框架比同步训练快 2-4 倍，请求负载比约 63%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME-2025 | Avg@16 | 99.6% / 100.0% (Heavy) | DeepSeek-V3.2-Thinking: 93.5% | +6.1%~+6.5% |
| IMO-AnswerBench | Avg@4 | 78.6% / 86.8% (Heavy) | GLM-4.7-Thinking: 84.0% | +2.8% (Heavy) |
| AMO-Bench EN | Avg@16 | 61.6% / 66.0% (Heavy) | GLM-4.7-Thinking: 62.4% | 开源最优 |
| BrowseComp | Pass@1 | 73.1% | DeepSeek-V3.2-Thinking: 67.6% | +5.5% |
| BrowseComp-ZH | Pass@1 | 77.7% | GLM-4.7-Thinking: 66.6% | +11.1% |
| RWSearch | Pass@1 | 79.5% | GPT-5.2-Thinking: 82.0% | 开源最优 |
| τ2-Bench Avg | Avg@4 | 88.2% | GLM-4.7-Thinking: 87.4% | +0.8% |
| τ2-Noise | Avg@4 | 67.1% | GLM-4.7-Thinking: 66.0% | +1.1% |
| VitaBench | Avg@4 | 29.3% | DeepSeek-V3.2-Thinking: 24.0% | +5.3% |
| Random Complex Tasks | Avg@4 | 35.8% | Gemini-3-Pro: 32.5% | +3.3% |
| GPQA-Diamond | Avg@16 | 80.5% / 85.2% (Heavy) | Gemini-3-Pro: 91.9% | 竞争力较强 |
| LiveCodeBench | Avg@4 | 82.8% | GLM-4.7-Thinking: 84.8% | 开源第二 |
| SWE-bench Verified | Avg@5 | 70.0% | Gemini-3-Pro: 76.2% | 竞争力较强 |
局限与改进
尽管 LongCat-Flash-Thinking-2601 在智能体推理上取得了显著进展，但仍存在多方面局限。首先，在通用推理能力上，模型在 HLE（text-only）上仅达到 25.2%，明显落后于 Gemini-3-Pro 的 40.3% 和 GPT-5.2-Thinking 的 34.5%，表明在需要广泛世界知识的开放域推理任务上仍有较大差距。其次，在 GPQA-Diamond 上基础模式仅 80.5%，即使 Heavy Mode 也只有 85.2%，而 Gemini-3-Pro 达到 91.9%，说明科学领域的深度推理能力还有提升空间。第三，在编码任务上，SWE-bench Verified 为 70.0%，落后于 GPT-5.2-Thinking 的 80.0% 和 Gemini-3-Pro 的 76.2%，表明在真实软件工程场景中的工具使用和代码修复能力仍需加强。第四，Heavy Thinking Mode 虽然效果显著，但会大幅增加推理成本——需要并行生成多条轨迹再进行总结，推理延迟和计算开销成倍增加，论文中未给出具体的成本分析。第五，模型仅提供了权重，但训练数据、环境构建流水线、DORA 框架的完整实现并未开源，这限制了社区的复现和改进能力。第六，论文在讨论中承认 DORA 框架目前采用保守的陈旧控制策略以保证训练稳定性，这牺牲了约 37% 的请求负载效率，表明异步训练中稳定性和效率之间的平衡仍是开放问题。
独立分析的弱点
从独立分析的角度，本文存在以下主要弱点。第一，环境构建虽然自动化程度高，但生成的环境本质上是合成的，与真实世界工具（如 Google Search API、真实数据库）存在分布差距。论文未在真实生产级工具环境（如 Slack、GitHub、Jira）上进行评估，这意味着模型在实际部署时的泛化能力尚未得到验证。改进方向可以是引入真实 API 的沙盒环境进行微调，或者采用在线学习方式让模型在真实环境中持续适应。第二，Heavy Thinking Mode 的计算效率问题严重——并行 K 条轨迹意味着推理成本线性增长，且总结模型需要额外的前向传播。对于实时应用（如在线客服、代码助手），这种延迟可能是不可接受的。改进方向包括引入早停机制（当 K 条轨迹中多数达成一致时提前终止）、自适应并行数（根据问题难度动态调整 K）、以及知识蒸馏将 Heavy Thinking 的能力压缩到单次推理中。第三，课程学习和动态预算分配策略虽然有效，但依赖于对任务难度的准确估计。论文使用模型自身的 pass rate 作为难度指标，但当模型能力快速变化时，这种估计可能滞后。改进方向可以是引入基于信息论的任务选择策略，或者使用元学习来预测任务的学习价值。第四，论文在噪声训练中只考虑了指令噪声和工具噪声两种类型，真实世界的噪声远不止于此（如多用户并发、网络延迟、权限变化等），噪声注入的覆盖面有限。
未来方向
作者提出了几个未来方向：采用更乐观的陈旧控制策略和陈旧感知稳定性技术以提升异步训练效率；将 Zigzag Attention 进一步优化以支持更长上下文。基于本文的成果，还可以延伸出多个有价值的研究方向：（1）将环境扩展流水线应用到更多垂直领域（如医疗、法律、金融），构建领域特定的智能体推理模型；（2）探索在线环境适应——让模型在部署过程中从真实环境反馈中持续学习，而不是固定在离线训练的策略上；（3）研究 Heavy Thinking Mode 的压缩和加速，使得并行推理+反思综合的范式能够在延迟敏感的场景中实用；（4）将噪声鲁棒训练策略推广到多智能体协作场景，其中智能体之间的通信本身就是噪声源；（5）探索环境构建流水线与形式化验证的结合，为安全关键领域（如自动驾驶、医疗诊断）提供可证明正确的智能体行为。
复现评估
论文开源了模型权重（HuggingFace: meituan-longcat/LongCat-Flash-Thinking-2601）和 GitHub 仓库，同时提供了评估脚本和部分基准的修正版本（BrowseComp-ZH-revised、tau2-bench-revised、VitaBench 更新版）。然而，完整复现面临以下挑战：（1）训练数据未开源——中期训练的智能体轨迹、冷启动数据、RL 任务集均为合成数据，社区无法获取也无法重新生成完全相同的数据；（2）训练基础设施未开源——DORA 框架、环境扩展流水线、代码沙箱系统的核心实现未发布，而这些是支撑大规模训练的关键；（3）算力需求巨大——模型在 400 台物理机器、数万加速器上训练，普通研究机构难以负担；（4）环境构建的自动化流水线虽然描述详细，但具体的领域规范定义、工具代码生成的 prompt、质量过滤的阈值等工程细节未完全公开。总体而言，模型的推理和评估可以复现（已有权重和评估脚本），但训练过程的复现极其困难，属于工业级大型项目的典型情况。
论文图表
