← 返回 2026-02-03

Kimi K2.5:视觉智能体的联合优化与并行编排 Kimi K2.5: Visual Agentic Intelligence

Kimi Team, Tongtong Bai, Yifan Bai, Yiping Bao, S. H. Cai, Yuan Cao, Y. Charles, H. S. Che, Cheng Chen, Guanduo Chen, Huarong Chen, Jia Chen, Jiahao Chen, Jianlong Chen, Jun Chen, Kefan Chen, Liang Chen, Ruijue Chen, Xinhao Chen, Yanru Chen, Yanxu Chen, Yicun Chen, Yimin Chen, Yingjiang Chen, Yuankun Chen, Yujie Chen, Yutian Chen, Zhirong Chen, Ziwei Chen, Dazhi Cheng, Minghan Chu, Jialei Cui, Jiaqi Deng, Muxi Diao, Hao Ding, Mengfan Dong, Mengnan Dong, Yuxin Dong, Yuhao Dong, Angang Du, Chenzhuang Du, Dikang Du, Lingxiao Du, Yulun Du, Yu Fan, Shengjun Fang, Qiulin Feng, Yichen Feng, Garimugai Fu, Kelin Fu, Hongcheng Gao, Tong Gao, Yuyao Ge, Shangyi Geng, Chengyang Gong, Xiaochen Gong, Zhuoma Gongque, Qizheng Gu, Xinran Gu, Yicheng Gu, Longyu Guan, Yuanying Guo, Xiaoru Hao, Weiran He, Wenyang He, Yunjia He, Chao Hong, Hao Hu, Jiaxi Hu, Yangyang Hu, Zhenxing Hu, Ke Huang, Ruiyuan Huang, Weixiao Huang, Zhiqi Huang, Tao Jiang, Zhejun Jiang, Xinyi Jin, Yu Jing, Guokun Lai, Aidi Li, C. Li, Cheng Li, Fang Li, Guanghe Li, Guanyu Li, Haitao Li, Haoyang Li, Jia Li, Jingwei Li, Junxiong Li, Lincan Li, Mo Li, Weihong Li, Wentao Li, Xinhang Li, Xinhao Li, Yang Li, Yanhao Li, Yiwei Li, Yuxiao Li, Zhaowei Li, Zheming Li, Weilong Liao, Jiawei Lin, Xiaohan Lin, Zhishan Lin, Zichao Lin, Cheng Liu, Chenyu Liu, Hongzhang Liu, Liang Liu, Shaowei Liu, Shudong Liu, Shuran Liu, Tianwei Liu, Tianyu Liu, Weizhou Liu, Xiangyan Liu, Yangyang Liu, Yanming Liu, Yibo Liu, Yuanxin Liu, Yue Liu, Zhengying Liu, Zhongnuo Liu, Enzhe Lu, Haoyu Lu, Zhiyuan Lu, Junyu Luo, Tongxu Luo, Yashuo Luo, Long Ma, Yingwei Ma, Shaoguang Mao, Yuan Mei, Xin Men, Fanqing Meng, Zhiyong Meng, Yibo Miao, Minqing Ni, Kun Ouyang, Siyuan Pan, Bo Pang, Yuchao Qian, Ruoyu Qin, Zeyu Qin, Jiezhong Qiu, Bowen Qu, Zeyu Shang, Youbo Shao, Tianxiao Shen, Zhennan Shen, Juanfeng Shi, Lidong Shi, Shengyuan Shi, Feifan Song, Pengwei Song, Tianhui Song, Xiaoxi Song, Hongjin Su, Jianlin Su, Zhaochen Su, Lin Sui, Jinsong Sun, Junyao Sun, Tongyu Sun, Flood Sung, Yunpeng Tai, Chuning Tang, Heyi Tang, Xiaojuan Tang, Zhengyang Tang, Jiawen Tao, Shiyuan Teng, Chaoran Tian, Pengfei Tian, Ao Wang, Bowen Wang, Chensi Wang, Chuang Wang, Congcong Wang, Dingkun Wang, Dinglu Wang, Dongliang Wang, Feng Wang, Hailong Wang, Haiming Wang, Hengzhi Wang, Huaqing Wang, Hui Wang, Jiahao Wang, Jinhong Wang, Jiuzheng Wang, Kaixin Wang, Linian Wang, Qibin Wang, Shengjie Wang, Shuyi Wang, Si Wang, Wei Wang, Xiaochen Wang, Xinyuan Wang, Yao Wang, Yejie Wang, Yipu Wang, Yiqin Wang, Yucheng Wang, Yuzhi Wang, Zhaoji Wang, Zhaowei Wang, Zhengtao Wang, Zhexu Wang, Zihan Wang, Zizhe Wang, Chu Wei, Ming Wei, Chuan Wen, Zichen Wen, Chengjie Wu, Haoning Wu, Junyan Wu, Rucong Wu, Wenhao Wu, Yuefeng Wu, Yuhao Wu, Yuxin Wu, Zijian Wu, Chenjun Xiao, Jin Xie, Xiaotong Xie, Yuchong Xie, Yifei Xin, Bowei Xing, Boyu Xu, Jianfan Xu, Jing Xu, Jinjing Xu, L. H. Xu, Lin Xu, Suting Xu, Weixin Xu, Xinbo Xu, Xinran Xu, Yangchuan Xu, Yichang Xu, Yuemeng Xu, Zelai Xu, Ziyao Xu, Junjie Yan, Yuzi Yan, Guangyao Yang, Hao Yang, Junwei Yang, Kai Yang, Ningyuan Yang, Ruihan Yang, Xiaofei Yang, Xinlong Yang, Ying Yang, Yi Yang, Zhen Yang, Zhilin Yang, Zonghan Yang, Haotian Yao, Dan Ye, Wenjie Ye, Zhuorui Ye, Bohong Yin, Chengzhen Yu, Longhui Yu, Tao Yu, Tianxiang Yu, Enming Yuan, Mengjie Yuan, Xiaokun Yuan, Yang Yue, Weihao Zeng, Dunyuan Zha, Haobing Zhan, Dehao Zhang, Hao Zhang, Jin Zhang, Puqi Zhang, Qiao Zhang, Rui Zhang, Xiaobin Zhang, Y. Zhang, Yadong Zhang, Yangkun Zhang, Yichi Zhang, Yizhi Zhang, Yongting Zhang, Yu Zhang, Yushun Zhang, Yutao Zhang, Yutong Zhang, Zheng Zhang, Chenguang Zhao, Feifan Zhao, Jinxiang Zhao, Shuai Zhao, Xiangyu Zhao, Yikai Zhao, Zijia Zhao, Huabin Zheng, Ruihan Zheng, Shaojie Zheng, Tengyang Zheng, Junfeng Zhong, Longguang Zhong, Weiming Zhong, M. Zhou, Runjie Zhou, Xinyu Zhou, Zaida Zhou, Jinguo Zhu, Liya Zhu, Xinhao Zhu, Yuxuan Zhu, Zhen Zhu, Jingze Zhuang, Weiyu Zhuang, Ying Zou, Xinxing Zu 📅 2026-02-02 👍 275 2026-07-13 08:35
多模态大模型 并行推理 强化学习 智能体 视觉语言

多模态联合训练+Agent Swarm并行编排,实现通用智能体

前置知识

Mixture of Experts (MoE)

混合专家模型是一种稀疏激活的Transformer架构,模型包含大量专家子网络(本文中为384个专家),但每次推理时只激活其中一小部分(本文为8个)。Kimi K2基座模型拥有1.04万亿总参数,但每次仅激活320亿参数,这种设计在保持模型容量的同时大幅降低推理计算成本。稀疏度为48%,即约97%的参数在单次前向传播中不被使用。

理解MoE架构是理解K2.5基座模型规模和效率的关键。1T参数的MoE模型如何在多模态场景下保持高效训练和推理,是本文需要解决的核心工程挑战之一。

Vision Transformer (ViT)

视觉Transformer是一种将图像分割为固定大小的patch(如16x16像素),将每个patch视为一个token,然后用Transformer架构处理这些视觉token的模型。本文使用的MoonViT-3D基于SigLIP-SO-400M初始化,采用NaViT的patch打包策略,支持原生分辨率输入,无需将图像resize到固定尺寸。对于视频,连续4帧被分组为时空体积,通过共享的ViT编码器处理。

MoonViT-3D是K2.5视觉能力的核心组件,其原生分辨率处理和视频3D压缩机制直接影响模型的视觉理解上限。理解ViT的工作原理才能理解为什么K2.5能同时处理图像和视频而不损失性能。

Reinforcement Learning from Human Feedback (RLHF)

RLHF是一种通过强化学习优化大模型的范式,通常使用奖励模型评估模型输出质量,然后用PPO等算法优化策略。本文在此基础上提出了多项改进:token级别的clipping机制替代传统PPO clipping来稳定训练;引入Generative Reward Models (GRM)作为细粒度评估器而非二元判别器;以及为视觉任务设计了专门的奖励函数(如IoU-based F1用于grounding,编辑距离用于OCR)。

RL是K2.5 post-training的核心阶段,其创新的奖励设计和训练算法(如Toggle、PARL)是论文的核心贡献。理解RLHF基础才能理解这些改进的意义。

Supervised Fine-Tuning (SFT)

监督微调是在预训练模型基础上,使用人工标注或合成的指令-回复对进行有监督学习的过程。本文提出了创新的zero-vision SFT方法:仅使用文本SFT数据就能激活模型的视觉能力,所有图像操作通过IPython的程序化操作代理实现。实验表明这种方法比直接使用视觉SFT数据效果更好,可能是因为联合预训练已经建立了强大的视觉-文本对齐。

zero-vision SFT是K2.5的关键创新之一,它解决了多模态RL的冷启动问题,同时避免了人工标注视觉轨迹的高昂成本和多样性不足的问题。

Token Efficiency

Token效率指模型在达到相同任务性能时使用的输出token数量。测试时计算缩放(test-time scaling)通过增加推理时的计算来提升质量,但实际收益需要算法创新来平衡计算与质量。本文提出Toggle算法,通过交替优化两个阶段来解决这个问题:Phase0在任务依赖的token预算内求解,Phase1允许最大token生成以利用计算提升质量。实验显示Toggle平均减少25-30%的输出token,且对性能影响可忽略。

token效率直接影响推理成本和用户体验。在智能体场景中,长链推理的token膨胀问题尤为严重,Toggle算法的提出对实际部署具有重要价值。

研究动机

当前多模态大模型的训练存在两个核心问题。首先,传统多模态预训练方法采用先文本后视觉的策略,在训练后期才引入视觉token,且视觉占比较高(50%以上),将多模态能力视为语言能力的后置插件。这种做法导致文本和视觉能力存在冲突,要么牺牲语言能力,要么牺牲视觉能力。其次,现有智能体系统严重依赖顺序执行工具调用。即使是能执行数百步推理的系统(如Kimi K2-Thinking),也面临推理时间线性增长的问题,导致延迟不可接受,限制了任务复杂度。在涉及大规模研究、设计和开发的复杂项目中,顺序范式变得越来越低效。实测表明,单一智能体在WideSearch基准上的执行时间随目标Item-F1从30%增长到70%时,从基线的1.8倍增长到超过7.0倍。

本文的目标是K2.5的目标是构建一个统一的通用智能体架构,同时实现三个目标:(1) 文本和视觉的联合优化,使两种模态相互增强而非冲突;(2) 通过并行智能体编排突破顺序执行的延迟瓶颈;(3) 在编程、视觉、推理、智能体任务等多个领域达到最先进水平。具体而言,模型需要在SWE-Bench等实际软件工程任务、BrowseComp等深度研究任务、以及MMMU-Pro等视觉理解任务上都取得强性能。同时,Agent Swarm框架需要将复杂任务分解为可并行执行的子任务,实现高达4.5倍的延迟降低。

与已有工作不同的是,本文的独特切入角度体现在三个方面。第一,在多模态训练策略上,通过系统的消融实验(Table 1)发现早期融合+低视觉比例的策略优于传统的晚期融合+高视觉比例策略,这一发现颠覆了传统认知。第二,提出zero-vision SFT这一反直觉的方法:仅用文本SFT数据就能激活视觉推理能力,且效果优于包含视觉轨迹的SFT,因为联合预训练已建立了跨模态对齐。第三,在智能体架构上,提出PARL(并行智能体强化学习)范式,通过冻结子智能体、仅训练编排器的解耦设计,避免了端到端联合优化的信用分配歧义和训练不稳定问题。

核心方法

K2.5的方法体系可以分为两个核心支柱:多模态联合优化和Agent Swarm并行编排。从直觉上讲,文本和视觉不应该被当作两个独立的能力来训练,而应该从预训练阶段就开始协同优化,让两种模态相互借力。技术路线是:首先在K2基座模型上进行约15万亿token的多模态联合预训练,使用原生分辨率的MoonViT-3D编码器处理图像和视频;然后通过zero-vision SFT激活视觉能力,再用联合多模态RL进一步强化。在智能体方面,Agent Swarm采用可训练编排器+冻结子智能体的解耦架构,通过PARL算法学习何时、如何并行化任务。编排器动态创建领域专门化的子智能体,将复杂任务分解为可并行执行的子任务,通过环境反馈和RL探索来学习并行化策略。

K2.5的核心创新有三个层面。首先是多模态训练的双向增强发现:视觉RL不仅不损害文本性能,反而显著提升了文本任务的表现——MMLU-Pro从84.7%提升到86.4%,GPQA-Diamond从84.3%提升到86.4%,LongBench v2从56.7%提升到58.9%。这表明视觉RL增强了结构化信息提取的校准能力,实现了跨模态泛化。其次是Agent Swarm的PARL范式,与传统智能体RL不同,它将编排器和子智能体解耦训练:子智能体冻结,其执行轨迹排除在优化目标之外;只有编排器通过RL更新。这规避了信用分配歧义和训练不稳定的两大挑战。第三是Toggle算法,通过交替优化token效率和推理质量,解决了长度过拟合问题——模型在严格预算约束下训练后无法泛化到更高计算规模。

方法步骤详情

K2.5的完整训练流程包含以下步骤。第一阶段是ViT训练:MoonViT-3D从SigLIP初始化,在图文和视频文本对上进行持续预训练,仅使用交叉熵caption损失,消耗约1T token。第二阶段是联合预训练:从K2近末期checkpoint继续,在约15T视觉-文本混合token上训练,序列长度4096。关键设计是全程使用恒定的视觉-文本比例(10%:90%),而非传统方法在后期引入高比例视觉数据。第三阶段是长上下文中训练:使用高质量数据,通过YaRN插值将序列长度从32768扩展到262144。第四阶段是SFT:使用K2、K2 Thinking和内部专家模型合成高质量回复,采用zero-vision策略仅用文本数据。第五阶段是RL:首先进行outcome-based视觉RL,在视觉grounding、计数、图表理解和视觉关键STEM问题上训练;然后进行联合多模态RL,按能力(知识、推理、编程、智能体)而非模态划分RL领域。对于Agent Swarm,先用小尺寸子智能体训练编排器,再过渡到大模型。

技术新颖性

K2.5的技术新颖性体现在多个维度。在训练策略上,首次系统证明了早期融合+低视觉比例优于传统范式(Table 1),且视觉RL能产生跨模态正迁移,这与此前认为视觉和文本存在零和博弈的观点截然相反。在架构设计上,MoonViT-3D将NaViT的patch打包策略扩展到时间维度,4帧视频被作为时空体处理,实现4倍时间压缩和完全的图像-视频权重共享。在RL算法上,token级别的clipping机制(基于log-ratio而非标准PPO的advantage-sign clipping)更有效地控制了off-policy漂移。PARL的解耦训练范式是智能体RL的重要创新,通过辅助奖励(并行实例化奖励和子任务完成奖励)引导编排器探索并发空间,同时避免虚假并行。Toggle算法的交替优化设计优雅地平衡了效率和质量。在工程上,DEP(解耦编码器流程)通过三阶段训练解决了多模态训练中的负载均衡问题,实现90%的多模态训练效率(相对纯文本)。

Vision RL training curves on vision benchmarks
Figure 2: Vision RL training curves on vision benchmarks
Agent Swarm architecture
Figure 3: Agent Swarm architecture
PARL training progression
Figure 4: PARL training progression
Token efficiency comparison for K2 Thinking with Toggle
Figure 5: Token efficiency comparison for K2 Thinking with Toggle
Word cloud of dynamically instantiated sub-agents
Figure 6: Word cloud of dynamically instantiated sub-agents

实验结果

K2.5在多个领域建立了新的最先进水平。在推理任务上,AIME 2025达到96.1%(接近GPT-5.2的满分),HMMT 2025达到95.4%,IMO-AnswerBench达到81.8%。在编程任务上,SWE-Bench Verified达到76.8%,SWE-Bench Multilingual达到73.0%,LiveCodeBench v6达到85.0%。在智能体任务上,BrowseComp达到60.6%(使用Agent Swarm后提升至78.4%),WideSearch达到72.7%(Agent Swarm后79.0%)。在视觉理解上,MathVision达到84.2%,OCRBench达到92.3%,InfoVQA达到92.6%。在视频理解上,VideoMMMU达到86.6%,LongVideoBench达到79.8%,LVBench达到75.9%。特别值得注意的是,K2.5在HLE(无工具)上达到30.1%,有工具时提升至50.2%,显著超越Gemini 3 Pro(45.8%)和GPT-5.2(45.5%)。Agent Swarm不仅提升了准确率,还实现了3-4.5倍的执行时间减少。在WideSearch上,当目标Item-F1从30%增长到70%时,单一智能体的执行时间从基线的1.8倍增长到超过7.0倍,而Agent Swarm始终保持在0.6-1.6倍范围内。

Performance comparison across different vision-text joint-training strategies
Table 1: Performance comparison across different vision-text joint-training strategies
Overview of training stages
Table 3: Overview of training stages
Performance and token efficiency of reasoning models
Table 5: Performance and token efficiency of reasoning models
Performance comparison of Agent Swarm against baselines on agentic search benchmarks
Table 6: Performance comparison of Agent Swarm against baselines on agentic search benchmarks
Kimi K2.5 main results
Figure 1: Kimi K2.5 main results
Agent Swarm vs Discard-all context management on BrowseComp
Figure 7: Agent Swarm vs Discard-all context management on BrowseComp
Execution time savings via parallelism
Figure 8: Execution time savings via parallelism
查看结构化数据
任务指标本文基线提升
AIME 2025(数学推理) Accuracy 96.1% GPT-5.2: 100%, Claude Opus 4.5: 92.8% 超越Claude 3.3个百分点
HLE-Full w/ tools(综合推理) Accuracy 50.2% Gemini 3 Pro: 45.8%, GPT-5.2: 45.5% 超越所有基线4.4-4.7个百分点
SWE-Bench Verified(软件工程) Accuracy 76.8% Claude Opus 4.5: 80.9%, GPT-5.2: 80.0% 与顶级模型竞争
BrowseComp(深度研究) Accuracy 60.6% (Agent Swarm: 78.4%) GPT-5.2: 65.8%, Claude Opus 4.5: 37.0% Agent Swarm超越GPT-5.2 Pro (77.9%)
WideSearch(广域搜索) Item-F1 72.7% (Agent Swarm: 79.0%) Claude Opus 4.5: 76.2% Agent Swarm建立新SOTA
MMMU-Pro(视觉推理) Accuracy 78.5% GPT-5.2: 79.5%, Gemini 3 Pro: 81.0% 与顶级模型竞争
OCRBench(OCR理解) Accuracy 92.3% Gemini 3 Pro: 90.3%, Claude Opus 4.5: 86.5% 新SOTA
LongVideoBench(长视频理解) Accuracy 79.8% Claude Opus 4.5: 67.2%, GPT-5.2: 76.5% 新SOTA,超越Claude 12.6个百分点
OSWorld-Verified(计算机使用) Success Rate 63.3% Claude Opus 4.5: 66.3%, GPT-5.2: 8.6% 大幅超越GPT-5.2
LiveCodeBench v6(编程) Accuracy 85.0% DeepSeek-V3.2: 83.3%, Claude Opus 4.5: 82.2% 新SOTA

局限与改进

尽管K2.5取得了显著成果,但仍存在若干局限性。首先,在某些基准上仍未达到绝对最优:SWE-Bench Verified(76.8%)落后于Claude Opus 4.5(80.9%)和GPT-5.2(80.0%),PaperBench(63.5%)落后于Claude(72.9%),表明在复杂软件工程任务上仍有提升空间。其次,Agent Swarm的延迟降低主要在WideSearch等特定场景下显著,在其他任务类型上的收益尚待验证。第三,模型在SimpleQA Verified(36.9%)上的表现大幅落后于Gemini 3 Pro(72.1%),暗示在事实性知识检索方面存在明显短板。第四,ZeroBench上仅9-11%的得分表明在需要精确视觉理解的极难任务上仍有很大改进空间。此外,论文未提供模型推理的能耗和成本分析,1T参数的MoE模型在实际部署中的资源需求值得关注。PARL训练中小尺寸到大尺寸子智能体的迁移策略细节也不够清晰。

独立分析的弱点

K2.5存在几个可以针对性改进的弱点。第一,事实性知识检索能力不足:SimpleQA Verified仅36.9%,远低于Gemini 3 Pro的72.1%,这可能是因为训练数据中缺乏足够的事实性知识覆盖或检索机制不够强。改进方向可以是引入检索增强生成(RAG)机制或增加事实性知识的训练数据权重。第二,在复杂软件工程任务上的差距:SWE-Bench Verified和PaperBench分别落后顶级模型4-9个百分点,可能是因为代码理解和生成的训练数据多样性不足,或者长上下文代码推理的RL奖励设计不够精细。可以考虑引入更多真实代码仓库的训练轨迹。第三,Agent Swarm的通用性有限:目前主要在WideSearch和BrowseComp上验证,其他任务类型(如编程、数学推理)是否也能从并行化中受益尚未充分探索。需要开发更通用的并行化训练任务。第四,视觉能力的边界:ZeroBench仅9%说明在需要精确空间推理的极难视觉任务上仍有很大差距,可能需要更强的视觉编码器或更多样化的视觉RL任务。

未来方向

基于K2.5的成果,未来研究可以在多个方向展开。首先,Agent Swarm的扩展:当前框架使用同构的K2.5子智能体,未来可以探索异构多模型协作,让不同规模或专门化的模型组成智能体集群。其次,跨模态RL的深化:K2.5发现了视觉RL对文本的正迁移,可以进一步探索音频、触觉等更多模态的联合RL,以及理解这种跨模态迁移的理论基础。第三,Token效率的进一步优化:Toggle算法实现了25-30%的token减少,但可以探索更激进的压缩策略,如基于任务难度的自适应预算分配。第四,智能体编排的可解释性:当前PARL的编排决策是黑盒的,可以开发可视化工具理解编排器如何分解任务和分配子任务。第五,实际应用场景的验证:将Agent Swarm应用于真实的软件开发、科学研究等场景,验证其在开放世界中的泛化能力。第六,探索视觉SFT数据的自动化生成,解决zero-vision SFT可能存在的多样性上限问题。

复现评估

K2.5的复现性评估如下。开源情况:作者已开源post-trained Kimi K2.5模型checkpoint(托管在HuggingFace: moonshotai/Kimi-K2.5),这是复现和进一步研究的重要基础。但预训练数据、SFT数据和RL训练环境的具体配方未完全公开,限制了从零复现的可能性。算力需求:模型基于K2的1.04T参数MoE架构,预训练使用15T token,这对计算资源提出了极高要求。根据论文描述的训练基础设施,需要大规模GPU集群和高效的分布式训练框架。数据方面:预训练数据包含15T混合视觉-文本token,SFT数据由K2、K2 Thinking和内部专家模型合成,这些数据的具体组成和生成流程未公开。评估方面:论文提供了详细的评估设置(temperature=1.0, top-p=0.95, 256k上下文),部分基准标记为内部评估(*),这些可以在开源模型上复现。总体而言,虽然模型权重开源使得推理和微调可以复现,但完整训练流程的复现面临数据和算力的双重挑战。