K-EXAONE技术报告：迈向前沿级基础模型性能 K-EXAONE Technical Report

K-EXAONE的完整训练流程分为多个关键步骤。首先在预训练阶段，模型使用11T tokens的多样化数据集进行三阶段课程学习，第一阶段构建基础知识，第二阶段发展领域专业知识，第三阶段强化推理能力。 tokenizer从100K扩展到150K词汇量，采用SuperBPE策略引入superword tokens将常见词序列映射为单个token，平均效率提升约30%。预训练采用FP8精度和Muon优化器，配合Warmup–Stable–Decay学习率调度器，最大学习率为$3.0 imes 10^{-4}$。上下文长度扩展通过两阶段过程实现：第一阶段从8K扩展到32K token，第二阶段从32K扩展到256K token，每个阶段都包含Rehearsal Dataset（保持短上下文性能）、Synthetic Reasoning Dataset（提升推理能力）和Long-Document Dataset（长距离适应）三类数据，并通过Needle-In-A-Haystack测试验证扩展效果直到达到'green light'标准。在训练后阶段，首先进行大规模监督微调学习遵循各种用户指令，然后对数学、代码、STEM和指令遵循等可验证任务进行强化学习，使用AGAPO算法和截断重要性采样策略。最后进行偏好学习阶段，提出GROUPER（Group-wise SimPER）方法通过组级优势计算和对SimPER风格目标的改进实现人类偏好对齐。

K-EXAONE的技术新颖性体现在多个层面：在架构层面，它是首个将细粒度MoE架构与混合注意力机制深度融合的大规模模型，通过在48层中精心安排12层全局注意力和36层滑动窗口注意力，并将滑动窗口大小从4096优化到128，显著降低KV-cache使用的同时保持建模能力。在训练策略层面，其三阶段上下文长度扩展方法和rehearsal机制为超长上下文训练提供了系统化方案，通过在不同阶段调整三类数据集的采样比例来平衡长上下文学习信号与短上下文性能保持。在安全评估层面，提出的Korea-Augmented Universal Taxonomy（K-AUT）框架包含226个详细风险领域，分为普世人类价值、社会安全、韩国敏感性和未来风险四个主要领域，每个风险领域设定5个具体判断标准，违反任何一个标准即判定为不当响应，这种严格协议确保了安全评估的系统性和可操作性。在强化学习层面，采用的AGAPO算法结合组级优势计算和全局优势归一化，能够同时捕获组内相对奖励信号和批次级信息，并通过排除KL惩罚和冻结MoE路由器等策略提升训练效率。

K-EXAONE在多个维度存在可以改进的弱点。在数学领域的高级竞赛问题方面，模型在HMMT NOV 2025上得86.8分，低于Qwen3-235B的88.8分和DeepSeek-V3.2的90.2分，表明在解决最困难的数学竞赛问题时，模型的推理深度和创造性仍需加强。在软件工程实践方面，模型在SWE-BENCH VERIFIED上得49.4分，远低于DeepSeek-V3.2的73.1分，说明在真实的代码维护和bug修复任务中，模型的能力与实际需求还有较大差距。在复杂信息检索方面，模型在BROWSECOMP上仅得31.4分，远低于DeepSeek-V3.2的51.4分，这表明在需要大量网页浏览和复杂推理的信息检索任务中，模型的智能体策略和知识整合能力需要改进。在长上下文推理方面，模型在AA-LCR上得53.5分，低于Qwen3-235B的67.0分，说明在处理超长文本时的推理一致性和信息整合效率还有提升空间。改进方向可以包括：增强数学推理的深度和泛化能力，通过更高质量的合成数据和更精细的训练策略来提升解决高难度数学问题的能力；改进软件工程任务的训练数据和评估框架，更贴近真实的开发工作流程；优化智能体的工具调用策略和记忆管理，提高在复杂多步任务中的表现；进一步优化长上下文建模，特别是在保持短上下文性能的同时提升超长上下文的推理能力。

基于K-EXAONE的研究成果，未来可以从多个方向进行探索和扩展。在架构方面，可以进一步优化MoE路由机制，探索更高效的专家选择策略和负载平衡算法，或者研究动态专家数量调整以适应不同复杂度的任务。在训练策略方面，可以研究更精细的多阶段课程学习设计，特别是在推理能力训练方面引入更多样化的合成数据和监督信号，或者探索更有效的上下文长度扩展方法以支持更长的上下文。在安全对齐方面，可以将Korea-Augmented Universal Taxonomy（K-AUT）框架扩展到其他地区和文化语境，为不同地区的主权AI模型开发提供可复制的安全评估框架，或者研究更细粒度的风险检测和缓解策略。在智能体能力方面，可以开发更复杂的多智能体协作框架，提高模型在需要长期规划和多工具协调的任务中的表现，或者研究更高效的记忆管理和上下文压缩策略以支持更长的任务历史。在多语言能力方面，可以进一步扩展支持的语言范围，或者研究更有效的跨语言知识转移机制以提升低资源语言的性能。在训练效率方面，可以研究更高效的量化策略和稀疏激活方法，进一步降低大规模模型的部署成本。在应用层面，可以探索K-EXAONE在特定垂直领域（如医疗、法律、金融）的专门化适配，或者研究更有效的模型蒸馏和知识提取方法，将大规模模型的知识转移到更适合部署的小型模型中。

K-EXAONE的复现难度较高，主要因为训练规模庞大且需要大量计算资源。论文提供了详细的模型配置信息：总参数量236B，激活参数量23B，48层结构其中36层使用滑动窗口注意力和12层使用全局注意力，128个专家中激活top-8专家和1个共享专家。预训练使用了11T tokens的数据和$1.52 imes 10^{24}$ FLOPs的计算量，这对大多数研究团队来说是难以承受的计算成本。模型采用FP8精度训练和Muon优化器，这些细节为复现训练过程提供了重要参考。K-EXAONE已经在GitHub和Hugging Face上开源，提供了模型权重和使用许可，这为研究者提供了直接使用模型的机会。然而，论文中未提供完整的训练数据细节和训练脚本，这使得从零开始复现完整训练过程变得困难。对于评估部分，论文提供了相对详细的评估设置和提示模板，附录C和D包含了各类基准测试的具体配置，包括多个选择题模板、数学类提示模板以及针对特定基准（如SWE-BENCH VERIFIED使用mini-SWE-agent，BROWSECOMP使用summarizer和trajectory compressor）的特殊设置，这些细节有助于研究者独立验证模型的性能表现。总体而言，K-EXAONE在模型可用性方面做得较好，但在完整训练流程的复现方面仍然存在较高门槛。