Solar Open 技术报告：面向欠服务语言的 102B 参数双语混合专家大模型 Solar Open Technical Report
Upstage 102B 韩英双语 MoE 模型，合成数据+SnapPO 突破低资源瓶颈
前置知识
Mixture-of-Experts (MoE)
混合专家模型是一种稀疏激活的 Transformer 架构。与密集模型每次前向传播激活所有参数不同，MoE 在每个 Transformer 层中包含多个“专家”子网络（通常是前馈网络），并通过一个可学习的路由器（Router）为每个 token 动态选择少量专家（Top-k）进行计算。Solar Open 使用 128 个路由专家加 1 个共享专家，每个 token 仅激活 8 个路由专家。这使得模型总参数量达到 102B，但每个 token 的实际计算量仅等效于 12B 参数的密集模型，从而在保持强大容量的同时显著降低训练和推理成本。
MoE 是 Solar Open 的核心架构选择，理解其稀疏激活机制是理解本文训练效率、工程优化和模型规模决策的基础。
合成数据（Synthetic Data）
合成数据是指由现有大语言模型（如 Solar Pro 2）生成的训练数据，而非从互联网自然采集。本文通过多样化增强、过滤和转换管道生成了 4.5 万亿 token 的高质量合成数据。这些数据覆盖多个领域（金融、法律、医学等）和多种训练阶段需求：预训练阶段的多样化逻辑步骤、SFT 阶段的完整推理轨迹、RL 阶段的查询-响应对。合成数据在本文中承担双重角色：弥补韩语自然数据的稀缺，以及创建面向强化学习的推理训练数据。
合成数据是本文解决韩语数据稀缺问题的核心策略，占预训练后期阶段数据的 64%，贯穿所有训练阶段，是理解本文数据方法论的关键。
课程学习（Curriculum Learning）
课程学习是一种模仿人类学习过程的训练策略，按照从易到难、从粗到精的顺序组织训练数据。本文设计了一个多阶段课程：Phase 1 使用多样化低质量数据建立基础知识（合成数据占比 10%），Phase 2 通过三个子阶段逐步提高质量阈值和合成数据比例（32%→36%→64%），Phase 3 使用高度精选数据进行专业化训练。每个阶段的过滤阈值、数据组成和领域覆盖都经过精心设计，以最大化知识获取效率。
课程学习与合成数据策略的结合使 Solar Open 仅用 GLM-4.5-Base 约 48% 的训练 token 就达到了相当的英语性能，77% 的 token 达到相当的韩语性能，是本文训练效率的关键来源。
SnapPO（快照策略优化）
SnapPO 是本文提出的循环离策略（cyclic off-policy）强化学习框架，核心思想是将 RL 的三个关键步骤——数据生成、奖励计算和训练——解耦为独立过程并缓存中间结果。传统在线 RL 中这三个步骤紧密耦合，每次修改奖励函数或数据分布都需要重新配置整个基础设施。SnapPO 通过解耦实现了线性扩展（增加节点直接提升吞吐量）和灵活的多域组合（不同域的奖励独立计算后合并训练）。训练使用 GSPO（Group Sequence Policy Optimization），一种 GRPO 变体，在稀疏 MoE 架构上表现出更好的稳定性。
SnapPO 使多目标 RL 训练（推理优化、偏好对齐、安全、韩语文化敏感性）变得可行且高效，是本文后训练阶段的核心技术贡献。
Tokenizer 效率与字节回退（Byte Fallback）
Tokenizer 将文本切分为 token 序列的过程直接影响模型的训练效率和语义理解。对于韩语等非英语语言，如果 tokenizer 设计不当，大量字符会退化为字节级（byte-level）编码，导致序列膨胀、语义密度稀释。Solar Open 使用 196,608 的超大词表，并在训练数据中过采样韩语（22%），以确保韩语文本获得高效压缩。压缩率用 Bytes per Token 衡量——Solar Open 在韩语上达到 4.69 BPT（非推理）和 4.83 BPT（推理），显著优于全球模型如 gpt-oss（3.45/3.61）。
tokenizer 效率直接决定韩语模型的实际性能——低效编码不仅浪费算力，还因字节回退破坏语义分割，是理解本文为何强调 tokenizer 设计的原因。
DPO（Direct Preference Optimization）
DPO 是一种无需显式训练奖励模型的偏好对齐方法。它直接从人类偏好数据（优选/劣选响应对）中学习策略，通过在损失函数中引入 KL 散度正则化来防止策略偏离参考模型太远。本文在 RL Phase B 中使用迭代 DPO 进行偏好对齐，同时通过包含推理维护数据来防止推理能力退化。这种设计使模型在优化人类偏好的同时保持了 Phase A 建立的推理能力。
DPO 是本文 RL Phase B 的核心技术，用于在保持推理能力的前提下优化偏好对齐、安全性和韩语文化敏感性。
研究动机
当前开源大模型生态系统存在严重的语言不平等。尽管 Aya、Pangea 等多语言项目取得了一定进展，但前沿开源模型的格局仍被英语和中文主导——Qwen、DeepSeek、Kimi 优先支持英语和中文，OLMo 仅关注英语。对于其他语言，既缺乏大规模高质量数据集，也不存在可比质量的前沿模型。韩语是一个典型案例：在索引网络内容中仅占 0.8%，在 FineWeb 2 中按字节数排名第 17 位，面临严重的数据稀缺。更关键的是，如果不考虑语言特性，模型在下游任务中会遭受性能退化——语言与其使用者和文化语境内在关联，而次优的 tokenization（依赖字节回退）会膨胀序列长度、稀释语义密度。这些结构性低效和文化盲点对欠服务语言的影响尤为严重，使得通用多语言模型难以满足这些语言的实际需求。
本文的目标是本文的具体目标是构建一个面向欠服务语言（以韩语为代表）的旗舰级开源大语言模型 Solar Open，该模型需要同时具备：（1）韩语领域的强大能力，特别是在金融、法律、医学等专业领域超越现有全球模型；（2）与前沿全球模型（如 gpt-oss-120b、GLM-4.5-Air）相当的通用英语性能；（3）通过可扩展的强化学习框架实现的推理能力。模型基于 MoE 架构，总参数 102B，激活参数 12B，训练数据总量 20 万亿 token，使用 480 块 B200 GPU 在三个月内完成预训练。作者希望通过系统性的方法论——涵盖数据合成、课程设计和 RL 框架——为欠服务语言的 AI 开发提供一个可复制的蓝图。
与已有工作不同的是，本文的独特切入角度在于将三个相互关联的挑战视为一个整体系统来解决，而非独立优化。现有工作通常关注单一维度：要么是数据增强（如翻译或回译），要么是多语言训练（平衡采样），要么是 RL 训练。Solar Open 的创新在于：（1）合成数据不仅用于弥补数量不足，更针对不同训练阶段（预训练、SFT、RL）的不同需求进行定向生成——预训练阶段注重多样化逻辑步骤，SFT 阶段强调完整推理轨迹，RL 阶段提供可验证的查询-响应对；（2）课程学习不是简单的质量过滤，而是与推理能力发展框架紧密结合——从原子逻辑操作到多步推理轨迹再到组合推理；（3）RL 框架的解耦设计使多目标（推理、安全、偏好、文化）训练变得可扩展。这种“数据-课程-RL 三位一体”的方法论是本文区别于已有工作的核心视角。
核心方法
Solar Open 的方法可以类比为培养一位精通双语的专家。首先，你需要给这位专家提供大量高质量的学习材料（合成数据 4.5T token）；其次，你需要设计合理的课程安排，从基础到进阶逐步提升（多阶段课程学习）；最后，你需要通过实践和反馈来强化其推理和判断能力（SnapPO 强化学习）。技术路线从底层到顶层依次是：（1）构建针对韩语优化的 tokenizer（196,608 词表）和 MoE 架构（102B 参数/12B 激活）；（2）通过多阶段课程在 20T token 上进行预训练，合成数据比例从 10% 逐步提升至 64%；（3）通过 1,150B token 的中期训练引入推理轨迹合成；（4）SFT 阶段使用难度感知的数据筛选和复杂查询生成；（5）RL 阶段通过 SnapPO 框架分两阶段优化推理能力和偏好对齐。整个流程的核心哲学是：不同能力（知识获取、推理、对齐）需要不同类型的数据和不同的训练策略，而这些策略必须协调配合才能产生协同效应。
本文最本质的创新是一个统一的推理能力发展框架，贯穿所有训练阶段。作者对 LLM 推理能力发展提出了一个清晰的理解模型：在预训练和中期训练中，模型接触到散布在各种文档中的无数独立逻辑步骤；在 SFT 中，模型学习完整的推理轨迹——成功解决问题的逻辑步骤序列，其中推理结构比具体内容更重要；在 RL 中，模型学习组合和重组这些已学习的步骤，可能形成训练数据中未直接观察到的新推理路径。基于这一理解，每个训练阶段都有针对性的数据策略：预训练阶段强调逻辑步骤的多样性（通过合成数据），SFT 阶段筛选成功的推理轨迹，RL 阶段使用生成的查询来训练组合推理。这与传统的“先预训练再对齐”范式有本质区别——传统方法将推理视为后训练的附加能力，而本文将推理发展视为贯穿整个训练生命周期的核心主线。另一个关键创新是 SnapPO 框架的解耦设计，它将传统在线 RL 中紧密耦合的数据生成、奖励计算和训练三个步骤分离为独立过程，使得多域多目标训练（推理、安全、偏好、文化敏感性）变得可扩展。
方法步骤详情
Solar Open 的完整训练流程包含以下步骤：第一步，构建数据基础设施——使用多种数据源（英文通用 13T、数学与代码 3.7T、韩语通用 1.1T 等）构建 19.7T token 语料库，并通过 Solar Pro 2 等开源模型生成 4.5T token 合成数据。第二步，设计多阶段课程——Phase 1（10.8T token）使用多样化低质量数据，合成比例 10%；Phase 2 分三个子阶段逐步提高质量阈值和合成比例（32%→36%→64%）；Phase 3（1.5T token）使用高度精选数据进行专业化训练。第三步，预训练——使用 AdamW 优化器，学习率 .5 imes 10^{-4}$ 热身后衰减至 imes 10^{-6}$，全局 batch size 13,440，序列长度从 4K 扩展到 32K 再到 100K。第四步，中期训练——使用 1,150B token，其中 850B 为推理轨迹合成数据（由难度估计器识别的困难查询，生成 2-5 种不同解法），135B 为长上下文数据，170B 为 Phase 2.C 高质量子集。第五步，SFT——使用难度感知的数据筛选（基于自一致性模式训练的难度分类器）、复杂查询生成（循环优化策略）、Agent 能力开发（任务导向和用户导向两种模拟管道）和韩语知识整合（多跳 QA 构建）。第六步，RL Phase A——使用 SnapPO 框架，约 200K 提示进行推理优化，涵盖 STEM 推理、代码生成和 Agent 模拟。第七步，RL Phase B——使用迭代 DPO 进行偏好对齐，涵盖人类偏好、安全对齐（38 个风险类别）、退化处理和韩语文化敏感性。
技术新颖性
Solar Open 的技术新颖性体现在多个层面。在架构层面，模型完全不使用密集层（所有层均为 MoE），这与 DeepSeek-V3 和 GLM-4.5 使用密集初始层的做法不同——通过专家偏置（系数 e^{-3}$）和序列级负载均衡损失（系数 e^{-4}$）的组合来维持训练稳定性。词表大小 196,608 远超常规选择（Qwen3 为 151,669，DeepSeek-V3 为 128,815），反映了对双语运营中 tokenization 效率的重视。在数据层面，合成数据的使用不是简单的数据增强，而是与推理能力发展框架紧密结合——不同训练阶段的合成数据有不同的目标和格式：预训练阶段强调多样化逻辑步骤，中期训练阶段生成包含 2-5 种不同解法的推理文档（而非对话格式），SFT 阶段筛选成功的推理轨迹。在 RL 层面，SnapPO 框架的解耦设计与传统在线 RL（如 verl）形成鲜明对比——生成、奖励和训练三个步骤独立执行并缓存中间结果，实现了线性扩展和灵活的多域组合。训练框架选择 TorchTitan 而非 DeepSpeed 或 Megatron-LM，并通过一系列针对性优化（Router dtype 恢复、HSDP、Expert Parallel 快速路径等）将 B200 基线吞吐量从 4,000 TPS 提升至 7,200 TPS。
实验结果
Solar Open 在韩语和英语基准测试中均展示了强劲的竞争力。在韩语基准测试中，模型几乎在所有类别上超越了 gpt-oss-120b-medium，并在多个关键领域超过 gpt-oss-120b-high。通用知识方面，KMMLU 得分 73.0（比 gpt-oss-high 高 2.7pp），KMMLU-Pro 64.0（+1.4pp），CLIcK 78.9（+1.7pp），HAE-RAE v1.1 73.3（+2.5pp）。领域专业知识表现尤为突出：金融领域 KBankMMLU 65.5（领先所有基线 0.8-4.0pp），法律领域 KBL 65.5（比 gpt-oss-high 高 2.7pp），医学领域 KorMedMCQA 84.4（比 gpt-oss-high 高 8.6pp，比 GLM-4.5-Air 高 3.9pp）。偏好对齐方面，Ko-Arena Hard v2 得分 79.9，甚至超过 gpt-oss-120b-high（+0.4pp），比 GLM-4.5-Air 高 19.5pp。在英语基准测试中，通用知识表现与 gpt-oss-120b-medium 相当：MMLU 88.2（+0.3pp），MMLU-Pro 80.4（+1.8pp）。数学推理表现突出：AIME 2024 得分 91.7（比 medium 高 14.0pp），AIME 2025 84.3（+9.3pp），HMMT 2025 Feb 73.3（+10.0pp）。代码生成 LiveCodeBench v6 得分 74.2，略低于 gpt-oss-medium 但与 GLM-4.5-Air 相当。训练效率方面，Solar Open 仅用 GLM-4.5-Base（23T token）约 48% 的训练 token（10.7T）就达到了相当的英语性能，77% 的 token（17.8T）达到相当的韩语性能。工程优化方面，B200 集群的吞吐量通过一系列优化从基线 4,000 TPS 提升至 7,200 TPS，提升幅度达 80%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 韩语通用知识 (KMMLU) | Accuracy | 73.0 | gpt-oss-120b-high: 72.7 | +0.3pp |
| 韩语通用知识 (KMMLU-Pro) | Accuracy | 64.0 | gpt-oss-120b-high: 62.6 | +1.4pp |
| 韩语知识 (CLIcK) | Accuracy | 78.9 | gpt-oss-120b-high: 77.2 | +1.7pp |
| 韩语知识 (HAE-RAE v1.1) | Accuracy | 73.3 | gpt-oss-120b-high: 70.8 | +2.5pp |
| 韩语金融 (KBankMMLU) | Accuracy | 65.5 | gpt-oss-120b-high: 62.5 | +3.0pp |
| 韩语法律 (KBL) | Accuracy | 65.5 | gpt-oss-120b-high: 62.8 | +2.7pp |
| 韩语医学 (KorMedMCQA) | Accuracy | 84.4 | gpt-oss-120b-high: 75.8 | +8.6pp |
| 韩语偏好对齐 (Ko-Arena Hard v2) | Score | 79.9 | gpt-oss-120b-high: 79.5 | +0.4pp |
| 英语数学 (AIME 2024) | Accuracy | 91.7 | gpt-oss-120b-medium: 77.7 | +14.0pp |
| 英语数学 (AIME 2025) | Accuracy | 84.3 | gpt-oss-120b-medium: 75.0 | +9.3pp |
| 英语数学 (HMMT 2025 Feb) | Accuracy | 73.3 | gpt-oss-120b-medium: 63.3 | +10.0pp |
| 英语通用知识 (MMLU) | Accuracy | 88.2 | gpt-oss-120b-medium: 87.9 | +0.3pp |
| 英语代码 (LiveCodeBench v6) | Accuracy | 74.2 | gpt-oss-120b-medium: 82.8 | -8.6pp |
| 英语偏好对齐 (Arena Hard v2) | Score | 74.8 | gpt-oss-120b-medium: 72.7 | +2.1pp |
局限与改进
Solar Open 的局限性主要体现在以下几个方面。首先，数学推理能力虽然在 AIME 和 HMMT 上表现不错，但与 gpt-oss-120b-high 相比仍有明显差距（AIME 2024: 91.7 vs 94.3，AIME 2025: 84.3 vs 91.7），这反映了数据组成中自然文本优先于数学内容的有意取舍。其次，代码生成能力落后于 gpt-oss-120b-medium（LiveCodeBench: 74.2 vs 82.8），差距达 8.6pp，在 Agent 能力方面也存在类似趋势（Tau2 Retail: 59.3 vs 68.4）。第三，韩语数学推理方面，虽然 Ko-AIME 2024/2025 得分 80.3/80.0 与 GLM-4.5-Air 相当，但远低于 gpt-oss-120b-high 的 90.0/90.0。第四，作者自己也承认，该方法论对更低资源语言（比韩语数据更稀缺的语言）的适用性仍是一个开放问题，可能需要针对特定语言的适应性调整。第五，课程学习依赖于 ML 基础的过滤模型（质量分类器、教育评分、主题聚类），这些模型的训练基于特定假设，探索更少假设依赖的方法将降低基础设施复杂性。最后，模型在长上下文理解（AA-LCR: 35.0 vs gpt-oss-high 48.3）和一些需要精确指令遵循的任务（IFBench: 53.7 vs 70.8）上也存在差距。
独立分析的弱点
从独立分析的角度看，Solar Open 存在以下可改进的弱点。第一，数学和代码推理能力的相对薄弱可能限制其在需要强推理能力的实际应用场景中的使用。虽然这是数据组成策略的有意取舍（优先自然文本和领域知识），但可以通过后续的定向持续训练来弥补——作者在结论中也提到了这一点。具体改进方向包括在中期训练中增加更多数学和代码的推理轨迹合成，以及在 RL Phase A 中加大 STEM 推理数据的权重。第二，SnapPO 框架虽然实现了生成-奖励-训练的解耦，但两阶段 RL（先推理后偏好）的固定顺序可能不是最优的。推理优化和偏好对齐之间存在潜在的能力冲突——Phase B 的偏好对齐可能部分削弱 Phase A 建立的推理能力（尽管有维护数据）。探索更灵活的多阶段交替训练或联合优化策略可能取得更好效果。第三，韩语文化敏感性的对齐主要依赖于人工构建的多跳 QA 数据和文化信息奖励模型，这种手工构建的方式难以规模化。可以考虑开发更自动化的文化敏感性评估和对齐方法。第四，Agent 能力的训练主要依赖模拟数据（161K 任务导向样本和 177K 用户导向样本），虽然在 Tau2 上取得了 60 分（无 RL 训练），但与真实世界工具使用的复杂性相比，模拟数据的保真度仍有提升空间。
未来方向
作者提出了几个值得进一步研究的方向。首先，将方法论扩展到更低资源的语言——本文为韩语（0.8% 网络内容）提供了成功案例，但对数据更稀缺的语言（如许多非洲和东南亚语言）的适用性需要实证验证。合成数据技术、RL 寻向数据创建和解耦训练提供了蓝图，但可能需要语言特定的适应。其次，探索更少假设依赖的课程学习方法——当前的课程依赖于质量分类器、教育评分和主题聚类等 ML 模型，这些模型的训练基于特定假设。更通用的方法将降低资源受限语言社区的基础设施门槛。第三，建立原则性的语言扩展法则——理解在固定模型和数据预算下，添加目标语言如何影响现有语言的性能。这种理解将指导新模型训练和现有模型的持续训练策略。第四，SnapPO 框架的进一步优化——虽然本文的两阶段方法（推理后偏好）提供了一种模式，但替代的任务分解方式值得探索，特别是如何更好地处理奖励设计、探索效率和对齐鲁棒性等 RL 根本挑战。第五，基于 Solar Open 的持续训练范式——作者提到未来计划将模型扩展到约 200B 参数（基于 Depth-Up Scaling），同时 tokenizer 扩展和增量训练的持续训练范式值得在不同架构间进行系统研究。
复现评估
在复现评估方面，Solar Open 的可复现性存在一定的优势和挑战。优势方面：模型权重以 bfloat16 格式开源（虽然预训练使用 FP8 和 bfloat16 混合精度），训练框架 TorchTitan 是开源的，SnapPO 的设计理念（生成-奖励-训练解耦）也足够清晰可以被其他团队采用。合成数据的来源模型（Solar Pro 2）和使用的其他开源模型均有许可证，保证了数据的合规性。挑战方面：预训练需要 480 块 B200 GPU 和约三个月的训练时间，这是一笔巨大的算力投入；数据构建涉及多种管道（合成数据生成、质量过滤、主题聚类等），需要相当的工程基础设施；难度估计器、Agent 模拟管道和韩语知识整合模块都是定制开发的，复现这些组件需要额外的工作。不过，作者在工程优化部分分享的详细经验（如 HSDP、Router dtype 恢复、数据加载优化等）对有类似规模训练需求的团队有很高的参考价值。总体而言，对于拥有充足算力的团队，Solar Open 的核心方法论（合成数据+课程学习+SnapPO）是可以复现的，但完整的端到端复现需要显著的资源投入。
论文图表