Typhoon-S：主权大型语言模型的最小化开放后训练方法 Typhoon-S: Minimal Open Post-Training for Sovereign Large Language Models
在学术级算力下，通过轻量级后训练实现主权LLM的采用性与主权能力
前置知识
Supervised Fine-Tuning (SFT)
监督微调是LLM后训练的标准第一步，通过最小化交叉熵损失优化指令-响应对。它让模型学习特定的指令跟随模式，但只优化单一参考序列的概率分布，导致生成的token分布过于尖锐。在本文中，SFT使用Tulu 3 SFT数据集（20万样本）+ Toucan Tool数据集（10万样本）+ 泰语AutoIF数据集（4万样本），总计34万样本，序列长度打包至16,384 tokens，学习率为2×10^-5，训练2个epoch。
SFT是LLM获得指令跟随能力的基础步骤，但本文证明SFT单独不足以获得强健的性能，特别是在代码混合和工具使用场景下表现脆弱（如Thai code-switching从93.4下降到65.4）
On-Policy Distillation (OPD)
在线策略蒸馏是一种知识蒸馏技术，通过最小化教师模型和学生模型在token级别的分布散度来训练学生模型。与离线蒸馏不同，OPD在训练过程中动态采样学生模型生成的序列，然后由教师模型为这些序列提供token级别的反馈，这样可以减少训练和推理之间的分布不匹配。文中使用广义知识蒸馏（GKD）框架，设置学生数据分数λ=0.25，即25%的训练步使用学生生成的序列进行蒸馏，75%使用参考数据集。散度使用前向KL散度（教师到学生）。OPD有两种实现方式：full-logits（完整分布）和top-K蒸馏，本文主要使用full-logits。
OPD是本文核心创新之一，相比SFT单独使用，SFT+OPD在所有基准测试中平均提升6.49分（从37.45到43.94），特别是在Thai code-switching上从65.4提升到93.4，解决了SFT的脆弱性问题
GRPO (Group Relative Policy Optimization)
GRPO是一种强化学习算法，用于直接优化语言模型的生成策略，不需要训练价值函数。它通过比较多个生成样本的奖励信号来更新策略，采用DAPO的去耦裁剪策略，设置高裁剪比率为0.24，低裁剪比率为0.20。本文还使用overlong reward shaping来惩罚过长的响应。在InK-GRPO中，GRPO损失与辅助的next-token prediction损失结合，形成联合优化目标，其中b~Bernoulli(ρ)，ρ=0.6，λ=0.1。
GRPO是主权能力优化的基础算法，但标准GRPO无法有效注入新知识。本文提出的InK-GRPO在NitiBench上比标准GRPO提升4%（从15.82%到19.30%），在Agentic设置下达到78.02%，超越了GPT-5 + Agent（75.34%）
Sovereign Setting（主权设置）
主权设置指开发者必须保留对模型权重、数据和训练方法的理解和控制，同时确保与特定地区、文化和领域需求的强对齐。与商业开发的一刀切模型不同，主权适应通常在有限资源下运行，受限于计算预算和人力专业知识。典型的主权需求包括：本地语言的法律推理、文化知识、语言特定逻辑等。在泰国语境下，这包括ThaiExam、M3/M6考试、本地法律推理等任务。主权模型通常在本地语料上进行持续预训练（如ThaiLLM-8B是在Qwen3-8B-Base上用64B tokens泰语语料继续预训练得到的）。
本文的核心动机是解决主权设置下的资源瓶颈。标准后训练方法需要大规模指令数据（如OLMo 3使用1,024个H100 GPU数月，总成本275万美元），这对学术或公共部门实体不可行
Catastrophic Forgetting（灾难性遗忘）
灾难性遗忘指模型在领域特定微调后失去原有通用能力的现象。在强化微调（RFT）中，这是一个常见担忧。本文通过在NitiBench和MIRAGE-Bench上训练后，在完整的通用评估套件（包括英语和泰语对话、指令跟随、知识、数学、代码、工具/代理）上测试来评估。结果显示，所有模型的平均得分在48.08%-49.55%的窄范围内，与基础Qwen3 Instruct基线（48.07%）相当，表明GRPO和InK-GRPO都没有导致严重的灾难性遗忘。性能变化是针对性而非全局的，例如GRPO-NitiBench在聊天和代码混合指标上改进，而不降低数学或知识基准的性能。
这是主权模型采用的关键问题。如果领域特定优化会破坏通用能力，模型就失去了实际应用价值。本文证明InK-GRPO在提升泰语法律推理的同时，保持了整体能力
研究动机
当前最先进的大型语言模型开发集中在少数组织中，大多数模型主要在英语和中文数据上训练，或依赖大规模计算资源和复杂的后训练流水线。即使是完全开放模型（如OLMo 3）也需要大规模计算（1,024个H100 GPU数月，总成本275万美元）和复杂的后训练流水线，这对小型研究小组或国家倡议不可及。这创造了资源门槛，使得获得高性能的标准方法超过了大多数学术或公共部门实体的能力。主权适应中的基础模型虽然显示了强地区知识（如在MMLU风格的基准如ThaiExam上的强泰语性能），但在通用指令跟随、工具使用和代理行为方面落后于领先的专有和开放权重模型，限制了实际采用。标准后训练框架通常结合监督微调、偏好优化（如DPO）和强化微调（RFT），并由大型、精心策划的指令数据集支持，这种方法在主权设置下面临两个主要挑战：一是扩展通用指令数据倾向于高资源语言和通用任务，增加了对外部数据质量和可用性的依赖；二是这些流水线的工程复杂性和数据要求可能超过资源受限团队的能力。
本文的目标是本文的核心研究问题是：在学术级资源约束下，哪种后训练策略能够实现与前沿模型竞争的性能？作者将这个问题分解为两个方面：(1) 可采用性，定义为将基础模型转换为通用助手的能力，能够进行指令跟随、数学、代码生成和工具使用，并具有竞争性能；(2) 主权能力，定义为执行高风险、地区特定任务的能力，如本地语言的法律推理、文化知识和语言特定逻辑。使用泰语作为代表性主权设置案例，作者在独立的实验设置中研究这两个核心能力，以减少交叉污染效应。目标是在不扩展大规模通用指令语料库或依赖复杂偏好调整流水线和大规模强化微调（RFT）的情况下，实现这两个目标。
与已有工作不同的是，本文的独特切入角度在于聚焦主权设置下的资源约束问题，而非追求更高的绝对性能。与现有工作不同的是，作者明确区分了两种不同的能力需求（采用性和主权能力），并为每种需求设计了针对性的解决方案，而不是试图用单一方法解决所有问题。对于采用性，作者证明轻量级SFT+在线策略蒸馏足以将主权适应的基础模型转换为竞争性的指令调整助手；对于主权能力，作者提出了Injected Knowledge GRPO（InK-GRPO），通过在GRPO损失中添加交叉熵（next-token prediction）损失来同时优化领域特定性能和注入新知识。这种方法与标准RFT流水的本质区别在于：标准RFT主要放大模型中已有的知识，而不是引入新的事实信息，而InK-GRPO显式地针对知识注入和代理能力进行了设计。
核心方法
Typhoon-S方法整体分为两个部分，针对两种不同的能力需求。对于采用性（将基础模型转换为通用助手），采用两阶段后训练流水线：(1) 监督微调（SFT）在混合指令语料库上，(2) 在线策略蒸馏（OPD）从教师模型。对于主权能力（执行高风险、地区特定任务），提出了Injected Knowledge GRPO（InK-GRPO），在标准GRPO目标上添加辅助的next-token prediction损失，并可与Agentic RFT结合，实现多步推理和工具使用。整个方法的设计理念是最小化：使用最少的训练阶段、开源数据集、透明的训练细节和学术级计算资源。
核心创新点有两个：一是采用在线策略蒸馏（OPD）而非离线蒸馏，通过在学生生成的轨迹上提供token级别反馈来减少训练和推理之间的分布不匹配；二是提出Injected Knowledge GRPO（InK-GRPO），通过随机混合领域知识注入（交叉熵损失）和任务特定优化（GRPO损失），在保持任务聚焦的同时注入新知识。与已有方法的本质区别在于：标准蒸馏使用固定教师输出，可能导致学生无法学会如何在推理时从自己的错误中恢复；而标准RFT主要放大已有知识而非引入新信息。InK-GRPO通过形式化损失函数实现了知识注入和任务优化的平衡。
方法步骤详情
Typhoon-S方法的完整步骤如下： 对于采用性（SFT+OPD）： 步骤1：构建目标语言数据集。从WildChat的翻译提示和现有泰语指令数据集（WangchanThaiInstruct、Han、Typhoon Instruct）获取泰语提示，使用AutoIF框架生成响应，通过代码可验证约束和模型自我评估进行质量控制。使用轻量级增强（随机翻译约束、随机分配约束到系统或用户消息）来鼓励跨语言对齐和对约束位置的鲁棒性。 步骤2：监督微调（SFT）。在混合指令语料库上执行全微调，包括英文通用指令跟随（Tulu 3 SFT，20万样本）、英文工具使用（Toucan Tool，10万样本）和泰语语言指令（AutoIF，4万样本），总计34万样本。使用AdamW优化器，学习率为2×10^-5，批大小32，序列打包至16,384 tokens，训练2个epoch。 步骤3：在线策略蒸馏（OPD）。从SFT混合中采样构建更小的语料库，包含Tulu 3子集（10万样本）、Typhoon AutoIF（4万样本）和Toucan Tool子集（2万样本），总计16万样本。设置学生数据分数λ=0.25，即25%的训练步使用学生生成的序列进行蒸馏，75%使用参考数据集。使用AdamW优化器，学习率为1×10^-6，训练1个epoch，使用前向KL散度（教师到学生）作为蒸馏目标。 对于主权能力： 步骤4：准备InK-GRPO训练数据。需要两个数据源：任务提示数据集（用于生成GRPO rollouts和计算GRPO损失）和领域文本语料库（用于计算辅助next-token prediction损失）。在NitiBench上，使用question字段作为代理提示，positive_answer字段作为参考答案用于奖励计算，positive_contexts字段提供领域法律内容用作CE损失的预训练风格数据。 步骤5：构建RAG环境。使用Qwen/Qwen3-Embedding-0.6B对文档进行嵌入，存储在FAISS索引（IVF-SQ8配置）中。提供两个工具：(1) search：在领域法律语料库上进行语义检索，返回top-3文档；(2) read：返回选定文档的完整内容。工具输出在RFT期间被梯度计算掩码。 步骤6：执行Agentic InK-GRPO训练。使用Qwen3-4B-Instruct-2507作为基础模型，使用AdamW优化器，学习率为1×10^-6，采样温度0.7，DAPO风格去耦裁剪（clip-high 0.24，clip-low 0.20）。在每个优化步骤，随机应用辅助交叉熵损失，概率ρ=0.6，权重λ=0.1。奖励函数由格式奖励和准确率奖励组成，准确率权重0.9，格式奖励权重0.1。使用gpt-5-nano作为判断模型进行正确性评估。
技术新颖性
Typhoon-S的技术新颖性体现在以下几个方面：首先，提出了主权设置下的明确能力分解（采用性和主权能力），并针对每种能力设计了针对性的解决方案，避免了'一刀切'方法的局限性。其次，在学术级计算资源（8B模型约两天8-GPU训练用于采用性，4B模型约一天4-GPU训练用于主权能力）下实现了与前沿模型竞争的性能，证明了精心设计的后训练策略可以减少所需的指令数据和计算规模。第三，InK-GRPO通过随机混合领域知识注入和任务特定优化，解决了标准RFT无法有效引入新知识的问题，在NitiBench上比标准GRPO提升4%，在Agentic设置下达到78.02%，超越了GPT-5 + Agent（75.34%）。第四，证明了预训练风格的领域数据比SFT风格指令数据更有效用于InK-GRPO的CE损失（NitiBench准确率19.30% vs. 16.89%）。第五，展示了轻量级OPD的有效性，特别是full-logits蒸馏在泰语code-switching上的优势（93.4 vs. 69.8），为资源受限环境提供了实用指导。
实验结果
核心发现包括：(1) SFT单独不足以实现强健的性能。在完整的评估套件上，SFT单独模型的平均得分为37.45，而SFT+OPD模型为43.94，提升6.49分。SFT模型在代码混合和工具使用上表现脆弱：Thai code-switching从93.4下降到65.4，HotpotQA在两种语言上都得分为0。这些结果表明标准SFT最大化观察到的目标token的似然，但不显式鼓励其他合理或语义等价token的概率质量，导致尖锐和脆弱的token分布。(2) Full-logits蒸馏并不总是必需的，但它提高了采样鲁棒性。Full-logits OPD的平均得分为43.94，Top-K OPD为42.81，差距1.13分。最明显的差距出现在泰语code-switching上，full-logits（93.4）远超Top-K（69.8）。这表明full教师分布为长尾token（如语言上合理的替代、音译和混合语言功能词）提供了更丰富的token级别概率，有助于减少随机解码中的虚假字符级错误。(3) 目标语言数据对SFT是必需的，而主要在OPD中对泰语原生任务有益，对泰语翻译任务影响有限。从SFT中移除泰语数据导致泰语聊天（MTB TH）从5.67下降到4.36，泰语指令跟随（IFE TH）从73.35下降到57.44，code-switching从65.4下降到34.4。在OPD中，泰语数据主要改善泰语原生任务（MTB TH从6.28到6.44，OpenThaiEval从59.32到61.19，code-switching从80.8到93.4），而泰语翻译或语言无关任务如MATH500和MMLU Pro X变化不大。(4) 该方法对主权适应的基础模型有效。在Thai-only评估中，Typhoon-S-8B在泰语聊天、code-switching、泰语知识（OTE）和代理QA方面均超过Qwen3-8B，整体泰语平均得分71.20 vs. 66.66。在完整英语+泰语基准测试中，Typhoon-S-8B与Qwen3-8B整体相当（49.99 vs. 54.02），但在主权相关评估上保持明显优势。(5) InK-GRPO在主权聚焦设置中提升性能。在NitiBench上，InK-GRPO比标准GRPO提升4%（19.30% vs. 15.82%），在MIRAGE-Bench上提升1.6%（22.63% vs. 20.99%）。在Agentic RFT设置下，InK-GRPO达到78.02%，超越了GPT-5 + Agent（75.34%）和GPT-5 + Search（38.07%）。(6) InK-GRPO保留通用能力，没有严重灾难性遗忘的证据。所有模型的平均得分在48.08%-49.55%的窄范围内，与基础Qwen3 Instruct基线（48.07%）相当。性能变化是针对性而非全局的，例如GRPO-NitiBench达到最高整体平均（49.55%）并在聊天和代码混合指标上改进，而不降低数学或知识基准的性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Thai Code-Switching Robustness | Accuracy | 93.40% | 69.80% | +23.60% |
| NitiBench Legal Reasoning | Accuracy | 19.30% | 15.82% | +3.48% |
| Agentic NitiBench | Accuracy | 78.02% | 75.34% | +2.68% |
| Overall Average (Full Recipe) | Score | 43.94 | 37.45 | +6.49 |
| Thai-only Average | Score | 71.20 | 66.66 | +4.54 |
| MIRAGE-Bench | Accuracy | 22.63% | 20.99% | +1.64% |
局限与改进
作者承认的局限性包括：本文没有探索预训练或中期训练，因为这些实验需要比目前可用资源更大的规模。未来研究可以通过调查所提出方法下的预训练和中期训练的动态来扩展这些发现。研究专注于泰语，因为可以访问必要的数据和领域专业知识，作为语言所有者拥有有效评估所需的文化和语言知识。然而，作者相信所提出的方法和发现可以推广到其他设置，并不特定于泰语。所有实验使用4×H100 GPU，除了第2节的最终运行在8×H100 GPU上，规模与许多国家和学术实验室使用的相当。扩展到更大的设置或系统研究这些技术的扩展行为仍然是未来工作的重要方向。 自己的观察局限性包括：与GPT-5相比，4B参数模型在通用和多语言知识上仍有明显差距，特别是在MIRAGE-Bench上（GPT-5达到53.91%，而InK-GRPO仅为22.63%）。在英语科学/知识基准（GPQA、MMLU）和数学（MATH500）以及编码上，Typhoon-S-8B与Qwen3-8B之间存在差距，这表明主权模型在通用硬科学能力上的权衡。InK-GRPO的超参数（ρ=0.6，λ=0.1）是基于试点实验经验选择的，没有进行专门的消融研究，这可能不是最优配置。方法依赖于开源教师模型（Qwen3-30B-A3B-Instruct-2507）和judge模型（gpt-5-nano），这在真正的主权设置中可能不可接受。Agentic RFT环境相对简单，只有两个工具（search和read），可能无法捕捉更复杂的代理行为。评估主要在泰语和法律领域进行，在其他领域和语言的泛化能力需要进一步验证。
独立分析的弱点
独立分析的弱点包括：(1) 对开源教师模型的依赖。OPD阶段使用Qwen3-30B-A3B-Instruct-2507作为教师，这可能限制了蒸馏质量。改进方向是开发更适合主权设置的教师训练方法或探索自我蒸馏技术。(2) InK-GRPO超参数的启发式选择。ρ=0.6和λ=0.1是基于试点实验选择的，没有系统性研究。改进方向是进行系统的超参数消融研究，或开发自适应超参数调整策略。(3) 领域知识的浅层注入。InK-GRPO通过next-token prediction注入知识，但可能不如显式知识注入方法有效。改进方向是探索更结构化的知识注入方法，如参数高效知识适配器或检索增强知识注入。(4) Agentic环境的简化。当前的RAG环境只有两个工具，可能无法处理更复杂的代理任务。改进方向是扩展工具集（如计算工具、数据库查询等）并探索更复杂的多代理交互。(5) 评估的局限性。主要在泰语和法律领域评估，其他领域和语言的泛化能力未知。改进方向是进行更广泛的跨领域和跨语言评估，特别是在其他低资源语言上。(6) 对基础模型的依赖。方法从主权适应的基础模型开始，但如果基础模型质量不佳，可能限制最终性能。改进方向是探索从通用基础模型直接训练主权模型的全流水线。
未来方向
未来研究方向包括：(1) 作者提出的：扩展到预训练和中期训练，调查所提出方法下的预训练和中期训练的动态。examine如何很好地推广到其他语言和文化背景。扩展到更大的设置或系统研究这些技术的扩展行为。(2) 基于成果可延伸的：开发自适应超参数调整策略，基于训练进度自动调整InK-GRPO的ρ和λ参数。探索更结构化的知识注入方法，如参数高效知识适配器或检索增强知识注入。扩展Agentic RFT环境，支持更多工具类型和更复杂的多代理交互。研究InK-GRPO与其他技术（如检索增强生成、参数高效微调）的结合。开发主权设置下的教师训练方法，减少对外部开源教师模型的依赖。探索跨语言和跨领域的知识迁移，特别是将泰语模型的经验推广到其他低资源语言。研究灾难性遗忘的缓解策略，进一步确保领域特定优化不影响通用能力。开发更全面的评估套件，覆盖更多主权场景和领域。
复现评估
复现评估：项目提供了完整的开源资源，包括模型、数据集和代码。模型：Typhoon-S-8B-Instruct和Typhoon-S-4B-Legal-Agent在Hugging Face上公开。数据集：Typhoon-S-Instruct-Dataset和Typhoon-S-Sovereign-Capability-Dataset在Hugging Face上公开。代码：https://github.com/scb-10x/typhoon-s。论文提供了详细的超参数配置（Table 12和Table 13）、数据混合比例（Table 1和Table 2）和训练细节。算力要求相对较低：8B模型约两天8-GPU训练用于采用性，4B模型约一天4-GPU训练用于主权能力，使用H100 GPU。训练框架基于HuggingFace Transformers和TRL，使用了动态模型交换、FSDP with CPU offloading和vLLM等技术来优化资源使用。总体而言，本文的复现性良好，提供了充分的细节和开源资源，学术或公共部门实体应该能够在类似资源下复现结果。
论文图表
