Ministral 3：通过级联蒸馏构建的参数高效密集语言模型家族 Ministral 3
Mistral 3B/8B/14B 模型，级联蒸馏实现高效训练
前置知识
知识蒸馏（Knowledge Distillation）
知识蒸馏是一种模型压缩技术，通过让一个小型学生模型学习模仿大型教师模型的行为来传递知识。具体而言，学生模型不仅学习正确答案（hard label），还学习教师模型输出的概率分布（soft label），即 logits 层的输出。这种 soft label 包含了教师模型对各类别的置信度，比单纯的正确标签携带更丰富的信息。本文采用的是前向 KL 散度（forward KL）作为蒸馏目标，即最小化学生和教师分布之间的 KL 散度，其中教师和学生的输出分布通过 KL 散度进行对齐。
本文的核心训练策略级联蒸馏就是建立在知识蒸馏之上的，理解蒸馏机制才能理解如何从 24B 的教师模型高效衍生出 3B/8B/14B 的子模型。
模型剪枝（Model Pruning）
模型剪枝是通过移除神经网络中不重要的参数或结构来减小模型规模的技术。本文采用了三种剪枝策略：层级剪枝根据每层输入输出激活范数之比评估层重要性；隐藏维度剪枝对注意力归一化层和前馈归一化层的拼接激活应用主成分分析（PCA），获得全局旋转矩阵将模型投影到低维空间；前馈维度剪枝对 SwiGLU 中的 W1、W2、W3 矩阵按重要性分数保留最关键的维度。
剪枝是级联蒸馏的第一步，负责将 24B 的教师模型初始化为较小的子模型结构。
直接偏好优化（DPO）
DPO 是一种轻量级的偏好学习方法，由 Rafailov 等人于 2023 年提出。它通过直接从离线的成对偏好数据学习，避免了传统 RLHF 中训练独立奖励模型和进行复杂强化学习的过程。本文采用的是在线变体 ODPO（Online DPO），即从当前策略实时采样候选回答，而非使用固定的离线数据。
ODPO 是本文 Instruct 和 Reasoning 模型后训练的关键环节，理解 DPO 的原理才能理解为什么在线变体比离线变体更有效。
分组相对策略优化（GRPO）
GRPO 由 DeepSeek-AI 于 2025 年提出，是一种改进的强化学习算法。它通过对同一问题生成多个候选回答（一个组），然后计算组内各回答的相对奖励来更新策略，而非依赖绝对奖励值。这种方式减少了对奖励模型精度的依赖，更适合数学推理等需要精确评估的任务。
GRPO 是本文训练 Reasoning 模型的核心强化学习方法，分为 STEM RL 和 General RL 两个阶段。
YaRN（Yet another RoPE extensioN）
YaRN 是一种扩展旋转位置编码（RoPE）上下文窗口的技术，由 Peng 等人于 2023 年提出。YaRN 通过对不同频率的位置编码进行差异化的缩放和插值，在不重新训练的情况下将模型的上下文窗口从训练时的长度扩展到更长的推理长度。本文还结合了基于位置的 softmax 温度缩放来进一步增强长上下文能力，最终将上下文窗口从 16384 扩展到 262144。
长上下文是 Ministral 3 的重要特性之一（256k tokens），YaRN 是实现这一能力的关键技术。
成对奖励模型（Pairwise Reward Model, PWRM）
PWRM 是本文在 ODPO 训练中使用的专门奖励模型。它通过 SFT 在结构化成对数据上训练：给定对话历史和两个候选回答，预测哪个回答更优。与传统奖励模型给出标量分数不同，PWRM 输出二项概率分布，表示每个回答被偏好的概率。本文将这种概率输出整合到 DPO 损失中，用软标签替代硬性的赢输标签，实现了更细粒度的偏好学习。
PWRM 是 ODPO 的关键组件，它的设计直接影响偏好优化的效果，是本文区别于标准 DPO 实现的重要技术创新。
研究动机
当前主流的开源语言模型如 Qwen3 和 Llama3 分别在 36 万亿和 15 万亿 token 上进行预训练，这需要巨大的计算资源和能源消耗。对于资源受限的应用场景，如边缘设备部署、移动应用、低延迟推理服务，这些庞大的模型既占用过多内存，推理速度也难以满足实时需求。同时，即使通过标准的知识蒸馏方法从大模型向小模型转移知识，学生模型的性能往往大幅下降，存在所谓的能力差距（capacity gap），即更强的教师不一定能训练出更强的学生。此外，传统的从零训练小模型的方法效率低下，无法充分利用已有大模型中已学到的知识。
本文的目标是本文的目标是开发一个完整的参数高效语言模型家族 Ministral 3，包含 3B、8B 和 14B 三种规模，每种规模提供基础版、指令版和推理版三个变体，共计 9 个模型。这些模型需要在资源受限的应用场景中具备竞争力的性能，同时大幅降低训练成本。具体而言，14B 模型需要达到与 24B 母模型 Mistral Small 3.1 相当的水平，同时模型体积缩小 40% 以上，训练 token 数也大幅减少。所有模型需要支持图像理解和长达 256k token 的上下文长度，并以 Apache 2.0 许可开源。
与已有工作不同的是，本文的独特切入角度在于提出了级联蒸馏（Cascade Distillation）这一训练策略。与传统方法对每个小模型分别独立训练不同，级联蒸馏采用剪枝蒸馏重复的迭代方法，从最大的子模型（14B）开始，逐步衍生出更小的模型（8B、3B）。这种方法的核心洞察是：可以将整个过程视为对母模型的持续预训练，通过权重剪枝沿路进行，避免了数据重复。此外，本文通过大量实验揭示了蒸馏中的三个关键发现：更强的教师不一定产生更好的学生（预训练阶段）；从后训练过的教师蒸馏比从预训练教师蒸馏更好；经过人类偏好优化的教师比仅经过 SFT 的教师更好。这些发现为蒸馏策略的设计提供了重要的实践指导。
核心方法
Ministral 3 的训练流程分为预训练和后训练两个主要阶段。预训练阶段采用级联蒸馏（Cascade Distillation）策略，以 Mistral Small 3.1（24B）作为母模型，通过迭代的剪枝蒸馏循环逐步衍生出 14B、8B、3B 三个子模型。具体流程是：首先将 24B 模型剪枝为 14B，然后在短上下文（16k tokens）和长上下文（262k tokens）两个阶段进行蒸馏训练；接着将训练好的 14B 模型剪枝为 8B，重复同样的蒸馏过程；最后从 8B 衍生出 3B。后训练阶段包括两条路径：指令跟随路径（SFT + ODPO）和推理路径（SFT + GRPO + ODPO）。整个流程可以直觉地理解为：先通过剪枝确定小模型的结构骨架，再通过蒸馏将大模型的知识注入其中，最后通过针对性的后训练赋予特定能力。
级联蒸馏的核心创新在于将模型压缩和知识转移整合为一个连贯的流水线，而非像传统方法那样独立处理每个规模的模型。关键区别在于：数据效率方面，整个级联过程只遍历一次数据混合，避免了数据重复，而独立训练每个模型会导致大量数据重复；知识保真方面，通过从母模型直接蒸馏 logits，子模型能学习到比硬标签更丰富的知识分布，且本文发现仅使用前向 KL 散度目标就优于混合使用 KL 和下一 token 预测目标；迭代传递方面，大子模型（14B）先获得充足知识，再通过剪枝和蒸馏传递给更小的模型（8B、3B），形成知识传递链；剪枝策略的创新方面，层级重要性用输入输出激活范数之比度量，隐藏维度用全局 PCA 旋转矩阵压缩，前馈维度用激活绝对值作为重要性分数。
方法步骤详情
级联蒸馏的完整步骤如下：第一步是模型剪枝初始化，以 Mistral Small 3.1 为起点，通过三个子步骤将其压缩为目标大小（14B）：层级剪枝计算每层输入激活范数与输出激活范数的比值，保留比值最高的 top-k 层；隐藏维度剪枝收集所有层的注意力归一化和前馈归一化激活，通过 PCA 获得全局旋转矩阵，将模型投影到低维空间；前馈维度剪枝对每层的 SwiGLU MLP 计算重要性分数，保留 top-k 维度并相应裁剪权重矩阵。第二步是短上下文蒸馏，在上下文长度为 16384 的混合数据上训练剪枝后的模型，使用母模型作为教师，目标为前向 KL 散度。第三步是长上下文蒸馏，使用 YaRN 和位置温度缩放将上下文窗口从 16k 扩展到 262k，在更长序列的数据上继续蒸馏。第四步是迭代重复，将训练好的 14B 模型作为下一轮的起点，剪枝为 8B 并重复上述三步，然后从 8B 衍生出 3B。后训练阶段对于 Instruct 变体先进行 SFT（使用 Mistral Medium 3 作为教师），再进行 ODPO；对于 Reasoning 变体先进行带 CoT 数据的 SFT，然后依次进行 STEM RL、General RL 和 ODPO。
技术新颖性
本文的技术新颖性体现在多个层面。首先，级联蒸馏作为一种训练范式是全新的，它不是简单的剪枝加蒸馏，而是将整个过程设计为对母模型的持续预训练，通过剪枝沿路进行，确保整个流水线的数据不重复。这与 Minitron 和 Wanda 等先前工作的关键区别在于，它处理的是一个模型家族而非单一模型。其次，剪枝策略的创新在于用输入输出激活范数之比评估层重要性，这比传统依赖下游困惑度的方法更简单且效果相当；隐藏维度剪枝使用全局 PCA 旋转矩阵而非逐层剪枝，保持了网络的一致性。第三，在蒸馏目标上，本文发现仅使用前向 KL 散度就优于混合目标，这与直觉相反但实验结果明确。第四，在后训练方面，ODPO 的实现引入了成对奖励模型（PWRM）输出软概率而非硬标签、温度校准和 beta 重缩放等技术创新，且将自动处理无限循环生成作为失败者的启发式规则是工程上的巧妙设计。最后，关于教师选择的三个发现为蒸馏研究提供了重要的实证贡献。
实验结果
Ministral 3 在多个基准测试中展现了与规模更大的竞争模型相当甚至更优的性能。在预训练阶段，Ministral 3 14B 在 TriviaQA 上达到 74.9（vs Qwen 3 14B 的 70.3），在 MATH 上达到 67.6（vs 62.0），显著优于 Qwen 3 14B，同时在 MMLU-Redux 上以 82.0 vs 83.7 略有差距但整体竞争力强。值得注意的是，Ministral 3 8B 在多数评估中超越了更大的 Gemma 12B（79.3 vs 76.6 在 MMLU-Redux，62.6 vs 48.7 在 MATH），突显了其参数效率。3B 模型同样表现优异，在 MATH 上达到 60.1，远超 Gemma 4B 的 29.4 和 Qwen 3 4B 的 40.5。在后训练阶段的推理能力上，Ministral 3 14B Reasoning 在 AIME 2024 上达到 89.8（vs Qwen 3 14B 的 83.7），在 AIME 2025 上达到 85.0（vs 73.7），在 HMMT 2025 上达到 67.5（vs 55.8），全面超越 Qwen 3 对应模型。指令跟随模型同样表现出色，Ministral 3 14B Instruct 在 Arena Hard 上达到 55.1（vs Qwen3 14B 的 42.7），在 WildBench 上达到 68.5（vs 65.1）。与教师模型 Mistral Small 3.1 的对比显示，14B 模型虽然参数量减少了超过 40%，但在多数基准上仍保持了教师模型 90% 以上的能力，MATH 上甚至超越教师（67.6 vs 55.8）。教师选择实验发现，从 Mistral Small 3.1 蒸馏优于从更强的 Mistral Medium 3 蒸馏（预训练阶段），但从后训练教师蒸馏优于从预训练教师蒸馏，且从偏好优化教师蒸馏效果最好。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMLU-Redux (5-shot) | 准确率 | Ministral 3 14B: 82.0, 8B: 79.3, 3B: 73.5 | Qwen 3 14B: 83.7, 8B: 79.4, 4B: 75.9; Gemma 3 12B: 76.6, 4B: 62.6 | 14B 接近 Qwen 3，8B 与 Qwen 3 8B 相当，均远超 Gemma 3 对应模型 |
| MATH (CoT 2-Shot) | 准确率 | Ministral 3 14B: 67.6, 8B: 62.6, 3B: 60.1 | Qwen 3 14B: 62.0, 8B: 57.6, 4B: 40.5; Gemma 3 12B: 48.7, 4B: 29.4 | 各规模均显著超越 Qwen 3 和 Gemma 3，14B 超越 5.6 个百分点 |
| TriviaQA (5-shot) | 准确率 | Ministral 3 14B: 74.9, 8B: 68.1, 3B: 59.2 | Qwen 3 14B: 70.3, 8B: 63.9, 4B: 53.0; Gemma 3 12B: 78.8, 4B: 64.0 | 全面超越 Qwen 3，14B 超越 4.6 个百分点 |
| AIME 2024 (推理模型) | Pass@16 准确率 | Ministral 3 14B: 89.8, 8B: 86.0, 3B: 77.5 | Qwen 3 14B: 83.7, 8B: 86.0, 4B: 72.9 | 14B 超越 6.1 个百分点，3B 超越 4.6 个百分点 |
| AIME 2025 (推理模型) | Pass@16 准确率 | Ministral 3 14B: 85.0, 8B: 78.7, 3B: 72.1 | Qwen 3 14B: 73.7, 8B: 79.8, 4B: 69.7 | 14B 大幅超越 11.3 个百分点，3B 超越 2.4 个百分点 |
| Arena Hard (指令模型) | 分数 | Ministral 3 14B: 55.1, 8B: 50.9, 3B: 30.5 | Qwen3 14B (Non-Thinking): 42.7, Qwen3-VL-8B: 52.8, Qwen3-VL-4B: 43.8 | 14B 大幅超越 12.4 个百分点，8B 接近 Qwen3-VL-8B |
| HMMT 2025 (推理模型) | Pass@16 准确率 | Ministral 3 14B: 67.5, 8B: 55.8, 3B: 51.7 | Qwen 3 14B: 55.8, 8B: 57.5, 4B: 50.8 | 14B 大幅超越 11.7 个百分点 |
| GPQA Diamond (推理模型) | Pass@16 准确率 | Ministral 3 14B: 71.2, 8B: 66.8, 3B: 53.4 | Qwen 3 14B: 66.3, 8B: 67.1, 4B: 60.1 | 14B 超越 4.9 个百分点 |
| LiveCodeBench v6 (推理模型) | Pass@5 准确率 | Ministral 3 14B: 64.6, 8B: 61.6, 3B: 54.8 | Qwen 3 14B: 59.3, 8B: 58.0, 4B: 51.3 | 14B 超越 5.3 个百分点，8B 超越 3.6 个百分点 |
| MATH (指令模型 maj@1) | 准确率 | Ministral 3 14B: 90.4, 8B: 87.6, 3B: 83.0 | Qwen3 14B: 87.0, Qwen3-VL-8B: 94.6, Qwen3-VL-4B: 90.0 | 14B 超越 Qwen3 14B 3.4 个百分点，但 8B/3B 略低于 Qwen3-VL |
局限与改进
本文存在多个值得关注的局限性。首先，尽管 Ministral 3 在大多数基准上表现优异，但在某些评估中仍落后于专门优化的模型，例如 8B Instruct 在 MATH maj@1 上（87.6）低于 Qwen3-VL-8B（94.6），3B Instruct 在 MATH 上（83.0）低于 Qwen3-VL-4B（90.0），说明在数学推理的指令跟随任务上仍有提升空间。其次，3B 模型的后训练存在特殊挑战，作者承认标准 SFT 导致了脆弱过度冗长的模型，出现大量重复和无限生成，需要使用 Magistral Small 1.2 进行额外的 logit 蒸馏来稳定训练，且 3B 模型在 ODPO 阶段对超参数选择比 14B 和 8B 更敏感，在公开基准上未能展示显著改进。第三，本文的评估主要集中在英语和少数几种欧洲语言的多语言能力上，对中文、日文和韩文的覆盖有限，缺乏对更多语言的全面评估。第四，关于模型冗余性的讨论表明，指令模型中引入长 CoT 数据会导致过度反思、内部独白和回溯行为，这暗示在平衡推理深度和输出简洁性方面仍需更好的控制机制。第五，本文的所有模型都基于同一个 24B 母模型（Mistral Small 3.1），级联蒸馏的效果是否能泛化到其他架构或更大规模的母模型尚未得到验证。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，3B 模型的稳定性问题，标准 SFT 产生了脆弱且过度冗长的模型，需要额外的蒸馏步骤来稳定，这表明级联蒸馏在极小规模（3B）时面临更大的挑战。可能的改进方向包括在剪枝阶段采用更保守的策略保留更多关键层，针对小模型设计专门的蒸馏温度调度，在 SFT 阶段增加更多针对小模型的正则化技术。第二，ODPO 对 3B 模型效果有限，作者承认 3B 模型在 ODPO 后的公开基准上未见显著改进，仅在内部人工评估中有所改善。这可能是因为 PWRM 的能力对小模型的生成空间覆盖不足，改进方向可以是为小模型训练专门的轻量级 PWRM，或者调整 ODPO 的 beta 参数以适应不同规模模型的特性。第三，冗长输出问题，Instruct 模型的长 CoT 数据引入导致过度反思和回溯行为，这与用户期望的简洁高效交互存在矛盾。改进方向是开发更精细的输出长度控制机制，例如在 SFT 中引入显式的输出长度标签或在推理时使用受控解码策略。第四，教师模型选择的局限性，本文发现从 MS3.1 蒸馏优于从更强的 Mistral Medium 3 蒸馏（预训练阶段），但未深入分析这种能力差距的成因，改进方向是探索分层蒸馏策略，即在不同训练阶段使用不同强度的教师。
未来方向
基于本文的成果，未来研究可以从多个方向展开。首先，作者指出的一个重要发现是更强的教师不一定产生更好的学生，未来可以深入研究能力差距的量化指标，建立教师学生模型匹配的理论框架，帮助在实际应用中选择最优的教师模型。其次，级联蒸馏可以扩展到更大的模型家族，例如从更大的母模型（如 70B 或 100B+）出发，衍生出更多规模的子模型，或者探索跨架构的蒸馏（如从 MoE 模型到 Dense 模型的蒸馏）。第三，本文的推理训练流程（SFT 到 STEM RL 到 General RL 到 ODPO）可以进一步优化，例如探索更高效的 RL 算法替代 GRPO，或者研究如何在 RL 阶段更好地平衡 STEM 和通用能力。第四，关于 ODPO 中 PWRM 的软概率输出机制，可以探索将其应用于其他偏好学习场景，如多目标偏好优化或基于人类反馈的持续学习。第五，本文的视觉编码器是从母模型直接复制并保持冻结的，未来可以研究在蒸馏过程中联合训练视觉组件，或者探索更高效的视觉语言对齐方法。最后，Ministral 3 的开源为社区提供了宝贵的基线，未来可以在此基础上进行更广泛的消融研究，特别是在模型架构选择（如注意力头数、FFN 维度比例）对蒸馏效果的影响方面。
复现评估
本文在复现性方面提供了良好的支持。所有 9 个 Ministral 3 模型（3 个规模乘以 3 个变体）均以 Apache 2.0 许可开源，托管在 HuggingFace 上，可直接下载使用。模型架构细节在论文中有清晰的描述（Table 1），包括层数、隐藏维度、注意力头数、FFN 维度等关键超参数。训练数据方面，论文提到了使用混合的纯文本和图文交错数据，但未详细披露数据的具体来源和比例，这可能对精确复现造成一定困难。计算资源方面，论文未明确报告训练所需的 GPU 小时数或成本，但从以远少于从头预训练的计算成本这一描述来看，级联蒸馏确实实现了显著的计算节省。评估方面，论文声称对所有外部模型使用自己的评估管道进行了公平比较，并报告了详细的基准测试结果。级联蒸馏的两个核心算法（Algorithm 1 和 Algorithm 2）在论文中有伪代码描述，但剪枝的具体超参数（如 top-k 的选择标准、PCA 的方差解释比例）未完全公开。总体而言，模型权重的开源使得推理和微调可以完全复现，但精确复现训练过程需要一些额外的工程细节。
论文图表
该图直观展示了级联蒸馏的工作原理：左侧的大模型（MS3）通过剪枝和蒸馏逐步衍生出中间的 14B 模型，然后进一步衍生出更小的 8B 和 3B 模型。图中强调了数据不重复的特点，整个过程只遍历一次数据混合，剪枝沿路进行。
这张图帮助读者直观理解级联蒸馏与传统独立训练方法的区别，突出了其数据效率和迭代传递的核心理念。