Tiny Aya:用3.35B参数桥接多语言模型的规模与深度 Tiny Aya: Bridging Scale and Multilingual Depth
3.35B参数多语言模型覆盖70种语言,通过区域融合实现平衡性能
前置知识
Transformer 解码器架构
Tiny Aya 是一个仅解码器的稠密 Transformer(decoder-only dense Transformer),其核心设计继承自 Command A:使用并行 Transformer 块(parallel Transformer block)、3:1 比例的滑动窗口注意力(sliding window attention)与全注意力(full attention)交替层、SwiGLU 激活函数、Grouped Query Attention(GQA)以减少推理时显存占用。其中滑动窗口层使用 RoPE 旋转位置编码,全注意力层使用 NoPE(无位置编码)。
理解 Tiny Aya 必须先了解这些架构变体的动机:并行块通过并行化注意力和 FFN 提升训练效率而不损失质量;滑动窗口降低长序列计算成本;GQA 让 3.35B 小模型在推理时仍然高效。
Tokenizer 数据加权与词表效率
多语言分词器的关键挑战是低资源语言在数据中代表性不足,导致其分词碎片化(tokenization fragmentation)。Tiny Aya 采用 Abagyan et al. (2025) 提出的加权方案,同时考虑数据分布权重 $w_i^d$ 和按语系/文字分组的语言桶权重 $w_i^b$,最终权重为 $w_i = \frac{w_i^d \cdot w_i^b}{\sum_n w_n^d \cdot w_n^b}$。该方案使得所有 70 种语言在词表中得到公平表示,词表大小为 262k,基于 GPT-4o 正则表达式做预分词,无归一化处理。
Tokenizer 质量直接决定多语言模型的推理效率和低资源语言表现。理解这个加权公式是理解 Tiny Aya 训练数据平衡策略的入口。
WSD 学习率调度与 FP8 训练
Warmup-Stable-Decay (WSD) 学习率调度先 warmup 到峰值,保持稳定阶段,最后退火到接近零。相较 cosine 调度,WSD 允许在训练中途灵活调整 token 预算,便于在 cooldown 阶段用高质量数据收尾。Tiny Aya 预训练 6T tokens,在 256 张 H100 上使用 FP8 训练(主权重与优化器状态保持 FP32,敏感运算用 FP32,注意力用 BF16)。
理解 Tiny Aya 的预训练流程需要 WSD 这一非传统调度,以及 FP8 这种在 3-4B 模型上较少见的精度方案,因为它直接关系到模型能在 256 卡上高效跑完 6T tokens。
FusioN(融合 N 路教师响应)
FusioN 是一种并行推理扩展的合成数据生成方法,由 Khairi et al. (2025) 提出。它分两步:首先,多个教师 LLM(如 Gemma3-27B-It、Command A、DeepSeek-V3)对同一目标语言提示各生成一个候选回答;然后由一个判官 LLM(Fusor)综合所有候选,提取各自最强的片段聚合成最终回答。Tiny Aya 使用 Command A 作为 Fusor。
FusioN 是 Tiny Aya 后训练数据生成管线的核心创新,解决了单教师在低资源语言上表现不稳定的问题,对理解其数据合成策略至关重要。
SimMerge 检查点合并
SimMerge (Bolton et al., 2026) 是一种预测式合并选择方法,使用任务无关的检查点相似度特征来挑选合并算子与合并顺序。它支持三种算子:线性插值(Linear interpolation, Wortsman et al. 2022)、Slerp 球面插值(Shoemake 1985)与 TIES 合并(Yadav et al. 2023)。Tiny Aya 用未标注的多语言探针语料(每种语言约 10000 token)计算相似度特征,然后在区域 SFT 模型与全局 SFT 模型之间扫描合并比例,挑出在区域开发集上表现最佳且安全不退化的合并检查点作为最终区域模型。
SimMerge 是 Tiny Aya 区域专门化模型(Earth/Fire/Water)生成的核心机制,理解它如何工作能解释为什么区域模型能保持全球一致性同时强化本地优势。
研究动机
当前多语言语言模型的能力严重不均衡。以 Gemma3-4B、Qwen3-4B、Ministral-3-3B、SmolLM3-3B 为代表的同尺度模型,在 116 种语言的 GlobalPIQA、42 种语言的 GlobalMMLU、44 种语言的 INCLUDE 上虽然平均分不错,但标准差极大(Global MMLU 标准差从 6.6 到 11.9,Global PIQA 接近 10),意味着低资源语言被严重忽视。论文在 GlobalMGSM 上暴露了更尖锐的问题:Gemma3-4B 在非洲语言子集上平均准确率仅 17.6%,Qwen3-4B 更是低至 6.25%,而 Tiny Aya Global 在同一子集上达到 39.2%。同时,语言混乱问题严重——SmolLM3-3B 与 Ministral-3-3B 的输出经常不是用户请求的语言,Qwen3-4B 和 Gemma3-4B 在开放生成任务中也有 3-6% 的输出语言错误。此外,安全评估显示 Qwen3-4B 在 MultiJail 上的最低安全率仅 1.6%,Ministral-3-3B 在斯瓦希里语提示上有 44% 的不安全回复,这些都指向一个根本问题:大规模不等于平衡,主流的"做大模型+加数据"策略在多语言场景下加剧了高资源与低资源语言之间的鸿沟。
本文的目标是本文的核心目标是证明多语言能力不需要靠参数规模驱动,3.35B 的小模型也可以在 70 种语言上提供具有竞争力且平衡的表现。具体目标包括:(1) 训练覆盖 70 种语言的多语言基础模型;(2) 通过区域感知的监督微调生成一个全球通用指令模型与三个区域专门化模型;(3) 在翻译、开放生成、数学推理、文化常识、安全等任务上同时实现"平均分高+最小分高+跨语言差异小"的三角平衡;(4) 让模型在量化后仍可在边缘设备(iPhone 13)上以 ~10 tokens/s 解码速度运行。
与已有工作不同的是，已有方法主要走两条路:(a) 大规模通用模型如 Qwen3-4B(119 语言)、Gemma3-4B(140+ 语言)、Apertus(1000+ 语言),但评测套件往往只覆盖 65 种语言,且存在严重跨语言差异;(b) 区域专门模型如 SEA-LION(11 种东南亚语言)、EuroLLM-9B(35 种欧洲语言),虽然区域内强但跨区域能力弱。Tiny Aya 的独特切入角度是把"平衡"作为第一性目标:从 tokenizer 词表设计、预训练 mixture、后训练合成数据、模型合并策略到评估体系,每个环节都显式优化"平均表现+最小表现+跨语言一致性"的组合,且同时给出基础模型、全局模型、三个区域模型,既保证广覆盖又允许区域深入。
核心方法
Tiny Aya 的整体思路是"小而精"——用 3.35B 参数的稠密 Transformer,通过精心平衡的数据混合物、合成数据生成、区域感知的监督微调和模型合并,实现跨 70 种语言的平衡性能。直觉上,如果一个模型的参数不足以同时学好 70 种语言,那么就必须把有限的容量优先分配给最需要的地方:让 tokenizer 不偏袒高资源语言、让预训练数据按语言桶加权、让后训练数据通过翻译和 FusioN 在低资源语言上扩增、让最终模型通过合并同时具备区域专门化与全局一致性。技术上,模型沿用 Command A 的核心架构变体(并行 Transformer 块、3:1 滑动/全注意力、SwiGLU、GQA),用 WSD 调度在 256 张 H100 上预训练 6T tokens,后训练分为区域 SFT、全局 SFT、最小化偏好对齐三阶段,最后用 SimMerge 把区域 SFT 与全局 SFT 合并得到 Earth/Fire/Water 三个区域模型。
Tiny Aya 的核心创新是与"规模驱动"路线的本质区别——把平衡性作为模型设计的硬约束,而不是附带产物。具体包含四个相互耦合的关键点:第一,单 tokenizer 跨所有 70 种语言,但采用 Abagyan et al. (2025) 的语言桶加权让低资源脚本(高棉语、泰卢固语、古吉拉特语、吉兹文)在词表效率上不输给拉丁文;第二,后训练数据用三步合成管线——先用 command-a-translate 或 deepseek-v3 翻译扩展语言覆盖,再用 Naturalness/Cultural Adaptation/Difficulty Enhancement 三种 prompt 级变换消除翻译腔并注入本地文化,最后用 FusioN 把多个教师模型(Gemma3-27B-It、Command A、DeepSeek-V3)的回答融合成高质量目标语言输出;第三,区域集群策略——把 70 种语言分为欧洲/西亚/南亚/亚太/非洲 5 个区域,按区域微调 SFT 模型,再用 SimMerge 与全局 SFT 合并;第四,放弃传统的 win-rate 评测改用基于 4 维 Likert 量表(准确性/指令跟随/连贯性/流利度)的绝对评分,既能减少方差又能在跨语言间提供一致的评分锚点。
方法步骤详情
完整的训练与评估流程分为以下几个阶段。**Tokenizer 训练**:从 Fineweb-2 采样 50GB 数据,按 $w_i = \frac{w_i^d \cdot w_i^b}{\sum_n w_n^d \cdot w_n^b}$ 加权训练 262k 词表的 BPE/GPT-4o 正则分词器。**预训练**:使用与 Command A 一致的架构(36 层、2048 隐藏维、16 头、4 KV 头、4096 滑动窗口、8192 上下文、3.35B 总参其中 0.5B 嵌入+2.8B 非嵌入),在 256 张 H100 上用 WSD 调度训练 6T tokens,采用 FP8/BF16/FP32 混合精度。**后训练数据合成**:对原始 SFT 数据,先用翻译模型扩展到目标语言,再做 prompt 变换(自然度/文化适应/难度增强),最后用 FusioN 生成目标语言回答;同时收集 312k 平行文档的 98 种语言翻译数据进行翻译任务微调。**后训练**:每个区域集群用 16 张 H100 训练 3 个 epoch(峰值学习率 $2.5\times 10^{-5}$、最终 $1.2\times 10^{-6}$、余弦衰减、全局 batch size 32),24 小时内完成;全局模型在区域 SFT 之上叠加最小化偏好对齐(DPO 类的轻量阶段)以建立模型身份与多语言安全。**模型合并**:对每个目标区域 $r$,用 SimMerge 在该区域的 SFT 检查点与全局 SFT 检查点之间,扫描 linear interpolation、Slerp、TIES 三种算子与多种混合强度,基于区域开发集(覆盖 Flores、mDolly、GlobalMGSM、安全)的平均表现+最小表现+安全不退化准则选择最终检查点。**评测**:在 GlobalMMLU/INCLUDE/GlobalPIQA(判别式)、mDolly/mArenaHard/GlobalMGSM/Flores/WMT24++(生成式)、MultiJail/XSTest(安全)、NormAd/BLEnD(文化)上对比 Gemma3-4B、Qwen3-4B、Qwen3.5-4B、Ministral-3-3B、SmolLM3-3B、TranslateGemma-4B。
技术新颖性
技术新颖性体现在五个层面的统一。首先,tokenizer 层面的语言桶加权虽然源自 Abagyan et al. (2025),但 Tiny Aya 是首次把它与 70 种语言、262k 词表的后训练全流程结合验证,证明了 tokenization 公平性可以传导到下游任务。其次,FusioN 在多语言 SFT 数据合成中的规模化使用是新的——传统合成数据用单教师或简单集成,FusioN 通过判官 LLM 做细粒度片段级聚合,在低资源语言上把多个教师的不均匀能力互补。再次,SimMerge 用于多语言区域合并是新颖应用,以往 SimMerge 主要用于任务合并而非语言区域合并,且其扫描三种算子与多组权重组合的方式让合并选择有了数据驱动的依据。第四,放弃 win-rate 采用 Likert 量表绝对评分的方法论改进——通过给评委提供 4 个共享锚点(1-7 分)减少评分方差,这对跨语言多任务评测是重要的工程贡献。第五,把"最小分"与"标准差"同时作为模型选择准则而非仅看平均分,直接对应了多语言公平性目标。最后,论文发布的模型族包含 Base、Global、Earth(非洲/西亚)、Fire(南亚)、Water(亚太/欧洲)五个变体,在保持单一架构的同时支持不同部署需求,这种"基础+全球+区域"的三层产品形态也是新颖的实践。
实验结果
实验结果从五个维度验证了 Tiny Aya 的平衡性。**判别式任务**(Table 4):Tiny Aya Global 在 Global MMLU 上 44.9±7.3、INCLUDE 45.1±11.1、Global PIQA 68.3±10.6,虽然平均分不是最高(被 Qwen3.5-4B 的 54.8/56.9/79.3 超过),但其标准差与最低分显著优于 Qwen3-4B(标准差 11.9/11.2/11.2),体现跨语言一致性优势。**生成式任务**(Table 5):Tiny Aya 在 mDolly 上拿到 86.9±6.2(对比 Gemma3-4B 77.6±24.9、Qwen3-4B 67.3±30.2),且标准差是所有模型最低的,意味着几乎所有 66 种语言都能产出高质量回答;mArenaHard 上 67.4±6.1 与最强 Qwen3.5-4B 的 76.7±15.5 仍有差距但稳定得多。**数学推理**(Table 5 GlobalMGSM):Tiny Aya Global 平均 52.8±11.7,虽然低于 Qwen3.5-4B 的 62.5±26.7,但在非洲语言子集上达到 39.2%,对比 Gemma3-4B 的 17.6%、Qwen3-4B 的 6.25%、Qwen3.5-4B 的 20.9% 是压倒性优势。**翻译**(Figure 6/7):Tiny Aya Global 在 Flores 上 43.5 ChrF、WMT24++ 上 46.0 ChrF,均为对比模型最高;在 WMT24++ 的 55 种语言中赢了 Gemma3-4B 的 46 种,赢了专用翻译模型 TranslateGemma-4B 的 12 种;区域专门化在翻译任务上带来最大提升,South Asia 平均提升 5.5 ChrF、Africa 提升 1.7 ChrF。**语言混乱**(Table 6):mDolly 上 97.4±8.6、mArenaHard 91.4±8.5,均为最佳,意味着模型用目标语言回答的比例最高。**安全性**(Table 7):Tiny Aya Global 在 MultiJail 上平均安全回复率 91.1%(最高)、最低安全率 87.0%(远高于 Qwen3-4B 的 1.6%、Ministral-3-3B 的 19.5%),即使在斯瓦希里语上也保持 94% 的安全率;XSTest 上的过度拒答率 10.4%(对比 Gemma3-4B 的 3.6%)略高但远低于不安全率。**文化理解**(Figure 9/11):在 NormAd 上 Tiny Aya 变体在 75 个国家中的 39 个胜过 Gemma3-4B,BLEnD 在 16 个区域中拿下 8 个第一,尤其在 Hausa/Sundanese/Greek/Amharic/Spanish 上有显著提升。**边缘部署**(Figure 13):在 iPhone 13 上以 Q4_K_M 量化可达 ~10 tokens/s 解码速度,iPhone 17 Pro 上达 32 tokens/s,Q4_K_M 在 mDolly 上仅退化 1.4 分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GlobalMGSM 数学推理(35 种语言) | 平均准确率 | 52.8%(标准差 11.7) | Qwen3.5-4B 62.5%、Gemma3-4B 55.4% | 平均略低,但非洲语言子集 39.2% vs Gemma3-4B 17.6%、Qwen3-4B 6.25%,提升 20+ 个百分点 |
| mDolly 开放生成(66 种语言) | Likert 平均分(0-100) | 86.9%(标准差 6.2) | Gemma3-4B 77.6%、Qwen3-4B 67.3%、Qwen3.5-4B 81.1% | 相对 Gemma3-4B 提升约 9 个百分点,标准差从 24.9 降到 6.2(降低 75%) |
| Flores 翻译(66 种语言,en→xx) | ChrF | 43.5(标准差 14.0) | Gemma3-4B 38.9、Qwen3-4B 30.5、TranslateGemma-4B 专用模型 | 在 27/66 语言上超过专用 TranslateGemma-4B,平均分与专用模型持平但跨语言更稳定 |
| WMT24++ 翻译(55 种语言) | ChrF | 46.0(标准差 10.4) | Gemma3-4B 41.9、Qwen3-4B 32.9 | 在 46/55 语言上击败 Gemma3-4B,绝对优势 |
| MultiJail 多语言安全(10 种语言) | 平均安全回复率 | 91.1%(最低 87.0%) | Gemma3-4B 88.7%、Qwen3-4B 85.8%、Ministral-3-3B 66.2% | 平均最高且最低安全率最高(87.0% vs Qwen3-4B 1.6%),跨语言差距最小 |
| Global PIQA 常识(116 种语言) | 平均准确率 | 68.3%(标准差 10.6) | Gemma3-4B 70.8%、Qwen3.5-4B 79.3% | 平均略低,但在低资源语言上更稳定 |
| 边缘部署吞吐量(iPhone 13) | 解码 tokens/s | ~10 tok/s(Q4_K_M 量化) | 无量化版本在 iPhone 13 上 OOM | iPhone 17 Pro 上达 32.4 tok/s,3.4 倍提升 |
局限与改进
作者明确承认的局限性:(1) 在 mArenaHard 等技术性生成任务上仍落后于 Qwen3.5-4B 等思考型模型,绝对分 67.4 vs 76.7;(2) 在判别式知识问答(GlobalMMLU、INCLUDE)上平均分落后 Qwen3.5-4B 约 10 个百分点;(3) XSTest 上的过度拒答率 10.4% 略高于 Gemma3-4B 的 3.6%,在英语场景下偏保守;(4) 区域专门化模型在非洲语言上若不与 Earth 变体一起使用,性能显著下降,因为 Fire/Water 不覆盖非洲语言。我自己的观察还包括:(5) 6T token 预训练与 24 小时后训练的算力门槛(256 H100 + 16 H100 × 5 集群)对学术小团队仍较高,虽比 100B+ 模型低很多,但不是个人复现的规模;(6) FusioN 依赖 Command A 作为 Fusor 判官,引入模型级偏见风险;(7) 文化评估上即使英语提示表现仍优于本地语言提示,说明高资源语言仍是事实回忆的隐式枢纽,文化本地化尚未完全实现;(8) 评测覆盖到 116 种语言但 NormAd 仅覆盖 75 个国家,BLEnD 仅 13 种语言,文化维度的覆盖度本身有限。
独立分析的弱点
独立分析可以指出几个改进空间。**思考能力不足**:Tiny Aya 全程未启用 thinking mode,而 Qwen3.5-4B、Qwen3-4B 在 mArenaHard 上开启推理后获得 76.7/70.1 的高分。改进方向是为 Tiny Aya 引入轻量级 chain-of-thought 蒸馏,或提供 think/no-think 双模式权重。**判别式知识落后**:GlobalMMLU/INCLUDE 上比 Qwen3.5-4B 低 10 分,说明预训练知识密度还不够,改进方向是在 cooldown 阶段增加知识密集型数据集(如维基百科、教科书类)的高质量子集权重,或增加 1-2T tokens 训练预算。**英语过度拒答**:XSTest 上 10.4% 的过度拒答率说明安全校准偏保守,改进方向是调整 DPO/KTO 偏好数据中"过度敏感"与"必要谨慎"的比例。**跨区域能力继承不平衡**:Fire/Water 模型未覆盖非洲语言导致这些区域能力下降,改进方向是为每个区域变体也加入最小化的其他区域 SFT 数据,或采用更复杂的 5-way merge。**FusioN 依赖 Command A**:单 Fusor 引入模型偏见,改进方向是引入多个 Fusor 集成或基于人类偏好的 reward model。**NormAd 等文化评测的翻译噪声**:即使使用 command-a-translate 翻译文化场景,翻译器本身的英语中心化可能削弱文化信号,改进方向是邀请母语者撰写或审核文化场景。**量化惩罚不对称**:Figure 15 显示低资源语言在 Q4_0 下退化更严重,改进方向是对嵌入层和低频 token embedding 单独采用 FP8 而非线性量化。
未来方向
作者明确提到的未来方向包括:进一步把数据混合平衡从区域扩展到语言学结构(domain、模态);持续推进模型融合策略以覆盖更细粒度的语言/任务簇;扩展评估到方差与最小表现优先于平均分的设计哲学;支持多模态。基于成果可延伸的方向:(1) 探索 Tiny Aya 的 distillation 能力,作为更大模型(如 Command A+)的教师,把小模型的均衡性迁移上去;(2) 把 FusioN 范式扩展到代码、数学等专门领域,验证其在非自然语言任务上的有效性;(3) 把 SimMerge 区域合并思路推广到多模态——视觉-语言模型也可以按"地理文化+视觉风格"做区域专门化;(4) 探索 Tiny Aya 在低资源语言对(例如非洲语言之间)的零样本翻译表现;(5) 研究 Tiny Aya 在联邦学习或本地化适配中的隐私保护部署,因为其小尺寸适合在设备端完成个性化微调;(6) 文化评测需要更深入的"文化理解"而非"文化事实回忆"研究,如增加价值维度、社会习俗动态变化的评估。
复现评估
复现性评估整体良好但有一定门槛。**开源情况**:模型在 HuggingFace 上以开源权重发布(论文多处引用 CohereForAI/TinyAya 等仓库),评测套件 mDolly、mArenaHard、GlobalMGSM、aya_evaluation_suite 也在 HF 上发布。**数据**:Tokenizer 训练数据来自公开的 Fineweb-2(Penedo et al. 2025),后训练数据合成通过 command-a-translate 和 deepseek-v3(均为开源或可访问),FusioN 使用的教师 Gemma3-27B-It、Command A、DeepSeek-V3 均为公开权重模型。**算力**:预训练 256 张 H100 × 6T tokens 是主要门槛,即使按 $2/hour 的云价格估算也需数十万美元;后训练 16 H100 × 5 集群 × 24 小时 约 $4000-$8000;对学术团队而言,微调实验可行但完全重新预训练几乎不可能。**评测**:评测脚本基于 lm-eval-harness(Biderman et al. 2024)标准接口,翻译和生成任务使用 greedy decoding + GPT-4.1 判官,可以本地复现。**难度**:中等偏高——核心创新 FusioN 与 SimMerge 可以用小模型验证概念,但要复现论文中的全部 benchmark 数字需要教师模型 API 访问(GPT-4.1 作为判官、command-a-translate 作为翻译)和大量 GPU 时间。论文附录较长(评测模板、prompt、数据分布表),为复现提供良好基础,但仍缺少完整的训练数据配方公开。
论文图表
双子图:(a) 本地语言 chain-of-thought 推理下的 NormAd 准确率;(b) 英语 chain-of-thought 推理下的准确率。所有 Tiny Aya 变体在两种设置下都获得稳定提升,但英语 CoT 总体仍优于本地语言 CoT。
这张图说明 Tiny Aya 能受益于 test-time compute,但仍存在本地语言推理能力的提升空间,指出了未来工作的方向。
条形图按区域显示英语提示与本地语言提示之间的 BLEnD 平均准确率差。南亚和非洲区域对英语提示的依赖最强(差值大),欧洲和美洲对提示语言不敏感(差值小)。
这张图坦率地展示了论文承认的局限性——本地语言提示下的文化理解仍有差距,这种诊断为未来工作指明了方向。
折线图横轴是网络存在性 5 个档位,纵轴是各量化方案相对 BF16 的退化分。Q4_K_M 与 Q4_0 在低资源语言上退化更大,但在最低档位处曲线趋于平缓,说明数据极稀少的语言对进一步量化并不更敏感。
这张图揭示了量化策略的公平性含义,提示设计者需要为低资源语言的嵌入层考虑更精细的量化方案。