F2LLM-v2：面向多语言世界的包容、高性能、高效文本嵌入模型

8个规模的多语言嵌入模型，覆盖200+语言，14B版SOTA

前置知识

文本嵌入模型（Text Embedding Models）

文本嵌入模型是将自然语言文本映射到稠密向量空间的神经网络，使得语义相似的文本在向量空间中距离较近。它们是语义搜索、检索增强生成（RAG）、文本分类和聚类等任务的基础组件。近年来，该领域从基于编码器的架构（如BERT、XLM-R）过渡到基于解码器的LLM嵌入（如E5-Mistral、NV-Embed），利用大规模预训练获得的推理和语言能力，取得了显著的性能提升。F2LLM-v2采用的就是基于Qwen3解码器架构的嵌入模型。

理解文本嵌入模型的基本概念和架构演进是阅读本文的基础，因为整篇论文都在讨论如何构建更好的多语言嵌入模型。

Matryoshka表示学习（MRL）

Matryoshka表示学习（Matryoshka Representation Learning, MRL）是一种训练技术，使得模型输出的嵌入向量可以在多个维度上截断使用而不显著损失性能。训练时，损失函数会同时在原始维度和多个较低维度（如8、16、32、64、128等）上计算，迫使模型将最重要的语义信息集中在前几个维度中。这类似于俄罗斯套娃（Matryoshka），大维度嵌入包含小维度嵌入的完整信息。用户可以根据实际需求动态选择嵌入维度，在性能、推理成本和存储成本之间取得最优平衡。

MRL是F2LLM-v2的核心技术之一，论文用大量实验展示了MRL的有效性，且它直接影响模型在资源受限环境下的实用价值。

知识蒸馏（Knowledge Distillation）

知识蒸馏是一种模型压缩技术，通过让较小的'学生'模型学习较大'教师'模型的输出来转移知识。在F2LLM-v2中，蒸馏损失通过计算学生模型和教师模型序列嵌入之间的均方误差（MSE）来实现，输入包括query、document和negatives。教师模型使用较大的预训练模型（如0.6B用于80M-330M的蒸馏），学生模型则试图匹配教师的嵌入空间。这种技术使得小模型能够继承大模型的语义理解能力，大幅减少因模型裁剪带来的性能损失。

知识蒸馏是F2LLM-v2实现小模型高性能的关键技术，论文的消融实验证明它对所有规模的模型都有显著提升，最大提升了约4.7个百分点。

模型剪枝（Model Pruning）

模型剪枝是通过移除模型中不重要的参数来减小模型规模的技术。F2LLM-v2沿三个维度对0.6B模型进行剪枝以获得80M、160M和330M的较小模型：隐藏层大小（hidden size）、MLP中间层大小（MLP intermediate size）和层数（number of layers）。对于前两个维度，基于校准数据上的激活范数（activation norms）来决定剪枝哪些行和列；对于层数维度，直接保留模型的前n层。论文发现简单的保留前n层方法优于基于激活范数变化的层选择策略。

模型剪枝使得F2LLM-v2能够提供从80M到14B共8个不同规模的模型，覆盖从边缘设备到企业级服务器的全部部署场景。

MTEB基准评测

MTEB（Massive Text Embedding Benchmark）是最受认可的文本嵌入模型评测基准之一，涵盖超过500个评测任务和250多种语言。F2LLM-v2在17个MTEB基准上进行了评测：Multilingual、English、Code、Medical、European、Scandinavian、Indic、German、French、Korean、Polish、Chinese、Japanese、Dutch、Russian、Persian和Vietnamese，总共包含430个任务，覆盖检索、重排序、分类、聚类、句子相似度、跨语言挖掘等10种任务类型。然而，MTEB存在显著的语言偏差——例如131个Multilingual任务中有35个仅针对英语。

MTEB是本文所有实验结果的评测基础，理解其结构和局限性对于正确解读论文的实验结论至关重要。

对比学习（Contrastive Learning）

对比学习是嵌入模型的核心训练范式，通过拉近语义相似样本（正样本对）的嵌入距离、推远不相似样本（负样本对）的嵌入距离来学习有效的向量表示。F2LLM-v2将所有训练数据统一为三种格式：检索格式使用(query, positive document, hard negatives)三元组，聚类格式采样同类别正例和不同类别负例，分类格式则直接使用类别标签作为正负样本。训练中同时使用批内负样本（in-batch negatives）和显式硬负样本（使用Qwen3-Embedding-8B挖掘），构建高效且具有挑战性的训练信号。

对比学习是F2LLM-v2训练流程的基础框架，理解三种数据格式和负样本策略有助于理解论文的方法设计。

研究动机

当前前沿嵌入模型研究存在两个根本性问题。第一是严重的英语中心偏差。虽然MTEB基准已涵盖500多个评测任务和250多种语言，但实际评测资源分配极不均衡——在MTEB-Multilingual基准的131个任务中，有35个仅关注英语，这可能掩盖模型真正的多语言能力。更极端的例子是，波兰语MTEB基准在F2LLM-v2模型提交之前，仅有单个模型有完整的评测结果。许多语言如西班牙语、阿拉伯语、意大利语、印尼语和葡萄牙语甚至没有专用的MTEB基准。第二个问题是透明度缺失。大多数顶级嵌入模型如Gemini-Embedding和Qwen3-Embedding要么是闭源API，要么只开放权重而不公开训练数据和方法论，这严重阻碍了可复现性和对构建真正通用嵌入系统的集体理解。

本文的目标是F2LLM-v2旨在同时解决语言包容性和计算包容性两大问题。在语言层面，目标是构建一个支持200多种语言的通用嵌入模型家族，特别关注此前被忽视的中低资源语言，覆盖包括西班牙语、阿拉伯语、意大利语、印尼语、葡萄牙语在内的广泛语言群体。在计算层面，目标是提供从80M到14B共8个不同规模的模型，通过Matryoshka表示学习、模型剪枝和知识蒸馏等技术，确保即使是最小的模型也能在资源受限环境中保持有竞争力的性能。最终目标是通过完全开源模型、数据、代码和中间检查点，推动嵌入模型研究向更加公平和透明的方向发展。

与已有工作不同的是，F2LLM-v2的独特切入角度体现在三个方面。首先，在数据构建上，基于真实世界数据可用性而非基准优化来驱动数据策展，从157个公开来源聚合了6000万训练样本，涵盖282种自然语言和40多种编程语言。与KaLM-Embedding严重偏向英语（49.4%）和中文的数据分布不同，F2LLM-v2的语言分布更加均衡——俄语占6.1%、西班牙语占5.0%、法语占4.3%、德语占3.1%。其次，在方法上，将两阶段LLM嵌入训练流程与模型剪枝和知识蒸馏创新性地结合，实现了远超以往LLM嵌入模型的效率。最后，在透明度上，发布了完整的训练配方、中间检查点和所有关联代码与数据，这在前沿嵌入模型中极为罕见——KaLM-Embedding虽然在训练数据上透明，但仅在Multilingual排行榜上评测，未覆盖对真正全球化应用至关重要的语言特定基准。

核心方法

F2LLM-v2的整体技术路线可以概括为：大规模多语言数据策展→两阶段对比学习训练→模型剪枝与知识蒸馏→Matryoshka表示学习的端到端集成。直观地说，团队首先从157个公开来源汇集了一个涵盖282种语言的6000万样本的训练语料，将其统一为检索、聚类和分类三种对比学习格式。然后采用两阶段训练策略：第一阶段使用2700万样本的检索数据建立稳健的语义基础，第二阶段使用1800万样本的多样化数据精炼模型处理分类、重排序等下游任务的能力。为了实现多规模部署，团队先训练0.6B到14B的五个大模型，然后通过剪枝从0.6B模型获得80M、160M和330M三个小模型，并使用知识蒸馏恢复因剪枝导致的性能损失。所有模型均支持Matryoshka表示学习，允许用户灵活选择嵌入维度。

F2LLM-v2的核心创新在于将三个关键技术系统性地整合到统一框架中。第一是剪枝后知识蒸馏的创新应用——论文发现，简单剪枝后直接训练会导致显著性能下降（如80M模型在350个消融任务上从58.04降至53.37，下降近5个百分点），因此提出使用MSE损失将教师模型的嵌入空间迁移到学生模型，有效弥补了剪枝带来的能力损失。第二是两阶段训练中负样本策略的精心设计：第一阶段使用原始数据不加指令前缀，专注于构建语义基础；第二阶段引入任务特定指令，并对30%的文档和负样本随机应用指令，增强了模型对下游任务的适应性。第三是多规模模型家族的一体化设计——通过统一的Qwen3架构和共享的训练流程，8个规模的模型在从80M到14B的范围内都达到了同等规模的最优性能。与Qwen3-Embedding相比，F2LLM-v2-0.6B在大多数语言特定基准上显著超越了同规模的Qwen3-Embedding-0.6B，例如在韩语上高出5.59个百分点（70.88 vs 65.29），在日语上高出5.79个百分点（73.07 vs 67.28）。

方法步骤详情

F2LLM-v2的训练流程包含以下关键步骤：（1）数据策展：从157个公开来源聚合6000万样本，涵盖282种自然语言和40多种编程语言，所有数据统一为三种格式——检索格式(query, positive, hard negatives)、聚类格式(anchor, positive, negative from different class)和分类格式(text, label, opposite label)；（2）第一阶段训练：使用7个大规模检索数据集（CodeSearchNet、CodeSearchNet-CCR、OpenCodeGeneticInstruct、WebFAQ、MMARCO、CLIRMatrix和ParaCrawl），总计2700万样本，训练5个模型（0.6B到14B），不使用指令前缀，专注于建立语义基础；（3）模型剪枝：从第一阶段的0.6B模型出发，沿隐藏层大小、MLP中间层大小和层数三个维度剪枝得到80M、160M和330M模型，基于激活范数选择要剪枝的权重，层数剪枝则直接保留前n层；（4）知识蒸馏训练：对剪枝后的小模型和0.6B、1.7B模型应用知识蒸馏损失——计算学生和教师在query、document和negatives上的序列嵌入MSE，教师模型分别为0.6B（用于80M-330M）、1.7B（用于0.6B）和4B（用于1.7B）；（5）第二阶段训练：从每个数据源采样最多8万query，生成1800万样本的混合数据，应用任务特定指令，对30%的对称任务文档/负样本随机加指令，所有模型使用AdamW优化器和Matryoshka表示学习（最小维度为8）。

技术新颖性

F2LLM-v2在技术新颖性上主要体现在以下几个方面。首先，它是首个在17个MTEB基准（包括11个语言特定基准）上进行全面评测并提交完整结果的开放嵌入模型家族。在此之前，波兰语基准仅有1个完整提交，这凸显了F2LLM-v2在评测覆盖广度上的开创性。其次，论文系统性地研究了剪枝后知识蒸馏在嵌入模型中的应用，发现简单的前n层保留策略优于基于激活范数变化的层选择方法，且MSE形式的知识蒸馏对所有规模模型都有效——从80M到1.7B分别提升了4.67、4.26、1.78、0.85和0.55个百分点。第三，在多规模模型家族设计上，通过将Matryoshka表示学习贯穿两阶段训练全过程，使得任意规模的模型都能在多个嵌入维度下保持良好性能。例如，330M模型使用完整的896维嵌入时，性能与8B和14B模型使用32维截断嵌入时相当，为用户提供了极大的灵活性。最后，训练数据的语言覆盖范围（282种自然语言）和规模（6000万样本）在开源嵌入模型中是前所未有的。

**Figure 2**: Top-100 natural languages and top-10 programming languages in our training data

**Figure 4**: Task type distribution in our training data

实验结果

F2LLM-v2的实验结果展示了其作为多语言嵌入模型家族的卓越性能和可扩展性。在17个MTEB基准的430个任务上的全面评测中，F2LLM-v2-14B在11个基准上排名第一（Code 80.75、European 69.89、Scandinavian 71.10、Indic 78.85、German 67.02、Polish 75.13、Japanese 79.32、Dutch 66.39、Persian 73.55、Vietnamese 63.56以及平均分71.72），确立了多语言嵌入的新标杆。14B模型在Multilingual基准上得分68.74（排名第6），在English上得分73.08（排名第10），在Code上得分80.75（排名第1），在Medical上得分65.20（排名第2）。较小模型同样表现出色：8B模型平均71.23、4B模型平均70.27、1.7B模型平均68.88、0.6B模型平均66.45。与同规模的Qwen3-Embedding和EmbeddingGemma对比，F2LLM-v2-330M在大多数语言特定基准上大幅领先EmbeddingGemma-0.3B，例如Indic上66.92 vs 66.11、German上61.61 vs 56.28、Korean上68.70 vs 58.24。F2LLM-v2-0.6B同样在多数基准上超越Qwen3-Embedding-0.6B，最显著的差距出现在Korean（70.88 vs 65.29，+5.59）和Japanese（73.07 vs 67.28，+5.79）。消融实验证实知识蒸馏对所有规模模型均有显著贡献：80M模型提升4.67个百分点（58.04 vs 53.37），160M提升4.26（60.53 vs 56.27），330M提升1.78（64.55 vs 62.77），0.6B提升0.85（66.72 vs 65.87），1.7B提升0.55（69.13 vs 68.58）。MRL评估显示性能随嵌入维度平滑增长，最关键的语义信息集中在低维度（8到128），高维度则补充更细粒度的细节。

**Table 1**: F2LLM-v2 model and training configurations

**Table 2**: Performance of F2LLM-v2 on 17 MTEB benchmarks and their rankings

**Table 3**: Comparison of our models with EmbeddingGemma and Qwen3-Embedding

**Table 4**: Ablation results on knowledge distillation

**Figure 1**: The top six models on ten language-specific MTEB leaderboards

**Figure 5**: Results of evaluating F2LLM-v2 models at different representation sizes

查看结构化数据

任务	指标	本文	基线	提升
MTEB-Multilingual（131任务）	平均分	F2LLM-v2-14B: 68.74	前SOTA约68+	排名第6，但14B在11个其他基准上排名第一
MTEB-Code（12任务）	平均分	F2LLM-v2-14B: 80.75	所有已提交模型	排名第1，代码嵌入SOTA
MTEB-European（73任务）	平均分	F2LLM-v2-14B: 69.89	所有已提交模型	排名第1，欧洲语言嵌入SOTA
MTEB-Indic（20任务）	平均分	F2LLM-v2-14B: 78.85	所有已提交模型	排名第1，印度语言嵌入SOTA
MTEB-Polish（17任务）	平均分	F2LLM-v2-14B: 75.13	此前仅1个完整提交	排名第1，填补了波兰语嵌入评测的空白
MTEB-Japanese（28任务）	平均分	F2LLM-v2-14B: 79.32	所有已提交模型	排名第1，日语嵌入SOTA
F2LLM-v2-0.6B vs Qwen3-Embedding-0.6B（MTEB-Korean）	平均分	F2LLM-v2-0.6B: 70.88	Qwen3-Embedding-0.6B: 65.29	+5.59个百分点
F2LLM-v2-330M vs EmbeddingGemma-0.3B（MTEB-Korean）	平均分	F2LLM-v2-330M: 68.70	EmbeddingGemma-0.3B: 58.24	+10.46个百分点
知识蒸馏消融（80M模型，350任务）	平均分	有蒸馏: 58.04	无蒸馏: 53.37	+4.67个百分点
F2LLM-v2-0.6B vs Qwen3-Embedding-0.6B（MTEB-Japanese）	平均分	F2LLM-v2-0.6B: 73.07	Qwen3-Embedding-0.6B: 67.28	+5.79个百分点

局限与改进

尽管F2LLM-v2取得了显著成果，论文和我观察到的局限性包括以下几个方面。首先，三个最大的模型（4B、8B、14B）由于资源约束未应用知识蒸馏，这意味着它们的性能可能还未达到最优——消融实验显示知识蒸馏对较小模型的提升高达4.67个百分点，如果资源允许，大模型也可能从中受益。其次，F2LLM-v2-14B在Multilingual基准上排名第6而非第1，这表明在综合多语言评测上仍有提升空间，可能与英语中心的任务占比（131个任务中35个仅针对英语）有关。第三，在某些特定基准上表现相对不够突出，例如English基准上14B仅排名第10（73.08），Medical基准上排名第2（65.20），Chinese基准上排名第21（68.24），说明在英语和中文这些高资源语言上与最顶尖模型仍有差距。第四，训练数据虽然号称282种语言，但论文承认主要是基于真实世界数据可用性而非均衡采样，这可能导致极低资源语言的实际训练样本极少，模型在这些语言上的实际效果存疑。最后，论文在评测中使用了固定的提示模板，未探索不同提示策略对多语言性能的影响。

独立分析的弱点

F2LLM-v2存在以下几个值得改进的弱点。首先，剪枝策略相对简单——对于层数维度，论文直接保留前n层，虽然实验表明这优于基于激活范数变化的方法，但这种做法假设浅层特征对所有任务同等重要，可能不是最优的。可以探索更精细的层重要性评估方法，或采用渐进式剪枝与微调交替进行的策略。其次，知识蒸馏仅使用MSE损失衡量嵌入空间的匹配，这是一种相对粗糙的度量方式。可以考虑引入基于排序的蒸馏损失（如保留教师模型在top-k检索中的排序关系），或使用对比式蒸馏损失来更好地传递教师的语义区分能力。第三，第二阶段训练中对30%的对称任务文档/负样本随机加指令是固定的超参数，未进行充分的消融研究来确定最优比例，这个比例可能因任务类型和语言而异。第四，虽然论文强调多语言覆盖，但训练数据的语言分布仍不均衡——俄语占6.1%、中文占相当比例，而许多低资源语言可能仅占万分之几。可以探索基于语言的采样策略或数据增强技术来提升低资源语言的表现。

未来方向

基于F2LLM-v2的成果，未来研究可以沿以下方向展开。第一，将知识蒸馏技术扩展到4B、8B和14B等大模型上，消融实验已证明其有效性，资源允许时应能进一步提升大模型性能。第二，探索更先进的剪枝技术如结构化剪枝、动态剪枝或神经架构搜索（NAS），以获得更优的小模型架构。第三，研究跨语言迁移学习——利用高资源语言的知识来增强低资源语言的嵌入质量，例如通过跨语言对齐或语言适配器。第四，扩展评测覆盖范围，目前MTEB仍有许多语言没有专用基准（如西班牙语、阿拉伯语、意大利语等），建立这些基准对于推动真正的全球化嵌入研究至关重要。第五，探索F2LLM-v2在特定领域的应用，如医疗（Medical基准排名第2）、法律、金融等垂直场景的微调和适配。第六，研究更高效的训练方法来降低6000万样本的训练成本，使得研究社区更容易复现和改进。最后，将F2LLM-v2的训练方法论应用到其他模态（如图像、多模态）的嵌入模型中。

复现评估

F2LLM-v2在可复现性方面做出了显著努力，是其最重要的贡献之一。论文明确表示发布所有模型、数据、代码和中间检查点，代码仓库位于github.com/codefuse-ai/CodeFuse-Embeddings，模型权重发布在HuggingFace的codefuse-ai/f2llm集合中。这包括8个不同规模的模型（80M到14B）、两个训练阶段的中间检查点、以及完整的训练配方。然而，复现仍面临一些挑战：6000万样本的训练需要巨大的计算资源，论文未详细披露具体的GPU小时数和硬件配置；157个公开数据源的具体列表和处理流程在附录中提供，但实际的数据清洗和统一可能需要大量工程工作；Qwen3基座模型本身也需要一定的预训练资源。总体而言，对于拥有足够计算资源的研究团队，F2LLM-v2提供了充足的复现信息；对于资源有限的团队，可以直接使用发布的小模型（如330M或0.6B）或基于中间检查点进行微调。

F2LLM-v2：面向多语言世界的包容、高性能、高效文本嵌入模型 F2LLM-v2: Inclusive, Performant, and Efficient Embeddings for a Multilingual World