面向低资源语言的大规模语义关系数据集生成混合协议：土耳其语语义关系语料库 A Hybrid Protocol for Large-Scale Semantic Dataset Generation in Low-Resource Languages: The Turkish Semantic Relations Corpus
混合聚类+LLM+词典构建84万条土耳其语语义对，成本仅$65
前置知识
FastText词嵌入
FastText是Facebook于2016年提出的词嵌入模型，与Word2Vec不同之处在于它将词拆分为字符n-gram子词（subword），然后对子词向量求和得到词向量。这种设计使得FastText能够为训练语料中未出现的词（OOV词）生成有意义的向量表示，尤其适合形态丰富的语言如土耳其语——一个词根可通过添加数十种后缀派生出数百个合法词形，FastText的子词机制能捕捉到这些形态变体之间的语义相似性。论文使用的是Facebook预训练的土耳其语模型cc_tr_300，维度为300。
理解FastText的子词特性是理解本文Phase I的核心前提，正是这一特性使得11万个土耳其语词条都能获得有效的向量表示，从而支撑后续的聚类操作。
凝聚层次聚类（Agglomerative Clustering）
凝聚层次聚类是一种自底向上的聚类算法：初始时每个数据点自成一簇，然后迭代地将距离最近的两个簇合并，直到满足停止条件。本文采用余弦距离作为度量标准，距离公式为 $d(u, v) = 1 - \frac{u \cdot v}{\|u\|\|v\|}$，并设定阈值0.4作为合并停止条件。这个相对宽松的阈值意味着聚类结果偏向主题相关性（topical relevance）而非严格的同义关系——同一簇中可能包含同义词、反义词和共下义词，这恰恰为后续LLM的三分类任务提供了合适的语境上下文。
聚类是连接词嵌入与LLM语义分类之间的桥梁，理解聚类的宽松策略有助于理解为什么Phase II能工作——LLM需要簇内词表作为上下文来判断语义关系，而非单独处理每对词。
语义关系三分类
本文将词对间的语义关系分为三类：同义词（synonym），即含义完全相同、可100%互换的词对，如sözleşme↔mukavele（合同）；反义词（antonym），即语义完全对立的词对，如alıcı↔satıcı（买家/卖家）；共下义词（co-hyponym），即共享上位概念但具体含义不同的词对，如hukuk↔ceza（民法/刑法，都是法律的下位类）。这种三分类设计既符合语言学理论，又支持判别式学习——模型需要区分严格的语义等价和宽泛的主题相似性。
三分类是本文数据集的核心标注方案，也是下游分类模型的任务目标。理解这三类关系的定义和边界对于理解数据质量评估和模型性能至关重要。
对比学习与CMNRL损失
对比学习（Contrastive Learning）是一种通过拉近正样本对、推远负样本对来学习高质量表征的训练范式。本文使用的缓存多重负例排序损失（Cached Multiple Negatives Ranking Loss, CMNRL）是MNR损失的扩展版本，其核心思想是利用前序批次的梯度缓存来扩充负样本集合，从而在内存受限的设置下实现大批量训练。损失函数形式为 $\mathcal{L}_i = -\log \frac{e^{\text{sim}(u_i, v_i)/\tau}}{e^{\text{sim}(u_i, v_i)/\tau} + \sum_{j \in B \setminus \{i\} \cup C} e^{\text{sim}(u_i, v_j)/\tau}}$，其中 $B$ 为当前批次，$C$ 为缓存的负例集合，$\tau=0.07$ 为温度参数。
CMNRL是本文训练嵌入模型的核心损失函数，理解其工作原理有助于理解为什么嵌入模型能在仅55K样本上达到90%的top-1检索准确率。
LLM-as-Data-Generator范式
近年来兴起的一种数据集构建思路：利用大语言模型（如GPT-4、Gemini等）的强大世界知识和多语言能力，通过精心设计的提示词（prompt）让LLM自动生成训练数据。与传统的人工标注或众包方式相比，LLM生成具有成本低、速度快、可扩展性强的优势。本文使用Gemini 2.5-Flash作为生成模型，其API定价为每百万输入token $0.075，处理全部13,000个簇仅花费约$65。关键挑战在于如何通过prompt设计确保生成质量——本文通过严格的分类规则、黄金法则和结构化JSON输出要求来控制生成质量。
这是本文方法论的核心支柱之一，理解LLM-as-Data-Generator范式有助于评估本文方法的可推广性和成本效益。
研究动机
土耳其语拥有超过8800万母语使用者，但缺乏与英语WordNet等资源可比的全面语义关系数据集。这一缺失严重阻碍了语义解析系统、词义消歧工具和语义相似度模型等核心NLP应用的发展。现有资源如Turkish Tree Bank（Ehsani et al., 2018）通过统计机器翻译从英语WordNet投影构建，既继承了源资源的概念组织方式，也继承了潜在的文化偏见；KeNet（Bakay et al., 2021）虽然采取了更本土化的方法，从土耳其语词典和语料出发构建，但仅有约8万个同义词集，覆盖范围有限，主要涵盖通用词汇，对法律、医学、技术等专业领域的术语覆盖不足。土耳其语的形态丰富性进一步加剧了数据稀缺问题——一个词根可以通过生产性后缀派生出数百个合法词形，需要远超分析语的词汇量才能实现等效覆盖。人工标注大规模数据的成本对于学术研究预算而言过于高昂，这使得构建百万级训练样本的需求难以满足。
本文的目标是本文的具体目标是设计一种可扩展的混合协议，以极低成本（约$65）大规模生成高质量的土耳其语语义关系数据集。目标数据集需要覆盖三种语义关系类型（同义词、反义词、共下义词），规模达到数十万级别，并通过下游任务验证其实际效用。具体而言，作者希望：（1）构建包含至少80万个标注语义对的语料库；（2）训练出检索准确率达到90%的嵌入模型和F1-macro达到90%的分类模型；（3）设计一种可推广到其他低资源语言的方法论框架。
与已有工作不同的是，本文的独特切入角度在于将三种互补技术——基于嵌入的聚类、LLM语义分类、词典验证——有机融合为一个统一的生成管线。与纯手工标注相比，该方法大幅降低了成本；与纯LLM生成相比，聚类提供的语义上下文提升了生成质量；与纯词典方法相比，LLM的扩展能力突破了词典的覆盖限制。这种'聚类提供语境、LLM提供知识、词典提供锚点'的三阶段设计是本文的核心创新，它将大规模自动化与显式质量控制相结合，填补了低资源语言语义资源构建领域的关键空白。此外，共下义词（co-hyponym）这一类别的引入也是现有土耳其语资源中所缺乏的——它捕捉了共享上位概念但非严格同义的关系，对于需要同时建模相似性和特异性的下游模型具有重要价值。
核心方法
本文的方法论分为三个顺序执行的阶段，每个阶段针对大规模语义关系数据构建中的特定挑战。整体直觉是：先用词嵌入和聚类将散乱的词汇组织成语义相关的簇（提供上下文），再让LLM在簇内进行精细的语义关系分类（提供知识），最后用词典数据进行验证和增强（提供锚点）。Phase I是'语境准备'阶段，从专家整理的77,000个法律术语出发，通过NER增强扩展到110,000个词条，然后用FastText嵌入和凝聚层次聚类生成约13,000个语义簇。Phase II是'LLM语义丰富'阶段，使用Gemini 2.5-Flash对每个簇内的词对进行三分类标注。Phase III是'整合与格式化'阶段，将LLM生成的约827,000对数据与词典验证的16,000对高置信度数据合并，输出为统一的JSONL格式。整个流程如Figure 1所示。
本文的核心创新在于将聚类作为LLM语义分类的'语义脚手架'（semantic scaffolding）。已有的LLM数据生成方法通常独立处理每个样本，而本文让LLM同时看到一个语义簇中的所有相关词，从而能够利用簇内的共现关系和主题结构来做出更准确的分类判断。这种设计的直觉是：人类语言学家判断词义关系时，也需要将相关词汇放在一起来对比分析；聚类恰好模拟了这一过程。此外，距离阈值0.4的宽松策略是关键设计选择——它不过度追求簇内的语义纯度，而是让反义词和共下义词也能进入同一簇，这样LLM才能在一个簇内同时发现多种语义关系。与counter-fitting等后处理方法不同，本文的三分类方案通过监督学习直接编码了同义/反义的区分，不需要手工编写的约束集。
方法步骤详情
Phase I（语境准备）的输入是77,000个专家整理的法律术语，首先通过NER系统从法律语料中提取额外术语，扩展到110,000个唯一词条。然后使用Facebook预训练的FastText土耳其语模型（cc_tr_300，300维）为每个词条生成向量表示，多词表达式取组成词向量的均值。接着在嵌入空间上应用凝聚层次聚类，使用余弦距离 $d(u, v) = 1 - \frac{u \cdot v}{\|u\|\|v\|}$，阈值设为0.4，生成约13,000个语义簇（大小从2到50+个词不等）。Phase II（LLM语义丰富）的输入是这些聚类结果，使用Gemini 2.5-Flash通过精心设计的系统提示词（Figure 3）对每个簇内的词对进行三分类：同义词（含义完全相同、100%可互换）、反义词（语义完全对立）、共下义词（共享上位概念但具体含义不同）。簇通过Gemini API进行批量处理，使用多进程并行化，总成本约$65。后处理步骤包括去除自同义词、去重、Unicode归一化和JSON结构验证，产出约827,000对标注数据。Phase III（整合与格式化）将外部土耳其语同义词词典（约20,000条目）经严格过滤（仅保留头词最多2个同义词候选的条目）后得到16,000对高可靠数据，与LLM生成数据合并，最终输出842,946对，格式为JSONL：{"sentence1": "term_A", "sentence2": "term_B", "label": "synonym|antonym|co_hyponym"}。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在方法论层面，'聚类→LLM→词典'的三阶段混合管线是首次将嵌入聚类作为LLM语义分类的上下文提供机制，这种设计充分利用了聚类的可扩展性和LLM的知识丰富性。其次，在标注策略层面，引入共下义词（co-hyponym）作为第三类语义关系，填补了现有土耳其语资源的空白——传统资源通常只关注同义词和反义词，忽略了'同一上位概念下的不同下位类'这一重要关系维度。第三，在成本效益方面，整个数据集生成仅花费$65，实现了10倍于现有资源的规模提升（843,000对 vs. KeNet的约80,000个同义词集）。第四，在下游验证方面，作者不仅报告了嵌入模型的检索准确率（90%）和分类模型的F1-macro（90%），还进行了系统的模型选型实验——在分类任务中比较了6个候选模型（TurkEmbed4STS、modernbert-base-tr、mpnet、bert-base-turkish-128k、turkish-e5-large、multilingual-e5-large），最终选定turkish-e5-large（560M参数），并展示了详细的训练配置和per-class性能。这种严谨的实验设计增强了方法论的可信度。
实验结果
本文的核心实验结果可从数据集统计、嵌入模型和分类模型三个维度来分析。数据集层面，最终语料库包含842,946个唯一语义对，其中共下义词占71.96%（606,612对）、同义词占17.60%（148,367对）、反义词占10.44%（87,967对）。LLM合成数据占98.10%，词典数据占1.90%。文本统计显示平均词数约2.0，平均token长度11.04，最大token长度37，类型-词比（TTR）仅为0.02，表明数据集具有高度互联的成对结构——同一锚词参与多个不同的语义关系。嵌入模型层面，在7个候选模型中，multilingual-e5-large（v1）表现最优，在55,000个测试样本上达到90%的top-1同义词检索准确率。分类模型层面，经过两阶段实验（先在6个模型中选型，再在升级硬件上精调），turkish-e5-large以0.87 F1-macro胜出（Phase 1），最终在NVIDIA L40S上精调后达到0.90 F1-macro（Phase 2）。详细的per-class结果显示：同义词precision 0.76、recall 0.90、F1 0.83；反义词precision 0.91、recall 0.93、F1 0.92；共下义词precision 0.93、recall 0.95、F1 0.94。值得注意的是，少数类（同义词）尽管仅占训练数据的17.60%，仍达到了0.83的F1分数，这表明加权损失函数成功缓解了类别不平衡问题。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 同义词检索（Synonym Retrieval） | Top-1 Retrieval Accuracy | 90% | 无直接基线（新任务） | 首个大规模土耳其语语义检索基准 |
| 语义关系分类（Three-way Classification） | F1-Macro | 0.90 | 无直接基线（新数据集） | 首个基于84万对数据训练的土耳其语语义分类模型 |
| 分类模型选型（Phase 1） | F1-Macro | 0.87（turkish-e5-large） | 0.79（modernbert-base-tr，最差候选） | +10.1%相对提升 |
局限与改进
作者在论文中坦诚地指出了多项局限性。首先是领域偏见：数据集主要基于法律领域词汇构建，约4-5%的实例包含在土耳其法律实践中常用的外语法律术语（如英语或法语表达）。这意味着在该数据上训练的模型可能在口语化或会话性土耳其语上表现不佳。其次是合成数据比例过高：约98%的数据由LLM生成，虽然人工评估显示质量较高，但LLM特有的偏见可能传播到下游模型。第三是静态资源问题：数据集代表的是截至2025年的术语快照，法律和技术词汇会随时间演变，需要定期更新。第四是形态覆盖不足：虽然词条包含各种形态形式，但未系统性地扩展土耳其语后缀变化的完整范式——例如'karar'（决定）可能没有其所有屈折形式（kararları、kararında等）。此外，笔者注意到一些额外局限：作者未报告人工标注者的一致性指标（如Cohen's Kappa），这使得LLM生成质量的评估缺乏客观基准；嵌入模型的训练仅使用了约55,000个样本和8个epoch（RTX 3060，12GB显存），可能存在欠拟合风险；分类模型的同义词类precision仅为0.76，远低于其他两类，说明模型在区分同义词与共下义词方面仍有改进空间。
独立分析的弱点
独立分析本文的弱点，可以发现以下几个方面有待改进。第一，类别不平衡处理不够充分：共下义词占71.96%，同义词仅占17.60%，尽管使用了加权损失函数，但同义词类的precision仅为0.76，远低于反义词的0.91和共下义词的0.93。改进方向包括采用更激进的过采样策略（如SMOTE）、对比学习中的hard negative mining，或在损失函数中引入focal loss以更关注困难样本。第二，聚类阈值的选择缺乏消融实验：作者直接设定余弦距离阈值为0.4，但未系统研究不同阈值（如0.3、0.5）对下游任务性能的影响。改进方向是进行阈值敏感性分析，找到最优的聚类粒度。第三，LLM生成质量缺乏独立验证：虽然作者提到进行了人工评估，但未报告具体的评估方法、样本量和一致性指标。改进方向是引入多人标注的gold standard子集，计算LLM生成结果与人工标注之间的Cohen's Kappa。第四，嵌入模型的训练数据选择可能存在问题：作者发现将共下义词作为hard negatives反而降低了性能，但未深入分析原因——可能是因为共下义词与同义词在嵌入空间中的分布重叠过大，导致对比学习的信号模糊。改进方向是探索curriculum learning策略，先在易区分的负样本上训练，再逐步引入困难负样本。第五，词典验证数据的过滤策略可能过于保守：仅保留头词最多2个同义词候选的条目，排除了大量可能正确的多义词同义关系，16,000对仅占最终数据的1.90%，锚点作用有限。
未来方向
作者和本文成果可延伸出多个研究方向。作者明确提出的包括：（1）将该混合协议应用到其他低资源语言——Phase I只需要FastText嵌入（已有157种语言可用）和标准聚类算法，Phase II需要具有目标语言能力的LLM（通过多语言模型日益可用），Phase III需要词典资源（广泛可用），估计成本在$50-100之间；（2）定期更新数据集以反映法律和技术词汇的演变。基于本文成果可延伸的方向包括：（1）将该方法应用到更多语义关系类型，如上下位关系（hypernymy/hyponymy）、部分-整体关系（meronymy）、因果关系等；（2）探索多语言联合建模——利用本文数据集与其他语言的语义资源进行跨语言迁移学习；（3）研究聚类质量与LLM生成质量之间的关系——是否可以通过改进聚类算法（如使用图神经网络社区发现）来提升下游生成质量；（4）将该数据集用于训练更强大的土耳其语语言模型，特别是在法律NLP领域；（5）探索active learning策略，让LLM优先处理聚类边界模糊的簇，以最小化API调用成本最大化数据质量。
复现评估
本文在可复现性方面表现较好。作者明确声明将在论文被接受后公开发布数据集和训练模型。方法论的三个阶段都有清晰的技术规格：Phase I使用Facebook预训练的FastText土耳其语模型（cc_tr_300，公开可用）和标准的凝聚层次聚类（sklearn等库可直接实现）；Phase II使用Gemini 2.5-Flash API（Google公开服务），系统提示词已在论文Figure 3中完整给出；Phase III使用的土耳其语同义词词典虽未明确给出下载链接，但书名《Türkçe Eş Anlamlılar Sözlüğü》可供检索。训练配置详细记录在Table 2和Table 4中，包括学习率 $3 \times 10^{-5}$、批大小128、温度参数 $\tau=0.07$、最大序列长度（512/64）、精度（BF16）、硬件（RTX 3060 / L40S）等。主要的复现难点在于：（1）77,000个法律术语的初始词表是专家多年积累的成果，外部研究者难以完全复现；（2）NER增强使用的NER系统来自作者先前的信息提取工作，未提供预训练权重或详细训练流程；（3）Gemini API的定价和行为可能随时间变化，复现时的成本和结果可能略有不同。总体而言，如果获得公开发布的数据集和模型，复现本文的核心实验是可行的。
论文图表
该图展示了Phase II中用于Gemini 2.5-Flash的完整系统提示词。提示词包含：关系类型定义（同义词/反义词/共下义词的精确定义和示例）、黄金法则（严格同义判定、无不确定分类、自由扩充、结构化输出、无自同义词）、输出格式要求（JSON对象映射每个词到其三类关系）。
该提示词是Phase II的核心技术资产，其设计直接决定了LLM生成数据的质量。理解提示词的设计思路（如'严格同义性'规则、'自由扩充'指令）对于评估方法的可推广性至关重要。
该图展示了Phase I中用于NER增强的系统提示词。提示词定义了四类实体（概念/术语/事件/事实）的精确定义、分析规则（排除日常用语、专有名词、连词代词等）和技术规则（逐字符原文提取、不重复、不添加推断）。
该提示词是理解Phase I术语扩展过程的关键——正是通过这个NER系统，初始的77,000个法律术语扩展到了110,000个。理解NER的分类标准有助于评估扩展后词汇的质量和覆盖范围。