超越余弦相似度：驯服1500万节点土耳其语同义词语义漂移与反义词入侵 Beyond Cosine Similarity: Taming Semantic Drift and Antonym Intrusion in a 15-Million Node Turkish Synonym Graph
构建千万级土耳其语同义图，解决反义词入侵与语义漂移
前置知识
语义漂移 (Semantic Drift)
语义漂移是指在同义词图谱构建过程中，通过传递性链接将语义上不相关的词汇错误地连接在一起的现象。例如，论文中给出的经典案例：Sıcak（热）→ Acı（辣）→ Acı（痛苦）→ Üzüntü（悲伤）→ Depresyon（抑郁），每一步的相似度都很高，但最终将完全不同的概念连接在一起。这种现象在基于图的聚类方法中尤为严重，因为传统的连通分量或层次聚类方法无法区分这种虚假路径与真正的同义关系。
理解语义漂移是理解本文核心问题的关键。如果不解决语义漂移，构建的同义词语义图将包含大量错误的同义关系，严重影响下游应用的质量。
反义词入侵 (Antonym Intrusion)
反义词入侵是指在基于嵌入相似度的同义词提取中，反义词因为出现在相似的上下文中而被错误地归类为同义词。例如，hot和cold在嵌入空间中的距离可能很近，因为它们经常出现在相同的语境中（如天气描述）。当使用高余弦相似度阈值（如大于等于0.85）筛选同义词时，这些反义词会被错误地包含进来。这是分布语义学的一个根本性缺陷，因为词嵌入模型优化的是分布相似性，而非真正的语义等价关系。
反义词入侵是构建高质量同义词资源的主要障碍。本文的核心贡献之一就是提出专门的分类器来解决这个问题，因此理解这个问题的本质对理解论文至关重要。
词嵌入 (Word Embeddings)
词嵌入是将词汇映射到低维连续向量空间的技术，使得语义相似的词在向量空间中距离较近。本文使用的是基于Transformer的句子嵌入模型，特别是multilingual-e5-large（XLM-RoBERTa架构，560M参数）。这些模型通过对比学习训练，使用CachedMultipleNegativesRankingLoss损失函数，温度参数τ=0.07。输出嵌入经过L2归一化，使用余弦相似度计算距离。
词嵌入是本文方法的基础，理解嵌入模型的工作原理和局限性（特别是无法区分同义词和反义词）是理解本文动机的关键。
对比学习 (Contrastive Learning)
对比学习是一种通过拉近正样本对、推远负样本来学习表示的方法。本文在训练语义编码器时使用了CachedMultipleNegativesRankingLoss，这是一种高效的对比学习损失函数，通过缓存之前的批次作为负样本来提高采样效率。损失函数公式为 L_contrastive = -log(exp(sim(q,p+)/τ) / Σ exp(sim(q,pi)/τ))，其中τ=0.07是温度参数。
对比学习是训练语义编码器的核心技术，理解其工作原理有助于理解本文如何获得专门针对同义词优化的嵌入模型。
软聚类与硬聚类 (Soft/Hard Clustering)
硬聚类要求每个数据点只能属于一个簇，而软聚类允许数据点同时属于多个簇。本文提出的两阶段方法结合了两者：第一阶段（扩展）使用软聚类，允许词汇同时参与多个候选簇以反映多义性；第二阶段（缩减）通过拓扑投票将软分配转换为硬分配，确保每个词最终只属于一个语义连贯的簇。这种设计既保留了多义词的信息，又避免了传统硬分区方法（如Louvain）强制将多义词分配到单一簇的问题。
软到硬的聚类策略是本文的核心创新之一，解决了传统社区检测算法无法处理多义词的根本问题。
FAISS向量检索
FAISS（Facebook AI Similarity Search）是用于高效相似性搜索的库。本文使用FAISS处理1500万词的相似性搜索问题，通过8位标量量化（SQ8）将60GB的向量压缩到15GB（4倍压缩），并构建倒排文件（IVF）索引，将搜索空间划分为16384个Voronoi单元。查询时只搜索查询向量附近的单元，将计算复杂度从O(N)降低到约O(log N)。
FAISS是实现大规模相似性搜索的关键技术，没有它，处理1500万词的225万亿次比较是不可能的。
研究动机
神经嵌入模型存在一个众所周知的盲点：它们无法可靠地区分同义词和反义词。这是因为词嵌入模型（如word2vec或基于对比学习的模型）优化的是分布相似性，将多种语义关系压缩到单一的连续度量中。反义词和同义词在嵌入空间中往往占据邻近区域，因为它们出现在几乎相同的语言语境中，仅仅在隐含的否定或对立上有差异。这个问题在使用高相似度阈值（如余弦相似度大于等于0.85）构建同义词数据库时尤为严重，因为这样的阈值往往会引入反义词或广泛相关的词作为假阳性。在大规模场景下，两个因素进一步加剧了语义模糊性：首先，基于模块度的方法（如Louvain和Leiden）施加硬分区，强制多义词进入单一簇（例如土耳其语的yüz既是脸也是100）；其次，传递性链会产生语义漂移，将局部合理的链接连接成语义上相距甚远的概念。这些困难在形态丰富的非英语环境中被放大，土耳其语特别缺乏类似WordNet或BabelNet的大型机器可读同义词资源。
本文的目标是本文的具体目标是构建一个大规模、高质量的土耳其语同义词语义图，能够可靠地区分真正的同义关系与其他语义关系（特别是反义词和上下位词）。具体而言，系统需要处理约1500万个唯一词汇项，评估5.2亿个潜在关系，最终生成290万高精度语义簇。这个资源将支持高精度语义搜索和检索增强生成（RAG），特别适用于形态丰富和低资源语言。论文的三个主要贡献是：（1）构建84.3万标注数据集；（2）训练达到90%宏观F1的三路语义关系判别器；（3）提出解决语义漂移和多义性的新型软到硬聚类算法。
与已有工作不同的是，本文的独特切入角度是将语义消歧、大规模监督和拓扑感知聚类整合为一个统一的方法。与之前的工作不同，本文不依赖全局重塑嵌入空间或固定的词汇约束，而是在大规模消歧数据集上训练显式的语义关系判别器，直接过滤同义词候选，而不是将高相似度等同于同义性。在图级别，本文避免了严格的硬分区和完整的意义归纳，而是采用软到硬的聚类策略，允许临时重叠以反映多义性，然后应用确定性的拓扑投票步骤来解决歧义。与之前的工作不同，本文专门针对形态丰富、低资源的环境，使用LLM增强的监督和基于置信度的图构建，展示了即使在1500万节点的规模下，也可以构建高精度同义图。
核心方法
本文的方法是一个七阶段的处理流水线，每个阶段都针对构建大规模同义词图时遇到的具体挑战而设计。整体思路是：首先通过对比学习训练专门的土耳其语嵌入模型，然后使用FAISS进行大规模相似性搜索生成候选对，接着训练三路分类器来区分同义词、反义词和上下位词，通过置信度过滤和冲突解决减少候选数量，最后使用创新的软到硬聚类算法构建最终的同义词簇。这种方法的核心直觉是：与其依赖单一的相似度阈值，不如训练专门的分类器来显式区分不同的语义关系；与其使用标准的社区检测算法，不如设计能够处理多义性和语义漂移的定制聚类方法。
本文的核心创新点在于三个层面：首先，使用LLM（Gemini 2.5-Flash）生成大规模标注数据集，成本仅65美元，验证了LLM生成标签的可靠性；其次，训练专门的三路语义关系判别器，而不是依赖无监督的相似度阈值；第三，提出两阶段软到硬聚类架构，第一阶段允许软成员资格以反映多义性，第二阶段通过拓扑投票（多数规则、特异性原则、确定性平局打破）解决歧义。与已有方法的本质区别是：本文不假设高相似度等于同义性，而是显式建模语义关系类型；不使用标准的社区检测算法，而是设计了专门处理语义漂移的聚类方法；不依赖大型手动编纂的词汇资源，而是使用LLM增强的监督。
方法步骤详情
方法的七个阶段如下：Phase 1（嵌入模型训练和初始数据生成）：从multilingual-e5-large初始化，使用对比学习在土耳其语同义词对上微调，同时使用FastText嵌入进行聚类，通过Gemini 2.5-Flash生成82.7万标注对，并整合1.6万字典条目。Phase 2（大规模候选生成）：使用FAISS处理1500万词，通过SQ8量化压缩向量，构建IVF索引（16384个Voronoi单元），对每个词检索top-100邻居，保留余弦相似度大于0.70的对，生成约13亿候选对。Phase 3（语义关系分类）：训练三路分类器，输入为[CLS] term1 [SEP] term2 [SEP]，使用加权交叉熵损失处理类别不平衡，在6个候选模型中选择turkish-e5-large。Phase 4（过滤和冲突解决）：保留标签为同义词且置信度大于0.70的对，验证对称性，移除冲突对，将13亿候选减少到5.2亿。Phase 5（聚类）：第一阶段扩展，按置信度降序排序，使用交集比率阈值大于等于0.51进行软聚类；第二阶段缩减，对多义词应用拓扑投票。Phase 6（父节点选择）：使用字典保证和基于质心的选择。Phase 7（最终输出）：生成290万语义簇的JSON格式输出。
技术新颖性
本文的技术新颖性体现在多个方面：首先，数据集构建方面，使用Gemini 2.5-Flash进行基于聚类的提示合成，结合FastText嵌入的层次聚类生成语义关系标签，这是一种可复现的、成本效益高的方法，可以应用于任何有足够术语资源的语言。其次，分类器设计方面，将语义关系识别视为句子对分类任务，使用加权交叉熵损失处理类别不平衡，其中 w_c = N/(k * n_c) 为欠表示类别分配更高权重。第三，聚类算法方面，提出交集比率阈值 |synonyms(t) 交 members(C)| / |members(C)| > 0.51 来决定词是否加入簇，这个阈值防止弱传递链膨胀簇，同时允许多语境成员资格。拓扑投票的三层次机制（多数规则、特异性原则、ID确定性）是解决多义词的创新方法。
实验结果
本文的核心发现包括：在分类性能方面，最终的turkish-e5-large模型达到90%的宏观F1分数，其中同义词检测83% F1，反义词检测92% F1，上下位词检测94% F1。同义词类别的精确率为76%、召回率为90%，反义词类别精确率91%、召回率93%，上下位词类别精确率93%、召回率95%。在大规模处理方面，系统成功处理了1500万唯一词汇，从约13亿候选对中筛选出5.2亿验证过的同义关系，最终生成290万5071个语义簇。聚类质量方面，中位簇大小为3，平均簇大小为4.58，最大簇大小为86，表明语义漂移得到控制。在模型比较方面，turkish-e5-large（Phase 2训练）达到0.90 F1，显著优于turkish-e5-large（Phase 1训练，0.87）、multilingual-e5-large（0.84）、mpnet（0.83）、TurkEmbed4STS（0.82）、bert-base-turkish-128k（0.81）和modernbert-base-tr（0.79）。LLM生成标签的质量验证表明，基于Gemini 2.5-Flash标签训练的分类器达到90%宏观F1，证明合成数据生成方法的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 三路语义关系分类（同义词/反义词/上下位词） | F1-Macro | 0.90 | 0.87 (turkish-e5-large Phase 1), 0.84 (multilingual-e5-large) | 相对于Phase 1提升3.4%，相对于多语言基线提升7.1% |
| 同义词检测 | F1-Score | 0.83 | 未明确报告 | 精确率76%，召回率90% |
| 反义词检测 | F1-Score | 0.92 | 未明确报告 | 精确率91%，召回率93% |
| 上下位词检测 | F1-Score | 0.94 | 未明确报告 | 精确率93%，召回率95% |
| 大规模同义词图构建 | 聚类数量 | 2,905,071个簇 | 无直接可比基线 | 中位簇大小3，平均4.58，最大86 |
局限与改进
本文的局限性包括：首先，数据集虽然规模大（84.3万对），但主要依赖LLM生成（82.7万对），字典条目仅1.6万对，LLM生成标签的系统性偏差可能被引入。其次，分类器在同义词检测上的F1（83%）明显低于反义词（92%）和上下位词（94%），这表明区分同义词和上下位词仍然具有挑战性，因为它们在嵌入空间中非常接近。第三，聚类算法的交集比率阈值0.51是经验值，缺乏理论分析说明为什么这个值是最优的。第四，系统只处理土耳其语，虽然方法设计为跨语言可迁移，但缺乏在其他语言上的验证。第五，父节点选择策略（97%的簇使用基于质心的选择）可能不是最优的，质心可能不代表簇的语义中心。第六，系统是离线处理的，缺乏动态更新机制来处理术语随时间的演变。第七，评估主要基于分类指标，缺乏对下游任务（如语义搜索、RAG）的端到端评估。
独立分析的弱点
本文的主要弱点包括：首先，数据集构建高度依赖Gemini 2.5-Flash，虽然成本低（65美元），但LLM的系统性偏差可能被引入标注中，特别是对于土耳其语这种对LLM来说可能不是主要训练语言的情况。改进方向是增加人工验证的比例，或者使用多个LLM进行交叉验证。其次，聚类算法的交集比率阈值0.51是硬编码的，缺乏自适应机制。对于不同领域的术语（如法律、医学、技术），最优阈值可能不同。改进方向是开发基于局部图结构的自适应阈值选择方法。第三，系统缺乏处理新词和术语演变的机制，一旦构建完成，同义词图就静态不变。改进方向是开发增量更新算法，只重新计算受影响的部分。第四，评估缺乏与现有土耳其语资源（如KeNet、Turkish-English Parallel TreeBank）的直接比较，难以量化改进的程度。
未来方向
作者提出的未来工作方向包括：将方法扩展到其他形态丰富的语言，整合显式的形态范式扩展，开发动态更新机制以维护术语随时间演变的有效性。基于本文成果可以延伸的研究方向包括：首先，将同义词图谱应用于下游任务的端到端评估，如语义搜索、问答系统和检索增强生成（RAG），量化同义词图谱对这些任务的实际提升。其次，探索将本文的软到硬聚类方法应用于其他需要处理多义性的图聚类任务，如知识图谱构建、本体学习等。第三，研究如何利用同义词图谱改进词嵌入模型本身，形成正反馈循环。第四，开发交互式工具让用户可以手动修正和扩展同义词图谱，结合自动方法和人工智慧。第五，探索将本文的三路分类器扩展为更细粒度的语义关系分类，如因果关系、部分-整体关系等。
复现评估
本文的复现性评估：开源方面，论文提到生成的同义词图以JSON格式提供，但未明确说明代码和数据是否开源。数据方面，论文提供了详细的统计信息（1500万词、13亿候选对、5.2亿验证对、290万簇），但原始数据和中间结果的获取方式不明确。算力方面，训练在NVIDIA L40S上进行，Phase 1在RTX 3060上评估了6个模型，Phase 2在L40S上进行最终训练。FAISS处理1500万词的相似性搜索需要大量GPU内存（15GB SQ8量化向量）。整体复现难度中等：方法的每个阶段都有详细描述，超参数明确，但需要大量计算资源和土耳其语资源。关键的复现挑战包括：Gemini 2.5-Flash的API访问、7.7万专业术语列表的获取、土耳其语同义词字典的获取。
论文图表
展示了两阶段聚类算法的详细步骤：首先按置信度降序排序同义词对，初始化簇集和成员映射。对于每对，如果两个词都未分配则创建新簇，如果交集比率大于0.51则将未分配词加入现有簇。然后对每个有多重成员资格的词应用拓扑投票：1.多数规则（选择共享同义词最多的簇），2.特异性原则（如果平局，选择较小的簇），3.确定性平局打破（如果仍然平局，选择ID最小的簇）。
这个算法是本文的核心创新之一，提供了软到硬聚类方法的完整规范，对理解和复现方法至关重要。