DHPLT：面向语义演变建模的大规模多语言历时语料库与词表示资源 DHPLT: large-scale multilingual diachronic corpora and word representations for semantic change modelling
41种语言的多语言历时语料库与预计算词表示资源
前置知识
词汇语义变化检测（LSCD）
Lexical Semantic Change Detection 是计算语言学的一个子领域，目标是自动检测词语在不同历史时期中含义的变化。例如，英文单词 'AI' 在2010年代主要指游戏中的AI角色，到2024年则主要指LLM和ChatGPT。LSCD方法通常通过比较同一词在不同时间片段的语义表示（如词嵌入向量）来量化变化程度，常用的评估框架包括SemEval 2020 Task 1。
本文的核心目标就是为LSCD研究提供多语言资源，理解这一任务有助于把握论文的定位和贡献。
历时语料库（Diachronic Corpora）
历时语料库是标注了文本创建时间的语料集合，允许研究者按时间维度切分语料并比较不同时期的语言使用模式。与之相对的是共时语料库（Synchronic Corpora），只包含某一特定时间点的文本。传统的历时语料库通常来源于报纸档案、国家图书馆数字化资料等，由语言学家手动标注时间信息。
论文的核心贡献就是构建了大规模历时语料库，理解历时语料库的定义和传统来源有助于理解本文方法的创新之处。
HPLT项目
High Performance Language Technologies 是一个处理互联网爬取数据的开源项目，对Common Crawl和Internet Archive的原始数据进行语言识别、去重、清洗等处理，生成按语言分类的高质量文本数据集。HPLT v3.0是本文使用的具体数据版本，包含198种语言，总规模约50TB，采用Creative Commons CC0许可协议发布。
DHPLT正是基于HPLT v3.0构建的，理解HPLT的数据规模、质量和许可方式是理解本文数据来源的基础。
词嵌入（Word Embeddings）
词嵌入是将词语映射到连续向量空间的技术。静态词嵌入（如word2vec/SGNS）为每个词类型生成一个固定向量；上下文化词嵌入（如BERT、T5、XLM-R）则根据词出现的具体上下文生成不同的向量表示。在LSCD中，通常通过比较同一词在不同时间片段的嵌入向量来度量语义变化。
论文提供了多种类型的预计算词表示（静态word2vec、T5编码器嵌入、XLM-R嵌入、GPT-BERT嵌入），理解这些嵌入的区别是理解论文贡献的关键。
词汇替换（Lexical Substitutes）
词汇替换是指用一个词替换句子中目标词后，句子语义保持不变的词。通过语言模型预测目标词的上下文化替代词，可以得到一种不同于向量嵌入的语义表示方式。例如，对于句子中的'AI'，模型可能预测'chatbot'、'algorithm'等替代词。这种方法在LSCD基准测试和语义变化发现任务中表现良好。
论文为每个目标词提供了预计算的词汇替换结果，这是理解论文资源多样性的必要知识。
Procrustes对齐
Procrustes alignment 是一种将两个不同向量空间对齐到同一坐标系下的数学方法。在LSCD中，由于不同时期的词嵌入模型独立训练，其向量空间的坐标轴方向不同，直接比较向量没有意义。通过对齐技术（如Hamilton et al., 2016提出的方法），可以将不同时期的向量空间映射到统一的参考框架下，使跨时期向量比较成为可能。
论文使用Procrustes对齐将不同时期的静态词嵌入模型对齐，这是构建可比较跨时期词表示的关键技术步骤。
研究动机
当前词汇语义变化检测（LSCD）领域的核心瓶颈在于缺乏大规模、多语言的历时语料资源。经典的SemEval 2020 Task 1仅涵盖英语、德语、拉丁语和瑞典语4种语言；后续虽然有意大利语、希腊语、俄语、挪威语、西班牙语、中文、日语、芬兰语、斯洛文尼亚语等语言的数据集被发布，但总数仍然不超过十余种，且几乎全部集中在印欧语系。这意味着LSCD研究无法覆盖全球语言多样性，尤其无法研究跨语系的语义变化共性与差异。现有的少量历时语料库大多来源于语言学家手工标注的报纸档案或国家图书馆数字化资料，难以规模化扩展到更多语言。此外，对于资源匮乏语言（低资源语言），根本不存在可用的历时语料，这使得语义变化建模长期局限于高资源语言。
本文的目标是本文旨在填补多语言历时语料资源的空白，构建一个覆盖41种语言、横跨12个语系的大规模历时语料库集合DHPLT（Diachronic HPLT）。具体目标包括：（1）基于HPLT v3.0的互联网爬取数据，利用爬取时间戳作为时间信号，为每种语言构建三个时间片段（2011-2015、2020-2021、2024），每个片段包含100万篇文档；（2）为每种语言定义一组目标词集，并提供多种预计算的语义表示（上下文化嵌入、静态词嵌入、词汇替换、词频统计），降低研究者的计算门槛；（3）使LSCD研究者能够立即开展多语言实验，无需自行耗费大量计算资源重新训练模型。
与已有工作不同的是，本文的独特切入角度在于放弃传统历时语料库依赖手工标注时间信息的做法，转而利用互联网爬取时间戳作为文档创建时间的上界。虽然爬取时间戳不等同于文档创建时间（一篇2024年爬取的文档可能包含2001年创建的文本），但这种信号提供了可靠的上界保证——2015年爬取的文档不可能包含2015年之后创建的文本。这种方法虽然牺牲了时间精度，但换取了大规模多语言覆盖的可能性。此外，论文不仅提供原始语料，还提供预计算的多种语义表示和对齐的静态词嵌入模型，这在LSCD资源中是前所未有的——以往的资源要么只提供语料，要么只针对单一语言提供嵌入。
核心方法
DHPLT的构建遵循一条清晰的技术路线：首先从HPLT v3.0的198种语言中筛选满足条件的41种语言，然后为每种语言按三个时间窗口（2011-2015、2020-2021、2024）随机采样100万篇文档构建历时子集。接下来，通过一个目标词选择流程从每种语言的T5模型词表中筛选出高频、属于名词/动词/形容词词性、且使用该语言主要书写系统的词作为目标词集（平均每种语言约18,600个词）。最后，为这些目标词的出现实例预计算多种语义表示：T5编码器嵌入（每词1,000个随机采样实例）、XLM-R嵌入、GPT-BERT编码器嵌入（每词100个实例）、GPT-BERT词汇替换（每词100个实例，每实例取top-15替换词）、XLM-R词汇替换，以及静态word2vec词嵌入模型和词频统计。所有静态词嵌入模型均通过Procrustes对齐技术对齐到第三个时间片段的向量空间。
本文的核心创新在于将互联网爬取时间戳作为大规模多语言历时语料构建的时间信号，这一思路与传统历时语料库依赖手工标注或结构化时间信息的做法有本质区别。传统方法虽然时间精度高，但受限于特定语言的手工标注工作量，难以扩展到数十种语言。本文的方法利用了互联网爬取数据天然携带的时间戳——Common Crawl和Internet Archive的每次爬取都有精确的时间标记——将其作为文档创建时间的上界。这种权衡（时间精度换取语言覆盖度）使得在41种语言上构建标准化历时语料成为可能。另一个关键创新是提供多种类型的预计算语义表示和对齐的嵌入模型，使研究者无需耗费计算资源即可直接开展多语言LSCD实验。
方法步骤详情
DHPLT的构建包含以下步骤：（1）语言筛选：从HPLT v3.0的198种语言中，筛选出每个时间片段都有至少50万篇文档、且存在对应HPLT T5单语编码解码模型的语言，最终得到41种语言。（2）数据提取：为每种语言的三个时间片段分别随机采样100万篇文档（不足100万则采样50万），输出为zstd压缩的JSONL格式文件，总规模约170GB、约590亿词。（3）目标词选择：从每种语言的T5模型词表出发，排除词片段（word pieces）和非词token；统计词频，仅保留在每个时间片段中作为完整词至少出现10次的词；限制为名词、动词、形容词（使用Stanza词性标注器）；确保词的每个字符属于该语言的主要Unicode书写系统；最终每种语言平均约18,600个目标词。（4）词形还原：使用lemmatizer将目标词的不同形态合并为共同词元。（5）语义表示生成：使用HPLT T5模型提取1,000个随机采样实例的编码器嵌入；使用XLM-R提取嵌入；使用GPT-BERT提取100个实例的编码器嵌入和top-15词汇替换；训练SGNS/word2vec静态嵌入模型（窗口10、5轮、5负样本、300维、词表50,000）；使用Procrustes对齐将时期1和2的向量空间对齐到时期3。（6）发布频率统计：计算每个目标词在三个时间片段中的出现次数。
技术新颖性
本文的技术新颖性体现在三个层面。首先，在数据源选择上，利用互联网爬取时间戳替代手工标注时间信息，这是一种全新的历时语料构建范式，使得覆盖41种语言（12个语系）成为可能，远超以往最多十余种语言的规模。其次，在资源提供形式上，论文不仅提供原始历时语料，还提供了六种不同类型的预计算语义表示（T5嵌入、XLM-R嵌入、GPT-BERT嵌入、T5词汇替换、XLM-R词汇替换、静态word2vec模型），以及跨时期对齐的嵌入模型和词频统计，这种一站式的资源提供方式在LSCD领域前所未有。第三，在目标词选择流程上，设计了一套结合词频过滤、词性筛选、书写系统验证和词形还原的标准化流水线，并针对日语（fugashi）、中文（jieba）、泰语（pythainlp）等特殊语言使用专门的分词工具，确保了流程的多语言适用性。
实验结果
论文通过一个'sanity check'实验验证了DHPLT的实用性，追踪了英文'AI'、西班牙文'IA'和俄文'ИИ'在三个时间片段中的语义漂移。从静态词嵌入模型的最近邻分析来看，英文'AI'在2011-2015时期主要与游戏相关词汇相邻（multiplayer、NPCs、RPG、FPS、animations），到2020-2021时期开始与物联网（IoT）、机器人、机器学习等技术概念关联，直到2024年才与LLMs、ChatGPT、generative AI等当前语境词汇紧密相连。西班牙文'IA'呈现几乎相同的轨迹：2010年代关联BETA、PS、jugabilidad（可玩性）等游戏词汇，2020-2021年出现algoritmos（算法）、learning等，2024年出现generativa和ChatGPT。俄文'ИИ'在2011-2015时期甚至因词频过低而未进入词表，2020-2021年关联роботов（机器人）、блокчейн（区块链），2024年关联нейросети（神经网络）和ChatGPT。在T5编码器嵌入的平均成对距离（APD）分析中，英文'ai'的变化最大（时期1→3的APD为0.5646），而法律术语'jurisdiction'和'legislative'变化最小（APD约0.44-0.45），'remote'的变化居中且在时期1→2间最大（APD 0.4586），这与COVID-19期间'remote work'概念兴起高度吻合。GPT-BERT词汇替换分析进一步验证了这些趋势，并揭示了更多细粒度的语义变化，如2024年'AI'的替换词中出现了更多社会影响相关的词汇（elite、censorship、capitalism）而非纯技术术语。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 英语 'ai' 语义变化量化 | 平均成对距离（APD） | 时期1→3: 0.5646；时期1→2: 0.5533；时期2→3: 0.4800 | 无直接基线（资源论文） | 首次在41种语言上提供可比较的语义变化度量基础设施 |
| 英语 'remote' 语义变化量化 | 平均成对距离（APD） | 时期1→2: 0.4586；时期2→3: 0.4548 | 无直接基线（资源论文） | 成功捕捉COVID-19期间语义变化的高峰期 |
| 西班牙语 'ia' 语义变化量化 | 平均成对距离（APD） | 时期1→2: 0.5733；时期1→3: 0.5763；时期2→3: 0.5810 | 无直接基线（资源论文） | 跨语言验证了AI语义漂移的普遍模式 |
| 多语言语料库覆盖 | 语言数量 × 时间片段 | 41种语言 × 3个时间片段 = 123个历时子集 | 此前最多约12种语言 | 语言覆盖度提升约3.4倍 |
局限与改进
论文明确承认了若干局限性。首先，最核心的限制是时间信号的精度问题：爬取时间戳X只是文档创建时间的上界，不保证文档中的文本确实创建于时间X附近。这意味着后期时间片段（如时期3）的语料中可能混入较早期创建的文本，导致语义变化的检测信号被稀释。其次，论文仅提供了部分语义表示类型，且仅针对选定的目标词集而非语料库中的所有词汇，这不可避免地限制了研究的广度。第三，用于生成嵌入的语言模型本身没有引入时间性（temporality），例如2011-2015时期的T5模型的掩码语言建模预测可能包含后来才出现的人名或概念。第四，论文的sanity check实验是定性分析而非系统性的基准测试，未能提供与现有LSCD方法的定量比较。最后，作为资源论文，DHPLT的实用性还需要在完整的语义变化发现任务上进行验证，作者将此留作未来工作。从个人观察来看，web crawl数据的噪声问题（SEO关键词、机器生成文本、价格列表等）虽然HPLT已经做了清洗，但可能仍然影响语料质量；此外，不同语言的文档质量差异可能很大，低资源语言可能更易受语言识别错误的影响。
独立分析的弱点
本文存在几个值得关注的弱点。（1）时间信号精度不足：爬取时间戳仅提供上界，导致不同时期的语料存在时间污染（temporal contamination），时期3的语料中必然包含时期1和2的文档。这会系统性地低估语义变化程度，因为不同时期的语义表示中混入了其他时期的信息。（2）目标词选择偏向高频词：要求每个时间片段至少出现10次的阈值可能排除了新兴词汇和领域专业术语，而这些词恰恰是语义变化研究中最具价值的对象。（3）静态词嵌入模型的训练参数较为简单，未经过系统调优，可能不是最优配置。（4）词汇替换的生成方式（GPT-BERT top-15）可能过于粗糙，无法捕捉细微的语义变化。改进建议包括：引入更精细的时间筛选策略（如利用文档内部的时间线索做二次过滤）；为新兴词汇设计专门的采样策略；系统优化静态嵌入的训练超参数；以及探索更多样的语义变化度量方法。
未来方向
论文作者提出了若干未来研究方向。（1）在DHPLT上开展完整的语义变化发现（Semantic Change Discovery）实验，而非仅限于已知目标词的语义变化量化。（2）采用Fittschen et al. (2025)的方法，在对应时期的数据上预训练时间感知的语言模型，以避免掩码语言建模预测中出现的时间错乱问题。（3）设计更精细的时间分片方案，研究者可以利用论文提供的完整时间戳信息自定义更细粒度的时间窗口。基于DHPLT的多语言特性，还可以延伸出以下研究方向：跨语系的语义变化比较研究（例如比较印欧语系与汉藏语系中'AI'类词汇的变化模式）；利用DHPLT训练多语言语义变化预测模型；将DHPLT与FineWeb 2等其他大规模web语料库结合，构建更大规模的历时资源；以及在DHPLT上评估现有LSCD方法的跨语言泛化能力。
复现评估
DHPLT在可复现性方面表现优秀。所有资源均以Creative Commons CC0许可协议发布，数据地址为 https://data.hplt-project.org/three/diachronic/，按语言分类存储。论文的开源代码仓库（https://github.com/ltgoslo/scdisc_hplt）提供了从原始HPLT数据复现DHPLT的完整流程，研究者可以据此自定义时间分片或其他参数。数据格式为标准的zstd压缩JSONL，包含文档ID、时间戳、文本和质量评分等字段，易于解析。计算资源方面，DHPLT的构建依赖HPLT T5模型、XLM-R、GPT-BERT等多个预训练模型，需要一定的GPU资源，但论文已经提供了预计算的结果，普通研究者可以直接使用而无需重新计算。总体而言，资源的公开性和代码的可用性使得DHPLT的复现和扩展都相当可行。
论文图表