DLT-Corpus：分布式账本技术领域的大规模文本语料库 DLT-Corpus: A Large-Scale Text Collection for the Distributed Ledger Technology Domain
构建2.98亿token的DLT领域最大文本语料库，整合科学文献、专利和社交媒体数据
前置知识
分布式账本技术（DLT）
DLT是一种去中心化系统，通过密码学技术和共识机制在多个对等节点之间记录和同步数据。虽然区块链是最知名的DLT架构，但DLT涵盖更广泛的架构类型，包括平行链、侧链、Holochain和有向无环图（DAGs，如Hashgraph）等。DLT的核心特点包括去中心化、不可篡改性和透明性，这些特性使其成为金融交易、供应链管理等应用的重要基础设施。
论文的核心研究对象是DLT领域的文本资源，理解DLT的基本概念对于把握语料库的构建动机、数据来源选择和应用场景至关重要。
命名实体识别（NER）
命名实体识别是自然语言处理中的基础任务，旨在从非结构化文本中识别和分类预定义类别的实体，如人名、地名、组织名等。在DLT领域，NER需要识别特定领域的实体类型，包括共识机制（如PoS、PoW）、平台名称（如Ethereum、Hedera）和技术概念（如Merkle树、私钥）等。NER通常被评估为序列标注问题，使用精确匹配或模糊匹配标准来衡量识别准确性。
论文使用DLT领域的NER任务作为评估语料库质量的主要指标，因为NER性能直接反映了模型对领域特定术语的学习程度，理解NER有助于评估论文方法的有效性。
领域自适应预训练
领域自适应预训练是指在通用预训练模型的基础上，使用领域特定语料库继续训练的方法。与从头开始训练相比，这种方法利用模型已有的语言知识，通过领域数据的持续学习来适应特定领域的术语和表达模式。研究表明，领域自适应预训练通常优于在领域数据上从头训练，因为它保留了模型的一般语言理解能力，同时获得了领域专业知识，能够在更少的数据和计算资源下实现更好的领域任务性能。
论文使用领域自适应预训练方法构建LedgerBERT模型，选择SciBERT作为初始化点，理解这个概念有助于把握论文的技术路线和为什么选择这种训练策略。
Jensen-Shannon散度
Jensen-Shannon散度（JS divergence）是一种衡量两个概率分布之间相似度的对称指标，它是Kullback-Leibler散度的对称化和平滑版本。JS散度的取值范围在[0, 1]之间，值越大表示两个分布的差异越大，值为0时表示两个分布完全相同。在文本分析中，JS散度常用于比较不同语料库的词汇分布，如果JS散度值较高，说明两个语料库使用的词汇集合和频率分布有显著差异。
论文使用JS散度来量化DLT-Corpus与通用语料库之间的词汇分布差异，通过比较得出DLT-Corpus的领域特异性，理解这个指标有助于评估语料库的质量和领域适应性。
Spearman等级相关系数
Spearman等级相关系数（Spearman's rho）是一种非参数统计量，用于衡量两个变量之间的单调关系强度。它不假设变量服从正态分布，而是基于变量的等级而非原始值计算相关性。Spearman相关系数的取值范围在[-1, 1]之间，值越接近1表示正相关越强，越接近-1表示负相关越强，0表示没有单调关系。p值用于检验相关性的统计显著性，通常p < 0.05认为相关性显著。
论文使用Spearman相关系数分析市场市值与文献产出之间的关系，以及通过滞后相关分析探究研究活动与市场扩张的时间关系，理解这个指标有助于解读论文的实证分析结果。
研究动机
分布式账本技术领域缺乏全面的文本语料库。尽管DLT生态系统已增长至约3万亿美元市值，并引入了稳定币、去中心化交易所（DEX）、自动做市商（AMM）等新概念，但DLT领域的自然语言处理研究仍然局限于任务特定的窄数据集。现有的DLT数据集主要关注加密货币价格预测、交易和智能合约，支持命名实体识别、问答系统和情感分析等下游任务，但未能充分利用科学出版物、专利和技术文档中大量的文本资源。通用语料库如RefinedWeb和C4虽然包含一些加密货币内容，但缺乏领域特异性。这种限制阻碍了检索增强生成（RAG）系统、专利景观监控、协议文档分析和技术趋势检测等实际NLP应用的发展，特别是小型语言模型在专业任务上往往优于通用大模型但需要领域专用数据支持的场景。
本文的目标是构建DLT领域迄今为止最大的领域专用文本集合，整合科学文献、专利和社交媒体等多源数据，为领域特定的自然语言处理研究和创新扩散分析提供基础资源。该语料库应包含丰富的元数据，支持跨学科研究，并确保法律合规性以促进学术和商业应用。同时，开发领域自适应语言模型以展示语料库的实用价值，并通过分析技术扩散模式和市场创新相关性来演示语料库的研究应用潜力。
与已有工作不同的是，本文的独特切入角度在于首次系统性地整合了三类互补的数据源来构建DLT领域语料库：学术和行业出版物提供正式技术知识，专利申请揭示创新轨迹，社交媒体反映社区话语和市场动态。这种多源方法实现了对技术术语和演变中社区语言的全面覆盖，与仅关注单一数据源的现有工作形成鲜明对比。更重要的是，本文不仅提供数据资源，还进行了跨社区的技术扩散分析和市场-创新相关性研究，揭示了DLT领域遵循传统技术转移模式的实证证据，为理解区块链和更广泛的DLT生态系统的创新动态提供了新的视角。
核心方法
论文采用多源数据聚合的方法构建DLT-Corpus，通过整合科学文献、美国专利商标局（USPTO）专利和Twitter/X社交媒体内容来全面覆盖DLT生态系统的技术维度。整体思路是：首先从各数据源收集原始数据并进行预处理，然后使用领域特定的NER模型过滤确保领域相关性，最后通过统计分析验证语料库的领域特异性。在此基础上，通过领域自适应预训练构建LedgerBERT模型，并在领域内的NER任务和跨域的情感分析任务上进行评估，以验证语料库对语言模型开发的实用价值。此外，利用语料库的时间戳元数据进行技术创新扩散分析和市场动态相关性研究，展示语料库在社会科学研究中的应用潜力。
核心创新点在于构建了一个多源、多维度、法律合规的DLT领域语料库，这是DLT领域迄今为止最大的领域专用文本集合。与仅关注社交媒体或智能合约的现有数据集不同，DLT-Corpus整合了37,440篇科学文献、49,023件专利和2200万条社交媒体帖子，总计2.98亿token，涵盖了1978年至2025年的长时期。通过使用361个DLT领域关键词计算词汇密度（每1000词出现43.96次，是通用语料库的8.7倍）和文档覆盖率（98.7%），以及Jensen-Shannon散度（0.39-0.45）量化领域特异性，证明了语料库的领域专属性。技术层面，采用领域自适应预训练而非从头训练，以SciBERT为初始化点进行持续预训练，在DLT特定NER任务上比BERT-base提升23%，同时保持跨域性能不下降。
方法步骤详情
方法步骤包括数据收集、预处理、领域过滤、质量评估和模型训练五个阶段。数据收集阶段，科学文献从Semantic Scholar使用领域特定查询（如"Distributed Ledger Technology"、"Blockchain"、"Hashgraph"、"DAG"、"Consensus Mechanisms"等）获取，初始文档144,843篇；专利从USPTO的US-PGPUB和USPAT数据库检索，聚焦美国专利以确保法律合规；社交媒体整合学术和行业数据源，在Twitter/X 2023年API限制变更前收集，初始帖子28,775,339条。预处理阶段，科学文献使用PyMuPDF4LLM解析PDF为Markdown，用FastText过滤英文内容，剔除过短（<500 token）或过长（>40k token）的文档；社交媒体去除空帖（407条）并去重（25,417,108条唯一），用Lingua过滤英文。领域过滤阶段，对科学文献使用在DLT NER数据集上微调的BERT-base模型预测领域实体，根据每个文档的预测实体数量、最大预测分数和所有实体中位数预测分数保留高质量文档，结合去重和人工审查（移除570篇边缘相关论文），最终得到37,440篇文献。质量评估阶段，从DLT分类法中提取361个关键词，比较DLT-Corpus与RefinedWeb（600B token）和C4（156B token）的词汇分布。模型训练阶段，从SciBERT初始化LedgerBERT，使用Masked Language Model（MLM）目标持续预训练3个epoch，学习率$5 imes 10^{-5}$（线性衰减），MLM概率0.15，预热比例0.10，批量大小12，序列长度512，权重衰减0.01，使用Stable AdamW优化器和bfloat16精度，在单张NVIDIA H100 GPU上训练约68.7 GPU小时。
技术新颖性
技术新颖性体现在多个方面。首先，这是首个DLT领域的大规模多源语料库，科学文献子集覆盖1978-2025年，是DLT领域的首个大规模科学语料库；专利子集覆盖1990-2025年，是DLT领域的首个专利数据集；社交媒体子集是最大的公开可用的DLT社区话语快照。其次，在法律合规性处理上具有创新性，科学文献仅使用开放获取出版物并在元数据中包含许可信息；专利数据基于USPTO明确声明专利文本通常不受版权限制的条款；社交媒体数据在平台条款变更前收集，移除用户名以保护隐私，遵循GDPR原则进行数据最小化。第三，技术创新扩散分析提供了实证证据，通过跟踪稳定币、DEX和AMM在三类数据源中的出现时间，发现技术概念首先出现在科学文献中，然后传播到专利和用户社区，遵循传统技术转移模式，科学出版物领先市场扩张两年（$ ho=0.95, p<0.001$）。第四，采用众包标注而非LLM标注构建情感分析数据集，避免了LLM标注可能引入的系统偏差和统计操纵风险，23,301个加密货币新闻标题和简述由活跃社区成员投票标注，使用百分位数分类方法减轻流行度偏差。
实验结果
论文通过多项实验验证了DLT-Corpus的质量和实用价值。语料库质量评估显示，DLT-Corpus的领域关键词密度为43.96次/千词，是RefinedWeb（4.96次/千词）和C4（5.14次/千词）的8.7倍；文档覆盖率达98.7%，远高于通用语料库的53.8%；Jensen-Shannon散度在0.39-0.45之间，而RefinedWeb和C4之间的散度仅0.10，表明DLT-Corpus具有显著不同的词汇分布。领域自适应预训练的LedgerBERT模型在DLT特定NER任务上达到0.299 F1分数，比SciBERT（0.289 F1）提升3.5%，比BERT-base（0.243 F1）提升23.05%，验证了领域特定数据的价值。跨域情感分析显示，LedgerBERT在加密货币新闻情感分析任务上与SciBERT性能相当（市场方向维度差异仅-0.2%），表明领域特定训练保持了通用语言理解能力，没有发生灾难性遗忘。技术创新扩散分析揭示，稳定币、AMM和DEX始终首先出现在科学文献中，研究者保持持续兴趣，随后传播到专利和用户社区，符合传统技术转移模式。市场-创新相关性分析发现，科学出版物与加密货币市场市值之间的Spearman相关系数为0.76（$p<0.004$），专利为0.96（$p<0.001$），社交媒体为0.98（$p<0.001$）。滞后相关分析显示，科学出版物领先市场2年时相关性最强（$ ho=0.95, p<0.001$），而市场领先出版物3年后相关性不再显著（$ ho=0.47, p>0.05$），表明研究先于市场扩张。社交媒体表现出跨滞后期的广泛强相关性，峰值出现在并发时（$ ho=0.98, p<0.001$）。分析还发现，即使在加密货币寒冬期间（如2018-2019年），用户社区的情绪仍然压倒性地看涨，而专利和科学出版物的活动与短期市场情绪关联较少，而是追踪整体市场扩张。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DLT领域命名实体识别（NER） | F1分数（严格匹配） | 0.299 | BERT-base: 0.243 | +23.05% |
| DLT领域命名实体识别（NER） | F1分数（严格匹配） | 0.299 | SciBERT: 0.289 | +3.5% |
| 加密货币新闻情感分析（市场方向） | 准确率 | 0.590 | SciBERT: 0.591 | -0.2% |
| 科学出版物与市场市值相关 | Spearman相关系数 | 0.76 (2013-2024) | 无直接基线 | 领先市场2年时达到0.95 |
| 专利与市场市值相关 | Spearman相关系数 | 0.96 (2013-2024) | 无直接基线 | 并发时达到0.97 |
| 社交媒体与市场市值相关 | Spearman相关系数 | 0.98 (2013-2023) | 无直接基线 | 跨滞后期保持高相关性 |
局限与改进
作者承认的局限性包括：语言覆盖仅限于英语数据，尽管英语是Web内容和几乎所有科学出版物的主导语言；领域相关性过滤中，虽然人工审查移除了570篇边缘相关论文，但仍可能存在边缘相关的DLT论文保留在数据集中；数据可访问性和法律合规的权衡影响了数据源选择，如由于版权限制排除了新闻文章，这可能限制了子集大小和从其他类型数据源的收集。额外的局限性包括：社交媒体数据仅截至2023年中期，无法反映Twitter/X API限制变更后的社区话语；情感分析数据集来自CryptoPanic平台，其用户群体可能无法代表整个加密货币社区；技术创新扩散分析仅关注稳定币、DEX和AMM三种技术，其他重要的DLT概念（如NFT、MEV等）未纳入分析；相关性分析无法证明因果关系，仅能观察关联模式；学术文献可能包含白皮书等非同行评议内容，可能影响质量的一致性。
独立分析的弱点
论文的主要弱点在于数据覆盖的局限性和分析方法的选择性。首先，社交媒体数据仅截至2023年中期，无法捕捉Twitter/X API限制变更后的社区话语演变，这对于追踪快速发展的DLT领域来说是一个重要缺口，改进方向是寻找替代数据源（如Telegram、Reddit、Discord）来补充近期的社交媒体数据。其次，语料库仅包含英文内容，忽略了DLT社区的多语言特性，特别是在亚洲和欧洲市场，改进方向是扩展到多语言数据收集，包括中文、日语、韩语等重要语言的DLT讨论。第三，技术创新扩散分析仅聚焦于稳定币、DEX和AMM三种技术，忽略了NFT、Layer 2解决方案、跨链桥等其他重要概念，改进方向是扩展分析到更广泛的DLT概念集合。第四，情感分析数据集来自单一平台CryptoPanic，可能存在用户群体偏差，改进方向是整合多个平台（如CoinDesk、Cointelegraph）的标注数据以提高代表性。第五，相关性分析无法区分因果方向，虽然滞后分析提供了线索，但仍需更严谨的因果推断方法（如工具变量或自然实验）来验证研究是否真正驱动市场扩张。
未来方向
作者提出的未来工作方向包括：扩展科学文献和专利数据集的覆盖范围，可能增加更多时间段的文献和更多国家/地区的专利；增加更多语言的数据以支持多语言DLT研究。基于论文成果可延伸的研究方向包括：使用DLT-Corpus训练更大规模的领域特定语言模型，探索在RAG系统、专利景观监控、技术趋势检测等实际应用中的表现；进行更深入的技术创新扩散研究，分析更多DLT概念在社区间的传播模式，以及不同类型创新（技术突破 vs. 应用创新）的扩散路径差异；利用情感分析数据集和市场数据研究社交媒体情绪是否具有预测价格变动的能力，以及如何构建不助长市场操纵的情感分析工具；扩展语料库到其他区块链和加密货币相关的数据类型，如智能合约代码、链上治理提案、去中心化自治组织（DAO）的治理讨论等；进行跨领域比较研究，对比DLT与其他新兴技术（如AI、量子计算）的技术转移模式和市场-创新关系；开发DLT专用的知识图谱，整合语料库中的实体关系和概念链接，支持更复杂的语义分析和推理任务。
复现评估
论文的复现性评估较为良好。DLT-Corpus、情感分析数据集、LedgerBERT模型和代码均公开可用，数据托管在Hugging Face上，代码托管在GitHub上，支持研究复现和未来工作。数据构建过程详细记录在论文和附录中，包括数据源、查询关键词、预处理步骤、过滤标准和元数据字段。模型训练的超参数明确列出（学习率$5 imes 10^{-5}$、训练3个epoch、批量大小12等），训练在单张NVIDIA H100 GPU上约68.7 GPU小时完成，算力需求对于研究机构是可接受的。然而，部分复现挑战仍然存在：科学文献的初始查询可能因Semantic Scholar API更新而得到不同结果；专利数据的USPTO数据库可能随时间变化；社交媒体数据源来自多个学术和工业数据集，部分可能不再公开或链接失效；情感分析数据集来自CryptoPanic平台，虽然收集时的T&C允许学术研究，但平台政策可能已变更。总体而言，论文提供了足够的实现细节和公开资源，使得研究社区的复现努力是可行的，但需要注意数据源可用性和政策变化的影响。
论文图表
