网络规模大语言模型预训练数据中的叙事内容特征刻画 Characterizing Narrative Content in Web-scale LLM Pretraining Data

方法步骤的完整描述如下：步骤 1 是初始段落提取，从 DOLMA v1.73 的约 500 万个唯一文档中提取约 1700 万段三句文本，按照目标权重在源间按比例分配。使用 NLTK 的 sent_tokenize 进行句子分割。步骤 2 是叙事评分，使用在 NARRADETECT 和 STORYSEEKER 数据上微调的 DEBERTa 二元叙事分类器对每个段落评分，返回连续的置信度分数 p 在 0 到 1 之间。步骤 3 是主题分类，对于来自 Common Crawl 源的段落，使用 WEBORGANIZER 主题分类器分配 24 个主题标签之一，非 Common Crawl 源不接收主题标签。步骤 4 是最终采样，从评分和分类后的段落池中抽取两个分层样本：黄金数据集 400 段用于人类标注和完整的 NARRADOLMA 数据集约 300 万段。对于黄金数据集，85% 来自叙事分数大于 0.50 的段落，15% 不进行分数过滤，对于 Common Crawl 源，段落在主题间进一步平衡。步骤 5 是人类标注，使用自定义的 POTATO 标注服务对 400 段文本进行标注。人类标注者间的一致性合理：代理和设置的平均 Alpha 分别为 0.76 和 0.70，事件关系的平均 Kappa 为 0.68，平均 F1 为 0.91。步骤 6 是 LLM 标注验证，比较 Claude Sonnet 4.6、Qwen3-235B-A22B 和 Gemma4-31B 三个模型对黄金集 A 的标签。没有单一模型在所有维度上占优。对于代理和设置，三个模型的平均 Alpha 为 0.71，平均 MAE 为 0.53。对于事件关系，平均 F1 为 0.78，平均 Kappa 为 0.56。选择 GEMMA 进行大规模标注，因为它具有成本效益且开源可用。步骤 7 是大规模 LLM 标注，使用 GEMMA-4-31B 标注 5000 段文本。代理和设置标签通过单次 LLM 调用每段文本产生。对于事件关系，标注所有相邻事件对的时间顺序和因果关系，然后计算段落级别的分数：时间顺序是有时间关系的事件对比例，因果密度是有因果关系的事件对比例。步骤 8 是 NARRABERT 训练，使用 5000 段 GEMMA 标注的文本训练两个 RoBERTa-base 编码器：一个是共享编码器，带有 9 个回归头用于代理和设置的 9 个维度；另一个是专用编码器用于事件关系。超参数包括 AdamW 优化器，学习率为 2 乘以 10 的负 5 次方，权重衰减 0.01，批次大小 16，最大序列长度 200 tokens，最多 20 个 epoch 并带有早停。步骤 9 是 NARRABERT 验证，对黄金集 B 进行验证。对于代理和设置，平均 Alpha 为 0.66，平均 MAE 为 0.57。与 LLM 本身的广泛可比。主要例外是事件关系，分类器表现低于其 LLM 教师：平均 F1 为 0.63，而 GEMMA 为 0.78。步骤 10 是扩展标注，将 NARRABERT 应用于完整的 NARRADOLMA 语料库约 300 万段文本。对于代理和设置，共享编码器在单次前向传播中每段文本产生 9 个 Likert 分数。对于事件关系，首先运行事件检测器识别每段文本中的事件触发 span，然后应用事件关系编码器分类每个相邻 span 对，产生时间顺序和因果密度分数。事件检测器本身也产生事件密度，即每 token 的事件数。步骤 11 是分析，应用主成分分析、热图可视化和统计检验来分析叙事特征在不同数据源和主题间的分布模式。

本文的技术新颖性体现在多个方面。首先，这是首个将叙事理论系统地操作化为大规模标注框架的工作，将抽象的叙事概念转化为 11 个可测量的维度，每个维度都有详细的 5 点量表和示例。这与之前的叙事检测工作通常使用二元分类或单一叙事性评分形成鲜明对比。其次，采样策略的创新性在于结合了叙事评分和主题分类的分层采样，确保最终样本既在高叙事性文本中有代表性，又保留了主题多样性和源间比例。第三，知识蒸馏的应用使得能够以低成本将 LLM 标注扩展到百万级文本，这是本文能够进行大规模分析的关键。第四，分析方法的创新性在于将 PCA 应用于叙事特征，揭示出三个可解释的主成分，这为理解叙事结构提供了新的理论框架。第五，本文的创新性还体现在将叙事视为数据策展的一个新维度，与现有的质量、毒性、主题分布等维度互补，为数据混合研究提供了新的轴。最后，本文的实践创新在于公开发布了完整的框架、数据集和模型，为后续研究提供了基础设施。

本文存在几个可以改进的弱点：第一，人类标注样本相对较小 400 段文本，虽然每个标注者在多个维度上的一致性合理，但某些维度如时间顺序 Kappa 为 0.60 的一致性仍然适中。这可能反映了标注任务本身的主观性和复杂性。改进方向包括：增加标注者数量、迭代完善标注指南、提供更多示例和培训，以及探索更客观的叙事特征测量方法。第二，NARRABERT 在事件关系上的表现显著低于其 LLM 教师，这可能由于严重的类别不平衡，约 95% 的 span 对被标记为时间相关，约 75% 被标记为非因果相关。改进方向包括：使用平衡的采样策略、应用类别加权损失、探索更适合类别不平衡的模型，或专门针对事件关系训练更强的分类器。第三，研究仅限于英语文本和单一的理论框架，限制了发现的普适性。改进方向包括：扩展到其他语言，探索不同的叙事传统、比较多个理论框架的操作化，以验证发现的稳健性。第四，没有建立预训练叙事组成与下游模型行为之间的因果关系，使得对实践指导的推论受到限制。改进方向包括：进行控制的数据混合实验、训练不同叙事组成的小模型并评估其叙事推理能力、分析中间训练检查点以揭示叙事能力何时以及如何在预训练过程中出现。第五，NARRADOLMA 是一个分层子样本，过度代表叙事内容，限制了绝对流行率数字的转移性。改进方向包括：计算原始 DOLMA 的加权流行率估计、开发无偏采样策略，或扩展到完整的 DOLMA 语料库。第六，研究没有考虑叙事内容的安全性和伦理影响。改进方向包括：分析叙事特征与毒性或露骨程度的相关性、研究如何过滤敏感叙事内容而不影响模型能力、开发针对安全故事生成的数据策展指南。

未来研究方向包括作者提出的和基于成果可延伸的：作者提出的方向包括：控制数据混合实验以建立预训练叙事组成与下游叙事能力之间的直接因果链接；分析中间训练检查点以揭示叙事能力何时以及如何在预训练过程中出现；将叙事结构扩展为预训练数据组成的一流维度，与现有的质量、毒性和主题分布轴互补。基于成果可延伸的方向包括：探索不同叙事传统和语言的叙事特征，验证本文发现的文化普适性；研究叙事特征与其他数据质量维度的交互作用；开发针对特定叙事任务的数据策展策略；应用 NARRABERT 和 NARRADOLMA 来评估现有预训练语料库的叙事组成；研究叙事特征在模型训练过程中的动态变化，特别是叙事能力涌现的关键阶段；开发更精细的叙事事件分析工具；探索叙事特征在多模态数据中的应用；研究叙事特征与模型生成质量的关系；开发基于叙事特征的数据增强技术。

本文的复现评估情况如下：开源情况方面，研究者公开了完整的框架、数据集和模型。NARRADOLMA 和 NARRABERT 通过 Hugging Face 集合发布，代码通过 GitHub 发布。数据集包括人类标注的、LLM 标注的和 NARRABERT 标注的数据集，其中包括采样的文本片段以及 Dolma 唯一 ID 以允许未来的重新水合。数据方面，基础数据是 DOLMA，一个超过 3 万亿 token 的开放语料库，使用开放数据通用归属许可证发布。研究者从 12 个源中采样，具体的采样配置和源分布在附录中详细说明。人类标注的数据集包含 400 段文本，LLM 标注的数据集包含 5000 段文本，NARRADOLMA 包含约 300 万段文本跨越约 785K 唯一网络文档。算力方面，训练使用 NVIDIA H100 GPU 在科罗拉多大学博尔德分校的 Blanca 研究计算集群上进行。RoBERTa-base 约为 125M 参数，9 个回归头添加约 7K。训练时间未明确说明，但基于模型大小和数据规模，估计在几小时到一天内。LLM 标注使用了三个模型，成本未明确说明但可能相当可观，这也是为什么要进行知识蒸馏的原因。难度方面，复现本文工作的难度中等。主要挑战包括：访问 DOLMA 语料库、运行多个 LLM 进行标注验证、训练和评估多个模型。然而，由于研究者公开了完整的代码、数据和模型，且采样配置和超参数都详细说明，有经验的 NLP 研究者应该能够复现主要结果。标注框架的复杂性可能是一个挑战，但研究者提供了详细的评分量表和示例。总体而言，本文的开源程度较高，复现难度中等，主要是计算资源和数据访问的问题。