追溯根源：揭示后训练大语言模型数据谱系的多智能体框架

提出多智能体框架追踪数据集演化谱系，揭示结构冗余和基准污染

前置知识

数据谱系（Data Lineage）

数据谱系是指数据从源头到最终形态的完整演化路径，在机器学习领域特指训练数据集之间的继承和衍生关系。它以有向图形式表示，节点代表数据集，有向边表示继承依赖关系。边 vi 到 vj 表示上游数据集 vi 贡献到数据集 vj 的构建中。数据谱系可以揭示看似独立的数据集实际上共享相同上游源头的隐式关系。

本文核心正是构建和分析数据谱系，理解这一概念是读懂整篇论文的基础。数据谱系图使作者能够诊断结构冗余、追踪基准污染传播路径，并指导基于谱系感知的数据构建策略。

基准污染（Benchmark Contamination）

基准污染是指评估数据集的样本被错误地包含到训练语料中，导致模型在评估时产生虚假的高性能表现。污染会沿着数据谱系路径传播。如果上游数据集包含了测试样本，下游继承该数据集的所有衍生数据集都会隐性继承这种污染，即使它们没有直接引用基准数据。

这是论文诊断的两个关键问题之一。作者发现19个数据集在5个基准上存在不同程度的污染，例如 DeepScaleR-Preview-Dataset 对 Omni-MATH 的污染率高达79.48%。理解这一概念才能理解谱系分析的价值，它可以在不扫描全部样本的情况下高效追踪污染源。

多智能体协作（Multi-Agent Collaboration）

多智能体协作将复杂任务分解为多个专门化智能体，通过中央队列协调实现递归处理。本文包括Sourcing Agent识别信息入口，Extracting Agent获取内容，Tracing Agent提取关系，Aggregation Agent标准化并合并源。

这是本文的核心技术贡献。面对非结构化、异构的数据集文档，传统方法难以系统化地提取谱系信息。多智能体框架通过任务分工和证据融合，将噪声较大的文档转化为结构化的演化图，是论文方法部分的关键创新。

Vendi Score（文迪得分）

Vendi Score是内在多样性度量，基于数据嵌入核矩阵的特征值计算。定义为特征值Shannon熵的指数，使用余弦相似度核。更高得分表示数据集有更多有效独立语义簇，用于评估语义多样性。

这是论文评估数据集多样性的核心指标。作者通过 Vendi Score 证明了谱系导向的数据构建策略在570K样本规模下达到452.44，优于更大规模的 OpenHermes-2.5（437.76）和 MegaScience（373.78），说明更大的数据量不等于更高的语义多样性。

研究动机

现代后训练语料很少从零开始构建，而是通过对现有资源的语义演化、知识蒸馏和结构融合等方式递归衍生形成。这种广泛的重用导致后训练数据集形成密集且相互依赖的演化网络，但这些连接大多未被记录。缺乏谱系透明度带来两个风险。一是当数据集隐式继承重叠源时出现结构性冗余，下游语料在表面规模增长下语义收敛，侵蚀有效多样性。例如 open-instruct-v1 数据集在谱系中重复包含 self_instruct，导致冗余率高达46.48%。二是当嵌入上游数据集的测试样本被下游衍生数据集无知觉继承时，基准污染的传播变得不可避免，引入破坏未来评估可信度的隐性泄漏。

本文的目标是本文的核心目标是引入数据谱系概念并构建多智能体协作框架，自动从非结构化文档中挖掘谱系信息并执行自验证的溯源追踪，重建数据集演化的有向图。基于重建的谱系图，作者希望诊断生态系统中的结构性问题，具体量化数据冗余和基准污染传播，并展示谱系分析在数据构建中的实用价值，包括通过基于谱系的采样来最大化指令多样性。

与已有工作不同的是，与现有工作的本质区别在于，本文首次将数据集视为相互关联的演化系统而非孤立工件，从拓扑层面分析数据集之间的依赖关系。传统方法关注单个数据集的内部质量评估或样本级别的行为归因，但未探索数据生态系统中数据集之间的演化关系。本文提出的谱系中心分析提供了从样本级比较到数据集演化的拓扑推理的转变，在匹配效率、对语义漂移的鲁棒性、演化模式发现和长期生态系统可扩展性方面具有优势。

核心方法

本文方法的核心思想是通过多智能体协作框架，从非结构化、异构的数据集文档中自动提取谱系信息，重建后训练数据集的演化依赖图。框架采用从目标到源头的递归管道，通过中央处理队列管理待处理数据集，逐步构建谱系图。整体思路是先验证候选数据集的有效性，然后从多个来源检索信息，再通过语义推理提取源数据集信息，最后聚合、规范化并递归扩展。这种方法能够将噪声较大的非结构化文档转换为结构化的演化图，揭示看似独立数据集之间的隐式连接。

核心创新点在于设计了一个多智能体协作系统，每个智能体专门化处理特定子任务，并通过置信度感知的专家验证协议减轻大语言模型幻觉风险。与已有方法的本质区别在于，传统方法需要对每个数据集进行样本级扫描来检测重叠或污染，而本文通过谱系图的拓扑分析，可以在不遍历数百万样本的情况下估计两个数据集是否可能共享内容以及重叠来源。此外，谱系分析依赖于依赖链接和溯源记录而非文本重叠，因此在数据被重写、扩展或重新格式化时仍能将演化数据集与其起源连接起来。

方法步骤详情

框架执行四个顺序步骤。首先，候选验证阶段将所有候选数据集加入中央处理队列，过滤已处理条目，通过 HuggingFace API 验证可用性，通过交叉引用 HuggingFace 时间戳和关联论文发表日期确定有效发布时间，并限制分析到2020年后发布的数据集。其次，多源信息检索阶段检索候选数据集的 HuggingFace README，使用 sourcing agent 解析文档发现外部资源，然后派遣专门的 extracting agents 获取关联内容，并通过过滤机制消除结构噪声。第三，语义源推断和提取阶段部署并行运行的 tracing agents 识别候选数据集构建中使用的源数据，显式区分实际源与偶然提及，将提取结果形式化为结构化 JSON 记录。记录包含四个字段，S 识别构成源祖先，R 分类具体派生关系如 CoT 蒸馏或问题重新表述，C 基于文本支持强度和源可信度量化识别置信度，E 捕获支持证据。最后，聚合、解析和递归扩展阶段通过聚合 agent 合并并去重并行 agent 的原始提取记录，通过检索增强解析模块尝试将非正式别名规范化为唯一的 HuggingFace IDs，执行严格的合法性检查，并为目标数据集合成综合语义配置文件，最终将识别的上游源提交到中央处理队列进行后续递归处理。

技术新颖性

技术新颖性体现在三个方面。一是首次将数据谱系概念系统化地应用于大语言模型后训练数据生态系统，构建了包含430个唯一节点和971条继承边的大规模演化图。二是设计了多智能体协作框架，专门化处理从非结构化文档到结构化谱系的转换，通过置信度感知的专家验证协议和递归深度优先搜索遍历依赖网络。三是提出了基于谱系的导向数据构建策略，通过在根节点源数据集锚定采样选择来对抗衍生重用导致的冗余，在570K样本规模下实现了优于更大规模基线的多样性指标。

**Figure 1**: Lineage graph construction with depth 3, using the OpenHermes-2.5 dataset as an example. Yellow and green nodes denote leaf and internal nodes, respectively.

**Figure 2**: Overview of the multi-agent data lineage reconstruction framework. The system coordinates collaborative agents to extract provenance information from unstructured documentation, transforming isolated datasets into a comprehensive evolutionary graph.

实验结果

从83个高影响力种子数据集出发，递归谱系追踪重建了包含$N=430$个唯一数据集和$|E|=971$条继承边的演化图$G=(V,E)$。拓扑分析揭示了两种分化的演化策略：通用领域采用广泛积累范式，平均深度$\bar{d}=1.05$，叶子节点比例$68.42\%$；数学领域采用深度精炼范式，平均深度$\bar{d}=2.92$，高共识锚点如$hendrycks\_math$（出度$d_{out}=19$）和$gsm8k$（$d_{out}=14$）作为中心根支持多代后代。交叉领域依赖分析显示代码作为操作链接，$38.70\%$来自通用领域捕获用户意图，$17.80\%$来自数学领域增强推理能力，而科学领域仅$44$个节点，高度依赖其他领域资源，自源率仅$16.22\%$。时间演化轨迹显示通用领域已饱和，$2024$年$41$个新叶子节点到$2025$年仅$5$个，而专业化领域快速增长，数学中间节点从$18$增至$33$。结构性冗余分析显示$17$个数据集冗余率超过$1\%$，$open\text{-}instruct\text{-}v1$高达$46.48\%$。基准污染分析检测到$19$个数据集在$5$个基准上存在泄漏，例如$DeepScaleR\text{-}Preview\text{-}Dataset$对$Omni\text{-}MATH$的污染率为$79.48\%$，$Caco\text{-}1.3M$虽然没有明确包含基准本身，但通过受污染上游源隐性继承了$37.95\%$的$Omni\text{-}MATH$样本。基于谱系的导向数据构建策略产生了$570K$唯一指令的谱系感知数据集，在Vendi Score $452.44$和Centroid Distance $0.6385$上均优于范围从$300K$到$1.2M$样本的基线数据集。

**Table 1**: Topological statistics by domain.

**Table 2**: Cross-domain dependency matrix reordered by domain. Values denote counts (and column-wise percentages), indicating the proportion of a target domain's composition derived from each source domain.

**Table 3**: Analysis of source intersections across the top-10 datasets, ranked in descending order.

**Table 4**: Diversity comparison using Vendi Score and Centroid Distance.

**Table 5**: Full list of the 83 seed datasets used for lineage analysis.

**Table 6**: Top 5 most reused datasets by domain (ranked by out-degree).

**Table 7**: Top 10 datasets with highest global in-degree.

**Table 8**: Top 5 datasets with highest evolutionary depth.

**Table 10**: Data contamination analysis: leakage ratios of training datasets on various benchmarks.

**Table 11**: Data lineage analysis: tracking the usage of key benchmarks in downstream training datasets.

**Table 12**: List of the 31 Root Nodes (din = 0) selected as upstream knowledge anchors.

**Table 9**: Full lineage paths: tracing the complete evolution from target to source (selected datasets).

**Figure 3**: Partial high-level overview of data lineage relationships, where node size reflects data download count, colors represent distinct data sub-networks, and darker shades indicate higher-degree, more important nodes.

**Figure 4**: Temporal distribution of data lineages by domain. The plots illustrate the number of datasets released each year, categorized by node type.

**Figure 5**: Schematic illustration of a small subgraph of the data lineage graph, showing the partial composition of three target datasets; downstream overlap nodes and benchmark contamination locations are highlighted in red.

**Figure 6**: Benchmark contamination analysis across various datasets.

查看结构化数据

任务	指标	本文	基线	提升
数据集多样性评估	Vendi Score / Centroid Distance	452.44 / 0.6385	OpenHermes-2.5: 437.76 / 0.6271; MegaScience: 373.78 / 0.6150	分别提升3.3%和1.8%，在样本数量更少的情况下实现更高语义多样性
数据冗余检测	冗余率	检测到17个数据集冗余率超过1%，最高46.48%	传统方法需要样本级扫描	通过谱系拓扑分析高效定位隐式结构交集，避免遍历数百万样本
基准污染追踪	污染率	19个数据集在5个基准上存在污染，最高96.80%	传统N-gram匹配或语义嵌入检索	沿继承路径追踪污染扩散，可在不扫描全部训练数据的情况下定位污染源

局限与改进

作者承认两个主要局限性。一是依赖大语言模型带来固有的幻觉风险，需要对低置信度提取进行人工验证以确保图可靠性。二是谱系重建严格受限于文档透明度，如果数据集创建者未能报告或在技术文档中故意隐瞒上游源，系统无法恢复这些依赖关系。基于论文观察的额外局限性包括谱系分析无法捕获文档未明确说明的隐性相似性或语义衍生，当前分析聚焦于文本模态未覆盖多模态数据集，根节点选择策略可能排除一些有价值的小众或新兴数据集，多样性评估依赖于嵌入质量不同嵌入模型可能导致不一致的排名。

独立分析的弱点

论文的一个独立分析弱点是谱系构建完全依赖数据集创建者的文档诚实性和完整性。如果创建者有意隐瞒源数据集或提供误导性信息，整个谱系图的可信度将受到严重影响。改进方向可以包括开发内容级相似度分析作为文档声明的补充验证，通过检测数据集之间的文本重叠来交叉验证声明的谱系关系。另一个弱点是当前框架专注于2020年后的数据集，忽略了可能包含有价值早期资源的经典数据集。改进方向可以扩展时间范围，同时为历史数据集开发专门的档案处理和元数据推断模块。第三个弱点是多样性评估仅使用两个指标，可能无法全面捕捉数据集的语义丰富度。改进方向可以引入更多样性维度，如主题分布均衡性、难度梯度覆盖度、推理链类型多样性等。

未来方向

作者提出的未来研究方向包括扩展到多模态数据集、开发谱系感知的数据质量控制工具、构建数据谱系的知识图谱以支持更复杂的查询和推理。基于论文成果可延伸的研究方向包括将谱系分析与其他数据质量维度结合，构建综合的数据健康评估框架；开发谱系感知的训练策略，根据数据集的演化深度和衍生关系动态调整学习率和重要性权重；探索谱系在数据版权和许可合规性追踪中的应用，帮助数据集创建者和使用者遵守法律和伦理要求；构建社区共享的开放谱线数据库，促进数据生态系统的透明度和协作；研究谱系动态演化对模型性能和泛化能力的长期影响，建立数据谱系与模型行为之间的因果关系模型。

复现评估

论文提供了项目主页和代码仓库，表明部分资源和代码开源。实验使用了 GPT-5.1 和 Gemini-2.5-flash 作为底层模型，LangChain 用于工作流编排。数据集选择基于 HuggingFace 下载量、仓库点赞数和引用量，筛选了83个高影响力文本数据集作为种子根。构建的谱系图包含430个数据集和971条继承边。复现难度中等，需要访问大语言模型API、HuggingFace API和ArXiv API，且多智能体框架的协调和错误处理需要仔细实现。算力需求主要来自大语言模型调用，大规模谱系构建可能产生较高的API成本。关键实现细节包括置信度感知的专家验证协议、递归深度优先搜索遍历策略、以及时间有效性检查。

追溯根源：揭示后训练大语言模型数据谱系的多智能体框架 Tracing the Roots: A Multi-Agent Framework for Uncovering Data Lineage in Post-Training LLMs