大语言模型在持续预训练中如何学习概念？ How Do Large Language Models Learn Concepts During Continual Pre-Training?
通过概念电路和图指标分析LLM概念学习、遗忘与干扰机制
前置知识
概念电路 (Concept Circuit)
概念电路是指与特定概念相关联的计算子图，它从大语言模型的前向传播图中提取出来，包含了能够忠实预测该概念所有相关知识的最小计算路径。形式上，给定一个主题概念 $c_i$ 及其关联的知识三元组集合，概念电路是能够忠实预测所有这些知识三元组中目标对象的计算子图。该子图的节点对应模型中的计算组件（如神经元、注意力头、嵌入），边捕获它们之间的交互（如残差连接、注意力操作、线性投影）。本文使用 EAP-IG 方法提取概念电路，通过为每条边分配重要性分数并选择得分最高的边，使得子图保留至少 70% 的完整模型性能。
概念电路是本文分析的核心工具，它将抽象的概念学习行为与模型内部的具体计算结构联系起来，使研究者能够通过图论指标量化概念的内部表征质量。
EAP-IG (Edge Attribution Patching with Integrated Gradients)
EAP-IG 是一种电路识别方法，用于在神经网络中定位与特定行为相关的计算子图。它通过集成梯度（Integrated Gradients）为模型前向传播图中的每条边分配重要性分数，平衡了计算效率与归因忠实性。给定一个知识三元组 $k_{ij} = (c_i, r_{ij}, o_{ij})$，EAP-IG 评估每条边对预测目标对象 $o_{ij}$ 的贡献程度，然后选择重要性得分最高的边构成电路。本文中，电路提取阈值设定为保留至少 70% 的完整模型性能。
EAP-IG 是本文提取概念电路的具体技术手段，理解其工作原理对于理解实验的可重复性和结果的可靠性至关重要。
持续预训练 (Continual Pre-Training)
持续预训练是指在已有预训练模型的基础上，继续使用新数据进行训练的过程。在本文中，持续预训练被设计为两个阶段：第一阶段（概念获取）在虚构概念数据集 FICO 上训练模型以学习新概念；第二阶段（遗忘诱导）在标准预训练数据集 BIO 上继续训练以诱导概念遗忘。这种两阶段设置使得研究者能够分别观察概念的获取和遗忘动态。
持续预训练是本文研究的核心场景，理解这一过程对于把握论文的实验设计和发现的概念学习动态模式至关重要。
图指标 (Graph Metrics)
本文使用四类标准图论指标来刻画概念电路的结构特征：(1) 节点重要性（Node Importance），以特征向量中心性的标准差衡量，量化结构影响力在节点间分布的不均匀程度；(2) 冗余性（Redundancy），以密度（density）衡量，定义为现有边数与最大可能边数的比值；(3) 信息流效率（Information Flow Efficiency），以全局效率（global efficiency）衡量，即节点对间平均最短路径距离的倒数；(4) 鲁棒性（Robustness），以平均 k-核数衡量，捕捉电路密集连接核心的深度。这些指标从不同角度刻画了电路的拓扑结构。
图指标是连接电路结构与概念学习行为的桥梁，通过这些指标可以定量分析电路拓扑如何影响概念的获取、遗忘和跨概念交互。
FICO 数据集 (FIctional COncept Dataset)
FICO 是本文构建的虚构概念数据集，基于 ConceptNet 知识图谱构建，但将真实概念名称替换为 GPT-5 生成的虚构名称，同时保留关联的概念知识结构。数据集包含从 THINGS 数据集采样的 500 个具体概念和从 Concreteness Ratings 数据集采样的 500 个抽象概念，每个概念关联来自 ConceptNet 的概念知识。训练集包含 1,000 个概念、3,075 个知识三元组，实例化为 92,250 个训练样本（约 1.04M tokens）；测试集包含 500 个概念、1,586 个知识三元组（13,530 tokens）。通过使用虚构概念名称，确保模型在训练前不具备这些概念的先验知识。
FICO 数据集是本文实验的基础，其设计使得研究者能够在受控条件下研究概念学习，避免模型预训练知识的干扰。
知识类型分组 (Knowledge Type Grouping)
本文将 ConceptNet 中的细粒度关系类型整合为五个高层语义知识类别：(1) 下义词与上义词（Hyponym & Hypernym, HAH），包括 IsA、DefinedAs、FormOf、InstanceOf；(2) 同义词与反义词（Synonym & Antonym, SAA），包括 Synonym、SimilarTo、Antonym、DistinctFrom；(3) 部分与整体（Meronym & Holonym, MAH），包括 PartOf、HasA、MadeOf；(4) 属性与功能（Property & Affordance, PAA），包括 HasProperty、UsedFor、CapableOf、ReceivesAction；(5) 空间关系（Spatial Relation, SR），包括 AtLocation、LocatedNear。此外，因果与事件、词汇/词源学等类别被排除，因为它们主要编码事件、语言形式或噪声关联。
知识类型分组使得研究者能够分析不同类型概念知识之间的迁移效应和干扰模式，是理解跨知识类型交互的基础。
研究动机
大语言模型在持续预训练过程中概念学习的内部机制仍然知之甚少。现有研究主要从两个角度探索 LLM 中的概念学习：一类工作使用基于提示的知识探测来测试预训练模型是否能引出特定的概念属性或关系（如常识事实），另一类工作利用机械可解释性工具定位与概念信息相关的内部结构。然而，这些努力仅提供了概念学习的部分视角：它们通常探测模型可能已经拥有的孤立概念知识片段，而不是系统地刻画概念在持续预训练过程中如何被获取、巩固和遗忘。具体而言，当新概念不断涌现且模型通过持续预训练更新时，理解新概念如何被可靠获取、先前概念如何被保留，以及在众多概念和概念知识类型交互下如何使概念学习更高效，变得至关重要。
本文的目标是本文旨在填补上述空白，通过提出两个核心研究问题：(1) 内部概念表征（即概念电路）如何与概念获取和遗忘相关联；(2) 这些表征如何与多概念联合训练中的干扰和协同效应相关联。具体目标包括：建立概念电路作为概念的内部表征，使用图指标刻画电路结构，分析电路拓扑如何随时间演变，以及探索跨概念和跨知识类型的交互模式。这些分析不仅对可解释性有意义，还能为概念感知的持续预训练决策提供实践指导，例如新概念需要多少训练量、如何调度和重排训练数据、以及如何减少语义相关概念间的破坏性干扰。
与已有工作不同的是，本文的独特切入角度在于将行为分析与电路级可解释性分析相结合，提供了一个统一的概念学习动态分析框架。与先前将注入项目视为独立事实的工作不同，本文明确建模了每个概念内部及跨概念的结构化关系。具体创新包括：(1) 引入 FICO 数据集，通过虚构概念名称保留真实知识结构，实现受控的概念学习研究；(2) 定义概念电路作为概念的电路级表征，将知识电路的定义从单个知识三元组扩展到整个概念；(3) 应用图指标刻画电路结构模式，建立电路拓扑与学习行为之间的定量关联；(4) 从关系视角分析跨概念干扰和跨知识类型迁移，揭示协同和干扰模式。这种电路级视角为现有探测方法提供了时间分辨的、机制性的补充。
核心方法
本文的方法论框架可以概括为三个层次的分析：数据构建、电路提取与表征、行为-结构关联分析。在数据层面，研究者基于 ConceptNet 构建 FICO 数据集，通过将真实概念名称替换为虚构名称（由 GPT-5 生成），保留概念间的知识结构，从而实现受控的概念学习实验。在电路层面，研究者将预训练 LLM 建模为有向无环图（DAG），使用 EAP-IG 方法提取与每个概念关联的概念电路——即能够忠实预测该概念所有知识的最小计算子图。在分析层面，研究者通过四类图指标（节点重要性、冗余性、信息流效率、鲁棒性）刻画电路结构，并将其与概念学习/遗忘行为进行相关性分析。整个框架的核心直觉是：概念的内部表征（电路）的拓扑结构会系统性地影响概念的获取、遗忘和跨概念交互。
本文的核心创新在于将知识电路的概念从单个知识三元组扩展到整个概念层面，定义了概念电路（Concept Circuit）。先前工作将知识电路定义为预测单个知识三元组 $(c_i, r_{ij}, o_{ij})$ 中目标对象的最小计算子图，而本文将概念电路定义为能够忠实预测概念 $c_i$ 关联的所有知识三元组的计算子图。这一扩展使得研究者能够分析概念级别的内部表征，而不仅仅是事实级别的。与已有方法的本质区别在于：(1) 从孤立事实转向结构化的概念知识；(2) 从静态评估转向动态的时间分辨分析；(3) 从行为探测转向电路级的机制性分析。这种电路级视角揭示了概念学习中的结构权衡：更密集、更鲁棒的电路有利于概念获取，但更模块化的电路组织有助于减轻持续训练中的遗忘。
方法步骤详情
本文的方法包含以下具体步骤。第一步，数据构建：从 THINGS 数据集采样 500 个具体概念，从 Concreteness Ratings 数据集采样 500 个抽象概念，从 ConceptNet 检索关联的概念知识，将细粒度关系类型整合为五个高层类别（HAH、SAA、MAH、PAA、SR），使用 GPT-5 生成虚构概念名称替换真实名称，构建 FICO 数据集。第二步，两阶段持续预训练：第一阶段（概念获取）在 FICO 训练集上训练模型，将前缀和目标短语连接并优化下一词预测，得到模型；第二阶段（遗忘诱导）在 BIO 数据集上继续训练，诱导概念遗忘。第三步，电路提取：在不同训练检查点使用 EAP-IG 方法提取概念电路，为每条边分配重要性分数，选择得分最高的边使得子图保留至少 70% 的完整模型性能。第四步，图指标计算：对每个概念电路计算四类图指标——节点重要性（特征向量中心性标准差）、冗余性（密度）、信息流效率（全局效率）、鲁棒性（平均 k-核数）。第五步，关联分析：使用 Spearman 相关系数分析概念学习/遗忘程度与电路图指标的相关性；计算概念电路间的 Jaccard 相似度分析跨概念干扰；通过配对迁移性公式 $T(R_i \rightarrow R_j) = [\text{logit}(R_j | R_i) - \text{logit}(R_j | \text{BIO})] / |\text{logit}(R_j | \text{BIO})|$ 分析跨知识类型的迁移效应。
技术新颖性
本文的技术新颖性体现在多个方面。首先，在数据层面，FICO 数据集的设计是独特的：通过虚构概念名称保留真实知识结构，既避免了模型预训练知识的干扰，又保留了概念间的语义关系，使得受控的概念学习实验成为可能。其次，在方法层面，概念电路的定义将知识电路从单个事实扩展到整个概念，这是一个重要的概念性突破，使得研究者能够分析概念级别的内部表征。第三，在分析层面，本文首次将电路级图指标与概念学习行为进行系统性关联分析，揭示了电路拓扑与学习/遗忘动态之间的定量关系。第四，在发现层面，本文揭示了概念学习中的结构权衡（获取 vs. 稳定性）、阶段式时间模式、学习-遗忘正相关、语义相关概念的更强干扰、以及跨知识类型的不对称迁移效应，这些都是先前工作未曾系统揭示的。第五，在框架层面，本文提供了一个统一的分析框架，将行为分析与电路级可解释性分析相结合，为概念感知的持续预训练提供了理论基础和实践指导。
实验结果
本文通过系统性实验揭示了六个核心发现。发现1：概念在学习程度和遗忘程度上表现出显著异质性。在 FICO 测试集上，500 个概念的学习程度（logit 增加）和遗忘程度（logit 减少）分布呈单峰但广泛分布，表明不同概念在相同训练机制下的学习和遗忘效果差异显著。发现2：概念学习程度和遗忘程度与多个电路图指标呈非平凡的、统计显著的 Spearman 相关性（$p < 0.001$）。对于学习，与节点重要性（特征向量中心性）和鲁棒性（k-核）的正相关表明具有集中瓶颈和稳定结构核心的电路倾向于实现更强的 logit 增益；与电路密度和全局效率的正相关表明结构冗余和集成信息流可以强化学习信号。对于遗忘，这些相同的结构属性也与更高的遗忘程度正相关，揭示了一个结构性权衡。发现3：在无关数据上持续训练期间，LLM 在多个电路图指标上表现出一致的阶段式时间模式，以早期变化、随后逐渐减弱和最终稳定为特征。发现4：学习程度较大的概念在后续训练中往往表现出更大的遗忘程度，表明更积极获取的知识往往更不稳定、更易受干扰。发现5：在联合训练中，高度相关概念的训练性能（约 57.5%）显著低于弱相关概念（约 75.9%），表明语义相似概念之间存在更强的干扰。通过 Jaccard 相似度分析发现，高度相关概念的电路重叠度更高，导致更强的表征竞争。发现6：知识类型之间存在显著的、不对称的迁移效应。例如，在属性与功能（PAA）上的预训练在迁移到下义词与上义词（HAH）和同义词与反义词（SAA）时产生了 63.74% 的显著提升，而反向迁移效果明显较弱。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 概念学习（弱相关概念联合训练） | 平均概率 | 75.9% | 高度相关概念 57.5% | 弱相关训练相对高度相关训练提升 18.4 个百分点 |
| 概念学习（中等相关概念联合训练） | 平均概率 | 67.2% | 高度相关概念 57.5% | 中等相关训练相对高度相关训练提升 9.7 个百分点 |
| 跨知识类型迁移（PAA → HAH/SAA） | 配对迁移性 $T(R_i \rightarrow R_j)$ | PAA 预训练后 HAH/SAA 性能提升 63.74% | BIO 基线（无概念知识预训练） | 63.74% |
| 概念遗忘（学习-遗忘相关性） | Spearman 相关系数 | 正相关（$p < 0.001$） | 无（分析性发现） | 揭示学习程度与遗忘程度的正相关关系 |
| 电路指标与学习/遗忘相关性 | Spearman 相关系数 | 多个指标呈统计显著相关（$p < 0.001$） | 无（分析性发现） | 首次建立电路拓扑与概念学习行为的定量关联 |
局限与改进
本文存在几个重要局限性。首先是模型规模限制：由于计算资源约束，实验仅在 GPT-2 Large（0.7B）和 LLaMA-3.2-1B-Instruct 上进行，未评估更大规模的模型。这限制了发现的普适性，因为大规模模型可能表现出不同的学习动态。其次是训练策略探索的局限：本文聚焦于刻画电路与学习动态的关系，但未系统探索基于这些发现的可操作训练策略，如电路感知的训练努力分配和干扰感知的数据调度。这些策略的验证留待未来工作。此外，本文使用虚构概念名称的实验设置虽然提供了受控条件，但可能无法完全反映真实世界概念学习的复杂性，因为真实概念往往具有更丰富的语义关联和上下文依赖。图指标的选择虽然覆盖了四个重要方面，但可能遗漏了其他有意义的结构特征。最后，本文的评估主要基于 logit 和概率指标，这些指标虽然精细，但可能无法完全捕捉模型在实际下游任务中的表现。
独立分析的弱点
本文存在几个可以改进的弱点。首先，在实验规模方面，仅在两个相对较小的模型（0.7B 和 1B）上进行实验，这限制了发现对更大规模模型的适用性。改进方向是将分析扩展到 7B、13B 甚至更大规模的模型，以验证概念学习动态是否随模型规模变化。其次，在数据构建方面，FICO 数据集使用虚构概念名称虽然避免了先验知识干扰，但虚构概念缺乏真实世界的语义丰富性和上下文依赖。改进方向是设计更接近真实场景的受控实验，例如使用罕见但真实的概念，或在真实概念上设计增量学习场景。第三，在电路提取方面，EAP-IG 方法虽然平衡了效率和忠实性，但其提取的电路可能不完全准确。改进方向是结合多种电路识别方法（如 ACDC、Circuit Breakers）进行交叉验证。第四，在图指标方面，仅使用了四类标准图指标，可能遗漏了其他有意义的结构特征。改进方向是探索更丰富的图特征，如社区结构、模块度、小世界特性等。第五，在训练策略验证方面，本文仅提出但未验证基于发现的训练策略。改进方向是设计并验证干扰感知的数据调度和电路感知的训练分配策略。
未来方向
本文的发现为多个有前景的研究方向奠定了基础。作者提出的方向包括：(1) 将分析扩展到更大规模的 LLM，验证概念学习动态是否随模型规模变化；(2) 探索基于电路指标的可操作训练策略，如根据电路相似度调度训练数据以减少干扰、根据电路拓扑分配训练努力以优化概念获取；(3) 设计概念感知的课程学习策略，将具有强正迁移的知识类型安排在前面以提高学习效率。基于本文成果可延伸的方向包括：(4) 将概念电路分析应用于理解模型编辑（model editing）的机制，分析编辑如何影响概念电路的结构；(5) 探索概念电路在微调和对齐过程中的演变，理解 RLHF 等技术如何改变概念表征；(6) 开发电路感知的持续学习算法，在学习新概念时主动保护重要电路结构以减少灾难性遗忘；(7) 将分析框架扩展到多语言和跨语言概念学习，探索不同语言中概念电路的异同；(8) 研究概念电路与模型涌现能力（emergent abilities）的关系，探索电路复杂度与能力涌现的关联。
复现评估
本文的复现性评估如下。在开源方面，论文未明确提及代码和数据的开源情况，这可能影响完全复现的便利性。在数据方面，FICO 数据集的构建过程有详细描述：从 THINGS 和 Concreteness Ratings 数据集采样概念，从 ConceptNet 检索知识，使用 GPT-5 生成虚构名称。这些数据源都是公开可用的，但 GPT-5 的使用可能引入随机性。在算力方面，实验在 4 块 40GB A40 GPU 上进行，使用学习率 $5 \times 10^{-5}$ 和批量大小 128，训练 10 个 epoch（总计 10.4M tokens）。这一算力需求对于学术研究者来说是可实现的。在难度方面，电路提取使用 EAP-IG 方法，图指标计算使用标准图论库，技术实现难度中等。主要的复现挑战在于：(1) GPT-5 生成的虚构概念名称可能因模型版本而异；(2) 电路提取的阈值（70% 性能保留）可能需要根据具体模型调整；(3) Spearman 相关分析的结果可能因随机种子而略有差异。总体而言，本文的实验设置相对清晰，核心算法有文献支持，复现难度中等。
论文图表
