基于神经元激活图的目标导向预训练数据选择

用大模型内部高影响神经元的激活图为目标任务挑预训练数据，免训练且可解释

前置知识

目标导向预训练数据选择 (Target-Oriented Data Selection)

传统预训练数据筛选追求「通用高质量」，用分类器或启发式规则(去重、困惑度、教育价值)过滤网页噪声。目标导向数据选择则相反：给定一个具体下游能力(如数学推理、常识推理)，从海量语料里挑出最能培养该能力的样本。它通常需要一小组目标示例 $D_{target}$ 作为「锚点」，再按某种相关性度量对候选池排序。BETR 是代表性工作，用嵌入相似度并蒸馏成轻量分类器。

本文正是这一范式的新方法，理解它才能明白 NAG 相比 BETR/FineWeb-Edu 的定位差异——从「浅层表示相似」转向「内部计算机制相似」。

神经元与投影层 (Neuron & Projection Layer)

本文把 Transformer 中投影权重矩阵 $W \in \mathbb{R}^{d_{in}\times d_{out}}$ 的每一列视为一个「神经元」，共 $d_{out}$ 个。研究覆盖 Attention 的 Q/K/V 投影和 FFN 的 UP/DOWN 投影。例如 FFN 的 UP 投影 $W_{up}\in\mathbb{R}^{d_{model}\times d_{internal}}$ 含 $d_{internal}$ 个神经元。神经元的「影响」通过屏蔽(置零)它某一列后对该层输出的改变量来量化。

NAG 的基本单元就是这些高影响神经元，理解神经元=权重列这一定义是读懂影响分数公式和 NAG 构造的前提。

稀疏功能骨架 / 技能定位 (Skill Localization)

已有研究(Panigrahi 2023, Zhao 2024/2025)发现大模型行为由极稀疏的参数子集主导，不同任务依赖大体不相交的区域。也就是说，处理「同一种能力」的输入会激活相似的内部参数使用模式。本文把这一先验作为核心假设：若两条文本在模型里激活了相似的高影响神经元，它们就共享任务相关属性。

这是 NAG 有效性的理论根基。整篇方法(用神经元激活模式衡量数据相关性)和解释实验(屏蔽 0.12% 神经元导致崩溃)都是在验证并利用这一假设。

Dice 系数重叠相似度

衡量两个集合重叠程度的经典指标 $\frac{2|A\cap B|}{|A|+|B|}$，取值 $[0,1]$。本文用它比较两条文本的 NAG(神经元索引集合)：$\text{Sim}(c,c')=\frac{2|NAG(c)\cap NAG(c')|}{|NAG(c)|+|NAG(c')|}$。当每条样本每层固定选 $K$ 个神经元时，可证明群体相似度等价于两两相似度的平均，从而用频率加权的高效形式避免枚举所有样本对。

这是 NAG 排序打分的数学核心，也是论文附录 D 证明群体相似度=平均两两相似度的关键，理解它才能看懂排序如何计算。

研究动机

现有预训练数据选择存在「筛选标准」与「模型真正需要习得的能力」之间的错位。一类通用高质量方法(FineWeb-Edu、DCLM)训练分类器区分「高质量文本」与噪声，或用困惑度、语言识别、去重等启发式规则——它们对具体下游目标不敏感，本文实验显示 FineWeb-Edu 在 XStoryCloze、XWinograd 等基准上甚至比随机采样还差(-1.2%、-0.3%)。另一类目标导向方法(BETR、SHUM、DAIG)把内部信号(嵌入、困惑度相关性)蒸馏进辅助分类器以求可扩展，但这种黑箱蒸馏带来「可解释性瓶颈」：学到的信号不透明、难诊断、难精炼。更关键的是 BETR 依赖最后一层嵌入，容易把语义和风格/表层特征混在一起，导致在多目标混合场景下大幅退化(相比单目标掉 4.4%，平均比随机还低 0.5%)。这些都说明数据选择缺一个既准又能解释的信号。

本文的目标是本文目标是提出一个免训练(training-free)、可解释(interpretable)、模型无关(model-agnostic)的目标导向预训练数据选择框架，能直接刻画「一段文本需要模型的哪些能力」，从而挑出真正能培养目标能力的数据。具体希望：(1) 相比随机采样和 FineWeb-Edu/BETR 等强基线取得一致提升；(2) 在多个骨干模型、单目标与多目标设置下都稳健；(3) 不只跑赢，还能从机制上解释「为什么」和「怎么」起作用，把可解释性作为一等目标；(4) 只需极少目标示例(约 200 条)、可复用的一次性提取成本，具备实际可扩展性。

与已有工作不同的是，本文的独特切入点是彻底抛弃黑箱表示，转而用大模型内部的神经元级计算信号来对齐数据与目标任务。以往方法(无论 BETR 的嵌入还是 SHUM 的损失相关性)都停留在模型输出或最后一层的「浅层、最终态行为」；本文则认为任务相关信号分布在所有层里，并由一小撮高影响神经元承载。于是它不问「这段文本嵌入像不像目标」，而问「这段文本在模型里激活的神经元(功能通路)像不像目标」，即便经济学题和数学题表面不同，只要都触发数学推理神经元就会被识别为相关。这种「机制相似」而非「表面相似」是与现有工作的本质区别。

核心方法

直觉上，作者把每段文本看作一次「让模型思考」的过程，关注这段文本在模型内部点亮了哪些关键神经元——就像看一个人解题时大脑哪些区域在工作。若两段文本点亮相似的神经元，它们就需要相似的能力，因而属于同一目标。技术路线分三步:(1) 对现成大模型做一次前向推理，量化每个神经元对每段输入的「影响」;(2) 每层挑出影响最大的 top-K 神经元，把跨层的这些神经元索引组织成一张紧凑的神经元激活图 NAG;(3) 用一小组目标示例聚合出「目标神经元激活画像」，把候选池里每条样本的 NAG 与之比相似度并排序，取 top-$r_f$(默认 20%)作为预训练数据。整个流程不需要任何额外训练，只依赖现成 LLM 的可解释信号。

核心创新是用「神经元激活图(NAG)」这一稀疏、离散、可解释的结构来表征文本，取代黑箱嵌入。与已有方法本质区别有二:第一，衡量的是内部计算机制相似度而非输出/嵌入的表面相似度，因此能跨领域捕获共享能力(如经济学利润最大化题与数学求极值题激活相同神经元);第二，信号来自所有层的聚合而非只看最后一层。作者进一步论证这些高影响神经元构成模型的「稀疏功能骨架」——屏蔽仅占全模型 0.12% 的 NAG 神经元就让 Qwen3-1.7B 平均性能从 60.6% 崩到 37.1%(掉 23.5%)，而屏蔽等量随机神经元几乎无影响，证明 NAG 抓到了真正的能力驱动者。

方法步骤详情

第一步量化神经元影响:沿用 PLND，把投影矩阵 $W$ 每列当作一个神经元 $N_k$。给定输入表示 $h_{in}\in\mathbb{R}^{d_{in}}$，该层输出 $h_{out}=h_{in}^\top W$。屏蔽 $N_k$ 即把第 $k$ 列置零得 $W\setminus N_k$，定义影响为该操作引起的输出改变量:$$\text{Imp}(N_k\mid h_{in})=\|h_{in}^\top W-h_{in}^\top(W\setminus N_k)\|_2=|h_{in}^\top W_{:,k}|$$即神经元对该层输出贡献的幅值(局部近似，附录 C 验证它与真实 loss 变化的 Pearson 相关达 $+0.71\pm0.02$)。第二步构造 NAG:对 $L$ 层模型的每一层 $\ell$(含 $d_\ell$ 个神经元)，按影响排序取 top-K 索引 $N_\ell^{(K)}(c)=\text{TopK}\{I_{\ell,k}(c)\}$，NAG 即所有层-神经元索引对的集合 $NAG(c)=\{(\ell,k)\mid \ell\in\{1..L\}, k\in N_\ell^{(K)}(c)\}$。第三步排序选择:对目标集 $D_{target}$ 聚合每个 $(\ell,k)$ 的激活频率 $w_{\ell,k}(D)=\frac{1}{|D|}\sum_{c'\in D}\mathbb{1}[(\ell,k)\in NAG(c')]$，得目标画像;候选 $c$ 的打分为 $s(c)=\text{Sim}(c,D_{target})=\frac{1}{L}\sum_\ell\frac{\sum_{k\in N_\ell^{(K)}(c)}w_{\ell,k}(D)}{\sum_k w_{\ell,k}(D)}$，降序取 $D_{selected}=\text{TopRatio}_{r_f}(D_{pool},s)$。默认配置用 FFN UP 投影、$r_f=20\%$、层宽比 $r_k=K/d_\ell=0.3\%$。

技术新颖性

技术新颖性体现在三点。其一，把「神经元=权重列 + 屏蔽后输出改变量」的影响度量与「跨层 top-K 神经元索引集合」的图结构结合，得到一个离散、稀疏、可解释的文本表征，这在数据选择领域是首次。其二，用 Dice 系数比较激活图重叠，并在附录 D 严格证明当每层固定选 $K$ 个神经元时，群体相似度 $\text{Sim}(c,D)$ 恰好等于两两相似度均值 $\frac{1}{|D|}\sum_{c'}\text{Sim}(c,c')$，从而用频率加权形式把复杂度降到 $O(N)$，兼顾理论优雅与工程高效。其三，方法完全免训练，只需一次前向推理提取神经元索引，且提取结果与目标无关、可复用于任意数量目标任务;相比之下 BETR 每换一个目标就要重训分类器并重新前向整个候选池。此外作者系统消融了神经元类型、层位置、稀疏度三个设计维度，把「为什么用 UP 投影、为什么用全层、为什么用 0.3% 稀疏度」都用实验回答，可解释性贯穿方法设计。

**Figure 2**: Overview of Neuron-Activated Graph (NAG) target-oriented data selection.

**Figure 5**: Effect of neuron type on NAG construction. The results are reported on HellaSwag.

**Figure 6**: Effect of neuron sparsity (layerwise neuron ratio rk) on NAG construction.

实验结果

主结果(Tab.1):单目标设置下 NAG 相比随机采样平均提升 4.9%(如 NAGQwen3-1.7B 从 44.9% 到 49.8%)，比通用质量强基线 FineWeb-Edu 高 2.4%，比目标导向 SOTA 方法 BETR 平均高 1%(ARC-C +2.4%、HellaSwag +2.2%)。在 HellaSwag 上 NAG 达 60.6%，相比 BETR 的 57.5% 高约 3.1%，摘要中概括为对 SOTA 提升 5.3%。增益在通用质量启发式覆盖不足的基准上最明显:HellaSwag +4.4%、XStoryCloze +4.5%、XWinograd +4.2%。三个骨干模型(Qwen3-1.7B、Llama-3.2-3B、SmolLM3-3B)提升稳定在 4.7%-5.0%，证明模型无关。多目标设置(六基准同时为目标、等预算简单混合)下 BETR 严重退化(比随机还低 0.5%、比单目标掉 4.4%)，而 NAG 仍稳超随机 +3.1%、超 FineWeb-Edu +0.6%，最佳配置 NAGQwen3-1.7B 达 48.5%(比随机 +3.6%)——摘要中「超两基线 1.1% 和 4.1%」即指此。互补性(Tab.2):把 NAG 信号叠加到 FineWeb-Edu 分类器上再提升 1.8%，在难题 ARC-C 上组合(35.4%)超过单用任一信号(34.7%、34.3%)，说明信号可加。可解释性实验:屏蔽 0.12% 的 NAG 神经元使 Qwen3-1.7B 从 60.6% 崩到 37.1%(-23.5%)，屏蔽等量随机神经元仅 -0.2%(Tab.3);更细粒度屏蔽 0.006% 的 High-Δ 神经元也掉 17.8%(Tab.9)。t-SNE 聚类(Fig.3)显示 NAG 表征形成与任务身份一致的清晰簇，且 MathQA 与 GSM8K 两个数学基准彼此靠近却远离 XNLI 等语言任务。设计消融:UP 投影神经元最优(60.6%)，DOWN 和 K 投影分别只有 58.0% 和 56.7%(Fig.5);只用最后一层比全层平均掉 4.1%(Tab.4)，在 TriviaQA、MMLU 上甚至比随机低 0.4%;稀疏度在 $r_k\approx0.3\%$ 时各模型规模一致达峰(Fig.6)。效率:计算倍率(CM)相比基线平均 1.27-2.42×，XStoryCloze 最高 3.7×;NAG 提取在 150B token 池上用 Qwen3-1.7B 仅需 192 H100 GPU 小时且一次性可复用。鲁棒性:仅 200 条目标样本，top-20% 选择结果就与用满 10k 时 94% 重叠，Spearman ρ≥0.999(Tab.12)。扩展性:7B 模型 100B token 下 NAG 仍比随机 +8.4%，与 1.2B 下 +9.0% 相当(Tab.13);甚至用比被训模型更小的 Qwen3-0.6B 做提取仍超所有基线(59.9%，Tab.14)。

**Table 1**: Results of NAG-based data selection under Single-Target and Multi-Target settings.

**Table 2**: Results of integrating NAG-based ranking with the FineWeb-Edu quality signals under the Single-Target setting.

**Table 3**: Targeted neuron deactivation on Qwen3-1.7B-Base. We deactivate only 0.12% of all neurons, selected either randomly or by NAG.

**Table 4**: Comparison between All-Layer and Last-Layer NAG constructed from Qwen3-1.7B-Base under Single-Target setting.

**Table 9**: Targeted neuron deactivation with fine-grained ablation (0.006% neurons) using Random, High-Mean and High-Delta criteria.

**Table 12**: Sensitivity of NAG-based ranking to target set size and choice on HellaSwag.

**Table 13**: NAG performance at larger training scale. HellaSwag is used as the target.

**Figure 3**: Task-level clustering of data instances based on NAG representations. The resulting clusters align closely with task identities.

**Figure 4**: Performance under varying filtering rates rf for data selected by different ranking methods.

**Figure 7**: Compute efficiency of NAG-based data selection. We report Compute multipliers (CM) across six benchmarks.

查看结构化数据

任务	指标	本文	基线	提升
六基准平均(单目标)	准确率	49.8%-49.9%	随机 44.9%	+4.9%(平均)
HellaSwag(单目标)	Acc_norm	60.6%	BETR 57.5% / 随机 51.6%	+3.1% vs BETR，+9.0% vs 随机
六基准平均 vs FineWeb-Edu	准确率	49.8%	FineWeb-Edu 47.4%	+2.4%
六基准平均(多目标)	准确率	48.5%	随机 44.9% / BETR 44.4%	+3.6% vs 随机，+4.1% vs BETR
NAG+FineWeb-Edu 组合	六基准平均	49.6%	FineWeb-Edu 47.4%	+1.8%(平均，最高 2.2%)
屏蔽 0.12% NAG 神经元	六基准平均	37.1%	原模型 60.6% / 随机屏蔽 60.4%	-23.5%(证明关键性)
7B 模型扩展(HellaSwag)	准确率	71.4%	随机 63.0%	+8.4%
预训练计算效率	Compute Multiplier	1.27-2.42×(最高 3.7×)	随机/BETR/FineWeb-Edu	同精度下省 1/CM 算力

局限与改进

作者明确承认的局限:主实验只在 1.2B 模型、30B token、RefinedWeb 纯英文网页语料上验证，向更大模型和更多样语料(多语言、领域专用)的扩展留待未来，尽管 7B 的初步结果令人鼓舞;多目标设置只用了最简单的等预算混合(作为下界场景)，更先进的混合策略(RegMix、QuaDMix)未采用。我个人补充观察:(1) NAG 依赖一个现成大模型做提取，若该模型本身没具备目标能力(如极小众领域)，其神经元激活画像可能失真;(2) 影响分数是层输出的局部近似，虽与 loss 变化相关 0.71 但并非完美，跨层聚合时误差如何累积未深究;(3) 提取仍需 192 GPU 小时，对无 H100 集群的团队门槛不低;(4) 六个基准偏推理/常识类，在代码、多语言生成等任务上是否同样有效缺乏证据;(5) MMLU 上提升普遍很小(单目标仅 +2.0%、组合甚至 -0.3%)，说明对知识密集型任务 NAG 的优势不如推理类明显。

独立分析的弱点

弱点一:提取模型能力上限决定 NAG 上限。方法假设现成 LLM 内部已有目标能力对应的神经元，但若目标是模型未充分掌握的能力(如低资源语言、前沿科研领域)，激活画像可能不可靠——改进方向是先用少量领域数据轻量继续预训练提取模型，或用多个异构模型的 NAG 集成以降低单模型偏差。弱点二:MMLU 等知识密集任务增益微弱(单目标 +2.0%，组合场景 -0.3%)。因为事实知识可能不像推理那样由稀疏神经元骨架承载，而是分散在参数中——可考虑对知识型任务改用更大 $K$ 或结合检索式相关性信号。弱点三:多目标只用朴素等预算混合导致次优。可引入按目标难度/数据稀缺度自适应分配预算，或用 RegMix/QuaDMix 做数据配比优化。弱点四:提取成本 192 GPU 小时对小团队偏高，作者已提出用 Qwen3-0.6B 提取和粗到细两阶段过滤，可进一步落地。弱点五:影响分数只是层输出局部近似，跨 24 层聚合的误差传播未系统分析，建议做端到端影响归因的敏感性研究。

未来方向

作者提出的方向:(1) 扩展到更大模型和更多样语料(多语言、领域专用);(2) 用更先进的数据混合策略(RegMix、QuaDMix)提升多目标性能;(3) 优化前向吞吐与 GPU 利用率、以及小模型初筛+大模型精筛的粗到细提取方案降低成本。基于成果可延伸的方向:(1) 把 NAG 作为可解释探针用于诊断「模型缺哪种能力」进而定向补数据，形成能力-数据的闭环;(2) 探索神经元级信号在数据配比、课程学习、遗忘检测中的应用;(3) 研究 NAG 的时序性——在预训练不同阶段功能骨架是否漂移，据此做动态数据选择;(4) 将 High-Δ 神经元(对目标 vs 随机输入响应差异最大)这一更判别性的信号单独用于更精细的数据筛选;(5) 把 NAG 与嵌入相似度、困惑度相关性等信号系统融合，形成多视角综合评分。

复现评估

复现性总体良好。作者在 https://github.com/asillycat/NAG 开源了代码。数据全部公开:源语料 RefinedWeb(约 600B token，下采样至 150B 池)、六个评测基准(ARC-C、HellaSwag、TriviaQA、MMLU、XStoryCloze、XWinograd)均标准可得，评测统一用 lm-eval-harness 并说明了 few-shot 配置(Tab.6)和目标集构造/13-gram 去污染(Tab.7)。提取模型(Qwen3-1.7B/4B/8B、Llama-3.2-3B、SmolLM3-3B、Qwen3-0.6B)都是开源现成模型。被训模型结构透明:1.2B 参数、$d_{model}=2048$、$d_{internal}=5440$、24 层 16 头、SwiGLU、RoPE、AdamW($\beta_1=0.9,\beta_2=0.95$，weight decay 0.1)、cosine 调度初始 lr $5\times10^{-4}$、30B token(Tab.5)。超参明确:$r_f=20\%$、$r_k=0.3\%$、UP 投影。难点在算力:主实验需从头训练多个 1.2B/30B token 模型并做 NAG 提取(150B 池上 192 H100 GPU 小时)，加上多骨干、多设置、扩展到 7B/100B 的实验，总算力需求较大，个人研究者难以完整复现，但方法本身(NAG 提取+排序)在有现成大模型时可低成本验证——只需前向推理，甚至 200 条目标样本即可稳定选择。

基于神经元激活图的目标导向预训练数据选择 Target-Oriented Pretraining Data Selection via Neuron-Activated Graph