阿拉伯语大型语言模型中的方言可控性研究：稀疏神经元识别与分布式激活向量引导技术 Can Dialects Be Steered Like Languages? Sparse Neurons and Distributed Directions in Arabic LLMs
通过神经元级和向量级推理时干预实现阿拉伯语方言可控生成
前置知识
LAPE (Language Activation Probability Entropy)
一种用于识别语言特异性神经元的指标，它计算神经元在不同语言或方言上的激活概率分布的熵。对于每个神经元，首先估计它在每个方言中的激活概率，即激活值大于零的频率，然后计算这些概率的归一化分布的熵。低LAPE分数表示该神经元对少数方言选择性较强，是特定语言或方言的特征标记。这种方法基于这样一个假设：真正与特定方言相关的神经元应该在该方言中频繁激活，而在其他方言中很少激活。
本文使用LAPE来识别方言关联的MLP神经元，这些神经元是神经元级引导的目标，理解LAPE的计算原理和意义对于理解方法的核心创新至关重要。
激活工程或向量引导
一种在推理时控制模型行为的技术，不需要修改模型参数。核心思想是从模型的激活空间中提取特定方向的向量，通常是通过计算对比不同条件下的隐藏状态差异得到的，然后在生成过程中将这些向量注入到激活流中。在数学上，这可以表示为 $h_{\ell}^{new} = h_{\ell} + \alpha \cdot v_{k}^{\ell}$，其中 $h_{\ell}$ 是原始激活向量，$v_{k}^{\ell}$ 是在层 $\ell$ 提取的方言引导向量，$\alpha$ 是控制干预强度的标量系数。这种方法可以用来控制输出语言、风格、内容等多个方面。
本文的主要方法之一就是向量引导，实验证明它比神经元级干预更有效，理解激活工程的原理有助于理解为什么分布式向量比稀疏神经元更适合方言控制。
残差子空间覆盖
一个用于衡量稀疏神经元子空间能够解释多少分布式残差空间方向的指标。它通过将向量引导方向投影到所选神经元的输出子空间来计算。具体来说，对于每个层，计算方言引导向量在所选神经元输出方向构成的子空间上的投影长度与原始向量长度的比值，然后聚合所有层的结果。高覆盖表示所选神经元能捕获大部分残差方向，低覆盖表示向量引导方向包含许多无法通过神经元缩放达到的成分。覆盖率计算公式为 $\rho = \frac{\|Proj_{S_{\ell}}(v_{\ell})\|^2}{\|v_{\ell}\|^2}$，其中 $S_{\ell}$ 是所选神经元输出方向构成的子空间。
本文用这个分析来解释为什么神经元引导不如向量引导有效，分析发现稀疏神经元只能部分投影到完整的残差空间方言方向上，理解这个概念对于理解论文的核心发现以及两种方法的本质区别至关重要。
阿拉伯语方言变体系统
阿拉伯语具有复杂的方言系统，现代标准阿拉伯语是正式书面语，用于新闻、学术等正式场合，而口语方言在词汇、语法、发音上与MSA有显著差异。主要方言群包括马格里布方言如摩洛哥阿拉伯语、黎凡特方言如黎巴嫩和叙利亚、海湾方言如沙特和卡塔尔以及埃及方言。方言之间存在高度的词汇和句法重叠，边界模糊而非离散，这与独立语言之间的差异根本不同。例如，开罗和拉巴特方言之间的相似度远高于开罗方言与现代标准阿拉伯语之间的相似度。
论文的核心挑战是阿拉伯语方言之间的高重叠性，这与之前研究的独立语言之间的差异根本不同，理解阿拉伯语方言的连续性特征有助于理解为什么方言控制比跨语言控制更具挑战性。
研究动机
阿拉伯语大型语言模型在标准基准测试上表现优异，但在方言生成方面仍然薄弱，这主要反映了训练数据的不平衡问题。现代标准阿拉伯语在大多数阿拉伯语大型语言模型预训练语料库中占主导地位，而方言文本相对稀缺且来源不一致。具体来说，Nacar在2025年的研究中观察到ALLaM 34B模型对于希贾兹和埃及方言的提示总是产生现代标准阿拉伯语风格的回应，这严重限制了模型在对话代理、文化内容生成以及其他需要方言真实性的应用中的实用性。例如，当用户用埃及阿拉伯语询问日常问题时，模型可能用正式的现代标准阿拉伯语回答，这在日常交流中显得不自然且疏离。
本文的目标是本文的具体目标是在不进行方言特定微调的情况下，通过推理时干预来改进方言生成。作者想要回答三个核心问题：阿拉伯语方言是否可以像独立语言一样被引导，尽管它们与现代标准阿拉伯语及彼此之间存在词汇和句法重叠？方言特征是在神经元群体中局部化、分布在残差空间中，还是两者兼有？哪种推理时干预提供更可靠的方言控制，是神经元级引导还是激活向量引导？通过回答这些问题，作者希望建立一个原则性的、基于可解释性的方言控制框架，而不需要方言特定的微调。
与已有工作不同的是，本文的独特切入角度在于同时研究稀疏神经元级机制和分布式残差空间方向，将它们作为互补的可解释性探测器和控制机制。与之前关于跨语言迁移的研究不同，本文在单一语言家族内操作，其中方言边界模糊且与现代标准阿拉伯语重叠度高。本文揭示了阿拉伯语方言变体作为大型语言模型表示空间中结构化且可因果引导的维度，这是对语言内变异这一尚未充分探索的方向的深入研究。之前的激活工程工作主要关注跨语言迁移或个性特征控制，而本文首次将这种方法应用于同一语言内的方言变异。
核心方法
本文提出了两种互补的推理时干预策略用于阿拉伯语方言控制。第一种是基于稀疏多层感知机神经元的引导，通过识别方言关联神经元并在解码时重新缩放其激活来引导生成。第二种是基于残差空间方向的向量引导，从对比方言与现代标准阿拉伯语对中提取方言特定激活方向并在推理时注入。两种方法都保持模型权重不变，同时作为方言表示的因果探测器，为我们理解方言在模型内部的表示机制提供了窗口。这种方法的优势在于不需要重新训练或修改模型参数，降低了方言适应的计算成本并提高了低资源变体的可访问性。
核心创新点在于揭示了阿拉伯语方言信息既不完全局部化也不完全弥散，而是呈现一种特殊的分布模式。方言关联神经元集中在后期生成面向层，但这些稀疏神经元只捕获了更广泛残差空间方言方向的部分投影。这解释了为什么神经元引导可以加强方言行为，但分布式激活向量引导提供更可靠的控制。作者还发现方言在表示空间中形成地理上连贯的簇，表示距离大致追踪现实世界的语言邻近性，这是模型内化了阿拉伯变异潜在地理的证据。这种几何结构在显式方言监督之外从训练数据的分布模式中自然涌现，表明大型语言模型能够学习到语言变体的深层结构表示。
方法步骤详情
方法步骤包括四个主要部分。首先是神经元识别，使用LAPE分数选择方言关联神经元，计算每个神经元在每个方言中的激活概率 $\hat{p}_{k}^{i,j} = \mathbb{E}_{(s,t)\in T_k}[\mathbb{1}\{\text{act}(i,j;s,t) > 0\}]$，然后选择激活概率位于至少一个方言的前百分之五且LAPE分数位于底部的百分之一的神经元。其次是神经元引导，在解码时对选定的方言关联多层感知机神经元应用乘法更新 $\tilde{a}_{i,t,j} = \lambda_{i,j}a_{i,t,j}$，根据神经元是否属于目标方言、现代标准阿拉伯语或其他方言集合分别设置为大于一、小于一或小于一的系数。第三是向量提取，收集方言与现代标准阿拉伯语的平行句子对，计算每个句子在指定层的平均隐藏状态激活，方言引导向量为 $v_{k}^{\ell} = \frac{1}{N}\sum_{i=1}^{N} h_{\ell}(s_{k}^{i}) - h_{\ell}(s_{\text{MSA}}^{i})$。第四是向量注入，在生成时注册前向钩子，在每个token生成步骤拦截激活张量并进行原地更新。
技术新颖性
技术新颖性体现在三个方面：首次表明阿拉伯语方言可以通过大型语言模型内部的稀疏神经元级机制和分布式激活空间方向进行因果引导；揭示了方言表示的几何结构，即方言在表示空间中形成地理上连贯的簇，表示距离大致追踪现实世界的语言邻近性；通过残差子空间覆盖分析定量解释了为什么神经元引导不如向量引导有效。分析显示LAPE选择的神经元占多层感知机中间维度不到百分之一，虽然能解释非平凡部分的方言方向，如开罗和拉巴特的覆盖率分别为百分之二十点五五和百分之十九点三四，但大部分残差方向仍在此稀疏子空间之外。这为理解语言内变异的表示机制提供了新的理论框架，并为未来的可解释性和可控性研究开辟了新方向。
实验结果
核心发现包括方言特定神经元深度局部化而非均匀分布。在ALLaM模型中，它们形成狭窄的后期层瓶颈，第29至31层占所有方言神经元记录的百分之六十九点五，第30层为主峰。Fanar模型显示类似的后期层模式，但分布在更宽的终端带，第37至41层占记录的百分之五十点六。这表明方言特征不是早期表面线索如拼写或局部词汇特征，而是在生成面向层中更接近内部阿拉伯表示被映射到下一个token选择时出现。方言间存在显著共享，方言与方言重叠平均为零点四零和零点五五，而现代标准阿拉伯语与方言重叠仅为零点零九和零点一四。高重叠对如阿勒颇与贝鲁特和多哈与利雅得暗示可重复使用的区域子电路，这可能支持跨方言迁移。向量引导在两种模型上都优于神经元引导，在单方言设置中，ALLaM上埃及阿拉伯语的向量引导平均分达到四点七一二，比显式提示的四点六七七更高。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 埃及阿拉伯语单方言生成（ALLaM模型） | LLM-as-a-judge平均分 | 四点七一二（向量引导） | 四点一三七（未引导） | 提升零点五七五分，相对提升百分之十三点九 |
| 摩洛哥阿拉伯语单方言生成（ALLaM模型） | LLM-as-a-judge平均分 | 四点七一二（向量引导） | 三点三五九（未引导） | 提升一点三五三分，相对提升百分之四十点三 |
| 埃及阿拉伯语单方言生成（Fanar模型） | LLM-as-a-judge平均分 | 四点四四六（向量引导） | 三点一七五（未引导） | 提升一点二七一分，相对提升百分之四十点零 |
| 现代标准阿拉伯语到埃及阿拉伯语转换（ALLaM模型） | LLM-as-a-judge平均分 | 四点五二三（向量引导） | 未引导基线无法生成方言 | 从零到有效方言生成的质的飞跃 |
| 方言识别任务（ADI2指标，ALLaM模型埃及方言） | ADI2分数 | 零点五一二（向量引导） | 零点三零六（未引导） | 提升零点二零六分，相对提升百分之六十七点三 |
局限与改进
作者承认的局限性包括实验仅限于有限的阿拉伯方言集合和两个阿拉伯语中心大型语言模型，结果可能不能完全推广到其他方言、架构或多语言模型。方言生成的评估本质上具有挑战性，自动指标和LLM-as-a-judge分数捕获性能的互补方面，但都不能提供方言真实性或社会语言学自然性的完整度量。人类评估本质上是主观的，虽然标注者间一致性合理，但反映了方言感知固有的模糊性。此外，本文的分析识别了可解释的方言相关结构，但局部神经元表示和分布式残差空间特征之间的关系仅部分理解，需要进一步工作来更精确地表征这些机制。最后，方言边界本质上具有流动性且社会复杂，自动评估可能无法完全捕捉社会语言学真实性或社区对方言使用的感知。
独立分析的弱点
独立分析的弱点包括神经元引导在现代标准阿拉伯语提示设置下完全失效，这表明稀疏干预可以加强但不能诱导方言生成。在现代标准阿拉伯语提示下，神经元引导的方言真实性坍塌到最低分数，ADI2达到零。向量引导在不同方言间的效果不均匀，海湾方言如沙特阿拉伯语的引导效果较弱，这可能反映了这些方言的残差方向被稀疏神经元特征捕获的程度较低，利雅得的覆盖率仅为百分之九点一六，而开罗为百分之二十点五五。摩洛哥阿拉伯语对较高系数更敏感，在Fanar模型上，摩洛哥阿拉伯语在系数超过22时judge质量下降，而ADI2继续上升，这揭示了方言真实性和输出质量之间的张力，仅靠ADI2无法揭示。评估方法的局限性方面，LLM-as-a-judge在流利性和连贯性上与人类的一致性较低，这些维度更主观且与引导干预的直接关联较弱。
未来方向
未来研究方向包括扩展分析到额外的方言和混合方言设置，探索自适应和组合引导方法，以及研究方言表示如何在多语言和多模态模型中与其他风格和社会语言学属性相互作用。改进方言评估方法也是一个重要方向，当前自动指标和LLM-as-a-judge分数都不能提供方言真实性或社会语言学自然性的完整度量，需要开发更全面的评估框架。更精确地表征局部神经元表示和分布式残差空间特征之间的关系是另一个有价值的方向，例如研究如何通过组合不同层或子空间的神经元和向量来获得更好的控制效果。最后，探索将引导技术应用于其他语言中的方言变体，以及研究引导在跨方言迁移中的潜力，这些都可能产生有价值的成果。
复现评估
复现评估方面，代码和工件已在GitHub仓库发布，这使得结果具有较好的可复现性。数据方面，引导向量和方言特定神经元使用MADAR语料库的平行方言数据提取，开罗、拉巴特、贝鲁特、多哈各提供一万二千个句子对，利雅得和阿勒颇各提供二千个句子对。评估使用AL-QASIDA基准和LLM-as-a-judge协议。算力方面，虽然论文未明确提及具体硬件要求，但考虑到实验涉及两个大型模型，即七十亿和九十亿参数，以及大量消融研究，需要相当的计算资源。难度方面中等，论文提供了详细的方法描述、超参数设置和评估协议，但需要访问特定的阿拉伯语模型和数据集，这可能对某些研究者构成障碍。总体而言，对于有足够资源和领域专业知识的研究者来说，复现本文的主要结果是可行的。
论文图表
图1展示了未引导、神经元引导和向量引导三种情况下对埃及阿拉伯语提示的输出示例。未引导的输出明显偏向现代标准阿拉伯语风格，使用正式的语法结构和词汇，缺乏口语化的表达方式。神经元引导的输出开始引入一些方言特征，但仍保留现代标准阿拉伯语元素，方言特征不够连贯和自然。向量引导的输出最接近地道的口语表达，使用更多方言特定的词汇和语法结构，整体表达更加自然流畅。这个示例直观地展示了两种引导方法的效果差异，以及为什么向量引导在方言生成方面更为有效。
这张图对于理解论文的动机和方法至关重要。它首先说明了阿拉伯语大型语言模型在实际应用中的问题，即现代标准阿拉伯语偏向，然后直观展示了两种干预方法的不同效果，帮助读者理解为什么向量引导比神经元引导更有效。这个例子为后续的技术细节和定量结果提供了直观的背景，使得读者能够在深入理解复杂方法之前先看到实际效果。