神经可加专家：用于可控模型可加性的上下文门控专家 Neural Additive Experts: Context-Gated Experts for Controllable Model Additivity
提出NAE框架，通过专家混合和动态门控机制平衡可解释性与预测准确性
前置知识
广义可加模型（GAM）
GAM是一种将预测分解为各特征独立贡献之和的模型，形式为 $f(x) = \omega_0 + \sum_{i=1}^{n} f_i(x_i)$。每个 $f_i$ 是一个单变量函数，可以可视化为形状函数（shape function），直观展示特征值如何影响预测结果。GAM的核心优势在于可解释性：用户可以清楚看到每个特征对最终预测的贡献，这在医疗、金融等高风险领域尤为重要。
NAE是对GAM的扩展，理解GAM的基本结构和局限性是理解NAE动机和设计的基础。
特征交互（Feature Interaction）
特征交互指两个或多个特征联合影响预测结果的现象。例如，房屋价格可能同时受经度和纬度影响，单独看经度无法完整解释价格变化。标准GAM假设特征效应是可加的（即相互独立），无法捕捉这种交互作用。GA2M模型通过引入成对交互项 $f_{ij}(x_i, x_j)$ 来解决这个问题，但代价是解释复杂度从 $O(n)$ 增加到 $O(n^2)$。
NAE的核心创新之一是能够在保持 $O(n)$ 解释复杂度的同时捕捉特征交互，理解特征交互的概念对把握这一创新至关重要。
专家混合（Mixture of Experts, MoE）
MoE是一种模块化架构，包含多个专家子网络和一个门控网络。门控网络根据输入动态选择或加权专家的输出。这种架构已被广泛应用于大规模语言模型（如Mixtral），能够实现条件计算和专业化分工。标准MoE中，所有专家处理完整输入向量，门控网络将它们的输出组合成单一预测。
NAE借鉴了MoE的动态选择思想，但创新性地将其应用于特征级别而非输入级别，理解传统MoE有助于把握NAE的设计差异。
模型可加性（Model Additivity）
可加性指模型输出能否被分解为各特征独立贡献之和的程度。严格可加的模型（如GAM）中，每个特征的贡献只依赖于该特征自身的值，与其他特征无关。可加性程度越高，模型越容易解释；可加性程度越低，模型灵活性越强但解释越困难。NAE引入了一个可量化的可加性指标来衡量这一特性。
NAE的核心贡献是提供了一种可控的方式来调节可加性程度，理解可加性的定义和度量方式是理解NAE如何平衡准确性和可解释性的关键。
研究动机
在医疗诊断、金融风控等高风险应用场景中，模型的可解释性和预测准确性同样重要。标准GAM通过将预测分解为各特征独立贡献之和来提供清晰的特征归因，但其严格的可加性假设限制了模型捕捉特征间复杂交互关系的能力，导致预测性能往往不如黑盒模型。例如，在房屋价格预测中，经度和纬度的交互效应（如靠近海岸的区域价格更高）无法被标准GAM捕捉。为了解决这个问题，研究者提出了GA2M等引入成对交互项的扩展模型，但这些方法将解释复杂度从 $O(n)$ 增加到 $O(n^2)$，随着特征数量增加，完整的模型检查需要查看所有 $n(n-1)/2$ 个交互图，这在高维场景下变得不切实际。此外，GA2M缺乏显式机制来控制模型的可加性程度，用户无法灵活地在准确性和可解释性之间进行权衡。
本文的目标是本文的目标是提出一种新的框架，能够在保持 $O(n)$ 解释复杂度的同时，实现与黑盒模型相当的预测性能。具体而言，作者希望：(1) 扩展标准GAM的表达能力，使其能够捕捉复杂的、上下文相关的特征效应；(2) 提供一种可调节的机制，允许用户通过单一参数 $\lambda$ 控制模型在可加性和灵活性之间的权衡；(3) 保持特征级别的可解释性，使得每个特征的贡献仍然可以被可视化和理解。理想情况下，当 $\lambda$ 趋向无穷大时，模型应退化为标准GAM；当 $\lambda$ 较小时，模型应能够捕捉复杂的特征交互。
与已有工作不同的是，本文的独特切入点在于将专家混合（MoE）的思想引入到可加模型框架中，但进行了关键的设计创新。与标准MoE不同（所有专家处理完整输入向量），NAE将专家组织在特征级别，每个特征有自己的专家集合，但门控网络可以利用所有特征的信息来动态选择专家。这种设计使得最终预测仍然是特征贡献之和（保持可解释性），同时门控机制允许特征间的信息流动（捕捉交互）。此外，NAE引入了专家变差正则化（expert variation penalty），通过控制同一特征内专家预测的方差来调节可加性程度，这提供了一种原则性的、可解释的方式来平衡准确性和透明度。与事后解释方法（如SHAP）不同，NAE将可解释性直接构建在模型架构中，提供的解释是精确的而非近似的。
核心方法
NAE的核心思想可以类比为一个专家委员会系统。想象每个特征都有一组专家（比如4个），每个专家对这个特征有不同的理解。当需要做出预测时，一个门控网络会根据所有特征的上下文信息，动态地决定每个特征应该听从哪个专家的意见。这样，同一个特征值在不同的上下文下可能产生不同的贡献，从而捕捉特征间的交互作用。但最终的预测仍然是所有特征贡献的简单求和，保持了可解释性。技术路线如下：首先，每个特征通过一个编码器 $E_i$ 映射到潜在空间；然后，$K$ 个专家网络分别产生该特征的候选贡献；接着，门控网络根据所有特征的信息计算每个专家的权重；最后，加权求和得到该特征的最终贡献，所有特征贡献相加得到预测结果。
NAE与已有方法最本质的区别在于其特征级专家混合架构。在标准MoE中，所有专家处理完整的输入向量，门控网络的输出是一个全局的专家选择；而在NAE中，专家是按特征组织的，每个特征有自己的 $K$ 个专家，但门控网络可以利用所有特征的信息。这种设计的关键创新点在于：(1) 保持了特征级的可加性——最终预测仍然是各特征贡献之和，解释复杂度为 $O(n)$ 而非 $O(n^2)$；(2) 通过门控机制放松了严格的可加性约束——门控网络的权重计算依赖于所有特征，使得同一特征在不同上下文下的贡献可以不同；(3) 引入了专家变差正则化——通过控制同一特征内专家预测的方差来调节可加性程度，提供了一个连续的、可调节的准确性和可解释性权衡。理论上，作者证明了NAE能够包含标准GAM和GA2M，同时通过调节 $\lambda$ 参数可以在两者之间平滑过渡。
方法步骤详情
NAE的完整流程包含以下步骤：(1) 特征编码：对于输入实例的第 $i$ 个特征 $x_i$，通过编码器 $E_i: X_i \to \mathbb{R}^d$ 映射到 $d$ 维潜在表示；(2) 专家计算：$K$ 个专家网络 $g_{ik}$ 分别对编码后的特征进行处理，产生 $K$ 个候选输出 $o_{ik} = g_{ik}(E_i(x_i))$；(3) 门控权重计算：对于每个特征 $x_j$，门控网络计算一个评分向量 $\phi_j = \mu_j + \sum_{i=1}^{n} A_{ij}^\top E_i(x_i)$，其中 $A_{ij} \in \mathbb{R}^{d \times K}$ 是可学习参数，这个公式允许门控依赖于所有特征的上下文信息；(4) 稀疏掩码：应用稀疏性掩码 $M_j$，将不重要的专家权重设为 $-\infty$，实现专家的稀疏激活；(5) Softmax归一化：通过softmax操作得到最终权重 $r_{jk} = \frac{\exp(\phi_j[k] + M_j[k])}{\sum_{l=1}^{K} \exp(\phi_j[l] + M_j[l])}$；(6) 特征贡献聚合：特征 $x_i$ 的最终贡献为专家输出的加权和 $o_i = \sum_{k=1}^{K} r_{ik} o_{ik}$；(7) 最终预测：所有特征贡献相加 $\hat{y} = \omega_0 + \sum_{i=1}^{n} o_i$。
技术新颖性
NAE的技术新颖性体现在以下几个方面：首先，与标准GAM（每个特征一个预测器）相比，NAE为每个特征引入了多个专家，使得同一特征可以在不同上下文下产生不同的效应，这是对传统可加模型的根本性扩展。其次，与GA2M（引入 $O(n^2)$ 个成对交互项）相比，NAE通过门控机制隐式地捕捉交互，保持了 $O(n)$ 的解释复杂度，这在高维场景下具有显著优势。第三，NAE的门控网络设计允许特征间的信息流动，但专家本身仍然是特征级别的，这种全局门控、局部专家的架构是独特的。第四，专家变差正则化提供了一种原则性的、可调节的方式来控制可加性程度，这是现有方法所缺乏的。理论上，作者证明了：(1) 当 $K=1$ 时，NAE等价于标准GAM；(2) 对于任意GA2M函数和任意精度 $\epsilon$，存在一个NAE能够以 $\epsilon$ 的误差逼近它；(3) 当 $\lambda \to \infty$ 时，NAE退化为GAM。这些理论结果表明NAE严格扩展了现有可加模型的表达能力。
实验结果
论文在合成数据和6个真实世界数据集上进行了全面评估。在合成数据实验中，NAE成功恢复了多模态分布的形状函数，而标准NAM只能产生近似线性的拟合。具体而言，在多模态设置中，NAE的RMSE为0.1066，而NAM为0.7112，性能差距显著。专家变差正则化参数 $\lambda$ 的效果验证表明，随着 $\lambda$ 从0.1增加到10，可加性指标从0.597增加到1.000，证明了该参数确实能够控制可加性程度。在真实世界数据集上，NAE在所有6个数据集上都取得了与最佳可比模型相当或更优的性能。具体数据如下：在Housing数据集上，NAE的RMSE为0.451，优于所有特征级可解释模型（NAM: 0.572, EBM: 0.559, NODE-GAM: 0.558），甚至优于部分黑盒模型（MLP: 0.501, NODE: 0.523），仅略逊于XGBoost（0.443）。在MIMIC-II数据集上，NAE的AUC为0.847，与最佳黑盒模型XGBoost（0.844）相当。在MIMIC-III数据集上，NAE的AUC为0.825，与最佳交互级模型NA2M持平。在Income数据集上，NAE的AUC为0.927，与EBM和EB2M相当。在Credit数据集上，NAE的AUC为0.982，达到最佳水平。在Year数据集上，NAE的MSE为78.66，与MLP（78.48）和XGBoost（78.53）相当。特别值得注意的是，NAE的解释复杂度始终为 $O(n)$，而交互级模型（如EB2M, NA2M）的解释复杂度为 $O(n^2)$。在高维数据集Year（90个特征）上，这意味着NAE只需要检查90个形状函数，而EB2M需要检查4005个交互图。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 房屋价格预测 | RMSE | 0.451 | 0.443 (XGBoost) | NAE比最佳可解释模型NAM (0.572)提升21.2% |
| ICU死亡率预测(MIMIC-II) | AUC | 0.847 | 0.848 (EB2M) | 与最佳交互模型相当，优于NAM (0.834) |
| ICU死亡率预测(MIMIC-III) | AUC | 0.825 | 0.828 (NODE) | 与最佳交互模型NA2M (0.825)持平 |
| 收入预测 | AUC | 0.927 | 0.928 (XGBoost/EB2M) | 与最佳模型相当，优于NAM (0.910) |
| 欺诈检测 | AUC | 0.982 | 0.985 (NA2M) | 与最佳可解释模型相当 |
| 歌曲年份预测 | MSE | 78.66 | 76.21 (NODE) | 与黑盒模型MLP (78.48)和XGBoost (78.53)相当 |
局限与改进
尽管NAE取得了显著成果，但仍存在一些局限性。首先，NAE的计算成本高于标准GAM。根据论文附录J的分析，NAE引入的额外参数数量为 $nK[(n+1)d+2]$，当特征数量 $n$ 和专家数量 $K$ 较大时，内存和计算开销会显著增加。例如，在Year数据集（90个特征）上，NAE需要额外的4.2M参数和16MB内存。其次，NAE的解释虽然保持了 $O(n)$ 的复杂度，但每个特征的解释包含上界和下界，这比标准GAM的单一形状函数更复杂，可能需要用户更多的认知负担来理解。第三，论文的实验主要集中在表格数据上，对于图像、文本等非结构化数据的适用性尚未验证。第四，虽然论文提供了理论分析证明NAE可以逼近GA2M，但这种逼近可能需要较多的专家数量（根据定理2，每个特征需要 $K_i \leq 1 + 2\sum_{j \neq i} M_{ij}$ 个专家），在实践中可能不切实际。第五，论文中所有实验都使用 $K=4$ 个专家和 $\lambda=0.1$ 的默认设置，对于不同数据集和任务的最优配置可能需要更细致的调参。
独立分析的弱点
从独立分析的角度，NAE存在以下几个值得关注的弱点：(1) 门控网络的可解释性不足：虽然NAE保持了特征级的可解释性，但门控网络本身是一个黑盒，它决定了每个特征应该激活哪些专家。在高风险应用场景中，用户可能不仅想知道特征的贡献，还想知道为什么在当前上下文中选择了特定的专家组合。改进方向是设计更透明的门控机制，例如基于规则的门控或可解释的注意力机制。(2) 专家数量的确定缺乏指导：论文中所有实验都使用 $K=4$，但没有提供选择 $K$ 的原则性方法。过多的专家可能导致过拟合，过少的专家可能限制模型表达能力。改进方向是开发自适应的专家数量选择机制，或在训练过程中动态调整专家数量。(3) 缺乏不确定性量化：虽然NAE提供了特征效应的上界和下界，但这些界是确定性的，没有提供关于预测不确定性的概率估计。在医疗等高风险领域，不确定性量化至关重要。改进方向是将贝叶斯方法引入NAE框架，为专家输出和门控权重提供概率分布。(4) 计算效率问题：NAE的门控网络需要计算所有特征之间的交互，这导致计算复杂度为 $O(n^2 d K)$。对于高维数据，这可能成为瓶颈。改进方向包括使用稀疏门控机制或低秩近似来减少计算开销。
未来方向
基于NAE的成果，未来研究可以从以下几个方向展开：(1) 扩展到深度学习模型：当前NAE主要针对表格数据，未来可以探索将特征级专家混合的思想应用于深度学习模型，例如在卷积神经网络中为不同特征图引入专家机制，或在Transformer中为不同注意力头引入专家选择。(2) 动态专家数量：开发能够根据数据复杂度自动调整专家数量的机制，使得简单特征只需要少量专家，而复杂特征可以使用更多专家。(3) 多粒度可解释性：除了特征级解释，还可以提供样本级解释（为什么这个特定样本的预测如此）和全局解释（整个模型学到了什么模式）。(4) 与事后解释方法的结合：虽然NAE提供了内在的可解释性，但可以进一步结合SHAP、LIME等事后解释方法，提供更丰富的解释视角。(5) 在线学习和增量学习：当前NAE需要在完整数据集上训练，未来可以探索如何在新数据到来时增量更新模型，而不需要重新训练。(6) 隐私保护：在医疗、金融等敏感领域，可以探索如何在保护数据隐私的前提下训练和部署NAE模型。
复现评估
NAE的复现条件较为友好。论文已经在GitHub上开源了完整代码（https://github.com/Teddy-XiongGZ/NAE），包括模型实现、训练脚本和评估代码。使用的数据集都是公开可用的：Housing来自加州住房数据，MIMIC-II和MIMIC-III来自公开的医疗数据库，Income来自UCI机器学习库，Credit来自Kaggle，Year来自UCI。算力需求方面，论文使用NVIDIA A100 GPU（40GB/80GB），但根据附录J的分析，对于中等规模的数据集（如Housing，8个特征），额外的内存开销仅为144KB，普通GPU即可满足需求。超参数设置在论文中有详细说明（附录C表4），默认配置为4层网络、128维隐藏层、4个专家、学习率和权重衰减通过随机搜索确定。复现难度中等，主要挑战在于：(1) 需要理解GAM和MoE的基本概念；(2) 门控网络的实现需要仔细处理稀疏掩码和softmax操作；(3) 专家变差正则化的实现需要正确计算同一特征内专家预测的方差。总体而言，对于有深度学习经验的研究者，复现NAE应该在1-2周内可以完成。
论文图表
