路由彩票：面向异构数据的自适应子网络 Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data
提出RTL框架，为不同数据子集发现专门的稀疏子网络，替代传统单一全局剪枝
前置知识
彩票假说 (Lottery Ticket Hypothesis, LTH)
由Frankle和Carbin在2019年提出的核心假说：一个随机初始化的密集神经网络中存在稀疏子网络（称为'中奖彩票'），当这个子网络从相同的初始权重开始独立训练时，能够达到与原始密集网络相当的性能。迭代幅度剪枝（IMP）是发现这类子网络的经典算法，通过反复训练-剪枝-重置权重的循环来识别重要连接。这一假说将剪枝从简单的模型压缩重新定义为一种结构发现过程。
本文是对LTH的直接扩展，理解原始假说中'单一全局掩码'的假设是理解RTL创新点的前提——RTL的核心贡献正是打破这一假设。
非结构化剪枝 (Unstructured Pruning)
一种模型压缩技术，通过移除网络中不重要的单个权重参数来减少模型大小和计算量。与结构化剪枝（移除整个卷积核或通道）不同，非结构化剪枝产生稀疏的权重矩阵，需要专门的硬件或软件支持才能获得实际加速。剪枝通常基于权重幅度、梯度信息或其他重要性准则，剪枝后的网络用二进制掩码表示哪些权重被保留。
RTL采用非结构化剪枝的方式，通过学习多个不同的二进制掩码来实现子网络专业化，理解这一基础技术是理解RTL实现细节的关键。
混合专家模型 (Mixture of Experts, MoE)
一种条件计算架构，由多个'专家'子网络和一个门控/路由网络组成。对于每个输入，路由网络选择性地激活少数专家进行处理，从而在保持大模型容量的同时降低单次推理的计算成本。MoE在大语言模型（如Switch Transformer）中广泛应用，但需要额外的路由参数和复杂的训练策略。
RTL被定位为MoE的轻量级替代方案，通过剪枝而非动态路由来实现输入相关的专业化，理解MoE有助于理解RTL的设计权衡。
子网络崩溃 (Subnetwork Collapse)
本文首次识别并命名的现象：当剪枝过于激进时，原本为不同数据子集专门化的子网络被迫共享越来越多的权重，导致它们的结构变得高度相似，专业化能力丧失。这表现为掩码相似度（如Jaccard系数）急剧上升，同时伴随着分类或重建性能的骤降。掩码相似度可以作为过度稀疏化的早期预警信号。
这是本文的重要分析贡献之一，理解子网络崩溃有助于判断RTL在什么条件下会失效，以及如何设置合理的剪枝阈值。
研究动机
现有彩票假说（LTH）相关方法存在一个根本性假设缺陷：它们都寻找一个适用于所有输入的全局稀疏子网络。然而，现实世界的数据具有天然的异构性——不同类别、不同语义聚类、不同环境条件往往依赖于截然不同的特征表示。以CIFAR-10为例，识别'猫'需要关注纹理和耳朵形状，而识别'飞机'则需要关注机翼轮廓和金属质感。用一个固定的稀疏掩码处理所有类别，本质上是在强迫多样化的模式通过一个僵化的共享架构，这必然牺牲性能。在语音增强任务中，室内噪声、室外噪声和交通噪声的声学特性差异巨大，单一去噪策略难以同时应对所有场景。此外，现有的混合专家（MoE）等条件计算方法虽然能实现输入相关的处理，但需要复杂的路由机制、大量的辅助参数和额外的计算开销。
本文的目标是本文的目标是提出一种自适应剪枝框架，能够为不同的数据子集（如类别、语义聚类或环境条件）发现各自专门的稀疏子网络，同时保持参数共享的效率优势。具体而言，RTL旨在：（1）在相同稀疏度约束下，通过子网络专业化提升分类准确率和信号重建质量；（2）实现比独立训练多个模型高一个数量级的参数效率（目标是10倍参数节省）；（3）无需额外的路由网络或辅助参数，仅通过剪枝本身实现专业化；（4）提供可量化的诊断工具来识别过度稀疏化。
与已有工作不同的是，本文的独特视角在于将剪枝从一个静态的压缩工具重新定位为一种动态的结构对齐机制——让模型结构与数据的内在组织结构相匹配。已有工作（如SET、RigL等动态稀疏训练方法）虽然允许连接模式在训练中演化，但仍然维护单一的演化子网络，没有显式地为不同数据区域分配专门结构。RTL抓住了一个被忽视的关键观察：不同数据子集的最优稀疏结构本质上是不同的，与其用一个全局掩码做折中，不如让每个子集'拥有'自己的专属子网络。这种思路将剪枝从'找到最好的一个子网络'转变为'找到一组最好的子网络'，本质上是从全局稀疏性向数据感知稀疏性的范式转变。
核心方法
RTL的核心直觉可以用一个类比来理解：想象一个大型图书馆（密集网络），传统LTH方法试图找到一个万能的图书管理员（单一掩码）来管理所有书籍，而RTL则为不同学科（数据子集）培训专门的图书管理员（多个掩码），每位管理员只精通自己领域的书籍组织方式。技术路线上，RTL分为三个阶段：首先将数据集划分为K个子集（基于类别标签或语义聚类），然后为每个子集通过迭代幅度剪枝（IMP）学习一个专门的二进制掩码，最后对所有子网络进行联合再训练。关键的工程智慧在于：所有子网络共享同一个密集参数张量，只是通过不同的掩码来'看到'不同的权重子集，这既保留了参数共享的效率，又实现了结构专业化。
RTL与已有方法最本质的区别在于它打破了LTH中'一个掩码适配所有数据'的隐含假设。传统IMP算法在整个数据集上训练并剪枝，得到的单一掩码是所有类别需求的折中解——它可能保留了识别飞机所需但对猫无用的权重，也保留了识别猫所需但对飞机无用的权重，造成了容量浪费。RTL的创新在于：让每个数据子集独立指导剪枝过程，使得掩码$m_k$专门捕获子集$k$的关键特征。具体实现上，RTL在每次剪枝迭代中依次处理每个子集：用子集$d_k$的训练数据更新网络参数得到$\theta^{(k)}_T$，然后对这些参数进行幅度剪枝得到掩码$m_k$，再将权重重置为初始值$\theta_0$。这种'训练-剪枝-重置'的循环确保了每个掩码都是从相同的初始化出发、专门为特定数据子集优化的结果。最终的联合再训练阶段通过梯度掩码$\nabla_\theta \mathcal{L}(f_k(x; \theta_k), y_k) \odot m_k$确保不同子网络的更新互不干扰。
方法步骤详情
RTL方法包含三个主要步骤。第一步是自适应票据提取（Algorithm 1）：从随机初始化$f(x; \theta_0)$开始，创建K个等大小的二进制掩码$m_k$（初始化为全1），将数据集划分为K个子集$D_K = \{d_1, ..., d_K\}$。然后进行迭代剪枝循环：对于每个子集$d_k$，用其训练数据对网络训练T步得到临时参数$\theta^{(k)}_T$，对权重进行幅度剪枝（移除最小幅度的权重，比例为$p$），从被移除的参数集合中得到稀疏掩码$m_k$，最后将权重重置为初始值$\theta_0$。重复此过程直到所有掩码达到目标稀疏度$s$，产生K个自适应掩码$M = \{m_1, ..., m_K\}$。第二步是联合再训练（Algorithm 2）：创建平衡数据集，将每个子集划分为小批次，对较小子集进行循环重复以确保所有子网络接收相同数量的梯度更新。训练过程中，每个子网络$f(x; m_k \odot \theta)$只在其对应的数据子集$d_k$上训练，参数更新遵循$\theta_k \leftarrow \theta - \eta \nabla_\theta \mathcal{L}(f_k(x_k; \theta_k), y_k) \odot m_k$，梯度掩码确保只有被掩码保留的权重被更新。第三步是推理时的路由：根据输入的上下文信息（如类别标签或环境条件）选择对应的子网络进行前向计算。
技术新颖性
RTL的技术新颖性体现在三个层面。首先，在概念层面，它首次明确提出并验证了'数据异构性应该反映在剪枝结构中'这一观点，将剪枝从压缩工具升级为结构对齐工具。其次，在算法层面，RTL实现了一种无需辅助网络的轻量级专业化机制：与MoE需要专门的门控网络和额外参数不同，RTL仅通过学习不同的二进制掩码就实现了输入相关的计算路径，每个掩码定义的子网络参数量仅为原网络的$(1-s)$倍（$s$为目标稀疏度）。第三，在分析层面，RTL引入了子网络相似度（Jaccard系数）作为诊断工具，首次揭示了'子网络崩溃'现象——当掩码相似度急剧上升时，性能会骤降，这为判断剪枝是否过度提供了一个无需标签的早期预警指标。此外，RTL发现的语义对齐现象（语义相近的类别如猫和鹿，其子网络在深层有更高的掩码相似度）为理解神经网络如何组织知识提供了新视角。
实验结果
RTL在四个不同任务和数据集上的一致性实验结果令人信服。在CIFAR-10分类任务中，RTL在25%稀疏度下达到0.781的平衡准确率，显著优于单一模型IMP（0.711）和多模型IMP（0.712），提升幅度达7个百分点。这一优势在50%稀疏度（0.778 vs 0.711）和75%稀疏度（0.772 vs 0.760）下持续存在。RTL的召回率（0.821/0.810/0.816）全面超越基线，表明专门化的子网络能更好地保留类别相关信号，尽管精度（0.282/0.276/0.257）低于单一模型基线（0.479/0.478/0.515），这反映了RTL优先保证敏感性的设计权衡。最令人印象深刻的是参数效率：RTL仅使用103K/72K/38K参数，而多模型IMP需要944K/629K/314K——近乎10倍的差距。在CIFAR-100上，RTL同样表现优异，在25%稀疏度下达到0.765平衡准确率（基线为0.722），且在75%高稀疏度下仍保持0.759，证明了其对不完美数据分组的鲁棒性。在隐式神经表示（INR）任务中，RTL在25%稀疏度下PSNR达到18.86 dB，比单一模型IMP（15.94 dB）高出近3 dB，这一优势在50%（17.25 vs 14.72）和75%稀疏度（14.87 vs 12.69）下持续存在。在语音增强任务中，RTL在所有稀疏度下均获得最高SI-SNRi：25%稀疏度下为7.248（基线为6.885），50%下为7.178（基线为6.97），75%下为6.992（基线为6.967）。子网络崩溃分析显示，当掩码相似度（Jaccard系数）急剧上升时，性能会骤降，这一现象在CIFAR-10和CIFAR-100上均被观察到，且IoU峰值可靠地先于或伴随准确率下降。语义对齐分析进一步揭示，语义相近的类别（如猫和鹿）在深层网络中有更高的掩码相似度（0.33-0.36），而不相关类别（如飞机和卡车）相似度较低（0.27-0.31），表明RTL的剪枝结构编码了高层概念关系。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CIFAR-10 分类 | 平衡准确率 (Balanced Accuracy) | 0.781 (25%稀疏度) | 0.711 (单一模型IMP) | +7.0个百分点 |
| CIFAR-10 分类 | 召回率 (Recall) | 0.821 (25%稀疏度) | 0.480 (单一模型IMP) | +34.1个百分点 |
| CIFAR-100 分类 | 平衡准确率 (Balanced Accuracy) | 0.765 (25%稀疏度) | 0.722 (单一模型IMP) | +4.3个百分点 |
| 隐式神经表示 (INR) | PSNR (dB) | 18.86 (25%稀疏度) | 15.94 (单一模型IMP) | +2.92 dB |
| 语音增强 | SI-SNRi (dB) | 7.248 (25%稀疏度) | 6.885 (单一模型IMP) | +0.363 dB |
| 参数效率 | 参数量 | 103K (CIFAR-10, 25%稀疏度) | 944K (多模型IMP) | 9.2倍参数节省 |
局限与改进
尽管RTL展现了令人印象深刻的结果，但存在几个需要关注的局限性。首先，RTL当前依赖于预先定义的数据子集划分——在CIFAR-10中使用类别标签，在CIFAR-100中使用基于CLIP嵌入的语义聚类。在真正的无监督场景中，如何自动发现最优的子集划分仍是一个开放问题，且划分质量直接影响RTL的性能。其次，RTL的精度-召回权衡值得关注：虽然高召回率对于类专门化推理是有益的，但在需要严格区分的场景中（如医疗诊断），低精度可能成为实际部署的障碍。第三，RTL的计算开销不容忽视——完整的RTL和多模型IMP运行需要约6小时（H100 GPU），而单一模型IMP仅需45分钟，这在大规模应用中可能构成瓶颈。第四，当前实验仅在相对较小的数据集（CIFAR-10/100）和中等规模模型（约126K可剪枝参数）上验证，对于ImageNet级别的大规模分类或数十亿参数的大语言模型，RTL的可扩展性尚待验证。第五，子网络崩溃分析表明存在一个临界稀疏度阈值，超过此阈值后性能会不可逆地下降，但论文未提供预测或避免这一阈值的实用方法。
独立分析的弱点
从独立分析的角度看，RTL存在几个值得关注的弱点。第一，路由机制的简单性既是优势也是限制：当前RTL在推理时需要预先知道输入属于哪个子集（如类别标签或环境标签），这在零样本或开放集场景中可能不可用。改进方向可以是学习一个轻量级的快速分类器或哈希函数，根据输入特征自动选择子网络，或者探索基于特征相似度的软路由。第二，子网络间的参数共享策略较为粗糙——所有子网络共享同一个密集参数张量，只是通过掩码来区分。可以考虑引入层次化的共享机制，如浅层完全共享、深层完全独立、中间层部分共享，以更好地匹配不同深度的语义组织模式（论文已观察到浅层掩码相似度高、深层低的现象）。第三，剪枝和再训练的两阶段流程增加了超参数调优的复杂性——剪枝比例$p$、训练步数$T$、再训练轮数$N$等都需要仔细调整。可以探索端到端的联合优化框架，如可微分的掩码学习。第四，当前实验的子网络数量受限于类别数或聚类数（CIFAR-10为10个，CIFAR-100为8个聚类），对于类别数极多（如ImageNet的1000类）或类别数未知的场景，如何确定最优的子网络数量是一个实际挑战。
未来方向
基于RTL的成果，可以延伸出几个有前景的研究方向。首先，将RTL扩展到大语言模型（LLM）的剪枝中具有巨大的应用价值——不同领域（如代码、数学、自然语言）的文本可能受益于专门化的子网络，这与当前MoE架构的设计理念一致但实现更轻量。其次，RTL的子网络崩溃分析可以发展为一个通用的剪枝监控工具，类似于训练过程中的早停策略，在掩码相似度超过阈值时自动停止剪枝。第三，探索RTL与知识蒸馏的结合——用原始密集模型作为教师，各专门化子网络作为学生，可能进一步提升性能。第四，研究子网络的组合泛化能力：当测试数据来自训练中未见过的类别组合或环境混合时，通过子网络的集成或插值能否有效处理？第五，将RTL的思想应用于联邦学习场景，每个客户端可以维护自己的专门化掩码，同时共享基础参数，实现隐私保护下的个性化建模。最后，深入研究语义对齐现象的理论基础——为什么深层网络会自发形成与WordNet概念层次相对应的结构？这可能揭示神经网络知识组织的更深层原理。
复现评估
从复现评估来看，RTL的复现条件较为友好。论文提供了详细的实验设置：所有视觉实验使用GhostNet作为骨干网络，保留前9个Ghost瓶颈块，约126K可剪枝参数；优化器使用Adam，学习率1e-4，批量大小CIFAR-10为320、CIFAR-100为256；剪枝进度为每epoch移除4096个权重。语音增强实验使用轻量级U-Net架构，在STFT表示上操作。数据集方面，CIFAR-10/100是标准基准，ADE20K用于INR实验，DNS Challenge 2020和TAU Urban Acoustic Scenes 2020用于语音增强。计算资源方面，单个H100 GPU上完整RTL运行约6-10小时，这对大多数研究实验室是可接受的。然而，论文未提及代码开源计划，且部分细节（如CLIP嵌入的聚类超参数、INR的傅里叶特征编码维度）需要在附录中查找。总体而言，复现难度中等，主要挑战在于正确实现迭代剪枝中的权重重置和梯度掩码逻辑。
论文图表
