关于Token的困境：面向大视觉语言模型持续学习的漂移感知动态MoE框架 On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large Vision Language Models
通过token级路由漂移分析与漂移感知的动态MoE扩展，解决VLM持续学习中的灾难性遗忘
前置知识
Multimodal Continual Instruction Tuning (MCIT)
多模态持续指令微调是一种训练范式，旨在让大视觉语言模型（LVLMs）能够逐步学习新任务的指令跟随能力，同时保持对之前已学习任务的性能。与传统的从头重新训练不同，MCIT允许模型在新数据到来时增量更新，避免了昂贵的完全重训练过程。这种范式在实际应用中非常重要，因为现实世界的需求是动态变化的，模型需要持续适应新的指令格式和任务要求。
本文的研究问题正是MCIT中的灾难性遗忘问题，理解这一范式是理解论文动机的基础。
Mixture of Experts (MoE)
混合专家模型是一种稀疏计算架构，将Transformer中的密集前馈层替换为多个专家子网络和一个路由网络。路由网络根据输入token的表示，动态选择Top-K个最相关的专家来处理该token，其他专家则不参与计算。这种稀疏激活机制不仅提高了模型容量，还保持了推理效率。在MoE中，每个专家可以专注于处理特定类型的输入模式，实现知识的模块化存储。
本文的核心方法正是在MoE架构上进行动态扩展，理解MoE的路由机制和专家分配原理对于理解论文的核心创新至关重要。
LoRA (Low-Rank Adaptation)
低秩适应是一种参数高效微调技术，通过引入两个低秩矩阵 B 和 A 来参数化对预训练权重矩阵的更新，其中秩远小于输入输出维度。更新后的权重矩阵为原始权重加上低秩更新。这种方法大幅减少了可训练参数量，同时保持了与全量微调相当的性能。在持续学习场景中，LoRA的模块化特性使其适合作为MoE中的专家模块。
本文将LoRA模块作为MoE中的专家进行动态扩展，理解LoRA的工作原理是理解本文技术细节的前提。
Routing-Drift（路由漂移）
路由漂移是指在动态MoE扩展过程中，新添加的路由参数在新任务数据上训练后，导致旧任务token被错误地路由到新添加的专家上，从而造成旧任务知识丢失的现象。即使旧的专家和路由参数被冻结，新路由参数的更新仍然会影响整个路由策略，使得原本应该路由到旧专家的token被新专家吸引。这是MoE架构在持续学习中面临的核心挑战。
路由漂移是本文要解决的核心问题，论文的整个方法设计都是为了缓解这一现象。
Catastrophic Forgetting（灾难性遗忘）
灾难性遗忘是指神经网络在学习新任务时，对之前任务的性能急剧下降的现象。这是持续学习领域最核心的挑战之一。在深度学习模型中，新任务的训练会覆盖或修改之前任务学习到的参数表示，导致旧知识被新知识覆盖。在大模型的持续学习场景中，由于模型容量大、任务多样，灾难性遗忘问题尤为突出。
灾难性遗忘是本文研究问题的核心表现形式，论文的所有实验评估都围绕如何减轻遗忘展开。
研究动机
在多模态持续指令微调（MCIT）中，基于MoE的方法通过为每个新任务增量添加LoRA专家并冻结旧专家来实现参数隔离，理论上可以避免跨任务干扰。然而，实验表明这些方法仍然存在显著的遗忘问题。具体而言，在CoIN基准测试中，增量MoE方法（IncMoELoRA）的平均最终准确率（MFN）仅为49.68%，而反向迁移（BWT）指标为-16.67%，表明严重的知识遗忘。根本原因在于路由漂移：即使旧专家和旧路由参数被冻结，新路由参数在新任务数据上训练后，会导致旧任务的token被错误路由到新添加的专家上。这种路由策略的失真是在token层面发生的，但之前的工作大多从任务层面或架构层面来应对这一问题，没有深入分析token级别的路由行为。
本文的目标是本文的目标是从token层面分析路由漂移的根本原因，并设计一种针对性的解决方案，通过token级别的路由指导和正则化来缓解MoE动态扩展中的遗忘问题。具体而言，作者希望在保持新任务学习能力的同时，显著降低遗忘程度，实现更好的稳定性-可塑性平衡。在量化目标上，作者期望在MFN指标上超越现有方法至少7%，在BWT指标上将遗忘从-16.67%降低到-5%以内。此外，该方法应该是正交的、可与现有MCIT范式兼容的，以便与其他数据级或任务级方法结合使用。
与已有工作不同的是，本文的独特切入角度在于将分析粒度从任务层面细化到token层面。之前的工作如ProgLoRA、SEFE等通过架构设计或数据策略来缓解遗忘，但忽略了路由机制本身的token级动态。本文发现，新任务数据中的token并非同质的——它们可以分为新token、旧token和模糊token三类，各自对新任务学习和旧任务遗忘的贡献截然不同。特别是模糊token，它们对新任务学习几乎没有贡献，但却直接导致遗忘风险，这正是token困境的体现。这一发现揭示了CL中的可塑性-稳定性困境在token层面的具体表现形式，为设计更精细的解决方案提供了理论基础。
核心方法
LLaVA-DyMoE的方法可以用一个类比来理解：想象一个图书馆在不断添加新书架（新专家）。传统方法是让所有访客（token）都可以访问所有书架，结果一些访客会误入新书架区域，导致新书架上的管理员（路由）学习到错误的借阅模式。本文的方法相当于在训练阶段为访客设置智能导航系统：明确知道自己要去哪个区域的访客直接去对应区域；不确定的访客则被引导到安全的旧书架区域。技术路线分为三个核心部分：（1）动态MoE扩展框架，为每个新任务添加新的LoRA专家并扩展路由；（2）Token Assignment Guidance（TAG）机制，通过分析每个token的路由分数分布来识别token类型，并在训练期间指导token路由到合适的专家组；（3）Routing Score Regularization（RSR），包含排他性损失和专门化损失，直接正则化路由分数以强制专家组分离和新专家专门化。
本文的核心创新点是发现并利用了token困境这一现象。在MoE动态扩展过程中，新任务数据中的token可以分为三类：新token（对新专家组有高亲和力）、旧token（对旧专家组有高亲和力）和模糊token（对新旧专家组的亲和力差异小）。通过精心设计的控制实验（Figure 2），作者揭示了一个关键发现：模糊token和旧token对新任务学习几乎没有贡献，但当它们被路由到新专家时，会导致路由策略被污染，从而造成旧任务遗忘。这一发现的核心意义在于：之前的工作要么通过任务级路由来绕过问题，要么通过数据回放来稀释问题，但都没有直接解决token级别的路由分配问题。LLaVA-DyMoE的本质区别在于它直接在token层面进行干预——在训练期间识别并引导不同类型的token到合适的专家组，而不是事后通过正则化或数据策略来修补问题。这种治本而非治标的思路是与已有方法最本质的区别。
方法步骤详情
LLaVA-DyMoE的完整方法流程如下：首先，在每个新任务t到达时，动态MoE扩展机制会添加N_t个新的LoRA专家和对应的路由参数，形成两个专家组：冻结的旧专家组S_{t-1}和可训练的新专家组S_{t,new}。其次，对于每个输入token的中间表示，路由网络输出所有专家的路由分数向量s_t。然后，TAG机制从每个专家组中提取置信度分数c_{old}和c_{new}，并计算相对差异D_{rel}。如果D_{rel}小于等于阈值τ（模糊阈值）或c_{old}大于等于c_{new}（旧主导），则将该token分配给旧专家组；否则分配给新专家组。这一分配通过二元掩码实现，对未选中组的路由分数设置为负无穷。最后，RSR通过两个损失函数进行正则化：排他性损失L_{exc}鼓励每个token只路由到一个专家组；专门化损失L_{spe}基于BCE损失鼓励新token更多使用新专家。总训练损失为L = L_{NTP} + λL_{aux} + α(L_{exc} + L_{spe})。
技术新颖性
本文的技术新颖性体现在三个层面。首先，在问题定义层面，论文首次将MoE持续学习中的路由漂移问题精确到token层面进行分析，提出了token困境的概念。之前的工作如MoELoRA、ProgLoRA等都在任务或架构层面进行设计，忽略了token级别的路由动态。其次，在方法设计层面，TAG机制是一种全新的token级路由指导策略。它不是简单的正则化或掩码，而是根据token的路由分数分布动态识别token类型，并在训练期间实时调整路由决策。这种先分析后引导的两阶段策略与之前训练后修正的思路有本质区别。最后，在技术实现层面，RSR的排他性损失和专门化损失设计具有新颖性：排他性损失通过最小化两个专家组的集体门控输出乘积来强制路由分离，而专门化损失通过BCE损失平衡新专家的使用，二者协同工作形成完整的正则化框架。
实验结果
本文在CoIN基准测试上进行了全面实验，该基准包含8个VQA任务（SQA、TextVQA、ImageNet、GQA、VizWiz、REF、VQAv2、OCR-VQA），总训练样本569k，测试样本261k。核心结果显示，LLaVA-DyMoE在所有指标上显著超越基线方法：MFN达到57.03%，相比IncMoELoRA的49.68%提升7.35个百分点；MAA达到57.70%，提升8.20个百分点；BWT改善至-4.67%，相比基线的-16.67%减少12个百分点的遗忘。在具体任务上，方法在ImageNet上取得最大提升，从68.42%提升至95.80%（+27.38%），在VizWiz上从39.46%提升至52.35%（+12.89%）。消融实验表明，TAG模块单独使用即可将MFN从49.68%提升至54.44%，BWT从-16.67%改善至-7.04%；加入排他性损失后MFN提升至55.18%；再加入专门化损失后达到最终的57.03%。模糊阈值τ的敏感性分析显示，10%-20%的阈值范围能取得最佳的稳定性-可塑性平衡。兼容性实验表明，该方法与ASD数据范式结合时BWT进一步改善至-4.75%，与回放缓冲区结合时BWT降至-1.55%。在13B模型上的实验验证了方法的可扩展性，MFN达到60.39%，遗忘率保持在-4.64%。训练效率方面，方法仅引入4.4%的额外训练时间开销。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CoIN基准（8个VQA任务） | Mean Final Accuracy (MFN) | 57.03% | 49.68% (IncMoELoRA) | +7.35% |
| CoIN基准（8个VQA任务） | Mean Average Accuracy (MAA) | 57.70% | 49.50% (IncMoELoRA) | +8.20% |
| CoIN基准（8个VQA任务） | Backward Transfer (BWT) | -4.67% | -16.67% (IncMoELoRA) | +12.00% (遗忘减少) |
| ImageNet分类 | Accuracy | 95.80% | 68.42% (IncMoELoRA) | +27.38% |
| VizWiz VQA | Accuracy | 52.35% | 39.46% (IncMoELoRA) | +12.89% |
| CoIN基准（13B模型） | MFN | 60.39% | 53.07% (IncMoELoRA) | +7.32% |
局限与改进
本文的局限性主要体现在以下几个方面。首先，实验规模相对有限：所有实验都在7B和13B的LLaVA-v1.5模型上进行，使用CoIN基准的8个VQA任务，任务数量和多样性有限。在更大规模的模型（如70B+）和更多样化的任务（如代码生成、数学推理等）上的表现尚未验证。其次，论文的方法假设在训练期间可以访问新任务的完整数据流，但在实际应用中，数据可能是以流式方式到达的mini-batch形式，这可能影响token类型识别的准确性。第三，模糊阈值τ是一个需要手动调整的超参数，虽然论文进行了敏感性分析，但在不同任务序列和模型规模上可能需要不同的设置。第四，方法增加了模型的参数量（每个新任务添加16个LoRA专家），在长期持续学习（如100+任务）场景下，专家数量会线性增长，可能带来存储和效率问题。此外，论文的定性分析（Figure 5）显示，对于复杂场景中的小物体识别，两种方法都存在困难，表明视觉理解的深层问题并非路由优化能够完全解决。
独立分析的弱点
本文的弱点可以从多个维度进行独立分析。首先，在token类型识别方面，当前方法基于路由分数的相对差异来判断token类型，但这种启发式方法可能不够精确。特别是当新旧任务存在语义重叠时，某些新token可能本质上是旧模式的变体，简单的路由分数差异无法捕捉这种语义层面的关系。改进方向是引入基于任务语义的token分类机制，例如利用任务描述嵌入或视觉特征的语义相似度来辅助判断。其次，在训练效率方面，虽然报告了4.4%的额外时间开销，但方法需要在每个MoE层的每个token上进行路由分数分析和掩码计算，这在更深层的模型或更长的序列上可能成为瓶颈。改进方向是设计更高效的近似计算方法，例如只在部分层或部分token上应用TAG。第三，在专家管理方面，当前方法为每个新任务添加固定数量的专家，没有考虑任务复杂度的差异。简单任务可能只需要少量专家，而复杂任务可能需要更多。改进方向是设计自适应的专家添加策略，根据任务难度或数据分布动态决定新增专家数量。第四，在评估指标方面，论文主要使用准确率相关指标，没有评估模型的推理效率、参数增长情况和长期学习的可持续性。对于实际部署，这些指标同样重要。
未来方向
基于本文的成果，未来研究可以在多个方向上展开。首先，在方法扩展方面，作者提到需要在更大规模模型和更现实场景中验证方法的可扩展性。这包括在70B+模型上进行实验，以及在更多样化的任务序列（如混合视觉、语言、代码任务）上评估。其次，在专家效率方面，可以结合专家剪枝技术来控制参数增长。论文的Table 14显示了简单剪枝策略的可行性，但需要更精细的剪枝算法来平衡性能和效率。第三，在token分析的深化方面，可以探索更精细的token分类策略，例如基于注意力模式或梯度信息来识别token类型，而不是仅依赖路由分数。第四，在与其他MCIT方法的结合方面，论文已经展示了与数据回放和任务级路由的兼容性，但可以进一步探索与知识蒸馏、渐进式学习等方法的结合。第五，在实际应用场景中，可以将方法应用于多轮对话、长期交互等更复杂的持续学习场景，验证其在真实部署中的效果。
复现评估
本文的复现条件相对友好。代码和项目页面已在zhaoc5.github.io/DyMoE公开，提供了完整的方法实现细节。数据集方面，使用的是公开的CoIN基准，包含8个标准VQA任务，数据获取方便。算力需求方面，实验在4块NVIDIA H100 GPU上进行，采用BF16精度和DeepSpeed ZeRO-2优化，对于大多数研究机构来说是可承受的。训练配置清晰：全局批量大小128，学习率2×10^{-4}，AdamW优化器，warmup比例0.03。超参数方面，每任务添加16个秩为4的LoRA专家，Top-K=16，损失权重λ=α=1×10^{-3}，模糊阈值τ=20%。唯一需要注意的是，论文没有提供完整的训练脚本和配置文件，部分实现细节（如数据预处理、评估脚本）可能需要参考原始的CoIN基准实现。总体而言，复现难度中等，预计熟悉PyTorch和Transformer的研究者可以在1-2周内完成复现。
论文图表
