← 返回 2026-06-03

去中心化指令调优：冲突感知分割与权重合并 Decentralized Instruction Tuning: Conflict-Aware Splitting and Weight Merging

Minsik Choi, Geewook Kim 📅 2026-06-01 👍 21 2026-07-13 08:36
去中心化训练 多任务学习 指令调优 梯度冲突 模型合并
arXiv HuggingFace PDF

通过PCA感知数据冲突分割独立训练后权重合并，解决多任务梯度冲突和通信瓶颈

前置知识

平坦盆地

损失函数中一个宽阔平坦的局部最小值区域，在这个区域内参数变化不会显著增加损失。数学上表示为Hessian矩阵的小特征值对应的子空间，其中二阶导数接近于零。平坦最小值通常被认为具有更好的泛化能力，因为参数的小扰动不会导致性能大幅下降，模型对初始化和噪声具有更强的鲁棒性。论文通过线性模式连接性诊断验证各分支路径上的损失屏障精确为零，证明了分支确实保持在共享的平坦盆地内。

MERIT方法的核心假设是微调后的模型保持在共享的平坦盆地内，这样才能通过简单平均实现有效的模型合并。如果不同分支进入不相交的最小值，合并将无效或甚至有害。论文通过线性模式连接性权重位移和扰动鲁棒性等诊断验证了这一假设，这是MERIT成功的理论基础。

梯度冲突

在多任务学习中不同任务的梯度方向相互矛盾的现象。对于两个任务i和j当梯度的内积小于零时意味着沿一个任务梯度的更新会增加另一个任务的损失。梯度冲突导致负迁移使得联合训练时学习率必须受限于最尖锐的方向否则会导致某些任务的损失发散。以Vision-FLAN为例136个任务中短答案任务倾向于简洁的响应而详细对话任务需要丰富的表达这两种倾向在参数空间中产生相反的更新方向。梯度冲突不仅降低训练效率还可能导致模型在冲突的任务间做出妥协妥协的结果是所有任务的性能都受损。

MERIT通过在初始化阶段估计数据集级别的梯度冲突使用PCA分解来识别冲突的主导方向然后将数据集分割到不同分支从而避免训练过程中的梯度干扰。这种训练前的冲突处理与现有方法的关键区别在于将冲突解决从训练时的步骤级控制前移到参数空间的一次性和解避免了频繁的梯度同步需求。

曲率加权方差减少

权重合并带来的损失增益可以表示为曲率特征值与方向方差的加权和。其中特征值代表Hessian矩阵的特征值即损失函数沿该方向的曲率特征向量是对应的特征向量位移是模型与参考点的参数差值。这个公式表明沿高曲率方向的方差对合并增益贡献更大因为高曲率方向上的参数变化对损失影响更大。直观理解如果不同分支沿高曲率方向向相反方向移动那么平均后这些相互抵消的运动会降低损失。这种曲率加权特性解释了为什么PCA对齐的分割能够最大化合并增益因为PCA能够识别出高曲率方向。

这是MERIT的理论基础合并增益公式告诉我们应该如何分割数据集以最大化合并的收益。PCA对齐的分割策略通过将分散集中在高曲率方向上最大化合并增益而非随机分割无法保证这种对齐因此收益较小。优势随谱间隙增长这一理论预测也被实验证实MERIT的收益随PCA维度增加而单调增长。

谱滤波

通过抑制高曲率方向的误差分量来改善优化动态。联合训练的有效条件数是最大曲率与最小曲率的比值必须满足学习率小于二除以最大曲率否则优化会不稳定。当条件数很大时学习率被迫很小导致在平坦方向上的进展非常缓慢。MERIT通过结构化分割和合并使高曲率子空间内的平均位移接近于零即抑制了高曲率方向的误差分量。这降低了有效条件数使得可以用更大的学习率在平坦方向上更快进展。这种谱滤波机制类似于在优化过程中对高曲率方向进行正则化而对平坦方向给予更大自由度。

解释了为什么MERIT能够改善优化动力学。通过合并时的隐式谱滤波避免了联合训练在高曲率方向上的稳定性约束可以更快地在平坦方向上进展。论文通过学习率扫描实验验证了这一理论预测MERIT比联合训练能够使用更大的学习率而不发散。谱滤波机制也解释了为什么合并后的模型具有更好的泛化能力因为高曲率方向的过拟合被抑制。

研究动机

现代大型语言模型和多模态模型的后训练依赖于大规模指令调优通常需要将异质数据集混合训练。这面临两个耦合的瓶颈。优化方面异质数据集产生冲突的梯度导致负迁移和僵硬的动力学限制了学习率并减缓训练进度。以Vision-FLAN为例136个任务中存在短答案任务与详细对话响应任务之间的冲突当这两种任务在同一数据批次中训练时梯度方向相互抵消或干扰使得模型无法同时学习两种能力。系统方面联合训练依赖于频繁的梯度同步如all-reduce需要高带宽互连的紧密耦合集群。在碎片化计算环境如异构GPU池地理分布集群云spot实例中通信成为主要成本或硬约束。当混合数据更加异质时优化对数据干扰更加敏感但缓解这种干扰需要细粒度的同步训练信号而同步又不可用形成恶性循环。这使得在资源受限的环境中进行大规模指令调优变得极其困难。

本文的目标是本文的目标是开发一种去中心化的指令调优流水线能够在参数空间中独立训练混合数据集的各个部分并一次性合并它们从而同时解决梯度干扰和带宽通信两个瓶颈。具体来说希望在不进行跨分区梯度同步的情况下实现与集中式联合训练相当或更好的性能并且能够在碎片化带宽受限的硬件上并行训练。这种流水线将大型的指令调优问题转化为多个可以在不同硬件上独立运行的子问题最后通过参数合并整合结果使得原本需要紧密耦合集群的任务可以在分布式环境中完成。

与已有工作不同的是，现有方法存在局限性。模型合并方法通常平均在相同数据上以不同随机性训练的模型主要减少运行间方差而本文需要合并在异质混合数据的不相交分区上训练的模型。联邦学习方法虽然采用独立本地训练后平均的结构但通常假设固定预分配的数据分区由隐私或所有权约束决定而本文假设集中可用的数据并主动优化分区本身以最大化合并质量。多任务梯度操作方法如PCGrad需要在训练期间同步访问每任务梯度在超过百个任务和数十亿参数的规模上不可行因为存储和处理每任务梯度的内存需求远超硬件限制。MERIT的独特切入角度是在训练前通过梯度冲突分析主动分区在参数空间中一次性和解冲突而非训练时的步骤级控制。这种前冲突处理与联邦学习的被动分区的根本区别在于MERIT将分区优化作为自由度主动设计以最大化合并质量。

核心方法

MERIT基于共享平坦盆地内的局部二次分析将异质数据混合转化为K等于2的r次方个冲突感知分区从共享的就绪合并初始化独立微调每个分区然后通过token加权平均合并结果检查点。直觉上如果不同数据集在初始化处的梯度方向冲突让它们在同一参数轨迹上更新会产生干扰因为梯度会相互抵消导致训练效率低下。但如果让它们在不同分支上独立更新然后平均冲突在高曲率方向上会相互抵消而在低曲率方向上会产生方差减少增益从而降低整体损失。技术路线上MERIT首先估计数据集级别的梯度冲突然后通过PCA分解冲突结构沿主导PCA轴递归分割独立训练各分支最后合并。这种方法的优点是将训练时的冲突处理前移到训练前的一次性分析避免了步骤级的梯度同步需求。

核心创新点是训练前的冲突感知数据集分割。与现有方法的关键区别在于模型合并平均在相同数据上训练的模型主要减少运行间方差联邦学习假设固定分区被动优化全局目标多任务梯度操作在训练步骤级操作梯度需要同步。MERIT则主动优化分区本身以最大化合并质量将冲突处理前移到训练前移除了步骤级同步需求。具体来说MERIT通过PCA对齐的分割策略将数据集分配到不同分支使得分支间沿高曲率方向的更新最大化地相互抵消或分散然后在参数空间中一次性和解冲突。这种前冲突处理方式使得各分支可以在完全独立的硬件上训练无需任何跨分支通信最后通过简单的权重平均实现合并。这与传统方法形成鲜明对比传统方法要么在训练时实时处理冲突要么完全不处理冲突。

方法步骤详情

MERIT流水线包含五个阶段。第一步数据集级别梯度冲突估计在共享初始化处为每个数据集t估计代表性梯度gt通过对校准集最多200个样本上的梯度进行平均使用相同的模型和可训练参数设置然后归一化每个梯度并构建余弦相似度矩阵。这个矩阵捕捉了不同数据集在初始化处的更新方向一致性高值表示一致低值或负值表示冲突。第二步基于PCA的冲突分解通过PCA提取C的主导冲突结构得到每个数据集的r维嵌入zt。考虑r等于1到3给出MERIT的1D2D和3D变体分支数等于2到8。PCA能够识别出冲突的主导方向这些方向对应于数据集间梯度变化最大的子空间。第三步冲突感知和平衡的数据集分区使用PCA嵌入将数据集分割成不相交的组使得具有相似投影的数据集分配到同一组而具有相反投影的数据集分离。递归地沿PCA坐标使用样本平衡的中位数进行50比50分割每个数据集携带等于其样本数的权重st这种平衡确保各分支的训练负载大致相等避免某些分支数据过少。第四步无通信分支训练分区后每个组微调一个模型都从初始化初始化并共享相同的主干可训练参数子集和超参数唯一的区别是每个组看到哪些数据集。训练期间不发生跨组通信分支可以在不相交的硬件上并行运行这充分利用了分布式环境中的硬件资源。第五步token加权合并通过token加权平均在一次通过中合并结果分支检查点其中权重等于每组的token预算。当每组token预算完全平衡时这简化为均匀平均在样本平衡分割下token预算仅近似平衡因此合并通常非均匀。

技术新颖性

技术新颖性体现在三个方面。第一理论框架在共享平坦盆地内的局部二次分析推导出三个结果合并产生曲率加权方差减少PCA对齐的分割最大化此增益优势随谱间隙增长合并起到隐式范数正则化和谱滤波的作用。这些理论结果不仅解释了MERIT为什么有效还为算法设计提供了明确指导例如为什么使用PCA以及为什么增益随PCA维度增加。第二算法设计MERIT将分区优化引入去中心化训练这是联邦学习设置中不存在的自由度通过梯度冲突PCA实现训练前的冲突处理而非训练时的步骤级控制。这种设计使得MERIT能够在完全无通信的情况下训练各分支最后一次性合并大大降低了系统复杂度和通信开销。第三实验验证在Qwen2.5-VL-3B上的136个Vision-FLAN任务实验显示MERIT-3D在相同token预算下将8个基准测试平均分从54.3联合训练1轮提升到57.0提升了2.7。在7B模型上的1.6M样本176来源混合数据上MERIT匹配或超过集中式联合训练该方法还迁移到纯文本FLAN设置证明其泛化能力。

实验结果

在受控的3B研究中每个MERIT变体都在8个基准测试平均值上超越了单轮联合训练即使随机分割也超越了Joint 1轮与定理3.1预测的共享平坦盆地内确定性合并增益一致。最佳变体MERIT-3D相对于主要Joint 1轮基线提升了2.7且没有任何跨分区梯度通信。这种模式在7B规模上在三个独立种子中重复出现确认了一致性表明MERIT的增益不是随机效应而是源自算法设计的系统性优势。冲突感知与随机分割的比较显示MERIT-3D在相同预算下比Random 8 groups提升2.5优势随PCA维度单调增长而随机分割没有这种趋势这一发现直接验证了理论预测即PCA对齐的分割能够最大化合并增益。MERIT还超越了在同一梯度表示上的K-means聚类表明与冲突方向对齐比简单分组相似数据集更重要。在大规模视觉语言模型实验中在标准LLaVA风格的Base VLM上MERIT在8个基准测试平均值上从54.9提升到55.4同时实现了更平衡的性能概况恢复联合FFT在User Preference and Fluency上遭受的开放端质量下降MMVet提升了2.6并在Image Reasoning上增加清晰增益MathVista提升了2.5代价是在文本丰富的基准测试上保持在一个半点以内。在更强的Scaled base VLM上即使从这个更强的初始化MERIT仍然在整体平均值上超越Joint FFT从60.9提升到61.5差距集中在开放端生成。在文本only指令调优上MERIT-2D在66个FLAN任务上使用Qwen2.5-3B实现最佳平均值超过1轮联合训练0.8在半预算下匹配或略微超越2轮联合训练证明该方法不局限于多模态设置。效率分析显示在3B规模上MERIT的并行分支训练和一次性合并在8个V100 GPU上仅比单轮联合训练高约百分之24同时实现明显更好的平均值且比两轮联合训练更快一次性的梯度冲突预处理约2小时可在运行间摊销单独报告。在7B规模上这种循环开销在8个A100 GPU上降至百分之0.8预处理占总训练的更小一次性比例表明MERIT在更大规模上更加高效。

Controlled comparison of multimodal post-training strategies across diverse benchmarks.
Table 2: Controlled comparison of multimodal post-training strategies across diverse benchmarks.
Comparison over LLaVA-Series on diverse MLLM benchmarks under two 7B base models.
Table 3: Comparison over LLaVA-Series on diverse MLLM benchmarks under two 7B base models.
Text-only benchmark results on Qwen2.5-3B with 66 FLAN tasks.
Table 4: Text-only benchmark results on Qwen2.5-3B with 66 FLAN tasks.
Merge-readiness diagnostics Qwen2.5-VL-3B MERIT-2D K equals 4 branches.
Table 1: Merge-readiness diagnostics Qwen2.5-VL-3B MERIT-2D K equals 4 branches.
Linear Mode Connectivity 2D split K equals 4. All 10 barriers are exactly 0 confirming that branches remain in a shared flat basin with no loss barrier.
Table 5: Linear Mode Connectivity 2D split K equals 4. All 10 barriers are exactly 0 confirming that branches remain in a shared flat basin with no loss barrier.
Post-hoc merging baselines applied to MERITs 7B 2D branches K equals 4.
Figure 3: Post-hoc merging baselines applied to MERITs 7B 2D branches K equals 4.
Weight perturbation robustness.
Figure 4: Weight perturbation robustness.
查看结构化数据
任务指标本文基线提升
8-benchmark平均分 (3B, Vision-FLAN) 平均分数 57.0 (MERIT-3D) 54.3 (Joint 1 ep) +2.7
8-benchmark平均分 (7B, 1.6M mixture) 平均分数 55.4 (MERIT-2D) 54.9 (Joint FFT) +0.5
8-benchmark平均分 (7B, Scaled base) 平均分数 61.5 (MERIT-2D) 60.9 (Joint FFT) +0.6
8-benchmark平均分 (Text-only, FLAN) 平均分数 58.4 (MERIT-2D) 57.6 (Joint 1 ep) +0.8
MMVet (开放端理解) 分数 35.1 (MERIT-2D) 32.5 (Joint FFT) +2.6
MathVista (数学推理) 分数 35.4 (MERIT-2D) 32.9 (Joint FFT) +2.5
LLaVA-Wild (开放端生成) 分数 52.0 (MERIT-3D) 41.9 (Joint 1 ep) +10.1

局限与改进

作者承认的局限性包括MERIT依赖于merge-ready初始化的假设即独立微调的模型保持在连通的低损失区域内。论文通过线性模式连接性权重位移和扰动鲁棒性诊断验证了这一假设但并非所有初始化都满足这一条件如果初始化不在平坦盆地内或者不同数据集导致模型进入不相交的最小值合并可能无效或甚至有害。此外梯度冲突估计需要在校准集上计算每个数据集的梯度虽然通过步长s等于5的子采样保留百分之20参数将此成本降低到一次性的小开销但在数据集数量极大时仍有计算成本。论文在相对较小的r等于1到3维度上评估PCA分割更高维度的收益可能边际递增但也会增加复杂度和计算开销。观察到的局限性包括MERIT的增益随基线模型强度增加而减小从Base VLM的0.5到Scaled base VLM的0.6在非常强的初始化上优势可能进一步减小这表明在已经非常强的基线上MERIT的收益有限。合并后的模型训练损失高于联合训练从0.49到1.27跨轮次表明合并确实起到了隐式正则化作用但也意味着在某些情况下可能需要更多训练才能收敛。token加权平均是最简单的合并策略虽然论文显示其优于TIESTARTTSV和Iso-CTS等更复杂的方法但在某些设置下其他策略可能更合适特别是当分支间存在冗余而非互补性时。

独立分析的弱点

独立分析的弱点第一merge-ready初始化的依赖性如果初始化不在平坦盆地内或者不同数据集导致模型进入不相交的最小值合并可能无效或甚至有害。改进方向是开发更鲁棒的合并策略能够处理线性模式连接性不成立的情况或者在初始化阶段主动平坦化损失景观。具体可以考虑在训练前进行预对齐阶段确保所有分支从相似的最小值附近开始或者开发能够在不相交最小值间插值的更复杂合并方法如沿低损失路径插值。第二梯度冲突估计的计算成本虽然通过子采样和复用相似度矩阵将成本降低但随着数据集数量增长如T大于1000O的T平方的相似度矩阵计算和PCA分解可能成为瓶颈。改进方向是开发近似的冲突估计方法如基于数据集元信息的代理冲突度量或者增量PCA以在添加新数据集时避免完全重新计算。还可以考虑分层聚类策略先在大类上进行粗粒度冲突分析再在细粒度上细化。第三固定分割策略MERIT在训练前进行一次性分割无法适应训练过程中动态变化的冲突模式。改进方向是开发自适应分割策略在训练期间动态重新分配数据集到不同分支或者引入软分割允许数据集在多个分支间共享。可以考虑周期性重新评估冲突并重新分配或者使用渐进式方法逐渐优化分割。第四仅考虑梯度方向MERIT主要基于梯度方向的余弦相似度忽略了梯度幅度的差异和任务重要性。改进方向是考虑任务权重和梯度幅度的加权冲突度量或者结合任务特定的正则化项。例如对重要任务给予更高权重或者根据任务的困难程度和性能需求调整分割策略。

未来方向

作者提出的未来研究方向包括扩展到更大规模在更多模型规模如13B70B和数据规模数百万样本数百个数据集上验证MERIT的有效性特别是在商业级产品设置中。与其他去中心化技术结合将MERIT与联邦学习通信高效的梯度压缩或低秩适应技术结合进一步降低带宽需求和通信成本。动态冲突感知分割开发训练过程中动态重新评估和重新分割数据集的策略以适应变化的冲突模式。自适应合并策略超越简单的token加权平均开发根据任务重要性或性能动态调整合并权重的方法或者学习合并权重。多轮合并流水线将MERIT扩展到多轮合并在训练期间多次合并和重新分割分支以进一步优化冲突处理。理论扩展放松平坦盆地假设在更一般的损失景观条件下分析合并的有效性或者发展自适应确定最优PCA维度r的理论框架。应用扩展将MERIT应用于其他设置如持续学习领域自适应或多模态预训练。还可以探索MERIT与其他正则化技术如权重衰减Dropout等的相互作用以及如何将MERIT的思想应用到其他形式的模型合并如特征级合并或激活级合并。

复现评估

复现评估论文承诺在github.com/naver-ai/merit发布代码。实验使用公开可用的数据集Vision-FLAN FLAN LLaVA-ReCap-CC3M以及多个Hugging Face上的公开数据集如LVIS-Instruct4Vthe-cauldronLLaVA-Human-Preference-10K等。主要实验使用Qwen2.5-VL-3B和Qwen2.5-7B作为基础模型这些都是公开的。硬件方面3B实验在8个V100 GPU上进行7B实验在8个A100 GPU上进行这些都是相对容易获得的主流GPU。训练细节学习率批大小优化器等在附录中提供了完整描述。论文进行了多种子实验主要比较在5个种子上平均以验证结果的鲁棒性并报告了统计显著性测试。然而一些细节如完整的超参数网格搜索结果和每个数据集的确切样本数可能需要代码发布后才能完全复现。总体而言论文在数据可用性硬件可及性和实验透明度方面做得较好复现难度中等主要障碍可能是大模型训练的计算资源需求。预处理脚本数据集加载代码和评估脚本如果完全发布将大大降低复现门槛。

论文图表

Centralized training vs. MERIT. Centralized tuning synchronizes conflicting tasks across a tightly-coupled cluster top MERIT partitions the mixture by conflict fine-tunes each group independently and merges once into bottom.
Figure 1: Centralized training vs. MERIT. Centralized tuning synchronizes conflicting tasks across a tightly-coupled cluster top MERIT partitions the mixture by conflict fine-tunes each group independently and merges once into bottom.

该图对比了集中式训练和MERIT的架构。上图展示集中式训练136个混合任务在一个紧密耦合的集群上同步训练需要频繁的跨节点梯度通信。下图展示MERIT首先按冲突分割任务为4个组PCA 2D分割然后在4个GPU上独立微调每个组没有跨分区梯度通信最后通过token加权平均一次性合并为单一模型。图中用不同颜色表示不同的任务冲突方向箭头表示合并步骤清晰地展示了两种方法的根本区别集中式方法需要持续的同步而MERIT只需要一次性合并。

这张图对理解论文非常重要因为它直观地展示了MERIT的核心创新将原本需要频繁同步的集中式训练转化为只需要一次性合并的去中心化训练。图中的任务分割和独立训练步骤清晰地说明了MERIT如何解决两个瓶颈梯度冲突和带宽通信。这张图也展示了MERIT的系统优势可以在不同GPU上独立训练最后合并避免了集中式训练对紧密耦合集群的依赖。