大语言模型中的模型合并缩放定律

首次提出LLM模型合并的floor+tail幂律,量化专家数与模型规模的耦合标度

前置知识

任务向量 (Task Vector)

任务向量 $v=\theta_{\text{expert}}-\theta_0$ 是基础模型与领域微调后模型之间的参数差,可以理解为模型在某一方向上的'偏移量'。合并时一般对多个 $v_i$ 做加权求和,$\Psi(v)$ 是方法特定的预处理(修剪、掩码、放缩)。

本文的整个理论框架建立在'合并 = 等权平均任务向量'这一假设上,1/k 尾律与方差收缩都从任务向量的协方差结构 $\Sigma$ 推出。

模型合并 (Model Merging)

在不重新训练的前提下,把多个独立微调的模型按权重空间规则合成为一个统一模型。常见规则包括 Average(直接取平均)、TA(任务算术)、TIES(修剪-选举-不相交)、DARE(随机丢弃后放缩)。

合并是本文研究的对象;不同规则的 $\Psi(v)$ 改变了 $\mu,\Sigma$,但合并损失仍服从同一 floor+tail 幂律,这是文章的核心发现之一。

跨熵损失 (Cross-Entropy)

token 级负对数似然均值,本文评估时在每个领域取 30M 验证 token 求平均。该指标稠密、低方差,且与二阶 Taylor 展开直接对应,故选作主评估量。

作者明确把研究对象限定为 CE;下游指标虽然定性同趋势,但因稀疏与噪声大,不严格服从同一参数律。

缩放定律 (Scaling Law)

在 Kaplan 2020 与 Hoffmann 2022 等工作中,损失被建模为参数 N、数据 D、计算量 C 的幂律 $L=aN^{-\alpha}+b$。该类规律把经验现象升格为可预测的工程工具,指导算力分配。

本文把'缩放'思想首次移植到合并领域,把模型规模 N 与专家数 k 同时纳入二维幂律,是与已有工作最本质的差异。

Hessian-协方差交互 $\mathrm{Tr}(H\Sigma)$

在二阶 Taylor 展开中,合并尾部振幅 $A(N)=\tfrac{1}{2}c^2\mathrm{Tr}(H\Sigma)$,其中 H 是损失在 $\theta_0$ 处的曲率代理、$\Sigma$ 是任务向量的协方差。该标量同时编码曲率各向异性与域间差异。

它是联系'专家多样性'与'合并收益'的桥梁,也是 Theorem 3.1 给出的 $1/k$ 尾律的系数核心。

研究动机

现有模型合并方法严重依赖经验试错,缺乏预测合并效果的定量理论。研究者需要在多种合并规则、专家数量和模型规模间反复实验以寻找最优配置。例如合并 9 个领域专家时,仅 Average/TA/TIES/DARE 四种方法就需要遍历所有 $\binom{9}{k}$ 种组合并评估,巨大搜索空间使得'还要加多少专家'、'何时该停止'等问题难以回答。具体表现为:在小模型(0.5B)上 k=1→9 的 CE 仅降 9.5%,而 72B 上同样操作的收益结构完全不同;不同方法在小 k 处差异显著(如 0.5B 处 TIES 方差比 Average 低 44%),却难以事前预测。多任务 SFT 与合并的成本-收益比也从未被严格量化,工程选型近乎赌博。

本文的目标是本文目标是建立首个'模型合并缩放定律',用一条简洁公式定量描述合并损失随基础模型规模 N 与专家数 k 的演化规律。具体包括:(1)推导出经验幂律 $E[L\mid N,k]=L^*+BN^{-\beta}+A_0 N^{-\gamma}/(k+b)$,覆盖 Average/TA/TIES/DARE 四种方法与九大领域;(2)从理论上证明尾部 $1/k$ 衰减来自任务向量协方差 $\Sigma$ 与曲率 H 的交互;(3)基于此提供预算感知的'三点拟合'流程,仅用 $k\in\{1,2,4\}$ 三点即可预测完整 k 曲线并推荐高效专家数 $k^*$。最终使合并从启发式实践升级为可与多任务 SFT 抗衡的可预测替代方案。

与已有工作不同的是，现有合并研究多关注单次合并操作的最优规则或新预处理技巧,却忽视了'专家数 k 与模型规模 N 的二维标度律'。Yadav 2024 与 Wang 2025c 虽涉及 k 与效果的关系,但都只给出定性观察或局部经验拟合,缺少跨域、跨方法、跨规模的统一形式。本文抓住了三个被忽视的关键点:第一,规模不仅降低渐近下界 $L_\infty(N)$,还通过 $\mathrm{Tr}(H\Sigma)$ 收缩尾部振幅;第二,合并的子集均值与方差都遵循 $1/k$ 标度律,意味着更大的专家池同时改善均值与稳定性;第三,合并在均值成本下近似 SFT 行为,本文以 9 域 10,866 模型的实证与 $O(k^{-3/2})$ 余项的严格证明,把'拼接专家'提升为可预测的工程工具。

核心方法

方法思路可类比'投资组合再平衡':把每个领域微调后的专家看作'资产',合并就是按固定权重 $\alpha_{i,k}=c/k$ 把这些资产加到基准模型上。随着 k 增加,平均更新向量的方差按 $1/k$ 收缩,而损失函数在该邻域内的二阶 Taylor 展开 $\Delta L \approx \tfrac{1}{2}\varepsilon_k^\top H\varepsilon_k$ 把方差缩小直接转化为期望损失的 $1/k$ 改善。技术上分三步:(i)从同一基座训练九个领域专家作为 $\mathcal{M}$;(ii)遍历/采样 $k$-子集,按 Average/TA/TIES/DARE 之一合并并对 30M 验证 token 算 CE;(iii)联合 (N,k) 网格拟合 $L_\infty(N)+A(N)/(k+b)$,其中 $L_\infty(N)=L^*+BN^{-\beta}$、$A(N)=A_0 N^{-\gamma}$,用权重 $\propto k$ 的加权最小二乘稳定早期噪声。

核心创新在于把'合并效果'与'模型规模'通过一条二维幂律耦合起来:$E[L\mid N,k] = L^* + B N^{-\beta} + A_0 N^{-\gamma}/(k+b)$。这与已有的合并方法(如 TIES 仅在 $\Psi(v)$ 预处理上做文章)或已有缩放定律(Kaplan/Hoffmann 仅在 N 或数据上标度)有本质区别——本文首次揭示'floor+tail'形式:$L_\infty(N)$ 是 $k\to\infty$ 时的渐近下界,由基础模型 $\theta_0$ 与任务向量均值 $\mu$ 共同决定;tail 振幅 $A(N)=\tfrac{1}{2}c^2\mathrm{Tr}(H\Sigma)$ 把方差与曲率联系起来,解释了为什么大多数收益来自前几个专家、为什么方法差异在大规模下消失、为什么合并的方差按 $1/k$ 收缩。这一'幂律形式 + 理论下界'的双重创新,把合并从技巧集提升为可预测的工程科学。

方法步骤详情

流程包含五步。第一步构造专家池:从 Qwen-2.5(0.5B–72B 共 7 档)同一基座出发,对九个领域(代数/分析/几何/离散/数论/代码/化学/物理/生物)用 LoRA 风格微调得到 M=9 个专家;超参见表 2(lr=1e-5、2 epoch、bs=16、bf16、ZeRO-3)。第二步枚举/采样合并子集:对 N≤8B 遍历全部 $\binom{9}{k}$ 子集,对 N>8B 按 Algorithm 1 用 Hamming 距离多样化采样。第三步执行合并:$\theta=\theta_0+\sum_{i\in K}\alpha_{i,k}\Psi(v_i)$,$\alpha_{i,k}=c/k$,$\Psi$ 视方法而定(Average/TA 直接用 $v$,TIES 修剪-选举-不相交,DARE 掩码 $m\odot v/(1-p)$)。第四步评估:30M token 跨熵按子集求均值 $bE[L\mid N,k]$。第五步拟合:加权非线性最小二乘估计 $(L^*,B,\beta,A_0,\gamma,b)$,并在 LLaMA、Gemma-2 复现验证。

技术新颖性

技术新颖性体现在三个层面。第一,函数形式的统一性:现有工作要么仅在 N 维度上做缩放(Kaplan 2020),要么仅在 k 维度上讨论合并收益(Yadav 2024),而本文首次把两者纳入一个 floor+tail 幂律,并证明其在 4 种合并方法 ×9 个领域 ×7 个规模 ×9 个 k 值网格上 R²>0.98。第二,理论证明的精确性:Theorem 3.1 在 Hessian M-Lipschitz、任务向量六阶矩有限、$\alpha_{i,k}=c/k$ 等温和假设下,给出 $E[L\mid N,k]=L_\infty + A/k + O(k^{-3/2})$ 并明确余项界,把'经验幂律'提升为有定量误差控制的一致估计;Corollary 3.2 进一步刻画方差按 $1/k$ 收缩。第三,工程可操作性:仅用 $k\in\{1,2,4\}$ 三点就能预测完整曲线及最佳 $k^*$,是首篇把'合并缩放定律'工程化为预算感知决策工具的论文。

**Figure 1**: Model Merging Scaling Law. CE vs. number of merged experts (k) at multiple model sizes (N) for four merging methods.

实验结果

基于 10,866 个合并模型在 N∈{0.5,1.5,3,7,14,32,72}B、k∈{1..9} 网格上的实证,论文得出六大核心发现。(1)大模型更易合并:k=9 时跨域 macro CE 从 0.5B 的 0.739 降至 32B 的 0.430,跌幅 41.9%;floor 指数 β∈[0.33,0.42]。(2)头部收益集中:跨域 R(k) 中位曲线在 k=5 过 85%、k=6 过 90%,约 5/9≈56% 的专家池就能捕获绝大部分收益。(3)方法差异随规模消失:32B 处 TA/TIES 与 Average 在 k≥8 时差距 ≲2%。(4)方差按 $1/k$ 收缩:0.5B 化学域 k=1→8 方差从 0.0385 降至 0.00108。(5)顺序敏感性快速衰减:0.5B 跨序 std 从 k=1 的 0.039 降至 k=8 的 0.0081(−79%)。(6)跨骨架一致性:LLaMA-3.2 3B/3-8B 与 Gemma-2 上 R² 分别达 0.999/0.995/0.998,9→16 域扩展同样服从幂律。

**Table 1**: Unified view of model merging recipes.

**Table 3**: Joint (N, k) fit for Average (per-domain parameters).

**Figure 4**: Larger models are easier to merge, and most gains arrive early.

**Figure 5**: Method sensitivity diminishes at scale. Mean CE and variance follow a common power law across methods.

查看结构化数据

任务	指标	本文	基线	提升
Cross-domain macro CE (9 domains)	CE @ k=9	0.430 (Qwen-2.5 32B)	0.739 (Qwen-2.5 0.5B)	−41.9% (跨两个数量级规模)
Fractional return R(k)	达到 90% 收益的 k*	*k∈{5,6}**	k=9 全集	省 33% 专家
In-domain algebra	CE @ 32B, k=9 vs k=1	0.430 量级 (k=9)	0.493 (k=1)	约 −13%
Cross-backbone fit quality	R²	0.999 (LLaMA-3.2 3B)	n/a	幂律高度拟合
Three-point forecast	k90 命中率	*k≈{5,6} 集中**	完整 9 点拟合	用 1/3 数据等价精度
Order sensitivity (DARE)	跨序 std @k=8 vs k=1	0.5B −79%, 32B −81%, 72B −79%	原始 std	方差接近 1/5

局限与改进

作者明确承认三点局限。第一,结论限定于 token-level 跨熵与 equal-normalized 合并($\alpha_{i,k}=c/k$);下游基准分数(MMLU/GSM8K 等)虽然定性上同趋势,但因稀疏、阈值化、噪声大,可能早于 CE 饱和,故不严格服从同一参数律——Table 15 显示 LLaMA-3.2 3B 在 k=4 后仅 ±0.002 波动。第二,专家容量被固定,未作为第三维标度轴;改变 LoRA rank、adapter 宽度、训练 token 数会改变 $\mu,\Sigma$ 与 H 的对齐,从而改变 $L_\infty,A$ 估计——这本身是自然延伸但本文未涵盖。第三,理论部分假设 Hessian M-Lipschitz 与任务向量六阶矩有限,对极端规模/模态的鲁棒性、H 用 GGN/Fisher 替代时的代理误差未完全闭合;TIES 强非线性下需附加 bounded 修正项 $+Dk^{-q_k}$,DARE 的 $\Psi$ 改变 $\mu,\Sigma$ 但 $1/k$ 标度仍成立的边界条件也未严格证明。

独立分析的弱点

我的独立分析指出三个可改进点。第一,实验仅覆盖 token-level CE 与少数下游任务(LLaMA/Gemma 的 5 个领域专家),未检验'安全/公平/鲁棒性/校准'等关键下游维度;在安全场景下合并的 floor+tail 是否仍成立未知——Table 17 中 safety 专家合并后 harmbench_rta 出现 0.216→0.806 的剧烈波动,说明 CE 平稳并不等于下游安全。改进方向:增加 safety/calibration/robustness benchmark,并联合拟合 $L_{\text{utility}}(k)$ 与 $L_{\text{safety}}(k)$。第二,TIES 在 3B 上出现有界非单调性,作者用 $+Dk^{-q_k}$ 修补但物理意义不清晰;改进方向是改用 TIES 修剪-选举的解析统计量直接预测 D。第三,'三点拟合'假设 b 已知或小,若 k 早期噪声大或 b 真值较大(如 LLaMA-3.2 3B 的 $\hat b=0.69$),三点预测可能偏系统;改进方向是加入贝叶斯先验或自适应选取三个 k。

未来方向

未来研究方向可从作者提出与成果延伸两条线索展开。作者明确的方向:把专家容量(LoRA rank、训练 token、专家质量)作为第三标度轴;扩展到非 equal-normalized 与学习权重合并;研究曲率各向异性与域间离散度对 $L_\infty,A$ 参数化的解析映射;自动化的'选择/排序/合并'策略。基于成果可延伸的方向有四点:(1)利用文末 9×9 协同矩阵 $S_{d\to e}$ 构建'目标域—捐赠域'图模型,自动化 donor 选择——已发现 science↔science 块均值 0.073–0.117,math↔math 0.012–0.016;(2)把 $1/k$ 方差律推广到数据混合的 curriculum 设计,预测课程长度;(3)联合拟合'专家容量—数据量—k'三轴 3D 缩放面;(4)把法则嵌入 LLM serving 框架做'运行时按需合并',按 query 动态选择 k 以平衡延迟与质量。

复现评估

复现评估整体良好。代码与模型已开源(https://github.com/InfiXAI/Merging-Scaling-Law),9 域 0.5B–32B 全套合并检查点将随后释放。数据集来自 Mixture-of-Thoughts(HuggingFace 开源,DeepSeek-R1 生成解答),无需重新标注;下游任务使用 LLaMA-3.2/3-8B 与 Gemma-2 开源 checkpoint。算力门槛:72B 模型的 GPU-hour 在 H800 上仅约 2686s(TA)/2280s(Average)/2360s(DARE)/2967s(TIES),合计约 7.5 GPUh,门槛远低于多任务 SFT 所需的约 1300 GPUh。难点主要在三处:(a)TIES/DARE 的预处理超参对结果敏感,需要严格按论文表 1 配置;(b)9 域全枚举 $\binom{9}{k}$ 在 N>8B 时必须按 Algorithm 1 采样,否则失真;(c)加权最小二乘中权重 $\propto k$ 是稳定早期 k 噪声的关键,不建议改用均匀权重。整体复现难度为'中等'。

大语言模型中的模型合并缩放定律 Model Merging Scaling Laws in Large Language Models