FeatCal：面向合并后模型的特征标定方法 FeatCal: Feature Calibration for Post-Merging Models

完整流程可概括为六步：(1) 准备阶段：对每个任务 $i$ 准备 $n$ 个无标签校准样本，固定合并模型权重 $W_{\text{mer}}$ 与所有任务专家权重 $W_i$ 与基模型权重 $W_{\text{base}}$；(2) 前向遍历层 $\ell=1,\dots,L$：用当前已标定模型跑前向，cache 该层每个待标定线性模块的输入特征 $X_{\text{cal}}^i$，同时跑任务专家得到同一模块的专家特征 $X_{\text{exp}}^i$；(3) 构造插值目标 $X_{\text{tgt}}^i = \alpha X_{\text{exp}}^i + (1-\alpha) X_{\text{cal}}^i$；(4) 计算任务局部统计量 $G_i = \tfrac{1}{n}X_{\text{cal}}^i (X_{\text{cal}}^i)^\top$ 与 $C_i = \tfrac{1}{n}X_{\text{tgt}}^i (X_{\text{cal}}^i)^\top$，以及稳定化任务权重 $\omega_i = 1/\max\{\|G_i\|_F,\epsilon\}$；(5) 构造锚点权重 $W_{\text{anc}} = \rho W_{\text{mer}} + (1-\rho) W_{\text{base}}$，代入闭式公式 (17) 求出新权重 $W^*$；(6) 把 $W^*$ 写回当前模块，继续下一模块/下一层。算法对 bias 与 LayerNorm 仿射参数有等价闭式更新（见 App. G），但实验中贡献小于 0.5pp，因此主表中可以忽略。

技术新颖性主要体现在三点：(1) 形式化的"逐层漂移分解 + 前向复合"理论，明确给出最终特征漂移是各层局部失配的线性组合 $\mathbf{e}_{i,L}(x) = \sum_{\ell=1}^L P_{i,\ell\to L}(x)\mathbf{m}_{i,\ell}(x)$，并把输出漂移与最终特征漂移用 Lipschit z 界 (公式 7) 联系起来，这是已有合并类论文中少见的严格分析；(2) 第一次把"前向 schedule + 闭式岭回归"同时用于后合并标定，避免了 Surgery/ProbSurgery 的迭代优化与额外模块，部署时和原模型完全等价；(3) 引入"目标插值 + 锚点外插 + 任务归一化"三个可解释的超参 $(\alpha,\rho,\lambda)$，在 8 任务 B/32 上 $\alpha=0.3,\rho=2.0,\lambda=0.05$ 即可达到 85.5% 平均，比调参繁琐的 Surgery/ProbSurgery 鲁棒得多。

(1) 对非线性模块覆盖不足：方法主体只更新线性权重，bias/LayerNorm 的闭式更新收益微弱，但实际模型中 BN/LN 的统计差异常是合并性能损失的重要来源，尤其在视觉 Transformer 之外的结构中更明显；改进方向是引入针对归一化层的可微标定或把统计对齐嵌入闭式目标。(2) 超参跨架构不可移植：CLIP 主表用 $\lambda=0.05,\rho=2.0,\alpha=0.3$，FLAN-T5 用 $\lambda=10^{-5}$ 差 4 个量级，MergeBench 上 3B 用 $10^{-5}$ 而 8B 用 3.0，呈现"换模型就重调"的痛点；改进方向是引入数据驱动的自适应 $\lambda$（如基于 $G_i$ 谱的自动岭）或贝叶斯超参选择。(3) 任务数线性增长的 cache 成本：每层前向要为所有任务的专家各 cache 一次特征，10 任务×12 层×n=256 已是明显开销，扩展到 50+ 任务时显存可能成为瓶颈；改进方向是任务采样、子集标定或共享专家代理以降低 cache。(4) 与参数空间解释的张力：Fig. 2d 显示 FEATCAL 拉低了 backbone 与同任务专家的 task-vector 余弦，论文承认这是诊断而非完整解释，可能让用户在追求"参数可解释性"时犹豫；改进方向是补充 task-vector 投影等参数空间诊断，或尝试把闭式更新与 task-vector 正则耦合。(5) 缺乏与 RegMean/LOT 这类"合并阶段介入特征统计"方法的对比：论文把 FEATCAL 严格定位在"post-merging"，但读者无法判断"先 RegMean 合并再 FEATCAL 标定"是否还能继续涨点，这限制了方法在天梯中的真实位置。

作者在结论中提到希望把特征漂移视角推广到更多架构与超大规模合并，并探索非线性模块的标定。基于此可延伸的方向包括：(1) 把 FEATCAL 的闭式框架拓展到 Mixture-of-Experts 类合并，按专家重要性做权重化更新，避免把所有任务一视同仁地塞进同一个闭式解；(2) 探索自监督或零样本代理 (如合成数据、领域文本) 来替代真校准样本，进一步压低对真实数据的依赖；(3) 把 $(\alpha,\rho,\lambda)$ 提升为可学习的"标定强度控制器"，并验证在 LLM 持续合并 / 增量学习场景中是否仍稳定；(4) 与 RegMean/LOT Merging 等合并阶段方法做"组合实验"，刻画"合并 + 标定"之间的可加性边界；(5) 推广到多模态合并 (CLIP-style vision-language) 和 RLHF 后的对齐模型合并，研究特征漂移是否仍能用前向闭式解释；(6) 把 $\sum_i \omega_i G_i + \lambda I_d$ 写成可微的"岭化层"，放进端到端训练中，与 adapter 类方法公平比较。

复现门槛整体较低。代码仓库已在摘要中给出 (github.com/egangu/featcal2026)，论文主表使用的 FusionBench 协议、CLIP-ViT-B/32 与 L/14 8/14/20 任务套件、FLAN-T5-base/large GLUE 8 任务、MergeBench Llama-3.2-3B / 3.1-8B 6 任务均为公开基准，附录 I/L 还给出了完整 per-task 数字与扰动协议；FEATCAL 自身不训练神经网络，所有线性模块用闭式公式 (17) 一步求解，作者报告 n=256 校准在 8 任务 B/32 上仅需 53s，单卡 GPU 即可完成；超参 $(\alpha,\rho,\lambda)$ 集中在第 5.1 节末尾的"Calibration setup"，消融在 Fig. 5。潜在复现风险在于：(a) 闭式解数值稳定性依赖 $\epsilon$ 选取与逐层特征 cache 的 batch 顺序，代码若不公开 cache 逻辑，可能与论文数字有微差；(b) 不同上游 merger (TA/AdaMerging/WUDI) 的基线权重与超参需要严格按 FusionBench recipe 复现；(c) Llama-3.x 模型权重需自行从 HuggingFace 拉取并按 MergeBench 协议切分任务专家。整体而言，论文可复现性评级为中上，主要变量是闭式解实现细节与上游 merger 的 recipe 一致性。