理解并强制任务算术中的权重解耦 Understanding and Enforcing Weight Disentanglement in Task Arithmetic

OrthoReg 的实施步骤非常简洁，可以无缝接入任何基于梯度的微调流程。步骤一：在标准微调损失 $\mathcal{L}_{\text{task}}$ 上叠加正交正则项，得到总损失 $\mathcal{L} = \mathcal{L}_{\text{task}} + \lambda \mathcal{L}_{\text{ortho}}$，其中 $\lambda \in [0.1, 100]$ 是通过验证集网格搜索得到的正则化强度。步骤二：对每一个被更新的线性层 $l$（包括注意力的 $W_q, W_k, W_v, W_o$ 和 FFN 的两层），计算该层权重更新量 $\Delta W^{(l)} = \theta^{(l)} - \theta_0^{(l)}$ 的 Gram 矩阵 $\Delta W^{(l)\top} \Delta W^{(l)}$。步骤三：把 Gram 矩阵与单位矩阵 $I$ 的偏差用 Frobenius 范数量化：$\mathcal{L}_{\text{ortho}} = \sum_l \|\Delta W^{(l)\top} \Delta W^{(l)} - I\|_F^2$。这一项的几何含义是：Gram 矩阵的对角线元素度量列向量的模长平方，非对角线元素度量列向量间的内积；把整个 Gram 矩阵推向 $I$ 等价于同时要求每列模长为 1 且两两正交。步骤四：用反向传播同时计算 $\mathcal{L}_{\text{task}}$ 和 $\mathcal{L}_{\text{ortho}}$ 的梯度，按 Adam/SGD 优化器正常更新参数；正交项的梯度会自动调整 $\Delta W$ 朝向正交方向演化。步骤五：微调完成后提取任务向量 $\tau_t = \theta_t - \theta_0$，再做标准任务加法 $\theta_{\text{MT}} = \theta_0 + \alpha \sum_t \tau_t$，其中 $\alpha$ 在 $\{0.0, 0.05, \ldots, 1.0\}$ 网格中按验证集挑选。整个流程对原训练代码侵入性极小，只需在 loss 中加一行。

OrthoReg 在技术新颖性上主要体现在三方面。第一，理论贡献层面：现有 TTA 用「在 tangent space 中线性化微调」来隐式促进解耦，但缺少对「为什么解耦会发生」的因果解释；本文第一次明确把 TFS 定位为 WD 的「共同因」，并通过 TFS 推导出 WVO 这个可测量的几何指纹，给出了一个「机制级」而非「现象级」的解释。第二，工程层面：相较 TTA 需要在每次前向传播中额外计算 Jacobian（带来 2 倍显存和 2-3 倍训练时间开销），OrthoReg 仅在损失函数中追加一个 Frobenius 范数项，开销可忽略，但获得了可比甚至更优的归一化精度。第三，兼容性层面：OrthoReg 作为「pre-merging」阶段的正则化器，可以与 TTA、Attention-Only FT、LoRA-ATT 等多种微调范式叠加使用，且在所有 4 种基线、3 种 ViT 规模（ViT-B-32/16、L-14）、8 个任务上稳定带来提升——这种「普适增益」在模型合并文献中并不常见。

从独立分析视角看，本文至少有三点值得改进之处。第一，正交性约束对所有可训练层一视同仁，但不同层在「任务特化」中的贡献显然不均匀——例如视觉 Transformer 的 FFN 第二层通常承载更多任务特定知识，attention 输出层则更通用。论文未做层级加权的 $\lambda_l$ 设计，这可能错失了进一步提升的空间；改进方向是引入「层重要性」先验（例如基于 NTK 特征值或梯度幅值）来自适应调整各层正则强度。第二，OrthoReg 只强制列向量的正交性，没有显式鼓励「列向量与输入数据分布的各向同性对齐」，这可能导致一些列向量虽然正交但与输入协方差结构失配，反而限制了模型表达力；改进方向是把 OrthoReg 与类似 Decorrelated Batch Normalization 的二阶约束结合，构造同时正交且 Whitening 的 $\Delta W$。第三，论文假设 $\alpha$ 是所有任务共享的标量，这本身就是一种「粗粒度」合并策略；当不同任务难度差异大时（如 8 任务中 Cars 和 MNIST 的难度差异显著），单 $\alpha$ 仍然不是最优，论文也没有尝试把 OrthoReg 与自适应 $\alpha_t$ 调度结合——这一点可以借鉴 AdaMerging 的思路做端到端的联合优化。

作者在结尾明确表示将探索「更多样式的正交性约束」，这是合理的延伸方向。结合论文结果和领域趋势，至少有以下几条值得跟进的研究线。第一，把正交性约束从单层扩展到跨层耦合：例如让相邻 transformer 块的 $\Delta W$ 形成联合正交结构，从而进一步提升深度模型中的解耦度。第二，在 LLM 上系统验证 OrthoReg：随着任务算术在 LLM 编辑（unlearning、knowledge editing、multi-skill composition）中的广泛应用，把理论扩展到 autoregressive Transformer 并验证效果有重要意义。第三，把 TFS 的因果分析与 mechanistic interpretability 结合：TFS 预测不同任务应该使用 disjoint 的内部特征，这可以用 activation patching 或 causal tracing 来实证检验，进一步丰富理论基础。第四，结合稀疏激活 / MoE 架构，让 OrthoReg 与路由机制耦合，让「任务路由」与「权重正交」协同促进解耦。第五，借鉴 Bayesian 视角（论文在 Appendix F 提到），发展一个能在训练前根据 $\theta_0$ 的 WVO 强度预测「这个模型适合做任务算术吗」的诊断指标，从而为模型选择提供理论依据。

复现性评估总体良好。代码已在 GitHub 开源（https://github.com/RL-MIND/OrthoReg），论文附录还提供了详细的 NTK 推导、各定理证明、附录 J 中的逐层 WVO 分布、radar chart、per-LoRA 配置消融等丰富细节。数据集是 8 个公开的图像分类基准（Cars、DTD、EuroSAT、GTSRB、MNIST、RESISC45、SUN397、SVHN）外加 ImageNet 作为控制集，全部可直接下载。算力方面，由于基线本身就在 CLIP ViT 上做微调（ViT-B/32 最小，ViT-L/14 最大），且 OrthoReg 只增加了一个 Frobenius 范数正则项，额外的计算和显存开销可以忽略；不需要 TTA 那种 2 倍显存。复现难度整体偏低：研究者只需准备 CLIP 预训练权重（可直接从 OpenAI 或 HuggingFace 下载），按论文给出的协议微调 8 个任务、网格搜索 $\lambda$、再合并即可。唯一需要注意的是 $\lambda$ 网格搜索对结果有可见影响，建议沿用论文给出的搜索范围和验证集划分协议以获得可比的数字。