多域强化学习中跨域干扰与恢复的局部扰动理论 A Local Perturbation Theory for Cross-Domain Interference and Recovery in Multi-Domain RL
用局部扰动理论解释多域RL跨域干扰，短时刷新可选择性恢复受损域
前置知识
GRPO
GRPO是一种在线RL算法，用组内相对优势替代价值网络。对同一prompt采样 $G$ 个输出，优势 $A_i$ 归一化为组内相对值，省去critic，大幅降低显存，是当前主流推理模型RL方法。
本文所有实验均基于GRPO实现，理解RL如何把域特定能力写入模型权重，是理解跨域干扰机制的起点。
灾难性遗忘
神经网络学新任务时显著丢失旧任务能力的现象。新数据微调使模型在原始分布上的性能急剧下降，是多域/持续学习的核心难题，传统解释依赖权重直接覆写或全局梯度冲突。
本文质疑用灾难性遗忘和全局梯度冲突解释跨域退化过于粗糙，必须理解为何这些传统解释不足才能读懂本文动机。
Hessian与二阶曲率
损失函数 $L$ 对参数 $\theta$ 的二阶导矩阵 $H$，描述局部的曲率（敏感度）。沿高曲率方向的小扰动会引起目标值较大的二阶变化 $\frac12\delta^\top H\delta$，是二阶优化的基础。
本文核心定理证明跨域干扰由二阶曲率项主导，读懂这个概念才能理解为何梯度正交时仍会发生退化，以及为何刷新能几何收缩。
顺序多域RL
对一个基座模型依次在不同域（如数学、代码、问答、写作）上做RL后训练，每个阶段从上一阶段checkpoint继续。本文沿用Omni-Thinker的固定顺序 Code→Math→QA→CW。
这是本文研究的实验设定，理解其课程顺序与每阶段checkpoint（如Matho、CWo）的含义，是理解干扰与恢复结果的前提。
Task Vector（任务向量）
将微调后的checkpoint视为参数向量，task vector即与基座之差 $\tau=W_{\text{expert}}-W_{\text{base}}$，刻画模型学到的任务知识。模型合并/TIES等方法用它分析迁移与冲突。
本文用task vector和参数变化 $\Delta W$ 定位域编辑的稀疏性、神经元重叠与方向冲突，是干扰机制分析的核心工具。
研究动机
在对大模型做多域RL后训练时，训练一个域会损害其他域的性能。作者在Qwen3-4B上按Omni-Thinker顺序 Code→Math→QA→CW训练发现，Math阶段后达到66.49分，但随后QA和CW训练把Math打压到57.66，而Code和QA基本稳定。这说明跨域退化是选择性、不对称的，并非均匀遗忘。然而现有两种主流解释都显得粗糙：灾难性遗忘假设是旧知识被直接覆写，全局梯度冲突认为域间梯度反向。但作者的实验显示，即便发生显著退化，全模型梯度余弦仍可接近零（Math与QA几乎正交），意味着干扰在整体层面不可见，现有理论无法回答“干扰究竟藏在哪里”。
本文的目标是本文要回答的核心问题是：如果跨域干扰不能用全局梯度对抗来解释，那它究竟驻留在模型的哪个局部？作者的目标是给出一个定量、可证伪的局部机制：解释为何近正交的全模型梯度仍会产生选择性退化，为何不同域编辑的神经元重叠很弱却仍互相干扰，以及为何只需对受损域做一次极短的刷新就能恢复性能而几乎不伤及其他域。最终目标是把这套理解转化为一个简单实用的训练流程——在顺序多域RL之后，用短时定向刷新快速恢复最受损的域，达到优于联合训练(CGPO/JT)的平均表现。
与已有工作不同的是，本文的独特切入角度是把分析视角从“全模型目标冲突”下移到“域更新所表达的局部活跃计算路由”。它同时约束三件事：RL把参数改在哪里（稀疏小幅度编辑）、不同域在推理时激活哪些路由（共享活跃神经元）、以及在这些共享路由上更新方向是协同还是冲突。这种路由级视角把宏观上互相正交的梯度、稀疏弱重叠的神经元编辑、以及强活跃路由重叠三个看似矛盾的现象统一起来，并用一个二阶局部扰动模型把“选择性干扰”与“短刷新选择性恢复”数学化。这既不同于梯度手术类全局方法，也不同于纯权重合并视角，是一种机理性(me mechanistic)的中间层解释。
核心方法
方法整体思路是“实证结构分析+局部扰动理论+两层验证”。直觉上：如果干扰不在全局梯度，那就在局部的、共享的计算通路上。作者先用GRPO在VeRL中训练四个单域专家(Maths/Codes/QAs/CWs)和顺序课程(Code→Math→QA→CW)，逐层逐模块分析梯度余弦、参数变化幅度、MLP神经元的编辑重叠与活跃重叠，以及共享神经元上的方向余弦。这些证据共同指向一个结构图景：编辑稀疏弱重叠、但推理活跃路由强重叠、方向决定协同或冲突。基于此，作者建立局部扰动模型：在域A收敛点附近，后域更新对A的损害主要是二阶曲率项，集中在低维共享冲突子空间 $S_{A,B}$ 上；短刷新则沿子空间几何收缩有害分量。
核心创新在于把跨域干扰建模为“低维共享活跃冲突子空间上的二阶位移”，而非一阶全局梯度对抗。关键假设是：域A选定的checkpoint近似平稳，所以后域更新对A的一阶效应很小，主导项是二阶曲率 $\frac12\delta_B^\top H_A\delta_B$。结合稀疏路由结构，这个有害项进一步集中在投影 $P_S\delta_B$ 上。这与已有梯度平衡、梯度手术类方法的本质区别在于：它们盯着全局梯度余弦，而本文证明“全模型近正交”完全不妨碍局部二阶退化，因此必须看局部曲率敏感方向。此外，刷新恢复的本质不是重训，而是把子空间内有害分量几何收缩，理论上以 $(1-\alpha\mu_A)^t$ 衰减，这解释了快速、选择性恢复。
方法步骤详情
第一步：训练四个单域专家(基座Qwen3-4B-Thinking-2507，GRPO，统一超参，域特定reward)，得到Maths/Codes/QAs/CWs。第二步：按Code→Math→QA→CW顺序训练，每阶段从上一checkpoint继续，按当前域验证集选最优checkpoint，记为Codeo/Matho/QAo/CWo。第三步：结构分析——计算联合训练时域间梯度余弦(全局/层/模块)；比较专家与基座的元素级参数变化 $\Delta W$ 与相对变化；用门/上/下投影聚合得到MLP神经元改变分数，取每层top 10%计算Jaccard编辑重叠；按平均激活取top 5%算活跃重叠；对共享top神经元算层内方向余弦。第四步：从CWo出发对Math做短刷新得到Re-Math。第五步：在Matho→QAo固定对上做免训练权重回滚，按A(共享激活)×M(更新幅度)×C(方向冲突)选2% MLP神经元，执行 $\theta_{\text{rev}}=QAo-P_{\hat S}\delta_{Q|M}$ 验证定位性。
技术新颖性
技术新颖性体现在三方面。其一，机理性定位：首次系统地把“全模型梯度近正交”与“局部强冲突”统一起来，并用二阶曲率项 $\frac12\delta_B^\top H_A\delta_B$ 解释为何梯度正交时仍退化——这是对灾难性遗忘/全局梯度冲突解释的实质性修正。其二，把损害与恢复都归约到低维共享冲突子空间 $S_{A,B}$ 上的投影：退化量级 $\frac12(P_S\delta_B)^\top H_A(P_S\delta_B)$ 只依赖后域更新在该子空间的投影，短刷新按 $\|P_S(\theta_t-\theta_A^*)\|_2\le(1-\alpha\mu_A)^t\|P_S\delta_B\|_2$ 几何收缩，给出选择性与附带损伤有界的理论保证。其三，提供任务级与权重级两层互补验证：短刷新恢复(57.66→66.04)与免训练稀疏坐标代理回滚(2%预算恢复20.4%、32%恢复73.6%)，后者直接给出定位性的因果证据。
实验结果
结构分析得到四条结论：Math与QA全局梯度余弦贴近零(mean≈0)，但层/模块级既有65%冲突模块也有37%协同模块(图1)；四个专家约77%–89%参数绝对变化低于$10^{-7}$、相对变化低于$10^{-3}$(图2)；top-10%改变神经元的成对Jaccard均低于0.19，编辑弱重叠，但活跃神经元重叠高得多(Math-Code 0.449、Math-QA 0.515)，CW相对独立(图3)；共享神经元方向余弦因层而异(Math-QA在L3–6负、L14–21正)，解释选择性(图4)。任务级结果(表2)：顺序训练使Math从Matho的66.49跌到CWo的57.66，其余域稳定；短Re-Math刷新把Math拉回66.04，平均分66.39，超越JT(65.62)与CGPO(65.30)，成为最优平均，且Code/QA/CW几乎不变。干预实验(表3)：固定Math→QA对，随机2%神经元反而令Math降至59.49，而A×M×C选2% MLP神经元把Math从59.90升到61.25、恢复20.4%且QA仅降0.06；联合MLP+Attn在32%预算下恢复73.6%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 四域平均分(整体) | 平均分(AVG) | Re-Math 66.39 | JT 65.62 / CGPO 65.30 / 顺序CWo 64.25 | 较最佳混合基线JT再+0.77，为所有方法最高 |
| Math域退化恢复 | Math分数 | Re-Math 66.04 | 顺序CWo 57.66 | 短刷新恢复+8.38，接近Matho的66.49 |
| Math域 vs CGPO专家 | Math分数 | Re-Math 66.04 | CGPO 61.93 | +4.11 |
| 免训练稀疏回滚(Math→QA) | Math损失恢复率(2% MLP预算) | A×M×C 选2% 恢复20.4%(Math 59.90→61.25) | 随机2% -6.3%(Math降至59.49) | 相对随机 +26.7个百分点 |
| 回滚预算扩展 | Math损失恢复率 | 联合MLP+Attn 32%预算 恢复73.6%(Math→64.75) | 纯MLP 2% 恢复20.4% | 增加预算与注意力坐标后大幅提升 |
局限与改进
作者承认三点局限。其一，Re-Math仍停留在“手动选受损域+固定刷新”的层面，尚未发展为自动算法：如何自动检测退化域、决定刷新顺序与预算、判断交替刷新是否逼近局部Pareto稳定妥协，均未解决。其二，冲突子空间干预用的是粗糙的坐标代理：32%回滚预算偏大，应被理解为因果充分性测试而非最小子空间估计；代理是basis-aligned的，未直接估计潜在的旋转子空间，也未覆盖归一化参数、残差流耦合或跨模块高阶交互，存在冗余。其三，分析聚焦多域RL，未涵盖on-policy distillation等同样存在分布漂移与策略相关数据、可能产生类似干扰的后训练范式。从读者角度，理论假设(近似平稳、弱正交耦合)依赖局部光滑性，对远离收敛点的大幅训练或极强冲突域对的普适性仍待验证。
独立分析的弱点
首先是通用性存疑：实验只用Qwen3-4B、固定Omni-Thinker顺序、四个域，且只对Math→QA固定对做了权重级验证，未检验其他模型尺度(如7B/30B)、其他课程顺序或更对冲的域组合是否同样成立，改进方向是跨模型、跨顺序、跨域数的系统消融。其次是子空间识别过粗：坐标代理与真实 $S_{A,B}$ 仅basis-aligned，32%预算冗余大，可通过奇异值/曲率谱估计潜在旋转子空间，做投影式训练或路由感知正则来缩小预算。第三是刷新未自动化：可设计基于验证集退化的在线触发、自适应步数与顺序调度。第四是缺乏与持续学习成熟方法(经验回放EWC、LoRA模块化)的直接对比。第五，二阶理论在远离收敛、强非线性区可能失效，应补充二阶项相对大小与刷新步数的实证校准。
未来方向
作者明确指出：应把“短时定向刷新”发展为自动训练算法，自动检测退化域、选择刷新顺序与预算，并验证交替刷新是否一致逼近局部Pareto稳定妥协(文中附录给出交替刷新等价于加权多目标下降一步)。其次应更精确地识别冲突子空间，用于投影式训练、约束更新或路由感知正则，以更小更不冗余的干预预算抑制有害跨域分量。再把诊断框架扩展到on-policy distillation等后训练范式。基于成果可延伸的方向包括：把活跃路由分析用于解释推理迁移与对齐漂移；将坐标代理回滚做成训练时的在线冲突抑制器；研究刷新调度与Pareto前沿的关系；以及在更大模型与更多域上检验低维冲突子空间假设是否随规模保持。
复现评估
复现度中等偏上但算力门槛不低。有利因素：基座Qwen3-4B-Thinking-2507、训练框架VeRL与GRPO、数据来源(OpenR1-math、KlearReasoner-CodeSub-15K、SuperGPQA、Creative-Writing系列)均公开可获取，评测基准(AIME24/25/26、OlympiadBench、HMMT、LiveCodeBench-v6、SuperGPQA-test、MMLU-Pro、WritingBench)标准，超参与reward函数在附录A.2/A.3给出，结构指标(梯度余弦、参数变化、Jaccard重叠、方向余弦)定义清楚。挑战在于：需训练四个单域专家加多套顺序/混合/刷新训练，单次涉及4B模型的多轮GRPO，GPU消耗可观；部分权重级回滚涉及逐神经元Hessian/激活统计，工程实现细节附录未必完整。论文标注为Preprint，未见代码与checkpoint公开链接，复现需要自行重建训练管线与分析工具。
论文图表
