微调回退的引力解释：训练历史不对称性如何导致行为复原 A Gravitational Interpretation of Fine-Tuning Reversion
提出引力解释框架，证明微调会沿历史定义方向回退到早期训练阶段的行为
前置知识
激活空间表示漂移
模型在训练过程中，其在特定层的激活表示会发生变化。通过测量模型在不同检查点对同一组探针提示的平均激活差异，可以量化这种表示空间的位移。具体来说，对于下游检查点 $\theta_T$ 和起始点 $\theta_S$，在探针族 $P$ 和层 $\ell$ 上的表示漂移定义为 $\Delta_T(\ell) = m_{\theta_T}(P, \ell) - m_{\theta_S}(P, \ell)$，其中 $m$ 表示平均残差流激活。
本文的核心方法论是基于激活空间的几何分析，理解表示漂移的量化方法是理解整篇论文实验设计和结果解释的基础。
见证者检查点（Witness Checkpoint）
通过从基础模型进行仅帮助（helpful-only）的微调构建的检查点，用于代表早期训练阶段形成的有帮助区域。这些检查点不是直接观察到的流形本身，而是作为局部见证者，提供一个具体的点，从中可以测量相对于被位移检查点的回退方向。论文构建了六个这样的见证者（LoRA和全微调各三个种子），用于验证方向的稳定性。
见证者框架是本文避免声称直接观察流形的关键创新，理解这个概念有助于把握论文的实证范围和理论边界。
拒绝方向（Refusal Direction）
Arditi等人（2024）提出的概念，通过比较同一模型在有害提示和无害提示上的平均激活差异，提取出调节模型拒绝行为的单一线性方向。具体定义为 $r_\ell = m_\theta(P_{\text{harmful}}, \ell) - m_\theta(P_{\text{harmless}}, \ell)$。这与本文的方向不同，本文比较的是两个检查点在同一探针族上的差异。
理解拒绝方向有助于区分本文的方法与现有工作，并理解为什么本文的方法更适合捕捉训练历史依赖性。
LoRA（Low-Rank Adaptation）
低秩适应技术，通过在预训练模型的权重矩阵上添加可训练的低秩矩阵来适配新任务。LoRA将更新限制在低秩子空间，大大减少了可训练参数数量。论文使用 $r=8$、$\alpha=16$ 的LoRA配置，对比全量微调，以研究更新秩对安全回退的影响。
LoRA与全量微调的对比是本文实验设计的关键组成部分，理解LoRA有助于解释为什么不同更新方式下安全漂移的程度不同。
研究动机
现有研究发现了一个令人担忧的现象：对已对齐的模型进行无害数据的微调会部分撤销之前训练中习得的行为。具体场景包括：安全对齐的语言模型在无害的后对齐更新后变得不安全（Qi等人，2023），这种效应强烈依赖于使用哪些良性样本进行适配（He等人，2024；Guan等人，2025）；从模型中删除的有害知识可以在良性适配下重新获得（Yang等人，2023）；在不相关输出上训练的学生模型可以从教师模型继承潜在的行为倾向（Cloud等人，2025）；相关脆弱性也在标准语言模型安全之外的设置中被报告，包括文本到图像安全设置（Alam等人，2025）和狭窄微调下的新兴错位（Betley等人，2025）。这些发现表明一个共同的定性模式：后期训练阶段可以部分恢复早期阶段抑制、删除或置换的行为。
本文的目标是本文的目标是提供一个统一的机制解释，说明为什么良性后训练如此经常地在其他不同设置中产生这些看似修正性的效应。具体来说，本文提出并验证了一个几何解释，即后期良性微调不是任意地在表示空间中漂移，而是会迅速获得一个沿着历史定义方向的分量，该方向指向早期训练阶段形成的有帮助区域。本文的实证声明是故意狭窄的：不声称直接观察流形，也不论证本文研究的特定回退方向是唯一导致更有害或更不对齐区域的方向。相反，因为流形本身是潜在的，本文使用一小族局部有帮助见证者：通过取相应基础模型并运行短暂的仅帮助微调阶段获得的检查点。
与已有工作不同的是，本文的独特切入角度是将微调回退问题从狭窄的安全失败模式重新框架化为更广泛的历史依赖性回退现象的一个实例。现有工作已经建立了两个重要的结构性事实：安全对齐占据浅层的低秩子空间（Qi等人，2024），且对齐的模型仅在有限的局部盆地内保持安全（Peng等人，2024）。但本文提出一个更简单的替代解读：后适配漂移可能只是普通任务优化，先前的约束通过遗忘或干扰丢失。本文的创新在于提供一个统一的机制解释，说明为什么良性后训练如此经常地产生这些看似修正性的效应，并识别了一个具体的回退方向，后续微调在早期对齐或专门化阶段后自然会沿着这个方向移动。
核心方法
本文提出引力解释框架，其核心直觉是：早期的大规模训练阶段（如预训练和广泛的有帮助/聊天微调）创造了广阔而稳定的行为区域，而后的对齐或专门化阶段是相对于这些区域的较浅位移，而不是它们的完全替代。当模型被这样的后期阶段位移后，后续良性微调不会任意地在表示空间中移动。相反，它会同时跟随显式任务目标和指向早期有帮助区域的部分恢复分量的向量。技术路线包括：首先从基础模型构建仅帮助的见证者检查点，然后定义回退方向 $v_{\text{rev}}(\ell) = m_{\theta_H}(P, \ell) - m_{\theta_S}(P, \ell)$，其中 $\theta_H$ 是有帮助见证者，$\theta_S$ 是安全对齐的起始点；接着在良性微调过程中跟踪表示漂移 $\Delta_T$ 与 $v_{\text{rev}}$ 的对齐；最后通过干预沿 $v_{\text{rev}}$ 的运动来测试其因果相关性。
核心创新点在于将微调回退问题几何化，通过激活空间的方向分析来理解训练历史不对称性如何影响后续优化。与现有工作相比，本文的方向提取方法与拒绝方向设置不同：Arditi风格的方向比较同一模型在两个提示类别上的差异，以隔离模型内的行为对比；而本文的对象比较两个检查点在同一探针族上的差异。目标是不同的：本文不是在单个模型内提取拒绝特征，而是测量模型间的历史依赖性位移，并询问后续优化是否沿着它移动。另一个关键区别是，本文不声称直接观察流形作为对象，而是使用见证者作为操作化代理，这避免了声称直接恢复流形本身的强本体论主张。
方法步骤详情
方法的第一步是构建见证者检查点。论文从Meta-Llama-3.1-8B基础模型构建六个仅帮助的检查点 $\theta_H$：LoRA和全微调各三个种子，在过滤后的仅帮助数据上训练50步，学习率为 $2 \times 10^{-5}$，数据来自OASST2、HH-RLHF有帮助响应和HumanEvalPack Python解决方案，过滤掉包含拒绝风格语言的助手轮次，最终混合限制为7000个聊天格式示例。第二步是定义回退方向 $v_{\text{rev}}$。在总结层 $L^*$（对于主8B Llama跟踪，$L^*=31$，选择为拒绝方向幅度的晚层峰值），计算 $v_{\text{rev}}(L^*) = m_{\theta_H}(P, L^*) - m_{\theta_S}(P, L^*)$，其中 $P$ 是固定的16个未标记AdvBench有害提示集。第三步是在下游良性微调（使用Alpaca、HumanEvalPack Python代码和GSM8K数学数据集，不包含有害示例）过程中，在检查点 $\theta_T$ 计算表示漂移 $\Delta_T = m_{\theta_T}(P) - m_{\theta_S}(P)$ 和对齐 $\cos_T = \cos(\Delta_T, v_{\text{rev}})$。第四步是因果干预，在良性微调过程中添加辅助损失来阻断或放大沿 $v_{\text{rev}}$ 的漂移，阻断损失为 $L_{\text{block}} = L_{\text{task}} + \lambda \cdot \text{ReLU}(p(\theta))^2$，放大损失为 $L_{\text{push}} = L_{\text{task}} - \lambda \cdot p(\theta)$，其中 $p(\theta) = \langle m_{\theta}(P) - m_{\theta_S}(P), \hat{v}_{\text{rev}} \rangle$，$\lambda = 0.1$。
技术新颖性
本文的技术新颖性体现在多个方面：第一，提出见证者框架作为避免声称直接观察流形的方法创新，通过一族独立的仅帮助检查点来验证测量方向的稳定性，而不是依赖单个任意见证者。第二，首次将训练历史不对称性形式化为激活空间中的方向偏置，证明良性后对齐优化自然遵循一个历史定义的回退方向，而不仅仅是各向同性的背景几何效应。第三，展示跨任务收敛：不同良性任务可以在权重空间中移动通过几乎正交的区域，同时在激活空间中收敛到相同的低秩有害提示轨迹（对于Alpaca和代码全微调，权重更新几乎正交，$\cos(\Delta_{\theta_{\text{alpaca}}}, \Delta_{\theta_{\text{code}}}) = 0.08$，但有害提示表示位移高度对齐，在31层 $\cos = 0.79$）。第四，通过从代码专门化起始点而非安全对齐起始点的实验，证明回退方向在非安全位移后仍然持续存在，这反对了纯粹安全本地化的几何解读。
实验结果
核心发现分为三个方面。首先是方向的涌现：在主8B几何设置中，从仅帮助见证者构建 $v_{\text{rev}}$ 在 $L^*=31$ 处产生清晰的对齐信号：LoRA有帮助仅变体的平均余弦约0.57，全微调变体约0.65。早期几何时间过程显示，在第一次良性更新后，与 $v_{\text{rev}}$ 的对齐已经存在（$T=1$ 时 $\cos = 0.429 \pm 0.052$），到第20步已经达到其约0.65的平台期，到第100步仍保持基本相同水平。各向同性零假设使这一点更加清晰：在24个运行-步骤对中，每个观察到的余弦都高于阈值（$p^{99} = 0.0366$）。其次是行为耦合：在基线安全运行中，该分量的更强增长伴随着更强的有害漂移。早期BeaverTails读出和更长地平线检查点相关性都表明识别的几何与行为不是分离的。在20个检查点上（来自4个运行，在 $T \in \{20, 100, 200, 500, 1000\}$ 评估），几何与 $v_{\text{rev}}$ 的对齐以Spearman $r = 0.877$ 预测有害率。最后是因果相关性：在主8B设置中，阻断沿 $v_{\text{rev}}$ 的运动翻转了几何漂移本身，从基线中的 $\cos(\Delta_{100}, v_{\text{rev}}) = 0.648 \pm 0.009$ 变为 $-0.211 \pm 0.021$，并将BeaverTails有害性从 $19.0\% \pm 4.0\%$ 降低到 $8.5\% \pm 1.5\%$。任务困惑度基本保持不变（$1.392 \pm 0.023$ 对比 $1.384 \pm 0.005$），显示干预在不牺牲任务适配的情况下抑制了回退分量。随机方向基线不够：聚合五个随机方向的block-vrand保持了几何对齐高度（$0.615 \pm 0.055$）且有害性略差于基线（$22.0\% \pm 2.9\%$）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 良性微调后的有害性（Alpaca全微调，T=100） | BeaverTails不安全率 | 基线 19.0% ± 4.0% | 对齐起始点 4.0% | 阻断vrev后降至 8.5% ± 1.5%，相比基线改善约55% |
| 良性微调后的有害性（GSM8K全微调，T=100） | BeaverTails不安全率 | 全微调 7.9% ± 1.0% | 对齐起始点 2.8% | LoRA保持 2.3% ± 0.4%，显示低秩限制在某些设置下减少有害漂移 |
| 方向对齐（早期时间过程） | 余弦相似度 cos(ΔT, vrev) | T=1: 0.429 ± 0.052, T=20: 0.647 ± 0.021 | 各向同性零假设 p99 = 0.0366 | 所有24个运行-步骤对都超过零假设阈值 |
| 跨任务收敛 | 权重更新余弦 vs 表示位移余弦 | 权重余弦 0.08（几乎正交），表示余弦 0.79（高度对齐） | 无直接基线 | 显示不同任务收敛到相同的低秩有害提示轨迹 |
| 几何-行为相关性 | Spearman相关系数 | r = 0.877 | 无直接基线 | 几何对齐强预测下游退化 |
局限与改进
本文存在几个重要的局限性。首先，主几何结果和主行为耦合结果在正文中仍然主要依赖一个主要模型家族和一个主要判断器/基准管道，尽管表4显示早期行为趋势在第二个判断器下仍然存在。其次，干预证据目前在早期阶段 $T \leq 100$ 最强，这是此版本的故意范围，更长地平线的效果仍然超出范围。第三，仅帮助见证者仍然只是主导流形的代理，一致性跨该见证者家族应该被狭窄地解读：它显示声明不依赖于一个任意的 $\theta_H$ 实例化，而不是流形已直接从数据恢复。第四，行为耦合分析是相关的，基于适度数量的时间相关检查点，因此应该被读作支持证据而不是确定的基准声明。第五，引力隐喻不应被过度字面化：本文不指定全局势或完整动力学定律，解释意在对未来优化中历史诱导偏置的几何描述，而不是字面上的物理模型。
独立分析的弱点
独立分析的弱点包括：首先，见证者框架虽然巧妙，但仍然是一个代理，真正的流形结构是什么仍然不清楚，这限制了我们深入理解训练历史如何编码在模型中。改进方向可以是开发更直接的流形估计方法，例如使用更广泛的见证者族或主动学习策略来探索行为空间。其次，干预证据主要集中在早期阶段 $T \leq 100$，对于更长地平线的微调（如1000步以上），回退方向是否仍然主导轨迹尚不清楚。改进方向是扩展干预实验到更长训练时间线，并研究是否存在其他机制在后期变得主导。第三，不同模型家族（Llama和Qwen）使用各自的 $v_{\text{rev}}$ 都显示相似模式，但没有研究是否存在跨模型家族的共享回退方向。改进方向可以是研究跨模型家族的几何一致性，探索是否存在通用的安全回退方向。第四，干预损失的设计相对简单（ReLU屏障），可能不是最优的。改进方向可以是开发更精细的干预策略，例如自适应权重、多目标优化或基于梯度的方向控制。
未来方向
作者提出的未来研究方向包括：首先，更完整地参数化回退强度如何随训练历史不对称性缩放。本文的当前版本识别了效应结构并测试其因果相关性，但尚未完全参数化现象。其次，研究引力解释在其他生成设置中的应用，例如文本到图像模型、代码生成模型或多模态模型。第三，开发基于引力解释的实际缓解策略，而不仅仅是诊断性干预。基于成果可延伸的方向包括：首先，探索更复杂的流形结构，例如多层次流形或分叉历史如何影响回退动力学。其次，研究不同数据分布（如代码、数学、对话）如何形成不同的主导流形，以及这些流形如何相互作用。第三，开发实时监控技术，在微调过程中检测回退分量的出现，以便及时干预。第四，研究预训练阶段本身如何设计以减少后续回退，例如在预训练中注入安全约束或使用不同的训练目标。
复现评估
复现评估方面，论文提供了相当详细的实验设置，但存在一些挑战。开源情况方面，论文没有明确提供代码仓库，但详细描述了训练配置、超参数和数据预处理流程，这使得重新实现是可行的。数据方面，使用的主要数据集都是公开的：OASST2、HH-RLHF、HumanEvalPack、Alpaca、GSM8K、AdvBench和BeaverTails，但论文没有提供数据处理脚本和确切的数据子集选择，这可能增加复现难度。算力方面，主实验使用8B模型在单个GPU上进行训练，这需要相当大的计算资源（估计每个完整运行需要数百GPU小时），较小的3B支持模型相对更容易复现。难度方面，论文的实验设计涉及多个阶段（见证者构建、下游微调、激活提取、干预实验），每个阶段都有特定的超参数和配置，这使得完整复现整个实验套件相当复杂。论文在附录A中提供了相当详细的超参数和配置细节，这有助于复现，但缺少自动化脚本仍然是一个障碍。总体而言，复现是可能的，但需要显著的工程工作和计算资源。
论文图表
图展示了主8B基线套件（全微调，3个良性数据集 × 2个种子）的早期几何时间过程，与同一层的各向同性激活空间零假设比较。点显示24个单独的运行-步骤对，暗曲线显示步骤级均值 ± 标准差，虚线标记各向同性零假设 $p^{99}$。零假设从 $L^*=31$ 处4096维残差空间中的10,000个随机单位方向估计，均值0.0002，标准差0.0157，$p^{99} = 0.0366$。
这张图对理解论文重要，因为它提供了回退分量早期涌现的核心几何证据，显示回退分量立即存在并在早期饱和，而不是只在优化结束时出现。各向同性零假设比较显示观察到的对齐不是高维投影效应。
图展示了九个良性全微调的安全子空间鲁棒性。成对余弦在晚层上升，而参与率塌陷到 1.31/9，指示接近1D的共享轨迹。
这张图对理解论文重要，因为它扩展了跨任务收敛的证据到更广泛的实验网格，显示93%的方差在前两个方向中，平均成对余弦0.82。这强化了不同良性任务继承相同有害提示轴上的共享表示分量的主张。