知识还不够：注入强化学习技能以实现持续适应 Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation
提出PaST框架，通过正交的参数更新将RL技能注入SFT模型，解决知识与推理的脱节问题
前置知识
监督微调（SFT）
监督微调是将预训练语言模型在特定领域数据上进一步训练的方法。在本论文中，SFT用于将新的领域知识注入模型参数，使模型能够记忆和理解特定文档内容。SFT通过最小化预测token与真实token之间的交叉熵损失来更新模型参数，但这种方法主要实现的是表面层次的知识记忆，而非深层的推理能力。
理解SFT的工作原理是本文的核心前提，因为论文的核心发现之一就是SFT和RL的参数更新存在于正交的子空间中，这是PaST框架的理论基础。
强化学习（RL）
强化学习是一种通过与环境交互来学习最优策略的方法。在大语言模型中，RL通常用于提升模型的推理和决策能力。本论文中使用的RL算法包括GRPO和PPO，通过奖励信号引导模型学习如何有效使用已内化的知识。RL训练通过模拟环境交互和反馈来优化模型的参数。
RL是PaST框架中技能获取的关键组件，论文展示了RL训练产生的参数更新与SFT的参数更新正交，这使得技能可以被提取和转移到其他领域。
参数技能转移（PaST）
PaST是本文提出的核心框架，它通过从源域提取一个领域无关的技能向量（skill vector），然后将其线性注入到目标域的SFT模型中。这个过程不需要在目标域进行昂贵的强化学习，而是直接复用源域学习到的推理能力。技能向量是通过计算源域RL模型参数与SFT模型参数的差值得到的。
PaST是论文的核心创新，它提供了一种高效的方式来转移推理能力，解决了知识适应和技能学习之间的脱节问题。
正交参数更新
正交参数更新是指SFT和RL产生的参数变化在参数空间中几乎垂直，余弦相似度接近零。这意味着知识获取和技能学习修改的是模型参数的不同方向或子空间，因此它们可以独立存在而不会相互干扰。这一发现是PaST框架能够成功提取和转移技能向量的理论基础。
这一发现是论文的核心理论贡献，它证明了知识和技能可以被解耦，使得技能可以被提取并转移到新的知识域中。
研究动机
大语言模型面临知识截止问题，其参数化的记忆在预训练后保持冻结状态，无法直接内化新信息或工具。虽然监督微调（SFT）常用于更新模型知识，但研究表明SFT倾向于表面层次的记忆，无法可靠地提升模型利用新知识进行推理或决策的能力。强化学习（RL）对于获取推理能力至关重要，但其高计算成本使得在每个新环境中进行RL训练变得不切实际。具体来说，在ToolBench的工具使用任务中，SFT模型虽然能够回忆起正确的API名称，但在遇到环境错误（如私有账户错误）时推理崩溃，导致幻觉出不存在的工具。这种知识存储和知识操作之间的功能脱节是当前适应范式的关键限制。
本文的目标是本文旨在弥合知识获取和推理技能之间的功能脱节，提出一种模块化框架，能够将强化学习获得的推理能力注入到经过新知识适应的模型中，而无需在新知识上显式进行RL训练。具体目标包括：在标准知识整合基准（SQuAD）上超越现有最先进方法，证明方法在长上下文场景（LooGLE，平均长度超过21k token）中的可扩展性，以及展示在RL未见过的工具类别（ToolBench）中的零样本跨域泛化能力。
与已有工作不同的是，本文的独特切入角度基于一个关键的经验观察：SFT和RL引起的参数更新几乎正交，存在于解耦的子空间中。这意味着SFT和RL更新本质上是分离的，其中RL学习的技能不必绑定到特定的SFT知识，而是可以转移到新领域。基于这一观察，论文提出了一种通过参数技能算术来转移RL学习技能的方法，将技能视为可移植的向量，可以从源域提取并线性注入到目标知识库中，从而避免了目标域昂贵的RL过程。
核心方法
PaST框架的核心直觉是将知识和技能视为可以独立优化和组合的两个组件。整体方法分为两个阶段：首先在源域进行技能提取，然后在目标域进行技能注入。在源域，模型先通过SFT学习领域知识，然后通过RL学习如何使用这些知识，最终通过计算RL模型参数与SFT模型参数的差值得到技能向量。在目标域，模型先通过SFT学习新领域的知识，然后将提取的技能向量线性注入到模型参数中，从而无需在目标域进行昂贵的RL训练。这种方法基于参数正交性的发现，即SFT和RL的参数更新存在于几乎正交的子空间中，因此技能向量可以无干扰地与新知识结合。
PaST的核心创新在于将技能学习和知识获取解耦，并通过参数空间中的向量算术来实现技能的转移。与之前的方法不同，PaST不是通过改进SFT数据来提升性能，而是直接转移内在的程序化技能。具体来说，技能向量被定义为v_skill等于theta_rl^S减去theta_sft^S，其中theta_rl^S是源域RL训练后的模型参数，theta_sft^S是源域SFT训练后的模型参数。这个向量捕获了从SFT到RL的梯度方向，然后通过theta_final等于theta_sft^T加上lambda乘以v_skill将其注入到目标域模型中。这种方法的关键优势是它不需要在目标域进行RL训练，而是直接复用源域学习到的推理能力。
方法步骤详情
PaST方法包括以下步骤：第一步是源域技能提取，首先在源域文档上进行SFT得到theta_sft^S，然后通过GRPO强化学习在源域QA对上训练得到theta_rl^S，最后计算技能向量v_skill等于theta_rl^S减去theta_sft^S。第二步是目标域适应，首先在目标域文档上进行SFT得到theta_sft^T，然后将技能向量线性注入，公式为theta_final等于theta_sft^T加上lambda乘以v_skill，实验中lambda设为1。第三步是迭代技能精炼，为了避免单轮提取可能过拟合到源数据的特定内容分布，论文提出迭代引导策略。将源数据划分为K个不相交子集，每轮在当前子集上进行SFT和RL，然后更新技能向量。具体来说，第k轮的RL初始化为theta_init^k等于theta_sft^S,k加上v_{k-1}，这确保技能向量逐步精炼为内容不变的程序逻辑。
技术新颖性
PaST的技术新颖性体现在几个方面：首先是理论发现，首次提供经验性证据证明SFT和RL的参数更新几乎正交，并基于高维概率论提供了理论证明，表明参数级正交性直接转化为激活空间中的功能解耦。其次是方法设计，提出了一种先组合再走的策略，将技能注入推迟到SFT之后，确保执行逻辑嫁接到稳定的知识表示上，而不会被SFT优化轨迹扭曲。第三是迭代精炼，通过多轮训练和技能向量注入，防止技能向量过拟合到特定源内容，迫使其收敛到内容不变的推理模式。第四是与之前的方法（如Reasoning Vectors）不同，PaST采用顺序提取而非并行提取，并通过迭代精炼确保技能的领域无关性。
实验结果
实验结果在三个主要基准上验证了PaST的有效性：第一，在SQuAD知识整合任务中，PaST在单文档设置下达到56.9%准确率，比SEAL基线47.0%高出9.9个百分点，比GPT-4.1的46.3%高出10.6个百分点。在持续预训练设置（n等于200或2067）中，PaST也持续优于SEAL，证明了方法的鲁棒性和可扩展性。第二，在LooGLE长上下文基准上，PaST将准确率从标准SFT的30.1%提升到38.1%，绝对增益8.0个百分点，验证了方法在处理超过21k token的长文档时的有效性。第三，在ToolBench跨域工具使用评估中，PaST将平均成功率从21.9%提升到32.2%，增益10.3个百分点，并且在所有20个评估类别中都超越基线，包括在基线完全失败的领域（如广告从0%提升到16.7%，SMS从0%提升到11.1%）也取得了显著改进。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SQuAD知识整合（单文档） | 平均准确率（%） | 56.9 | SEAL: 47.0, GPT-4.1: 46.3 | +9.9（相对SEAL） |
| LooGLE长上下文QA | 准确率（%） | 38.1 | 标准SFT: 30.1 | +8.0 |
| ToolBench跨域工具使用 | 平均成功率（%） | 32.2 | 目标SFT: 21.9 | +10.3 |
局限与改进
论文承认了几个局限性：首先是实验领域的广度，虽然评估了标准QA和代理工具使用基准，但源到目标的转移场景的多样性可以进一步扩展。其次是静态缩放系数，为简化起见，在所有实验中技能注入公式中的缩放系数lambda一致设为1，但最优lambda可能因源和目标知识流形之间的差距或特定模型架构而异。第三是模型架构泛化，经验观察和实验主要基于Qwen2.5-7B和Qwen2.5-7B-Instruct进行，虽然正交性的理论证明基于高维参数空间的一般属性，但需要额外研究来确认这些更新动态是否在更广泛的模型规模和架构中持续存在。此外，从我的观察来看，方法在非常小的数据集上可能面临技能向量估计的方差问题，而且当前评估主要集中在英语任务上，多语言场景的有效性有待验证。
独立分析的弱点
基于对论文的深入分析，我识别出以下弱点和改进方向：首先是技能向量的维度问题，当前的技能向量是全参数空间的差值，在大模型上可能非常稀疏且高维，未来可以研究如何压缩或选择性地提取技能向量的关键维度。其次是lambda系数的自适应调整，论文使用固定的lambda等于1，但不同任务和领域可能需要不同的注入强度，可以设计基于验证集性能的自适应lambda选择机制。第三是多源域融合，当前方法从单一源域提取技能向量，未来可以探索从多个相关源域提取并融合多个技能向量，以获得更全面的推理能力。第四是在线适应，当前方法假设源域和目标域是分离的，未来可以研究在持续学习场景中如何在线更新技能向量。
未来方向
论文提出了几个未来研究方向：首先是扩展实验领域，将PaST应用到更多样化的任务中，如多模态推理、代码生成等。其次是优化lambda系数，研究如何根据源和目标知识流形的差距自适应调整注入强度。第三是模型架构泛化，在更多模型规模和架构上验证方法的有效性。基于当前成果，还可以延伸以下方向：第四是技能向量的可解释性，分析技能向量中的哪些维度对应于特定的推理能力，这有助于理解模型的内部工作机制。第五是增量技能积累，研究如何在多个任务上逐步积累技能向量，构建更强大的推理模型库。第六是跨语言技能转移，探索是否可以在一种语言上学习的技能向量可以转移到其他语言。
复现评估
论文提供了良好的复现条件：首先是开源情况，论文基于Qwen2.5-7B和Qwen2.5-7B-Instruct等开源模型，相关代码和训练细节在附录中详细说明。其次是数据，使用了SQuAD、LooGLE和ToolBench等公开基准数据集，数据预处理和划分方式有明确描述。第三是算力需求，实验使用8乘以A100 80GB GPU，对于标准研究实验室是可承受的。第四是复现难度，中等，主要挑战在于RL训练的超参数调整和技能向量的提取。论文提供了详细的超参数表（如表12、13、17、19、23）和训练流程，这大大降低了复现难度。
论文图表
