强化智能体模型中的行为知识合并 Behavior Knowledge Merge in Reinforced Agentic Models
提出RAM方法解决RL训练智能体模型合并时的信号稀释问题，实现跨任务协同增强
前置知识
任务向量（Task Vector）
任务向量是指微调后的模型参数与预训练基座模型参数之间的差值。它编码了特定任务所需的全部知识更新。在模型合并中，任务向量是核心操作对象——合并多个任务向量本质上是将多个任务的知识融合到一个统一模型中。任务向量的分布特性（稀疏性、重叠程度）直接决定了合并策略的有效性。
理解任务向量的性质是理解本文的核心前提，因为RAM方法正是基于对RL训练产生的任务向量的分布特性分析而设计的。
信号稀释（Signal Dilution）
信号稀释是指当多个任务向量进行全局平均合并时，那些只被单一任务更新的独特参数区域会被除以任务数量N，导致其信号强度衰减到原来的1/N。例如，如果代码任务只更新了3.2%的参数，这些参数在与工具使用任务（46.2%更新）和记忆任务（54.3%更新）合并时，其独特的编码能力会被严重稀释。这种稀释在SFT场景下影响较小（因为SFT更新密集且冗余），但在RL场景下会导致灾难性性能下降。
信号稀释是本文要解决的核心问题，也是现有合并方法在RL智能体上失败的根本原因。
强化学习后训练（RL Post-training）
强化学习后训练是指在预训练语言模型基础上，使用强化学习算法（如PPO、GRPO、DAPO）进一步优化模型以获得特定能力的过程。与SFT通过监督信号模仿数据分布不同，RL通过奖励信号引导模型探索并学习特定行为模式。这导致RL产生的参数更新具有高度稀疏性和异构性——模型只修改完成特定任务所需的最小参数子网络。
RL后训练是本文研究的核心场景，理解RL与SFT在参数更新模式上的本质差异是理解论文动机的关键。
模型合并（Model Merging）
模型合并是将多个针对不同任务微调的模型融合成一个统一模型的技术，无需额外训练数据或计算资源。主流方法包括Task Arithmetic（任务向量线性组合）、TIES-Merging（修剪+符号选择+不相交平均）、DARE（随机丢弃+重缩放）等。这些方法在SFT模型上效果良好，但本文发现它们在RL模型上存在根本性缺陷。
模型合并是本文的研究对象，理解现有方法的工作原理有助于理解本文提出的RAM方法的创新之处。
重叠-唯一比率（Overlap-Unique Ratio）
重叠-唯一比率是本文提出的量化指标，定义为任务t的共享参数数量与独特参数数量的比值。较高的比值表示该任务的大部分参数更新与其他任务重叠，因此在平均合并时会遭受更大的信号稀释。这个指标是RAM方法中重缩放策略的核心依据。
这个指标直接决定了RAM方法中独特参数区域的重缩放强度，是理解方法技术细节的关键。
研究动机
现有模型合并方法（如Task Arithmetic、TIES-Merging、DARE）都是为SFT训练的模型设计的，直接应用于RL训练的智能体模型时会导致严重的性能退化。问题的根源在于RL和SFT产生的参数更新模式存在本质差异：SFT产生的任务向量是密集且全局冗余的，而RL产生的任务向量是高度稀疏且异构的。具体来说，代码智能体CURE只修改了3.2%的参数，工具使用智能体ToolRL修改了46.2%，记忆智能体MemAgent修改了54.3%。这些更新集中在不同的参数区域，形成几乎不重叠的独特子空间。当使用现有方法对这些稀疏任务向量进行全局平均时，独特参数区域的信号强度会被除以任务数量N（本文实验中N=3），导致信号稀释。作者通过实验验证了这种稀释的严重性：将独特向量的幅度人为稀释到1/N后，代码任务性能从23.7%骤降至6.1%，工具任务从12.5%降至4.5%，记忆任务从12.0%降至3.0%。
本文的目标是本文的目标是设计一种专门为RL训练的智能体模型定制的合并方法，能够在合并多个专业化智能体时避免信号稀释，保留每个智能体的独特行为知识，并且在某些情况下实现跨任务的协同增强——即合并后的统一模型在某些任务上的表现能够超越原始的专业化智能体。具体目标包括：（1）准确识别任务向量中的共享和独特参数区域；（2）对共享区域进行合理平均以融合多任务能力；（3）对独特区域进行补偿性重缩放以防止信号稀释；（4）在12个跨编码、工具使用、记忆三个领域的评测任务上超越现有合并方法。
与已有工作不同的是，本文的独特切入点在于首次系统性地分析了RL训练产生的任务向量的分布特性，并揭示了现有合并方法失效的根本原因——任务向量的稀疏异构性与SFT假设的密集同构性之间的不匹配。此前的工作（如UI-TARS2）虽然尝试合并RL训练的智能体，但仅使用简单的权重插值，没有针对RL的特殊性质进行优化。本文抓住了这个被忽视的关键点：RL的任务向量具有高度的领域特异性——代码智能体的参数更新与工具使用智能体几乎不重叠，这意味着它们编码的是完全不同的行为知识。现有方法的全局平均策略会无差别地稀释所有参数更新，而实际上应该区分对待：共享区域可以平均以融合共识能力，但独特区域必须保持原始幅度甚至放大以保留专业能力。
核心方法
RAM方法的核心直觉可以用一个简单的比喻来理解：想象三个专家（代码专家、工具专家、记忆专家）各自在一张白纸上画出了自己的知识地图。SFT专家画的地图高度重叠（大家都更新类似的参数），而RL专家画的地图几乎是分离的（每个专家修改不同的参数区域）。现有合并方法就像是把三张地图简单叠加然后除以3，结果每张地图上独特的细节都被淡化了。RAM的做法是：先识别哪些区域是重叠的（多个专家都画了的），哪些是独特的（只有一个专家画了的），然后对重叠区域取平均以融合共识，但对独特区域保持原始强度甚至适当放大。技术路线上，RAM分为三个阶段：（1）探测向量分布——用二值掩码识别每个任务向量的活跃参数；（2）重缩放独特区域——根据重叠-唯一比率计算补偿系数；（3）选择性合并——对共享参数平均，对独特参数乘以缩放系数。
RAM的核心创新在于将任务向量的参数区域明确分为三类并采用不同的合并策略：共享区域（多个任务都更新的参数）、独特区域（只有一个任务更新的参数）、未更新区域（所有任务都没修改的参数）。这与现有方法的本质区别在于：现有方法（如Task Arithmetic的全局平均）对所有参数一视同仁地进行平均，这在SFT场景下是合理的（因为SFT更新密集且冗余），但在RL场景下会导致独特参数的信号被稀释到1/N。RAM则通过分布感知的选择性合并，确保共享参数被平均以融合多任务共识，同时独特参数保持完整幅度甚至被放大。此外，RAM还引入了基于功能等价假设的重缩放机制：通过分析共享区域平均造成的性能损失，计算出独特区域需要放大的倍数，从而实现功能等价——即合并后的模型在每个任务上的表现接近原始专业化智能体。
方法步骤详情
RAM方法包含三个主要步骤，每步都有明确的输入输出。第一步是探测向量分布（Probing Vector Distribution）：输入是N个任务向量，通过阈值1e-5计算二值掩码，然后计算重叠计数向量，其中每个元素表示对应参数被多少个任务更新。对于每个任务t，参数被分为共享子集（被2个以上任务更新）和独特子集（仅被1个任务更新）。第二步是重缩放独特区域（Rescaling Unique Regions）：计算重叠-唯一比率，然后根据功能等价假设计算缩放系数，其中r=0.1控制放大强度，alpha=2.0是稳定上界。第三步是选择性合并（Selective Merging）：对于每个参数位置，根据活跃任务数量决定合并策略——如果无任务更新则保持基座模型；如果仅1个任务更新则独特参数放大；如果2个以上任务更新则共享参数平均。
技术新颖性
RAM的技术新颖性体现在三个方面。首先，它是首个系统性分析RL训练任务向量分布特性的工作，揭示了稀疏异构性是RL模型合并失败的根本原因，这一发现对领域有重要启示。其次，RAM提出了分布感知的选择性合并策略，与现有方法的全局平均形成鲜明对比：Task Arithmetic使用线性组合，TIES-Merging使用修剪+不相交平均，DARE使用随机丢弃+重缩放，但它们都无法区分共享和独特参数区域。RAM通过简单的二值掩码和重叠计数就实现了精确的区域划分，计算开销极小（仅需75.4秒，比TIES快5.5倍）。第三，RAM引入了基于功能等价假设的重缩放机制，通过分析共享区域平均造成的性能损失，推导出独特区域需要放大的理论倍数。这种理论驱动的设计比经验性调参更加principled，且实验表明r=0.1的设置在不同架构和领域组合上都表现良好。
实验结果
本文的实验结果令人印象深刻，RAM和RAM+在多个维度上都超越了现有方法。首先，在三智能体合并（代码+工具+记忆）场景下，RAM达到平均64.82分，RAM+达到66.55分，显著超越最强基线DARE+TA的63.33分。更引人注目的是，RAM+在多个任务上超越了原始的专业化智能体：在LiveBench编码任务上，RAM+的ACC达到40.23%，超越专业编码智能体CURE的37.70%；在工具使用的Live P_Mul任务上，RAM+达到70.83%，远超专业工具智能体ToolRL的58.33%；在长上下文记忆的SQuAD 64k任务上，RAM+达到82.03%，超越专业记忆智能体MemAgent的77.34%。这表明RAM不仅保留了各智能体的专业能力，还通过跨任务知识融合实现了协同增强。其次，在二智能体合并场景下，RAM同样表现出色：代码+工具合并时RAM+平均60.04（vs DARE+TIES的56.74），工具+记忆合并时RAM平均76.67（vs DARE+TIES的75.60），代码+记忆合并时RAM+平均61.21（vs DARE+TA的59.59）。第三，在不同架构上的验证表明RAM具有良好的泛化性：在Llama-3.2-3B上合并数学、工具、搜索三个智能体时，RAM+在工具任务上超越专业工具智能体，在搜索任务上成功保留原始能力而基线方法出现明显退化。消融实验显示r=0.1是最优的缩放强度，进一步增大r会导致性能下降。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 编码 - LiveBench ACC | 代码通过准确率 | RAM+: 40.23% | CURE (专业智能体): 37.70% | +2.53%，超越专业智能体 |
| 工具使用 - Live P_Mul | 并行多函数调用准确率 | RAM+: 70.83% | ToolRL (专业智能体): 58.33% | +12.50%，大幅超越专业智能体 |
| 记忆 - SQuAD 64k | 长上下文精确匹配 | RAM+: 82.03% | MemAgent (专业智能体): 77.34% | +4.69%，超越专业智能体 |
| 三智能体平均 | 12个任务平均分 | RAM+: 66.55 | DARE+TA: 63.33 | +3.22，SOTA |
| 合并效率 | 合并时间(秒) | RAM: 75.4秒 | TIES: ~415秒 | 5.5倍加速 |
局限与改进
作者在论文中坦诚地指出了四个主要局限。第一，实验只合并了少量智能体（2-3个），当智能体数量显著增加时，共享子空间中的参数冲突概率会增加，可能需要更复杂的冲突解决策略而非简单平均。第二，重缩放系数的推导依赖于参数重要性各向同性的假设，虽然实验上表现稳健，但没有显式考虑逐元素的曲率信息，这可能限制了更细粒度的控制。第三，虽然作者找到了在Qwen和Llama架构上都表现良好的默认超参数配置（r=0.1, alpha=2.0），但对于使用完全不同数据或模态训练的智能体，最优性能可能需要任务特定的调参。第四，评估主要在3B和7B参数模型上进行，稀疏性假设和RAM的有效性是否能在超大规模模型（70B+）上持续存在仍是开放问题。从独立观察来看，RAM的理论推导中功能等价假设可能过于简化——实际上不同参数对性能的贡献是高度非均匀的，理想情况下应该使用更精细的参数重要性估计（如Fisher信息），但这会显著增加计算成本。
独立分析的弱点
基于对论文的深入分析，我认为RAM存在以下几个可以改进的弱点。首先，二值掩码的阈值1e-5是硬编码的，没有理论依据说明为什么这个值是最优的。在实际应用中，不同任务的参数更新幅度分布可能差异很大，固定的阈值可能无法准确区分信号和噪声。改进方向是设计自适应阈值选择机制，例如基于参数更新幅度的统计分布（如使用百分位数或高斯混合模型）。其次，重缩放系数的计算假设参数重要性是各向同性的，这忽略了参数之间重要性的巨大差异。一个更精细的方案是引入对角Fisher信息矩阵来估计每个参数的局部敏感度，虽然会增加计算成本，但可以实现更精确的补偿。第三，RAM对所有独特参数使用统一的缩放系数，但实际上不同层、不同参数类型（如注意力层vs FFN层）可能需要不同的缩放策略。可以探索分层或分组的重缩放机制。第四，当前的合并是静态的一次性操作，无法根据输入动态调整。未来可以研究动态合并机制，让模型根据输入任务的特性自动激活相应的专家权重。
未来方向
基于RAM的成果，未来研究可以向多个方向延伸。首先，作者提到的智能体数量扩展问题值得深入研究——当合并10个甚至更多RL智能体时，共享子空间会变得非常拥挤，可能需要引入更复杂的冲突检测和解决机制，例如基于梯度方向的冲突分析或基于任务相似性的分层合并。其次，RAM的分布感知思想可以扩展到其他合并场景，如持续学习中的模型更新合并、联邦学习中的客户端模型聚合等。第三，当前RAM只处理了同架构的模型合并，未来可以探索跨架构合并（如将Transformer和SSM模型合并），这需要更复杂的对齐机制。第四，RAM的重缩放机制可以与模型压缩技术结合——先通过RAM合并多个智能体，再通过剪枝或量化压缩合并后的模型，实现合并-压缩一体化流程。第五，理论上可以进一步研究RL任务向量稀疏性的成因——为什么RL倾向于只更新小部分参数？这种稀疏性是否可以通过训练策略调控？这可能对RL训练本身也有指导意义。
复现评估
从复现性角度来看，RAM具有较好的可复现性。首先，作者承诺代码将开源（论文中提供了Project Page和Code链接），这大大降低了复现门槛。其次，论文使用的所有基座模型（Qwen2.5-7B-Instruct、Llama-3.2-3B-Instruct）和专业智能体（CURE、ToolRL、MemAgent、ZeroSearch等）都是公开可用的HuggingFace模型，无需额外训练。第三，评估使用的数据集（LiveBench、LiveCodeBench、BFCL、RULER等）都是标准benchmark，可以直接获取。第四，RAM方法本身计算开销极小——三智能体合并仅需75.4秒，远低于TIES的约415秒，普通GPU即可完成。第五，超参数设置简单且鲁棒：r=0.1, alpha=2.0, epsilon=1e-5，作者在消融实验中验证了这些设置在不同场景下的稳定性。主要的复现难度可能在于：（1）需要下载多个大模型（7Bx4 + 3Bx4），存储需求较大；（2）评估流程涉及多个benchmark，需要配置相应的评估环境；（3）RL智能体的训练过程本身不可复现（但合并过程可以）。
论文图表
左图展示了三个智能体（代码、工具、记忆）的任务向量密度（非零参数比例），代码智能体仅3.2%，工具智能体46.2%，记忆智能体54.3%，揭示了RL更新的极端稀疏性和异构性。右图展示了参数重叠分布，包括独特参数（w.0）、与1个其他任务重叠（w.1）、与2个重叠（w.2）的比例。
这张图是理解论文动机的关键——它定量展示了RL任务向量的稀疏异构特性，直接解释了为什么现有SFT合并方法在RL场景下失败。