Darwin 家族：基于 MRI-Trust 加权进化式合并的无训练推理扩展方法 Darwin Family: MRI-Trust-Weighted Evolutionary Merging for Training-Free Scaling of Language-Model Reasoning
用诊断先验引导的进化式权重空间合并，无需梯度训练即可提升大模型推理能力。
前置知识
模型合并（Model Merging）
指在权重空间中对多个预训练或微调后的模型参数进行直接组合，无需额外训练即可生成新模型。典型方法包括权重平均、Task Arithmetic 和 TIES 等。
Darwin 整个框架建立在模型合并范式之上，理解静态合并方法的局限性是把握其进化式改进的前提。
MRI（Model-layer Response Importance）
作者提出的诊断信号，通过静态张量统计（熵、方差、ℓ2 范数）和探针式功能响应（推理条件激活与通用激活的余弦距离）评估每个张量对推理行为的功能相关性。
MRI 是 Darwin 把诊断先验注入合并过程的关键机制，是 MRI-Trust Fusion 公式的核心输入，决定了进化搜索的起点质量。
DARE-TIES 合并核
一种带 Drop-And-Reparallelize 与 TIES 冲突消解的合并算子，先稀疏化再按符号规则融合任务向量，能显著缓解异质专家模型间的破坏性干扰。
论文实验显示 DARE-TIES 在所有配置下均优于线性插值与 SLERP，是 Darwin 选定的主合并核。
进化优化（Evolutionary Optimization）
通过在解空间内以变异、交叉、选择等生物启发算子进行黑箱搜索的全局优化方法，不依赖梯度信息，适合离散或不可微的评价函数。
Darwin 用 14 维基因编码合并策略，靠进化搜索在巨大的合并空间中找到高表现配置，是其名字的来源。
GPQA Diamond 基准
研究生级别的多选科学推理基准，覆盖物理、化学、生物等学科，由领域专家编写且被设计为对非专家几乎不可解，是衡量前沿模型推理能力的关键榜单。
Darwin-27B-Opus 在该榜单上以 86.9% 排名 #6，是论文最核心的实证证据。
研究动机
当前大语言模型强大的推理能力几乎完全依赖昂贵的后训练流水线，包括指令微调、强化学习、大规模蒸馏等。这类流程不仅需要大量算力，也难以稳定复现。更关键的是，多项研究表明后训练对推理的提升并不稳健：它常常在提升表层任务精度的同时损害链式思考的忠实性与鲁棒性，并在结构化推理场景下出现明显负迁移。这暴露出一个根本矛盾——大量算力被投入后训练，但其对核心推理能力的真实贡献却存疑，而真正承载推理机制的能力大多在预训练阶段就已经成型，因而存在被低代价复用的可能。
本文的目标是本文希望回答一个核心问题：能否在完全不进行任何梯度训练的前提下，仅通过重新组织预训练检查点中已经编码的潜在能力来获得前沿级推理表现？具体目标包括四点：构建一个无需训练的进化式合并框架、对 4B 至 35B 跨尺度模型都能稳定生效、能够跨 Transformer 与 Mamba 等异构架构完成无重训练杂交、并在 GPQA Diamond 等公开榜单上显著超越强基线与父模型，同时为社区提供 Apache 2.0 开源实现。
与已有工作不同的是，已有静态合并方法（权重平均、SLERP、Task Arithmetic）把所有参数视为同等可合并，对异构专家模型极易引发表征冲突与负迁移；进化式合并虽能自动搜索配比，但多为「诊断盲」——不利用任何关于层或张量功能重要性的先验，因而搜索效率低、收敛不稳。Darwin 的独特切入角度是把「诊断引导」与「进化搜索」解耦后再通过一个可学习的 trust 参数 $\tau$ 显式融合，使两者互相纠偏；同时引入 Architecture Mapper 解决跨架构合并的对应难题。
核心方法
Darwin 的整体思路可以用一句话概括：在冻结的父模型权重之间做「诊断引导的进化搜索」。直觉上，模型合并的核心难题是决定每个张量在多大程度上偏向父模型 A 或父模型 B。静态方法给一个固定系数，进化方法在黑箱中乱搜，而 Darwin 先用一个叫 MRI 的信号去给每个张量打分，作为合并比例的「先验猜测」，再让进化算法在此基础上微调。先验与进化结果通过一个可学习的信任度 $\tau \in [0,1]$ 线性融合，最终用 DARE-TIES 核完成融合。整个流程完全在权重空间运行，不计算任何梯度。
与已有方法的本质区别在于三点：其一，MRI-Trust Fusion 公式 $r_{final}(T) = \tau \cdot r_{MRI}(T) + (1-\tau) \cdot r_{genome}(T)$ 把诊断信号和进化信号统一成单一可微调度的标量，使二者解耦又互补；其二，14 维自适应基因 $(\gamma, \alpha_{attn}, \alpha_{ffn}, \alpha_{emb}, \rho_A, \rho_B, r_0, ..., r_5, \tau, \lambda)$ 同时控制全局平衡、组件级混合、稀疏化密度、块级专业化与 trust 本身，粒度比 TIES 细得多；其三，Architecture Mapper 用兼容性分数 $Comp(i, j) = \beta_1 Type + \beta_2 Dim + \beta_3 Param$ 在异构模型间建立张量级对应，从而首次实现 Transformer 与 Mamba 之间的「无重训练杂交」。
方法步骤详情
Darwin 流程分五步。第一步父模型分解：把共享同一预训练基座的两个父模型写成 $\theta_A = \theta_{base} + \Delta_A$、$\theta_B = \theta_{base} + \Delta_B$，合并只针对差量 $\Delta$。第二步 MRI 诊断：对每个张量 $T$ 计算 $MRI(T) = \alpha \cdot Static(T) + (1-\alpha) \cdot Probe(T)$（$\alpha=0.5$），静态项融合归一化熵、方差与截断 $\ell_2$ 范数，探针项度量推理条件激活与通用激活的余弦距离。第三步基因与进化搜索：14 维基因 $g$ 描述每个候选策略，进化算子迭代产生新个体并依据推理基准得分选择。第四步 MRI-Trust Fusion：把基因比与 MRI 比按可学习 $\tau$ 融合，异构模型用 Mapper 配对张量，$\beta_1=0.5, \beta_2=0.3, \beta_3=0.2$。第五步用 DARE-TIES 按 $r_{final}(T)$ 做 drop-and-rescale，输出模型。
技术新颖性
技术新颖性体现在三个层面。第一，MRI 作为可计算的诊断先验被首次系统地用于引导合并过程，其静态统计 + 探针响应的混合设计兼顾效率与功能相关性，避免了「全基因组搜索」的算力浪费。第二，trust 参数 $\tau$ 同时进入搜索空间与最终融合公式，使「先验-搜索」关系从硬约束变为可学习耦合，消融实验显示其从固定 0.7 改为自适应后还能再涨 +0.9pp。第三，Architecture Mapper 与跨架构（Transformer × Mamba）合并的实证打破了「模型合并要求严格同源」的传统假设，把研究边界从同源扩展到异构家族。
实验结果
核心实证来自 Darwin-27B-Opus：在 GPQA Diamond 上达到 86.9%，在 1,252 个被评测模型中排名第 6（截至 2026-04-22），比其父模型 Qwen3.5-27B 高出 +1.4pp，超越若干规模更大、经过完整后训练的模型。表 1 显示在 9 个公开推理基准上 Darwin-27B-Opus 全面优于 Father、Mother、简单平均与 SLERP，整体平均得分 $0.786 \pm 0.040$，其中 ARC-Challenge 提升最显著，从 0.710 提升到 0.779。表 2 的消融实验给出 MRI-Trust 机制的因果证据：无 MRI 的纯基因合并 GPQA 仅 84.4%，仅用 MRI 静态合并升至 85.6%，固定 $\tau=0.7$ 进一步到 86.0%，全自适应 Darwin V6 收敛到 $\tau=0.556$ 取得 86.9%，CLIcK 任务同步从 69.2 涨到 75.3。缩放上 4B 至 35B 都收敛到 $\tau \approx 0.35-0.55$，呈现「注意模块保留、FFN 激进重组」的稳定规律。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GPQA Diamond | 准确率 | 0.869（Darwin-27B-Opus） | 0.855（Father）/ 0.862（Mother） | +1.4pp vs 最佳父模型，榜单 #6/1252 |
| ARC-Challenge | 准确率 | 0.779 | 0.710（Father） | +6.9pp |
| CommonsenseQA | 准确率 | 0.783 | 0.770（Father） | +1.3pp |
| TruthfulQA | 准确率 | 0.778 | 0.772（Father） | +0.6pp |
| HellaSwag | 准确率 | 0.870 | 0.858（Father） | +1.2pp |
| RACE | 准确率 | 0.831 | 0.821（Father） | +1.0pp |
| MMLU | 准确率 | 0.776 | 0.754（Father） | +2.2pp |
| Natural Questions | 准确率 | 0.760 | 0.748（Father） | +1.2pp |
| TriviaQA | 准确率 | 0.722 | 0.711（Father） | +1.1pp |
| CLIcK（消融任务） | 准确率 | 75.3（自适应 τ V6） | 69.2（无 MRI）/ 72.4（仅 MRI） | +6.1pp / +2.9pp |
局限与改进
作者明确承认三点局限：其一，Darwin 只能重组已存在的潜在能力，不能凭空创造新能力，若双亲都缺乏某项技能，进化合并也无法补足；其二，目前高表现 Darwin 模型仍要求父模型共享同一预训练基座，跨基座合并在大规模上仍是开放问题；其三，最大规模变体的独立外部验证尚在进行中。从读者视角还可补充：MRI 的探针信号依赖一个小型校准集，其代表性直接影响融合质量；14 维基因虽粒度细但搜索空间仍大，文中未给出每次进化的 GPU 小时数；GPQA Diamond 的 #6 排名建立在 1,252 个被评测模型之上，榜单口径与评测时点会显著影响排名；论文未深入讨论合并后模型在安全、对齐、事实性维度的回归风险。
独立分析的弱点
从独立视角看，论文至少存在四处可改进之处。第一，MRI 探针依赖的校准集规模与领域覆盖未被充分消融，若校准数据偏分布会导致 $r_{MRI}$ 偏向某些张量，从而引入新的偏差，建议显式评估不同校准集对最终 GPQA 方差的影响。第二，14 维基因虽然表达力强，但搜索空间维度仍较高，作者仅模糊提到「少量 GPU 小时」，缺乏每代评估成本与曲线收敛速度的报告，建议补充 wall-clock 预算和消融低维基因的可行性。第三，跨架构合并的成功案例只有 Darwin-4B-Genesis 一个，且只针对 Mamba 风格 FFN，缺乏在更大规模、更多异构对（MoE×Dense、SSM×SSM）上的系统证据。第四，论文未评估合并后模型在对抗提示、分布外任务、对齐税上的行为，单纯 GPQA/ARC 提升可能掩盖其他能力退化，需要增加 TruthfulQA、HHH、ToxiGen 等对齐与安全维度的对照。
未来方向
作者提出的方向包括：把 Darwin 扩展到 100B 规模并采用分片评估以控制显存、改进跨基座对齐机制以摆脱对共享 base 的依赖、把 Darwin 与测试时计算或推理时干预（如自一致性、Verifier）组合以进一步抬升推理表现。基于成果可延伸的方向还包括：把 MRI 拓展为多任务诊断向量以支持超过 2 个父模型的多路合并、用 LLM 自身作为评分器替代外部基准以降低评估成本、把进化搜索替换为更高效的贝叶斯优化或强化学习控制器、以及把诊断先验同 RLHF 对齐信号联合优化以避免合并过程中丢失安全对齐。
复现评估
复现友好度较高：作者明确表示将在 Apache 2.0 协议下开源 Darwin Family 全部 8 个模型、V6 代码库以及 MRI 工具链，这意味着权重、配置与代码都可直接获得。主要数据为公开的 GPQA Diamond、ARC-Challenge、MMLU 等标准推理基准，评测流程沿用业内统一协议。算力需求是主要门槛：父模型为 4B-35B 规模，需要多张高端 GPU 持有可观的显存；进化搜索虽然比完整预训练便宜 3-6 个数量级，但仍需重复实例化并评测多个合并模型，建议至少配备 4-8 张 A100/H100。最大的复现难度在于 MRI 校准集的构造与 Architecture Mapper 的兼容性阈值调参，作者未详细公开这些超参的搜索过程，需要实验者自行消融。
论文图表
