DEI：质量-多样性搜索中的进化推理多样性 DEI: Diversity in Evolutionary Inference for Quality-Diversity Search
异构LLM集成实现分布式QD搜索，性能提升124%
前置知识
质量-多样性搜索（QD）
QD是一种优化范式，目标不是找到单一最优解，而是构建一个覆盖整个行为空间的高质量解集合。MAP-Elites是QD的代表性算法，它维护一个以行为特征空间索引的归档，每个单元格存储在该行为坐标下观察到的最高适应度解。QD搜索既追求解的质量，也追求解的多样性，在机器人控制、游戏AI、药物发现等领域有广泛应用。
本文的DEI框架直接建立在QD搜索范式之上，理解和掌握QD的基本思想是理解本文方法设计的前提。
MAP-Elites算法
MAP-Elites是QD搜索的奠基性算法，它将连续的行为特征空间离散化为网格，每个单元格存储该行为坐标下的精英解。算法在每次迭代中选择一个现有精英进行变异，评估新解的适应度和行为特征，如果新解填充了空单元格或改进了现有占据者，则将其放入归档。MAP-Elites通过这种简单而优雅的机制，在不损失质量的前提下最大化解的多样性。
本文在MAP-Elites基础上引入LLM作为变异操作符，并扩展到分布式异构设置，理解MAP-Elites的工作原理对于理解DEI的架构设计至关重要。
Digital Red Queen框架
Digital Red Queen（DRQ）是Kumar等人2026年提出的框架，将LLM作为主要变异操作符集成到MAP-Elites中，用自然语言条件下的程序生成替代手工设计的遗传操作符。DRQ引入对抗性红皇后压力，通过维护每轮冠军的池作为对手集合，随着归档改进，对手池变强，在共同进化军备竞赛中持续提高选择压力。在Core War任务中，DRQ展现了强大的程序演化能力。
DEI直接扩展DRQ框架到分布式异构设置，理解DRQ的单节点工作流程是理解DEI多节点协作机制的基础。
Core War游戏
Core War是一种竞争性编程游戏，两个或多个用Redcode汇编语言编写的武士程序在名为MARS（Memory Array Redcode Simulator）的虚拟循环内存中战斗。每个武士试图通过覆盖对手的指令指针或停止对手进程来使所有对手崩溃，同时尽可能长时间生存。内存数组环绕，所有地址都是相对和模的，允许每个武士有多个进程，这使得可行策略空间非常丰富：向前复制的imps、用DAT指令轰炸核心的dwarfs、定位和攻击敌方代码的scanners、用paper层保护紧凑核心的fortress武士等。
Core War是本文验证DEI有效性的测试平台，理解其游戏机制有助于评估实验结果的含义和QD搜索在复杂环境中的表现。
异步gossip通信
Gossip协议是一种去中心化的分布式通信模式，节点周期性地随机选择其他节点交换信息。在异步gossip中，节点之间不需要同步屏障，每个节点可以按照自己的节奏运行，当准备好时发布消息，接收方按照自己的节奏消费。DEI采用全异步all-gather模式：每个节点在准备好时发布其轮冠军到对等节点，对等节点按照自己的节奏消费传入的冠军。这种设计避免了同步屏障导致的慢节点拖累整个系统的问题。
异步gossip是DEI实现异构硬件参与的关键技术设计，理解它有助于理解DEI如何解决不同LLM调用延迟差异带来的实际问题。
研究动机
现有并行LLM搜索方法将扩展视为计算问题而非认知问题。例如，FunSearch在并行中运行许多独立的LLM调用，但所有调用都使用相同的模型，多样性仅来自随机采样而非根本不同的生成先验。Digital Red Queen框架在原始公式中在单个节点上运行单个模型，该模型生成分布中的盲点会成为归档中的永久空白。更重要的是，所有这些方法都假设同构的LLM配置，忽略了不同LLM因训练数据、架构和对齐程序不同而具有独特归纳偏置的事实。一个主要在Python教程上训练的模型将比在竞争编程语料库上训练的模型更倾向于不同的控制流模式；一个为指令跟踪微调的模型将以代码完成模型不会的方式进行对冲。这些归纳偏置应该被有意识地利用，以覆盖任何单一模型单独无法达到的行为空间。
本文的目标是本文的目标是提出一个分布式QD搜索框架，明确利用异构LLM集成作为变异操作符，将每个模型分配给搜索图中的不同节点。通过异步通信机制实现跨模型对抗压力和小生境新颖性，在保持总计算预算不变的情况下，证明异构节点带来的性能增益不能归因于额外的计算，从而将多样性分离为因果因素。
与已有工作不同的是，本文的独特切入角度是将并行认知而非并行计算作为设计原则。当多样化的LLM同时探索共享的行为空间时，每个模型的归纳偏差导致它优先填充质量-多样性归档的不同区域。一个模型认为精英的冠军可能占据另一个模型从未生成的小生境，为交叉授粉提供现成的种子。当这些冠军通过非阻塞通信作为对手共享时，每个节点可以按照自己的节奏前进，同时竞争它永远不会在内部生成的策略，推动纯模型内自博弈无法提供的鲁棒性。这种视角的转变——从计算扩展到认知扩展——是本文与之前所有工作的根本区别。
核心方法
DEI的整体思路是将不同的LLM分配到分布式系统中的不同节点，每个节点独立运行DRQ优化器，同时通过异步通信层共享各自发现的精英解。在直觉上，这就像组建了一个由不同专家组成的团队，每个专家有自己的专长和思考方式，团队通过定期交流各自的最佳发现来共同探索更大的解空间。在技术路线上，DEI在每个轮次执行以下过程：每个节点进行T次LLM调用，以0.1的概率从头生成新武士，以0.9的概率变异现有武士；评估候选武士在对手池中的适应度，对手池包括初始种子武士、保留的前K轮冠军武士以及从对等节点收集的武士；更新本地MAP-Elites归档；在每轮结束时选择冠军广播给对等节点；排空接收缓冲区收集对等节点在相同轮次发布的冠军；将接收到的冠军追加到本地对手池，提供跨模型对抗压力；如果接收到的冠军占据之前为空的单元格，则将其播种到本地归档。这种设计在保持总LLM调用预算不变的情况下，实现了跨模型的协同探索。
核心创新点是将模型多样性而非并行性作为分布式LLM搜索的第一类设计原则。与同构并行搜索在所有工作节点上复制单个模型的归纳偏差不同，DEI将每个LLM的独特创意先验视为行为新颖性的补充来源。具体而言，DEI通过三个机制实现这一点：一是异构节点分配，每个LLM家族获得独立的搜索节点；二是异步冠军共享，使用非阻塞集体通信避免同步屏障，使异构硬件参与而不拖累更快节点；三是跨模型对抗压力，每个节点竞争它永远不会在内部生成的策略，推动纯模型内自博弈无法提供的鲁棒性。与FunSearch等使用相同模型的并行方法相比，DEI的关键区别在于多样性的来源：FunSearch的多样性来自随机采样，而DEI的多样性来自根本不同的生成先验。与AlphaEvolve等LLM集成方法相比，DEI的区别在于多样化目标：AlphaEvolve通过成对不同大小的模型来平衡计算吞吐量与解质量，而DEI跨模型家族多样化以增加样本多样性。
方法步骤详情
DEI的完整方法步骤如下：输入包括节点i分配的LLM_i、初始对手集合O_0、轮数R和每轮迭代次数T。首先初始化空归档A_i和对手集合O_i为O_0。然后对于每个轮次r从1到R执行以下过程：在每个迭代t从1到T中，如果随机数小于0.1，则调用LLM_i从头生成新武士；否则从当前归档A_i中均匀采样一个精英p，调用LLM_i对其变异得到w。计算武士w的行为特征bc，包括时间-空间乘积（武士代码长度和其平均寿命的乘积）和内存覆盖率（武士在战斗中接触的核心比例）。使用适应度函数f(w, O_i)评估武士w的适应度，该函数是对手集合O中所有对手在战斗中武士w存活时间的总和。通过MapElitesUpdate(A_i, bc, w, f)更新本地归档。在每轮结束时，选择冠军ŵ_r = arg max_{w∈A_i} f(w, O_i)。将冠军ŵ_r发布到对等节点。排空接收缓冲区收集对等节点发布的冠军R。将R追加到本地对手集合O_i，并将R播种到本地归档A_i中。最后返回最终冠军arg max_{w∈A_i} f(w, O_i)。这个完整过程确保了每个节点既能利用本地LLM的独特探索能力，又能从其他节点的发现中受益。
技术新颖性
DEI的技术新颖性体现在三个方面：在系统架构层面，这是第一个研究分布式进化搜索中异构模型集成的工作，之前的FunSearch使用同构LLM池，AlphaEvolve仅在模型大小上多样化而非模型家族；在通信机制层面，异步冠军共享协议解决了异构LLM节点操作延迟差异大的实际问题，避免同步屏障拖累整个系统；在理论贡献层面，DEI提供了第一个实证证据，证明模型多样性而非仅仅是并行性，是分布式LLM基础QD搜索增益的关键驱动因素。具体而言，异构BC分布在相等计算下产生严格更高的期望归档覆盖率，本文实验通过等总LLM调用预算下的对比，异构合并归档实现+124%更高的QD-Score和+28%更多的覆盖率，确认了这一理论预测。此外，DEI对Core War之外的泛化性保持谨慎，明确指出需要进一步测试验证在其他领域的适用性，这种诚实性也体现了研究的新颖性和严谨性。
实验结果
核心发现是异构集成在三个关键指标上超越了同构集成和单节点基线：在单个节点泛化性上，异构协作在所有四个模型家族中都实现了比同构协作更高的泛化性，而同构协作在大多数条件下超越或与单节点相当。具体而言，Claude Sonnet 4.6的异构集成峰值为0.850±0.087，同构集成为0.825±0.106，单节点为0.775±0.035；GPT-5.4-mini的异构集成为0.767±0.076，同构集成为0.725±0.029，单节点为0.750±0.000；GPT-5.2的异构集成为0.767±0.076，同构集成为0.700±0.000，单节点为0.650；Claude Haiku 4.5的异构集成为0.700±0.050，同构集成为0.538±0.063，单节点为0.650±0.141。在小生境新颖性上，从同构到异构集成有显著改善，支持归档的广度和质量由于协作对等节点而增加的假设。Claude Sonnet 4.6的小生境新颖性从同构的0.348±0.039提升到异构的0.483±0.120，GPT-5.4-mini从0.119±0.013提升到0.422±0.072，GPT-5.2从0.091±0.010提升到0.454±0.070，Claude Haiku 4.5从0.139±0.040提升到0.443±0.132。在合并归档性能上，异构合并归档实现了80.6%的覆盖率和45.90的QD-Score，而单节点为63.0%覆盖率和20.46 QD-Score，同构合并归档为59.0%覆盖率和29.85 QD-Score。这意味着异构集成相比单节点基线实现+124%更高的QD-Score和+28%更高的覆盖率，相比同构集成也有显著优势。这些结果加强了来自多样性感知强化学习和多智能体推理工作的直觉：明确采购生成多样性，这里通过将不同LLM家族分配给不同节点，在匹配计算下产生超过单分布基线的可测量增益。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 单个节点泛化性 | 峰值泛化性 | 0.850 (Claude Sonnet 4.6异构集成) | 0.775 (Claude Sonnet 4.6单节点) | +9.7% |
| 单个节点泛化性 | 峰值泛化性 | 0.767 (GPT-5.4-mini异构集成) | 0.725 (GPT-5.4-mini同构集成) | +5.8% |
| 合并归档性能 | QD-Score | 45.90 (异构合并归档) | 20.46 (单节点) | +124% |
| 合并归档性能 | 覆盖率 | 80.6% (异构合并归档) | 63.0% (单节点) | +28% |
| 合并归档性能 | QD-Score | 45.90 (异构合并归档) | 29.85 (同构合并归档) | +54% |
| 合并归档性能 | 覆盖率 | 80.6% (异构合并归档) | 59.0% (同构合并归档) | +36.6% |
| 小生境新颖性 | η | 0.483 (Claude Sonnet 4.6异构) | 0.348 (Claude Sonnet 4.6同构) | +38.8% |
局限与改进
作者明确承认的局限性包括：本文研究的发现严格限定在Core War领域内，虽然理论上没有理由认为这些发现不会在其他领域成立，但需要在其他领域进一步测试验证适用性。Core War具有清晰的适应度函数和明确定义的行为特征，其泛化性到结构化程度较低的BC空间或更昂贵的适应度评估的领域仍有待建立。此外，作者还提到了潜在未来研究方向，这暗示当前工作在这些方面还有改进空间。我观察到的额外局限性包括：实验使用的是特定的四个LLM模型组合（GPT-5.4-mini、Claude Sonnet 4.6、GPT-5.2和Claude Haiku 4.5），尚不清楚这种性能增益是否依赖于特定的模型选择，还是任何足够多样化的模型组合都能获得类似增益。实验设计相对固定（4节点、每轮62或250次迭代），没有系统研究节点数量、轮数、迭代次数等超参数对性能的影响。虽然异步通信解决了同步屏障问题，但没有深入分析网络延迟、消息丢失等实际分布式系统因素对性能的影响。BC轴的二维设计（TSP和MC）相对简单，更复杂或更高维的BC空间可能会改变异构集成的优势表现。
独立分析的弱点
独立分析的弱点包括：首先，实验仅在Core War一个任务上验证，虽然该任务具有挑战性和代表性，但在其他任务上的表现未知，特别是在没有清晰适应度函数或行为特征定义不明确的任务上。改进方向是在更广泛的任务上验证DEI，如机器人控制、药物发现、组合优化等。其次，异构集成的优势依赖于选择足够多样化的LLM，如果选择的模型过于相似，可能无法获得类似增益。改进方向是研究模型多样性的量化指标和自动选择策略，确保选择的模型在归纳偏差上真正多样化。第三，当前设计中每个节点使用相同的BC轴（TSP和MC），这可能限制了异构性的充分发挥。改进方向是允许每个模型跟踪不同的行为维度，可能捕捉到更丰富的行为空间。第四，实验使用固定的节点拓扑（全连接），没有探索动态拓扑或其他网络结构的影响。改进方向是研究自适应拓扑，动态连接归档最互补的节点，进一步提高协作效率。第五，当前的异步gossip协议相对简单，没有考虑消息优先级、冲突解决等高级机制。改进方向是设计更智能的通信协议，根据发现的重要性或新颖性调整消息传播策略。
未来方向
作者提出的未来研究方向包括：自适应拓扑，动态连接归档最互补的节点；异构BC轴，每个模型跟踪不同的行为维度；扩展到Core War之外的多智能体协作任务。基于本文成果可延伸的方向包括：研究更大规模的异构集成，测试更多模型和更多节点组合，探索性能与资源投入之间的边际效应；开发自动模型选择机制，根据任务特征自动推荐最优的异构模型组合；探索部分共享的通信模式，不是共享所有冠军，而是根据新颖性或质量选择性共享，以减少通信开销；研究异构集成在其他进化算法范式中的表现，如遗传算法、进化策略等；将DEI的思想应用到其他LLM驱动的优化任务，如提示工程优化、神经网络架构搜索等；开发理论分析框架，更严格地证明异构集成的优势条件和边界条件；研究异构集成在联邦学习或隐私敏感场景中的应用，其中本地模型可能不同但需要协同学习。
复现评估
DEI的复现性评估如下：开源情况方面，论文提到DRQ代码是Kumar等人2026年提供的开源实现，用于单节点运行，通信层包含在集成运行中，但未明确提供DEI的完整实现代码。数据方面，Core War是一个标准化的模拟环境，具有明确的规则和配置参数，论文在附录A中详细列出了使用的超参数，与DRQ原始论文保持一致。算力方面，实验使用四个LLM节点，每个节点进行62或250次LLM调用，总LLM调用预算固定，具体硬件要求取决于使用的LLM，如果是云端API则需要网络连接，如果是本地模型则需要相应计算资源。难度方面，复现DEI需要实现几个关键组件：异步通信层、本地DRQ优化器集成、冠军共享协议、归档合并逻辑等。对于有分布式系统和进化算法经验的研究者来说，中等难度。主要挑战在于处理不同LLM的API差异、调试异步通信的竞态条件、确保实验设置与论文一致。整体而言，虽然论文提供了详细的实验设置和算法伪代码，但缺乏完整的开源实现可能会增加复现难度，特别是对于不具备相关背景的研究者。
论文图表
该表格总结了所有实验条件下的主要结果，包括峰值泛化性和小生境新颖性η。表格按模型家族分组，水平线分隔不同模型。每个模型下有三种条件：Diverse Ensemble、Homogeneous Ensemble和Solo [DRQ]。结果显示了均值±标准差，每组内最好的值用粗体标记。Claude Sonnet 4.6的异构集成峰值泛化性为0.850±0.087，同构集成为0.825±0.106，单节点为0.775±0.035；小生境新颖性异构为0.483±0.120，同构为0.348±0.039，单节点不适用。
这个表格对理解论文至关重要，因为它提供了核心实验结果的完整数值总结。从表格中可以清晰地看到，对于所有四个模型家族，异构集成都实现了最高的峰值泛化性和小生境新颖性，同构集成次之，单节点最差。这个系统性的结果强有力地支持了论文的核心假设——模型多样性而非并行性是分布式LLM基础QD搜索增益的关键驱动因素。表格还显示了不同模型之间的性能差异和变化幅度，如Claude Haiku 4.5的同构集成性能下降最大，而其异构集成提升最明显。
该算法伪代码描述了DEI在单个节点i上的完整执行过程。输入包括LLM_i、初始对手集合O_0、轮数R和迭代次数T。算法首先初始化空归档A_i和对手集合O_i为O_0。然后对于每个轮次r从1到R执行：在每个迭代t中，以0.1概率从头生成新武士，以0.9概率变异现有武士；计算行为特征bc和适应度f；更新归档A_i。每轮结束时选择冠军ŵ_r并发布；排空接收缓冲区收集对等节点发布的冠军R；将R追加到对手集合O_i并播种到归档A_i。最后返回最终冠军。
这个算法对理解论文至关重要，因为它提供了DEI方法的精确技术规范，将文字描述转化为可执行的操作序列。算法伪代码清晰地展示了DEI的核心机制：本地DRQ循环与异步通信层的协作。通过算法可以清楚地看到每个步骤的输入、输出和具体操作，如冠军选择、发布、接收缓冲区排空、对手集合更新和归档播种。这个规范对于研究人员复现、修改或扩展DEI方法都是必不可少的。