MLEvolve：用于自动机器学习算法发现的自进化框架 MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery

MLEvolve的完整工作流程包含多个关键步骤。第一步是初始化，从领域知识库中检索与任务类型相关的模型候选和使用指南，生成初始计划。领域知识库按任务类型组织，提供适合的模型和简洁的使用指南，从开源仓库和竞赛平台合成。第二步是图搜索迭代，每轮迭代包括选择、扩展、模拟和回传四个子步骤。选择阶段在主边形成的树骨干上使用UCT准则选择扩展节点，探索参数随时间逐渐减小。同时根据概率在UCT探索和精英引导利用之间切换，精英模式下从全局Top-K节点中按逆排名加权选择。扩展阶段根据停滞检测条件选择四种扩展类型之一：主扩展、分支内进化、跨分支引用或多分支聚合，生成新节点并建立主边和参考边。模拟阶段在解释器中执行新节点的代码，解析输出提取任务特定指标和执行日志，计算即时奖励：执行失败为负一，成功但不改进分支最佳为一，成功并刷新分支最佳为二。回传阶段仅沿主边将奖励传播到根节点，更新每个祖先节点的访问次数和累积奖励，计算平均价值估计。第三步是记忆检索和更新，在规划阶段使用生成的自由文本计划作为查询，通过混合检索检索相关的成功和失败经验，指导计划细化为模块级规范；在调试阶段使用错误消息作为查询，检索记忆中类似的已解决错误。每次有效执行后，将计划、结果、分析和反馈信号以结构化记录形式存储到全局记忆中。第四步是层次化规划与自适应代码生成，planner在模块级别使用执行反馈、分支轨迹和检索记忆决定修改什么和为什么，coder在代码级别实现计划的修改，根据当前搜索状态选择三种编码模式之一：Base模式从零完整生成用于初始草稿，Stepwise模式按模块逐步生成用于复杂多阶段管道，Diff模式对现有代码进行目标差异编辑用于已有可行解决方案时的局部细化。

本文的技术新颖性体现在多个层面。在搜索结构层面，首次将MCGS应用于开放式的LLM代码生成场景，节点代表不同的候选解决方案而非状态空间压缩，图结构的目的不是压缩状态空间而是实现跨分支信息流动、轨迹复用和解决方案组合。在搜索策略层面，首次引入熵启发的渐进探索调度，将分支选择分布的Shannon熵作为搜索分散程度的度量，通过软切换机制实现从高熵探索到低熵利用的自适应过渡，而传统方法使用固定的探索参数或在探索-利用间硬切换。在记忆机制层面，首次提出无需额外LLM调用的自动经验积累机制，每次有效执行后自动记录完整经验，通过混合检索实现阶段感知的检索，而传统方法需要显式的反思步骤或仅依赖静态知识库。在代码生成层面，首次实现planner-coder解耦和自适应粒度选择，根据搜索状态动态选择完整重写、逐步生成或差异编辑，而传统方法通常采用单次完整重写。这些技术创新的协同作用使得MLEvolve能够在长周期优化中实现真正的自我进化，持续适应搜索状态、积累经验和细化解决方案。

独立分析来看，MLEvolve存在几个具体的弱点。首先，记忆检索的混合权重是固定的，但在搜索的不同阶段，关键词检索和语义检索的相对重要性可能不同，早期阶段可能更需要语义检索来探索新颖方向，后期阶段可能更需要关键词检索来精确匹配相关经验。改进方向是实现阶段感知的自适应权重调整，根据搜索进度和任务特征动态调整混合权重。其次，停滞检测的阈值是固定的，但在不同任务中停滞的定义和持续时间可能不同，对于某些任务可能过早触发跨分支引用，浪费计算资源，对于其他任务可能过晚触发，错失改进机会。改进方向是实现任务自适应的停滞检测机制，基于历史性能改进率动态调整阈值。第三，精英引导利用中的Top-K节点数量是固定的，但在搜索的不同阶段，精英集合的大小可能需要动态调整，早期阶段可能需要更大的精英集合来保留多样性，后期阶段可能需要更小的精英集合来集中利用。改进方向是实现时间依赖的精英集合大小调整，根据搜索进度和分支多样性动态调整K值。第四，虽然框架支持不同的编码模式，但模式选择是基于简单规则的，可能无法充分利用每种模式的优势，例如在某些情况下混合使用多种模式可能更有效。改进方向是实现基于学习的模式选择策略，考虑任务特征、搜索历史和当前性能等多个因素。第五，虽然框架实现了跨分支信息流动，但参考边的权重和传播机制尚未深入研究，不同类型的引用可能有不同的信息价值和传播路径，当前统一的扩展策略可能不是最优的。改进方向是实现类型感知的参考边权重和传播机制，根据引用类型和上下文动态调整信息流动。第六，框架在处理超大规模搜索空间时可能会遇到节点爆炸问题，当前的记忆机制虽然实现了经验积累，但节点数量仍然可能快速增长，导致内存和计算压力。改进方向是实现节点压缩和剪枝机制，基于性能和相似度合并冗余节点或剪枝低价值节点。

作者提出的未来工作方向包括将MLEvolve扩展到更广泛的AI for Science场景，如自动科学实验、跨学科算法发现和自主研究工作流。这些场景将面临新的挑战，如实验噪声和不确定性更高、搜索空间更开放、验证成本更高、需要领域专家知识等，需要相应的框架扩展。基于MLEvolve的成果，可以延伸出多个研究方向。第一，多模态和跨领域迁移学习，当前的记忆机制主要针对单个任务内的经验积累，未来可以实现跨任务和跨领域的知识迁移，建立层次化的记忆结构，支持从简单任务到复杂任务的知识蒸馏和迁移。第二，人机协作增强，虽然MLEvolve实现了高度自动化，但在某些场景中人类专家的干预和指导可能仍然有价值，未来可以实现交互式的人机协作机制，允许人类专家在关键时刻提供指导或验证框架的决策。第三，可解释性和可视化增强，当前框架的决策过程缺乏透明的解释，未来可以实现详细的决策追踪和可视化，帮助用户理解框架的推理过程和验证其决策的合理性。第四，分布式和并行计算优化，当前框架虽然支持多代理协作，但在大规模分布式环境下的协调和效率优化尚未深入研究，未来可以实现更高效的分布式搜索机制，支持跨节点的任务分配、结果聚合和负载均衡。第五，在线学习和持续改进，当前框架在单个任务运行结束后停止，未来可以实现在线学习机制，在任务执行过程中持续更新记忆和策略，并支持跨任务的持续改进和知识积累。第六，安全性和鲁棒性增强，当前框架假设代码执行环境是安全的，但在实际应用中可能面临恶意代码、无限循环、资源耗尽等安全风险，未来可以实现沙箱执行、资源限制和异常检测等安全机制，提高框架的鲁棒性和可靠性。

MLEvolve的代码已在GitHub上开源（https://github.com/InternScience/MLEvolve），包括完整的实现、实验脚本和配置文件。数据方面，MLE-Bench是公开的基准测试集，包含75个Kaggle竞赛任务的数据和评估指标，AlphaEvolve的15个数学优化任务也是公开可用的。算力需求较高，每个任务分配21 vCPUs、234 GB RAM和单个NVIDIA H200 GPU，最大扩展步数500步，运行时间12小时。完整的超参数设置在附录D中提供，包括探索参数调度、停滞检测阈值、记忆检索参数等。复现难度中等偏高，主要挑战在于需要较高的计算资源和较长的运行时间，但由于代码开源且文档详细，具备相应资源的团队应该能够复现主要结果。需要注意的是，实验中使用的LLM骨干可能需要相应的API访问或本地部署，这可能会增加复现的成本和复杂性。此外，由于LLM的不确定性，即使使用相同的种子，复现的结果也可能与论文报告的结果有一定偏差，但总体趋势和相对性能应该是一致的。