进化微调：在371个优化任务中学习发现

把进化搜索轨迹转化为监督信号训练LLM，使其内化跨任务的解发现能力。

前置知识

LLM 驱动的进化搜索框架（Evolutionary Search Scaffold）

把大语言模型当作变异算子 𝑀_θ 的迭代搜索过程：框架在第 t 轮从父代解 x_{t-1}、任务指令 I 和搜索历史 H_{t-1} 出发构造提示，让 LLM 生成候选解 x_t = 𝒮(x_{t-1}, I, H_{t-1}; 𝑀_θ)，再用评估器 𝓔 打分并写回候选库 𝒟，循环直到预算耗尽或达到目标分数。代表实现 AlphaEvolve、OpenEvolve 都基于 MAP-Elites 的岛屿种群机制来平衡探索与利用。

本文所有工作都建立在'把模型能力内化进权重'与'把能力留在框架里'这一对立之上，必须先理解进化搜索框架四模块（构造提示、生成候选、评估、存档）才能看懂 EFT 到底把哪一部分变成了训练信号。

测试时搜索 vs 测试时学习

搜索类方法（AlphaEvolve、OpenEvolve）保持权重 θ 不变，完全靠外部框架的父代选择与提示逻辑驱动改进，通常依赖闭源前沿大模型；学习类方法（ThetaEvolve、TTT-Discover）在搜索过程中用测试时强化学习（test-time RL）更新权重，让模型专门适应当前任务。两者都只在单个任务、单个搜索循环内有效，经验用完即弃。

论文的核心动机正是这两种范式共同的盲点——发现能力没有真正进入模型本身。理解这条主线才能理解 EFT 作为'中期训练'为什么要单独提出。

监督微调（SFT）与偏好学习（KTO）

SFT 直接用教师轨迹做下一个 token 预测，把 (I, x_{t-1}, H_{t-1}, F_{t-1}) → x_t 的映射灌进模型权重。KTO（Kahneman-Tversky Optimization）是一种不需要成对样本的离线偏好学习算法，只需对'好解/坏解'各自打标即可让模型学会自我判别哪些解有潜力、哪些不值得保留。本文用 Imp（改进）轨迹做 SFT，再用 Imp+Reg（退化）轨迹联合做 KTO。

EFT 的两段式训练（先 SFT 后 KTO）是论文方法的主干，Table 5 中 KTO 让 Finch-8B 在 AC1、AC2 上超越人类最佳分数，理解这两个训练阶段才能看懂结果提升的来源。

改进轨迹分类（Imp / NC / Reg）

论文按分数差 Δ = 𝓔(x_t) − 𝓔(x_{t-1}) 对每条父子转移分类：Δ > 0 为 Imp（改进），Δ = 0 为 NC（无变化），Δ < 0 为 Reg（退化）。Finch Collection 共 156,731 条轨迹中 Imp 占 39.4%（61,802 条）、NC 占 19.2%、Reg 占 41.3%。Table 2 证明只用 Imp 做 SFT 效果最好，混入 Reg 反而拉低 Erdős 与 AC2 表现，因此 Imp 用于 SFT、Imp+Reg 用于 KTO 提供对比信号。

这是理解数据构建与训练配方的关键，也直接决定了 Finch 最终为何选择'Imp 做 SFT + Imp/Reg 做 KTO'的设计。

研究动机

现有 LLM 驱动的进化搜索方法存在一个根本缺陷：发现能力（如何迭代改进解、知道该变异哪一部分、何时回溯）始终停留在搜索框架里，而没进入模型权重。具体而言，测试时搜索方法（AlphaEvolve、OpenEvolve、ShinkaEvolve 等）严重依赖闭源前沿大模型作为变异算子，因为框架每一轮都要求稳定高质量的提案；作者观察到小于 9B 参数的开源模型无法在这种框架内跟随进化轨迹，性能明显落后（见 Figure 1 左）。而测试时学习方法（ThetaEvolve、TTT-Discover）虽然通过测试时强化学习更新权重让小模型也能适应，但这些更新只为单个搜索循环、单个任务服务，模型发现的策略没有被固化为可复用的能力，无法在遇到新任务时组合调用来自不同领域的策略（Figure 1 右显示基线模型只会反复使用单一策略）。结果是每解决一个新问题都要从头来过，积累的经验随任务结束被丢弃。

本文的目标是作者希望让模型本身获得并复用进化发现能力，而不是把这一能力外包给框架。为此提出 Evolution Fine-Tuning（EFT），一种中期训练范式：把大规模进化搜索轨迹转换成监督信号，使开源模型（2B 到 9B）在被部署之前就学会当一个更强的变异算子，从而具备跨任务的发现迁移能力。具体目标包括：构建跨 10 个领域、371 个任务的 Finch Collection 作为训练数据；训练出 Finch-{2,4,8,9}B 模型族；在 22 个留出任务上验证跨任务泛化；并进一步验证 EFT 能与测试时强化学习叠加产生协同效应，在圆填充等数学任务上逼近甚至匹配闭源大模型的最佳已知解。

与已有工作不同的是，本文的独特切入角度在于：把'发现能力'从框架迁移进模型权重，弥合了搜索派与学习派之间的空白地带。挑战在于优化任务多为 NP 难、没有现成的标准答案，传统的'收集(问题,答案)对做监督学习'配方不可用。EFT 的破局思路是把搜索运行产生的父子转移轨迹当作监督信号本身——把 $(I, x_{t-1}, \mathcal{H}_{t-1}, \mathcal{F}_{t-1}) \mapsto x_t$ 的映射通过 SFT/KTO 灌进权重。更重要的是，这种能力是任务无关、可迁移的：论文在案例分析（Figure 9）中展示 Finch 能把推荐系统里的 log-domain 交替最小二乘、数值优化里的 Levenberg-Marquardt 等跨领域策略组合到竞赛编程任务上，而基线模型只会在单一领域里打转。

核心方法

EFT 的直觉是：与其让模型在每个新任务上从零摸索进化，不如先在大量已有进化轨迹上'练习'，把'如何变异、如何利用历史反馈、如何回溯'这些发现技能内化进权重。技术路线分三步：先用真实优化基准任务收集 172,997 条进化轨迹；再用三类过滤规则筛出 156,731 条（90.6%）；最后把每条轨迹转成监督样本（输入为框架可见的全部信息，输出为教师生成的候选解），对 Qwen3.5-{2B,4B,9B} 和 Qwen3-8B 做全参数 SFT。优化的数学目标仍是 $x^\star = \arg\text{opt}\ \mathcal{E}(x)$，发现定义为 $\mathcal{E}(x^\star) > \mathcal{E}(x_{\text{sota}})$（最大化任务），EFT 改变的是变异算子 $\mathcal{M}_\theta$ 本身的质量。训练设置上每任务只用 1 条轨迹防止符号回归类任务失衡，全量 30,445 条训练轨迹、1 epoch、batch size 128、学习率 1e-5，跑在 8 块 H200 140GB 上。

核心创新点是'能力内化'：把测试时才能展现的发现行为，通过中期训练迁移到小模型权重里，且与测试时框架正交。这与已有方法有本质区别——搜索派完全不更新模型（能力留在框架），学习派虽然更新模型但只为单个任务、单个循环服务（能力用完即弃且不可组合）。EFT 让一个 2B~9B 的小模型在被部署前就成为一个通用发现智能体的'练习成品'，部署后既可冻结权重接搜索框架，也可继续被测试时强化学习适配。这种'中期训练'定位也解释了为什么 Finch-8B 在 Erdős 上（0.381236）已接近 9B 量级基线，并能在叠加 KTO 后超越人类最佳分数。

方法步骤详情

方法由三步流水线构成。Step 1 种子任务收集：从 AlphaEvolve 数学发现、FrontierCS、ALE-Bench、AlgoTune、GPU Mode、LLM-SRBench、OpenEvolve 函数最小化与 K-Module、scRNA-seq 去噪、Erdős 变体等 10 个基准选出 371 个真实任务，标准是需非平凡搜索、不能化归为匹配已知答案、且提供确定性可评分评估器。Step 2 轨迹收集：每任务用 OpenEvolve（变异算子 Qwen3.5-397B-A17B）跑固定预算，同时采 diff 编辑与完整重写两种策略，温度 0.7、top-p 0.95、最长 30K token，共得 172,997 条原始轨迹，记录 $x_{t-1}, \mathcal{H}_{t-1}, x_t, \mathcal{E}(x_t)$ 等。Step 3 过滤：剔系统错误（缺父代分数 57.5%、超时 14.2% 等，6,321 条 3.7%）；剔不可恢复（294 条）与破坏案例（1,281 条）；丢超长样本（8,370 条 5.0%），留约 156K 条。训练时仅用 Imp、每任务 1 条共 30,445 条做 SFT；可选地用 Imp+Reg 做 KTO 让模型学会判别好坏。

技术新颖性

新颖性体现在三个层面。第一，数据层面：Finch Collection 是首个 156K 规模、横跨 371 个真实优化任务的进化轨迹数据集（Table 1 显示此前方法任务数多为'-'即零散单点或仅 1 个任务），并系统区分 diff 编辑/完整重写两种变异策略与 Imp/NC/Reg 三类改进结果。第二，方法层面：首次把'测试时发现能力'正式定义为一个可被中期训练内化的目标，并提出 SFT（Imp）+ KTO（Imp+Reg）的两段式配方，Table 2、Table 5 都验证了该配方的必要性。第三，能力层面：首次展示跨领域发现迁移的涌现行为——Figure 9 中 Finch 把 jax 的高性能模式从符号回归迁移到 Convolve2D，Figure 1 右中把推荐系统、稳健统计、数值优化策略组合到竞赛编程。这套范式还被证明能与测试时强化学习正交叠加（Table 6），形成'练习阶段+实战微调'的通用发现智能体蓝图。

**Figure 3**: An overview of the optimization task groups (a total of 371 tasks) in Finch Collection

**Figure 4**: Overview of the Finch Collection construction pipeline

**Figure 5**: Distribution of trajectory improvement in Finch Collection

**Figure 6**: Dataset composition and trajectory characteristics

实验结果

核心发现四点。（1）跨任务发现泛化：Table 3 显示 Finch-9B 在 22 个留出任务上平均增益 +10.24%（摘要称 10.22%），ahc058 单点 +290.59%、Transaction +74.30%，Finch-2B 也平均 +1.56%。（2）规模收益递增：Finch-9B（+10.24%）远超 Finch-4B（+3.40%）与 Finch-2B（+1.56%），且 Finch-4B 在 Erdős 上达 0.386460 接近 Qwen3-8B 的 0.403585，印证小模型追平两倍体量基线。（3）离线偏好学习增强：Table 5 中 Finch-8B+KTO 的 AC1=1.5089、AC2=0.9146 均超人类最佳（1.5097/0.9015），竞赛编程均分从 24.56 升到 37.30。（4）作为测试时强化学习中期训练有效：Table 6 中 Finch-8B 配 nanodiscover 在圆填充 n=26、n=32 上得 2.635983/2.939573 与基线并列最佳，Erdős 上额外提升约 +3.2%。Figure 8 显示训练任务数从 15→187→355 时 AC2、CP、PRISM 持续上升，证明训练信号可扩展。

**Table 1**: Comparison of evolutionary methods（进化方法对比）

**Table 2**: Effect of improvement type on EFT（改进类型对 EFT 的影响）

**Table 3**: Performance comparison of Finch to base models across Mathematical Discovery, Algorithm Engineering, and System Performance

**Table 4**: Competitive Programming performance of Finch compared to base models across six optimization tasks

**Table 5**: Effect of Offline RL（离线强化学习的影响）

**Table 6**: Performance of Finch combined with online (test-time) RL scaffolds across math optimization tasks

**Table 7**: Effect of improvement type on EFT (CP: avg. competitive programming score)

**Figure 7**: Algorithmic Heuristics performance of Finch compared to Qwen3.5-9B

**Figure 8**: Scaling trends with increasing numbers of training tasks in Finch Collection

**Figure 9**: Case Study on Convolve2D（Convolve2D 案例研究）

查看结构化数据

任务	指标	本文	基线	提升
Erdős 最小重叠问题（Erdős，c5_bound 越低越好）	c5_bound（↓）	Finch-9B = 0.381100	Qwen3.5-9B = 0.385512	+1.14%（符号调整后为改进）
竞赛编程均分（6 题，0-100 分）	平均得分（↑）	Finch-9B = 46.01	Qwen3.5-9B = 32.46	+13.55 分，约 +41.8%
ahc058 算法工程任务	任务得分（↑）	Finch-9B = 525,286,896	Qwen3.5-9B = 134,486,700	+290.59%，本文最大单点提升
圆填充 n=32（配合测试时强化学习 nanodiscover）	最佳已知得分（↑）	Finch-8B = 2.939573	Qwen3-8B = 2.939572	与基线并列最佳，匹配 SOTA
AC1/AC2 自相关不等式（Finch-8B+KTO）	不等式上界（AC1↓）与函数值（AC2↑）	AC1 = 1.5089，AC2 = 0.9146	人类最佳 AC1 = 1.5097，AC2 = 0.9015	两项均超越人类最佳已知解

局限与改进

作者明确承认三点局限。其一，混合框架缺失：训练与评估都只用 OpenEvolve 这一种搜索框架，基于 OpenEvolve 风格轨迹训练的模型未必能泛化到 EvoX 等更强的框架，未来需要采集混合框架轨迹作为模板输入变化。其二，测试时强化学习实验范围窄：仅在数学任务上验证了协同效应，尚未扩展到 GPU 内核工程等真实任务，难以断言通用有效性。其三，模态与轮次受限：当前只在语言模态、单轮生成（一次性根据历史与父代输出子代）下训练，未覆盖科学发现常见的视觉观察多模态场景，也未扩展到多轮持续推理的进化范式。我自己补充两点观察：Finch Collection 的符号回归类轨迹占比过高（SR Physics Oscillation 51,210 条、SR Bio 28,034 条、SR Chem 13,975 条，合计远超其他类目），尽管作者用'每任务 1 条'缓解，但任务多样性仍是隐患；此外 Finch-8B 配合测试时强化学习与原版 TTT-Discover（GPT-OSS-120B）相比仍有差距，说明 8B 规模尚未能发现真正前沿的新解。

独立分析的弱点

第一，数据分布不均衡：符号回归类（SR Physics Oscillation/Bio/Chem）在 156,731 条轨迹中占据绝对多数，即便每任务限 1 条，模型仍可能对数学化、连续函数优化场景过拟合，对真实工程优化（如 GPU 内核只有 4 个任务、scRNA-seq 仅 3 个任务）覆盖不足——改进方向是按领域做均衡采样或课程学习。第二，单框架绑定风险：所有轨迹都来自 OpenEvolve，模型对提示模板风格存在隐式依赖，换用 EvoX、CORAL 等框架可能性能骤降——改进方向是把多框架轨迹作为模板输入变化一起训练。第三，单轮交互天花板：$(I, x_{t-1}, \mathcal{H}_{t-1}) \mapsto x_t$ 的单轮映射无法表达长程推理与多代世系的策略组合——改进方向是引入多轮自回归进化，让模型逐步对'已探索谱系'持续推理。第四，规模上限尚存：Table 6 显示 Finch-8B 测试时强化学习仍落后于 GPT-OSS-120B 的 TTT-Discover，8B 体量不足以独立产出前沿新解——改进方向是探索更大基座或更强的蒸馏。

未来方向

作者提出的方向包括：采集混合搜索框架的轨迹以提升跨框架泛化能力；把测试时强化学习协同实验从数学任务扩展到 GPU 内核、系统性能等真实工程任务；将范式从语言模态扩展到多模态科学发现，借助视觉-语言模型蒸馏技术让模型解读实验视觉观察；从单轮生成扩展到多轮持续推理，让模型能反复审视已探索的解谱系并朝更有希望的方向迭代。基于成果可延伸的方向有：用 Finch Collection 研究发现能力的尺度律——Figure 8 已显示训练任务数从 15 到 355 持续提升，可进一步推到千级任务观察是否出现更强涌现；把 SFT+KTO 配方替换为更现代的偏好优化或 GRPO 等在线强化学习算法；把 Finch 嵌入到自改进的 Darwin Gödel Machine 式开放框架中，与 Meta-Harness 等把优化目标转向框架本身的工作结合，探索'模型+框架'双向进化。此外 NC（无变化）轨迹的利用也值得深挖，作者在 Table 7 脚注与正文中暗示 NC 对内化发现能力可能仍有价值。

复现评估

复现整体较好但门槛偏高。开源方面 Table 1 标注 OS=✓，承诺发布 Finch Collection（156K 轨迹）、权重 Finch-{2,4,8,9}B 与代码；测试时强化学习对比用开源复现 nanodiscover（github.com/cheongalc/nanodiscover），规避了原版 TTT-Discover 单任务约 500 美元、需 50 epoch 的成本。数据流水线透明：过滤规则、错误占比（缺父代分数 57.5%、超时 14.2%）、轨迹长度（输入均值 8,902 token、输出均值 6,865 token）均量化披露。训练超参完整：全参数 SFT、1 epoch、batch 128、学习率 1e-5、8×H200 140GB、LLaMA-Factory、验证集 900 条。主要复现难点：轨迹采集需 Qwen3.5-397B-A17B 超大教师模型，算力门槛极高；评估需在 371 类任务各自评估器上跑 OpenEvolve 搜索循环（T=100、30K token 上限）；数据与权重可被复用精调，但完整从头重建成本仍较高。

进化微调：在371个优化任务中学习发现 Evolution Fine-Tuning: Learning to Discover Across 371 Optimization Tasks