什么样的LLM才是好的优化器？——基于轨迹分析的LLM引导进化搜索研究 What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search

实验分四步执行。第一步是进化回路配置：每任务固定初始种群 $P_0$（TSP 40个随机排列、prompt 10个基准提示、方程发现 7个随机表达式、bin packing 7个经典启发式），所有模型共用同一初始种群以隔离变量；每代从前 $q=0.2$ 的精英集合中按适应度比例采样 $p_{parent}$ 个父代（TSP为3个、其余为2个），拼成prompt让LLM一次生成 $p_{child}=10$ 个子代，评估后去重合并到种群池，超过容量 $N$ 则保留Top-N。第二步是适应度评估：TSP用逆路径长度并归一化、prompt优化用gpt-4o-mini作为冻结评估器在25%留出集上计算ROUGE-L（SAMSum）或SARI（ASSET）、方程发现用 $1 - norm(MSE(\hat{y}, y))$、bin packing用负平均bin数；非法输出置0或大损失。第三步是轨迹分析：把每代所有候选解嵌入到任务特定语义空间（TSP用边集合 $D_{edge}(\pi,\sigma) = 1 - |E(\pi) \cap E(\sigma)|/|E(\pi)|$、prompt用text-embedding-ada-002余弦距离、方程发现用固定输入网格上的函数行为距离），计算每个解的新颖性（最近邻距离并归一化），再计算每代的空间熵 $H_{spatial}$ 和适应度空间熵 $H_{fitness}$；群体级把每条轨迹聚合成平均突破率、平均新颖性、平均PCD（parent-child distance）、平均LRR（local refinement rate，定义为子代严格优于prompted父代的比例），用OLS（带任务固定效应和模型聚类稳健标准误）回归到最终最佳适应度上；代数级把每代视作一个观测，用广义线性混合效应模型（模型随机截距，$N=3570$ 并发 / $N=3451$ 滞后）把突破概率回归到 $H_{fitness}$、$H_{spatial}$、mean/max novelty、generation及 novelty × $H_{spatial}$ 交互项上。第四步是扰动验证：在三个代表性子任务（TSP-60、Summarization、OR3 bin packing）上挑选零样本相近但精炼能力悬殊的模型对（如Mistral-24B vs Mistral-7B、DeepSeek-V3-Chat vs GPT-4o-mini、GPT-3.5-Turbo vs Gemma-3n-4B、LLaMA-3.2-3B-Instruct vs Mistral-24B），每代用弱精炼器替换 $\alpha \in \{0, 0.2, 0.4, 0.6, 0.8, 1.0\}$ 比例的子代，观察最终适应度和整体精炼率的变化。

技术新颖性体现在三个层面。第一是把LLM优化器评估从'结果中心'推进到'轨迹中心'，提出了一套任务无关但可实例化的轨迹量化框架（新颖性、空间熵、适应度空间熵、突破率、LRR、PCD），这套指标在跨模型跨任务上具有可比性。第二是把经典进化算法的探索-利用权衡分析工具（novelty search、fitness landscape）系统性地移植到LLM引导的设定中，并通过代数级混合效应模型把'新颖性何时起作用'这一交互效应精确量化出来（novelty × spatial entropy 的 $\beta_{concurrent}=-0.090$，$p<0.001$；$\beta_{lagged}=-0.051$，$p<0.001$）。第三是通过模型混合给出干预性证据，弥补了纯相关分析的不足；温度敏感性实验进一步证明精炼-性能关系在 $T \in \{0.0, 0.1, ..., 1.3\}$ 范围内稳定（TSP上 Mistral-24B 相关系数0.92、$p<0.001$），说明该机制不是某个超参数巧合。这些设计与EvoPrompt等纯经验调优、Promptbreeder等自指式改进形成鲜明对比——本文更像一项'计算实验科学'。

独立审视论文，可指出四个可改进的薄弱点。第一，'局部精炼能力'本身没有独立于结果的直接测量：LRR是在搜索过程中度量的，但训练或挑选模型时无法预知其在目标任务上的LRR，这削弱了论文结论的实操可达性——可以引入'精炼基准'任务或合成测试集来离线估计LRR，作为模型选择信号。第二，扰动实验只展示了弱精炼器稀释强精炼器的效果，没有展示反向情形（用强精炼器强化弱模型），也未测试不同比例下'是否某些阈值下LLM仍能自愈'，可补充单调性曲线和子代分布分析。第三，论文对'为什么某些模型自然倾向于局部精炼'几乎没有机制解释，仅在讨论部分提到可能是prompt格式偏好或上下文学习副产品；可以追溯到训练数据分布、RLHF偏好或指令微调风格，给出更深的因果链条。第四，4个任务家族中方程发现的零样本预测力最差（图13），但论文未深入挖掘这一异常——可能与代码生成任务对多样性破坏更敏感、或模型在代码上的精炼特性与自然语言不同有关，需要专门的任务-模型交互分析。

作者在结论中暗示了三类未来方向，可延伸出更多具体课题。第一是'训练专用搜索算子'：参考Šurina等的EvoTune工作，用RL或SFT显式优化LLM的精炼能力而非通用能力，奖励信号可以是父-子相对改进率而非绝对任务分数；本文的LRR指标可直接作为奖励塑形项。第二是'跨任务精炼能力的迁移性研究'：一个模型在TSP上表现为强精炼器，是否在prompt优化上也大概率是？表1的跨任务模型聚类稳健标准误给出了初步证据，但未做模型×任务的方差分解。第三是基于成本的算子调度：在Pareto前沿上按$\text{fitness\_gain}/\$$动态路由不同子代到不同模型，类似mixture-of-experts的进化版。第四是基于在线指标的自适应协议：监测每代的$H_{spatial}$、LRR、突破率，当检测到群体过度扩散时切换到更贪婪的精炼模式，反之注入更多多样性——本文给出的几何框架正是这种自适应控制的天然基础。

复现评估整体良好但有门槛。优点是作者明确释放了完整轨迹数据（huggingface数据集 LivevreXH/evo_llm_trajectories，约72K解）和代码（项目网站 github.io/traj_evo_search），任务模板（zero-shot与进化prompt如表3-10）、EA超参（$n_{init}$、$q$、$p_{parent}$、$p_{child}$、$N$、$G$、seed）全部列在Appendix C，统计模型规格在Appendix E给出完整公式和样本量。门槛在于：（1）实验完全依赖外部API（OpenAI、Google、DeepSeek、Mistral、Meta Llama等），15个模型中部分如GPT-4o、DeepSeek-V3、Gemini-1.5-Pro的费用高，72K次调用约$500的预算对个人研究者偏高，且模型版本/价格会随时间变化；（2）论文明确把所有搜索都基于 $T=0.7$，需要保证API支持此温度；（3）MDS可视化和PyGlimmerMDS GPU加速在10K行以上prompt优化上需要专用硬件；（4）bin packing的heuristic设计使用OR3（20 instances × 500 items）和Weibull（5 instances × 5000 items），评估耗时较长。总体而言，核心结论（突破率 > 新颖性、精炼器定位）在合理算力（GPU + API预算$500级别）下可复现，但完整15模型跨任务扫描的代价不低。