理解LLM迭代生成式优化中的挑战：起始构件、信用视野与经验批处理的系统性分析 Understanding the Challenges in Iterative Generative Optimization with LLMs
揭示LLM生成优化三大隐藏设计决策如何决定成败，无通用解
前置知识
学习循环（Learning Loop）
学习循环是LLM生成式优化的核心框架：系统接收输入并产生输出，然后由一个Oracle（可理解为执行环境或评估函数）提供反馈信号，LLM优化器根据这个反馈迭代地修改系统。每次迭代中，优化器构造一个学习上下文（learning context），包含初始系统、输入、输出、反馈等信息，发送给LLM API调用来生成改进方案。这个过程类似于机器学习中的训练循环，但优化器不是梯度下降，而是LLM本身。论文指出，搭建一个正确的学习循环需要做大量隐藏的设计选择，而这正是绝大多数生产系统都没有采用自动优化的原因。
这是论文的核心概念框架，全文的三个案例研究都围绕学习循环的不同设计选择展开。
起始构件（Starting Artifact）
起始构件是提供给LLM优化器的初始系统，包括代码、提示词（prompt）、规格说明（spec）等。起始构件决定了优化器可以从哪个起点出发搜索解空间，不同起始构件可能导致完全不同的最终解。这类似于神经网络的架构和权重初始化问题——不同的初始条件决定了可达解空间的范围。论文中对比了两种初始化方式：单函数设计（一个train_model函数）和多函数设计（将流水线拆分为preprocess、select_features等多个函数），它们提供的docstring信息等价，但在模块化程度上不同。
论文的第一个案例研究（MLAgentBench）证明起始构件选择对最终性能有重大影响，是工程师需要做出的第一个关键决策。
信用视野（Credit Horizon）
信用视野是指在多步任务中，优化器每次更新时应该包含多少步的执行轨迹。对于序列决策任务（如游戏），每一步都有即时奖励，但最终目标可能是长期累积奖励。优化器可以选择：(1) 单步优化——每执行一步就根据即时奖励更新一次；(2) 多步优化——等待完整轨迹结束后再更新。这类似于强化学习中的视野问题（horizon problem）和截断反向传播（truncated BPTT）。信用视野的选择取决于任务的因果结构：当即时奖励与长期奖励一致时，短信用视野足够；当它们不一致时，需要更长的视野。
论文的第二个案例研究（Atari游戏）发现信用视野是任务依赖的，4/8个游戏单步更好，4/8个游戏多步更好，没有通用答案。
经验批处理（Experience Batching）
经验批处理是指在每次优化更新时，向LLM优化器提供多少个独立的执行轨迹（输入-输出-反馈三元组）。这类似于随机梯度下降中的批量大小选择——小批量更新噪声大但更频繁，大批量更稳定但可能丢失特定失败模式的细节信息。论文在BigBench Extra Hard上测试了批量大小为1、3和5的配置，发现最优批量大小因任务而异，且更大的批量并不单调地提升泛化性能。这种任务依赖性给实际应用带来了显著的工程挑战。
论文的第三个案例研究（BBEH）证明经验批处理是学习循环设计中另一个关键的、任务依赖的决策。
MLAgentBench
MLAgentBench是一个评估机器学习智能体的基准，包含Kaggle竞赛数据集（如Spaceship Titanic和Housing Price）。任务是让LLM优化器自动生成完整的机器学习训练流水线，包括数据摄入、模型构建、训练和超参数搜索。输入是任务描述和数据集，输出是一个代码库。评估方法是在验证集上计算任务特定指标（如F1分数或RMSE），然后在Kaggle隐藏测试集上获取竞赛分数和排行榜百分位。
这是论文第一个案例研究使用的基准，用于验证起始构件对最终ML流水线质量的影响。
BigBench Extra Hard（BBEH）
BigBench Extra Hard是BigBench的一个子集，包含具有挑战性的语言理解任务，涵盖逻辑推理（Dyck Languages、Boolean Expressions）、空间推理（Geometric Shapes）、语言理解（Linguini、Disambiguation QA）和领域特定问答（Movie Recommendation、Boardgame QA、Causal Understanding）等多个类别。每个任务要求智能体产生一个单一的提示和后处理代码，该提示需要在该任务内的多样化问题类型之间泛化。论文使用BBEH来研究经验批处理问题，每个任务有15个训练样本、10个验证样本和175+个测试样本。
这是论文第三个案例研究的基准，用于研究批量大小对提示优化泛化性能的影响。
OptoPrime
OptoPrime是由Cheng等人(2024)在Trace框架中实现的生成式优化器。它是一个基于LLM的优化器，接收学习上下文（包含初始系统、输入、输出、反馈等信息）并生成改进建议。OptoPrime本身不是一个新的优化算法，而是Trace框架中的优化器实现。论文使用OptoPrime作为统一的优化器后端，在三个案例研究中进行实验，并以Claude Sonnet-3.5作为底层LLM。论文强调其研究重点是学习循环的设计选择，而非优化器本身。
这是论文实验中统一使用的优化器，理解它的角色有助于区分优化器选择和学习循环设计两个不同的维度。
OCAtari（Object-Centric Atari Environments）
OCAtari是Delfosse等人(2024)提出的对象中心化Atari环境，它提供结构化的状态表示（物体位置、速度、生命值、奖励等），而不是原始像素画面。LLM优化器接收OCAtari的对象字典，无需额外的手工特征工程或自然语言标注。OCAtari将Atari游戏的状态从像素空间提升到对象空间，使得LLM可以直接理解和修改基于对象的策略代码。论文使用OCAtari来消除视觉理解的复杂性，专注于信用视野的比较。
OCAtari使得LLM能够直接处理游戏状态，是论文Atari案例研究的基础设施，确保信用视野的比较是在相同的结构化输入基础上进行的。
研究动机
尽管LLM生成式优化在研究界非常热门，但其生产采用率极低。Pan等人(2025b)报告，当前智能体系统的开发仍然以人工驱动为主，仅有9%的被调查系统采用了任何形式的自动化设计，这甚至包括简单的LLM辅助提示词调优。与此形成鲜明对比的是，LLM优化程序在特定领域已经取得了显著成功——例如提高硬件加速器计算吞吐量（Ouyang等，2025a）、设计新型矩阵乘法算法（Novikov等，2025）、探索安全漏洞（Zhang等，2025a）等。在这样一个以可扩展端到端自动化为高度追求目标的领域（Sutton，2019；Hendrycks等，2025），这种低采用率令人困惑，暗示着LLM优化器的理想愿景与现实之间存在显著差距。值得注意的是，这种低采用率并非源于基础设施支持不足——过去两年涌现了大量强大的智能体系统库（如LangChain、DSPy、Trace等），它们都提供了不同目标的自动优化机制，包括提示词调优和程序综合。这些库已经获得了工程师的广泛关注，说明低采用率不能简单归因于认知不足或软件不完善。
本文的目标是本文的核心目标是揭示LLM生成式优化采用率低下的真正原因：学习循环搭建的隐性困难。作者假设，工程师必须做出大量隐藏的设计选择才能成功搭建一个学习循环，而这些选择的复杂性才是生产化的主要障碍。具体来说，论文旨在系统性地研究三个关键设计因素对优化结果的影响：(1) 起始构件——给优化器什么样的初始系统；(2) 信用视野——在多步任务中，每次更新时应该包含多少步的执行轨迹；(3) 经验批处理——每次更新时应该将多少个独立试验的经验批处理在一起。通过这三个案例研究，论文希望提供实际的设计指导，并推动社区寻找简单、通用的跨域学习循环搭建方案。
与已有工作不同的是，本文的独特切入角度在于：它不关注优化算法本身的差异（如不同搜索策略的对比），而是聚焦于学习循环的三个隐藏设计决策。这些设计决策在先前工作中往往被视为实现细节，鲜有系统性研究。论文指出，许多挑战与传统机器学习中的经典问题有深刻对应——起始构件问题对应神经网络架构和权重初始化，信用视野问题对应RL中的视野辩论和截断BPTT，经验批处理问题对应SGD中的批量大小选择。然而与传统ML不同，生成式优化领域缺乏理论指导和经验法则。论文的核心贡献是通过精心设计的实验，将这些实现细节显性化，证明它们可以决定优化的成败，并呼吁社区像研究传统ML超参数一样系统性地研究这些设计选择。
核心方法
本文采用案例研究的方法论，通过三个精心设计的实验来分离和检验学习循环中的三个关键设计决策。整体思路是：首先建立一个统一的概念框架——学习循环，将LLM生成式优化抽象为一个包含初始系统、优化器、Oracle反馈和学习上下文的迭代过程。然后在三个不同的应用领域（ML流水线优化、游戏玩法优化、提示词优化）中，分别隔离一个设计决策进行受控比较，同时保持其他因素不变。每个案例研究都使用相同的优化器后端（OptoPrime + Claude Sonnet-3.5），确保观察到的差异来源于学习循环的设计选择而非优化器本身。这种控制变量的实验设计方法使得论文能够清晰地量化每个设计决策的影响，而不会混淆不同因素的效应。技术路线上，论文在MLAgentBench上比较多函数 vs 单函数初始化，在Atari上比较多步 vs 单步信用视野，在BBEH上比较多批量 vs 小批量经验批处理。
论文的核心创新点在于首次将LLM生成式优化的学习循环设计选择显性化，并证明这些通常被视为实现细节的决策对最终性能有决定性影响。与先前工作的本质区别有三点：第一，先前工作（如DSPy、Trace、LangGraph）主要展示成功应用，而本文研究设计选择带来的失败模式和不稳定性。第二，先前工作的优化器研究聚焦于搜索算法本身（如交叉验证、Pareto优化），而本文聚焦于更底层的学习循环搭建问题。第三，论文建立了与传统机器学习的系统性类比，将起始构件比作神经网络初始化，信用视野比作截断BPTT，经验批处理比作SGD批量大小，从而为这个新兴领域提供了一个熟悉的概念框架。这种视角转换的意义在于：它暗示生成式优化可能最终像传统ML一样，能找到稳健的默认值来实现广泛采用，就像Transformer为序列建模提供了通用归纳偏置，Adam为优化提供了通用的超参数默认值。
方法步骤详情
论文的方法分为三个案例研究，每个案例研究的方法步骤如下。案例研究一（起始构件问题）：(1) 在MLAgentBench的两个Kaggle任务（Spaceship Titanic和Housing Price）上进行实验；(2) 使用OptoPrime作为优化器，构建两种初始化方式——单函数（train_model）和多函数（preprocess、select_features、create_ensemble_model、predict）；(3) 在数据集上进行训练-验证分割，使用验证集指标作为优化目标；(4) 对优化器应用分阶段的细粒度反馈，包括改进风格的反馈；(5) 运行20步优化，选择最佳验证指标的检查点；(6) 在Kaggle隐藏测试集上提交预测，获取竞赛分数和排行榜百分位；(7) 与ResearchAgent基线进行对比。案例研究二（信用视野问题）：(1) 选择8个Atari游戏（Pong、Breakout、Space Invaders、Freeway、Asterix、Enduro、Q*bert、Seaquest）；(2) 使用OCAtari提供对象中心化的结构化状态；(3) 对比两种信用视野——单步（每步根据即时奖励更新）和多步（完整轨迹后更新）；(4) 每种配置运行5次试验，每次30步优化；(5) 评估时运行学到的智能体最多4000步，报告最终分数。案例研究三（经验批处理问题）：(1) 选择BBEH的8个任务（Dyck Languages、Geometric Shapes、Linguini、Causal Understanding、Disambiguation QA、Boolean Expressions、Movie Recommendation、Boardgame QA）；(2) 设计两组件智能体：call_llm和answer_extraction；(3) 对比三种批量大小：1、3、5个样本；(4) 每个配置运行15步优化，3次试验；(5) 在175+个测试样本上评估泛化性能。
技术新颖性
本文的技术新颖性体现在多个层面。首先，概念层面的创新是提出了学习循环搭建这一系统性视角，将工程实践中常被忽视的设计选择显性化。论文明确区分了优化算法选择和学习循环设计两个维度，前者（如DSPy的交叉验证、Trace的Pareto优化）是框架特定的，后者是所有迭代LLM优化都面临的通用问题。其次，实验设计的创新在于采用控制变量方法，在三个不同领域分别隔离一个设计因素，使用统一的优化器后端（OptoPrime），确保观察到的差异可归因于特定的设计选择而非优化器差异。第三，发现的创新性体现在三个具体结果：(1) 起始构件的影响不是单调的——单函数在Housing Price上更好（75.6% vs 54.6%），多函数在Spaceship Titanic上更好（86.6% vs 72.7%）；(2) 信用视野的影响是任务对称的——4/8个游戏单步更好，4/8个多步更好；(3) 经验批处理的影响是非单调的——更大的批量并不总是带来更好的泛化。这些发现共同揭示了学习循环设计的内在复杂性，解释了为什么生产采用率如此之低。
实验结果
论文的核心发现围绕三个案例研究展开，每个都揭示了学习循环设计选择的关键影响。在MLAgentBench案例研究中，作者发现起始构件对最终ML流水线质量有重大影响。在Spaceship Titanic上，多函数初始化的最优流水线超越了86.6%的Kaggle提交，而单函数初始化的最优流水线仅超越72.7%。然而在Housing Price上，情况恰好相反：单函数初始化的最优流水线超越75.6%，多函数仅超越54.6%。与ResearchAgent基线相比，学到的ML流水线平均领先约11.5%-22.4%。这表明起始构件的影响是任务依赖的，没有通用的最优选择。在Atari案例研究中，信用视野的影响同样呈现任务依赖的对称性。多步优化在Pong、Breakout、Space Invaders和Asterix四个游戏中表现更好，而单步优化在Freeway、Enduro、Q*bert和Seaquest四个游戏中表现更好。具体来说，Space Invaders更受益于更长的轨迹，因为有效的玩法需要协调射击和移动的延迟后果；而Freeway等游戏则可以从基于短期反馈的更频繁更新中获益。值得注意的是，论文还发现生成式优化在壁挂时间上显著优于传统深度强化学习方法，尽管只使用了单个环境实例，而深度RL基线使用了10个并行环境。在BBEH案例研究中，经验批处理的影响最为复杂。不同任务的最优批量大小各异：Disambiguation QA和Movie Recommendation在批量大小为1时表现最好（分别为0.537和0.889），Geometric Shapes、Linguini和Boolean Expressions在批量大小为3时表现最好（分别为0.389、0.234和0.238），而Dyck Languages和Causal Understanding在批量大小为5时表现最好（分别为0.190和0.531）。更大的批量通常能实现更快的初始学习，但可能更早达到平台期，且不保证更好的最终泛化性能。跨框架验证（在LangGraph和DSPy上测试三个任务）确认这种批量大小敏感性不是特定框架的伪影，而是学习循环设计的固有特征。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Spaceship Titanic (Kaggle排行榜百分位) | 排行榜百分位 (%) | 多函数最优: 86.6%, 单函数最优: 72.7% | ResearchAgent: 51.2% | 多函数比ResearchAgent高35.4个百分点，单函数高21.5个百分点 |
| Housing Price (Kaggle排行榜百分位) | 排行榜百分位 (%) | 单函数最优: 75.6%, 多函数最优: 54.6% | ResearchAgent: 41.7% | 单函数比ResearchAgent高33.9个百分点，多函数高12.9个百分点 |
| Spaceship Titanic (Kaggle竞赛分数) | Accuracy (%) | 多函数最优: 80.43, 单函数最优: 80.00 | ResearchAgent: 78.17 | 多函数最优提升2.26个百分点 |
| Housing Price (Kaggle竞赛分数) | RMSE (↓) | 单函数最优: 0.129, 多函数最优: 0.141 | ResearchAgent: 0.149 | 单函数最优RMSE降低0.020 |
| Atari Pong | 最终分数 | 多步优化表现更好 | 单步优化 | 多步优化在4/8个游戏中优于单步优化 |
| Atari Freeway | 最终分数 | 单步优化表现更好 | 多步优化 | 单步优化在4/8个游戏中优于多步优化 |
| BBEH Disambiguation QA | 测试集准确率 | batch=1: 0.537±0.036 | batch=3: 0.295±0.091, batch=5: 0.526±0.035 | batch=1比batch=3高24.2个百分点 |
| BBEH Movie Recommendation | 测试集准确率 | batch=1: 0.889±0.038 | batch=3: 0.683±0.119, batch=5: 0.810±0.016 | batch=1比batch=3高20.6个百分点 |
| BBEH Causal Understanding | 测试集准确率 | batch=5: 0.531±0.018 | batch=1: 0.375±0.146, batch=3: 0.408±0.097 | batch=5比batch=1高15.6个百分点 |
局限与改进
论文在局限性分析方面既有作者明确承认的，也有可以进一步观察到的。作者承认，学习循环还有其他自由度未被深入研究，包括反馈Oracle的设计、底层LLM优化器的选择以及具体的优化过程（如不同的搜索策略）。论文聚焦于三个设计选择，但这些并非学习循环设计的全部——例如，反馈信号的质量和形式（如论文中使用的改进风格反馈）对优化结果的影响可能同样显著，但未被系统研究。从方法论角度看，每个案例研究只在有限的任务集上进行实验：MLAgentBench仅在两个Kaggle任务上测试，Atari在8个游戏上测试，BBEH在8个语言理解任务上测试。这些结果的泛化性可能需要在更大规模的任务集上验证。此外，论文使用OptoPrime + Claude Sonnet-3.5作为统一的优化器后端，但不同优化器后端可能对设计选择的敏感度不同——例如，更强大的优化器可能对起始构件的选择更鲁棒。从实验设计角度看，论文的控制变量方法虽然有效，但未能揭示三个设计因素之间的交互效应——例如，在特定任务上，某种起始构件可能需要配合特定的信用视野才能达到最优。论文还指出，这些设计选择的最优配置是任务依赖的，但没有提供预测最优配置的方法论或启发式规则，这使得工程师在实际应用中仍需依赖试错。
独立分析的弱点
尽管论文的案例研究方法论严谨，但仍存在一些可以进一步加强的弱点。首先，每个案例研究的任务集规模有限（MLAgentBench仅2个任务，Atari仅8个游戏，BBEH仅8个任务），这限制了结论的统计显著性和泛化性。特别是MLAgentBench的两个任务恰好呈现相反的起始构件偏好（Housing Price偏好单函数，Spaceship Titanic偏好多函数），这可能只是巧合，需要更大规模的任务集来确认这种反转模式的普遍性。其次，论文未能揭示三个设计因素之间的交互效应。例如，在Atari案例研究中，信用视野的选择可能与起始构件（函数设计的模块化程度）有交互作用——更模块化的代码结构可能使短信用视野更有效，因为每个函数的反馈更明确。第三，论文的优化步数设置可能不足以观察到完整的收敛行为。MLAgentBench运行20步优化，Atari运行30步，BBEH运行15步，这些可能都在早期阶段，无法观察到长期收敛后的最终性能差异。改进方向包括：(1) 在更大规模的任务集上进行实验，包括更多样化的ML任务、更复杂的游戏环境和更广泛的语言理解任务；(2) 进行多因素实验设计，系统研究三个设计因素之间的交互效应；(3) 运行更长的优化周期，观察收敛行为和过拟合模式；(4) 开发预测最优配置的元学习方法或启发式规则。
未来方向
论文和作者提出了多个重要的未来研究方向。最直接的方向是开发简单、通用的跨域学习循环搭建方案。论文将学习循环设计与传统ML中的经典问题进行了类比——Transformer为序列建模提供了通用的归纳偏置，Adam为优化提供了通用的超参数默认值。同样，生成式优化也可能发现广泛可优化的起始构件和稳健的学习上下文结构方式。具体来说，未来研究可以探索：(1) 自动起始构件选择——开发元学习方法，根据任务特征自动选择最优的模块化程度和初始化方案；(2) 自适应信用视野——开发动态调整信用视野的策略，类似于RL中的自适应截断方法，在优化过程中根据学习进度逐步延长或缩短信用视野；(3) 自适应经验批处理——开发根据优化状态动态调整批量大小的方法，类似于SGD中的学习率调度；(4) 跨任务迁移——研究在一个任务上学到的最优学习循环设计能否迁移到类似任务；(5) 理论分析——为学习循环设计提供理论指导，类似于传统ML中关于批量大小与泛化关系的理论（如Smith等，2018）。此外，论文的发现也暗示了开发学习循环诊断工具的可能性，帮助工程师快速识别学习循环中的瓶颈。
复现评估
论文在复现性方面提供了相当的支持。作者明确表示在Atari案例研究中开源了代码（https://github.com/ameliakuang/LLM-Game-Playing-Agents），这有助于社区验证和扩展相关实验。论文使用了成熟的开源组件：OptoPrime来自Trace框架，Atari环境使用Gymnasium ALE和OCAtari，这些都有完善的文档和安装指南。在算力需求方面，论文使用Claude Sonnet-3.5作为底层LLM，这意味着复现实验需要API访问权限和相应的预算。Atari实验使用单个环境实例，壁挂时间在图6中有所展示（约1-9小时不等，取决于游戏和方法），深度RL基线使用A100 GPU。BBEH实验使用15个训练样本、10个验证样本和175+个测试样本，批量大小在1-5之间，总共约15步优化，3次试验，API调用量可控。复现的主要挑战包括：(1) 需要Claude API访问权限，且论文未报告具体的API调用量和成本；(2) MLAgentBench的数据集需要预先下载并准备Kaggle提交环境；(3) 论文的分阶段反馈机制和改进风格反馈的具体实现细节可能需要从代码中逆向工程；(4) 论文使用随机种子运行5次试验，但未报告所有随机种子的值，精确复现可能需要代码。
论文图表
