基于双向进化搜索的自改进语言模型 Self-Improving Language Models with Bidirectional Evolutionary Search

BES方法分为四个主要步骤：前向搜索节点选择、算子应用、后向搜索评分和目标树更新。第一步，在前向搜索中选择父节点。对于单亲算子(扩展、删除)，从符合条件的非终止成员C_t中，根据后向分数s(n)的Boltzmann分布采样：Pr[n|C_t] = exp(ẋ(n)/τ_t)/∑_{n'∈C_t} exp(ẋ(n')/τ_t)，其中ẋ(n)=s(n)+λ·1_{deg(n)=0}，τ_t从初始值τ_0线性退火到最终值τ_end < τ_0，λ=0.1。对于双亲算子(组合、易位、交叉)，计算对分数s(n_a,n_b)倾向于覆盖问题不同部分的互补父节点，从类似Boltzmann分布采样对(n_a,n_b)：Pr[(n_a,n_b)|C_t] = exp(s(n_a,n_b)/τ_t)/∑_{n_a,n_b∈C_t} exp(s(n_a,n_b)/τ_t)。第二步，应用算子生成子节点。扩展采样步数K~Uniform{1,...,K_max}并从πθ抽取最多K新步骤y_{t+k}~πθ(·|x⊕y_1⊕...⊕y_{t+k-1})。组合合并共享前缀的两条轨迹的不同后缀。删除移除一个内部步骤产生更短候选。易位将一条轨迹的单步移植到另一条。交叉将一条轨迹的前缀拼接另一条的后缀。第三步，后向搜索评分。对于前向节点n和子目标g，子目标分数为s(n,g)=α·V_g(x,n)+(1-α)·(1/|ch(g)|)∑_{g'∈ch(g)} s(n,g')，α∈[0,1]平衡粗父目标和细子目标的贡献。对叶节点s(n,g)=V_g(x,n)，若目标已满足V_g(x,n)=1则短路s(n,g)=1。整体分数s(n)=s(n,g_root)。对于两个候选n_a和n_b，对分数s(n_a,n_b)用两父节点子目标验证器的最大值替换，测量联合目标树覆盖：s(n_a,n_b,g)=α·max{V_g(x,n_a),V_g(x,n_b)}+(1-α)·(1/|ch(g)|)∑_{g'∈ch(g)} s(n_a,n_b,g')，s(n_a,n_b)=s(n_a,n_b,g_root)。第四步，每K步前向搜索后，更新目标树：选择一个当前候选未完全满足的叶节点子目标，提示πθ将其分裂为更细子目标，重新评分所有现有前向节点。后训练时，BES返回候选集P中的高质量轨迹用于训练。推理时，BES在固定计算预算下运行，返回最高分的终端轨迹作为最终答案。

BES的技术新颖性体现在三个方面：双向搜索框架、进化算子设计和理论分析。第一，BES是首个将前向候选搜索和后向目标分解耦合的搜索框架。现有方法如Tree of Thoughts和Graph of Thoughts也探索多路径，但它们仅依赖终端验证信号，缺乏BES的密集子目标反馈机制。第二，BES引入四个受进化生物学启发的算子：组合、删除、易位、交叉。这些算子使搜索能够重组不同候选的优势部分，突破自回归扩展的限制。现有进化方法如AlphaEvolve、ShinkaEvolve和ThetaEvolve也维持候选群体，但它们主要依赖LLM驱动的变异而非结构化的重组算子。第三，BES提供了严格的理论分析：证明扩展-only搜索被限制在窄熵壳(定理4.4a)，进化算子能逃逸该壳(定理4.4b)，后向子目标分解指数级减少所需候选数(定理4.5)。这些理论结果为BES的实证优势提供了坚实基础，这是现有搜索框架普遍缺乏的。

BES存在几个具体场景下的弱点：第一，在验证信号本身不可靠的场景下性能会显著下降。例如在主观文本生成任务中，验证器可能给出不一致或随机分数，后向搜索的目标分解将基于噪声信号，导致错误引导。改进方向是开发更鲁棒的验证器，如集成多个验证器或引入不确定性估计，在验证信号不可信时退化为标准搜索。第二，BES的计算开销限制了在实时应用中的可用性。在需要低延迟的场景如对话系统中，309秒的训练时间和$18.6的API成本不可接受。改进方向是开发轻量级变体，如减少进化算子数量、降低后向搜索频率或使用更小的骨干模型。第三，BES在处理连续或高维动作空间时可能受限。论文主要在推理任务和代码生成上评估，其中步骤是离散的推理片段或代码行。在机器人控制等连续控制任务中，组合和交叉等算子的语义不明确。改进方向是针对连续空间设计专门的进化算子，如插值、扰动和基于梯度的变异。第四，BES的性能对超参数敏感。温度退火调度τ_t、子目标分数权重α、探索奖励λ等都需要针对任务调整。改进方向是开发自适应超参数策略，如基于搜索进度动态调整温度，或使用元学习跨任务迁移最优超参数。

作者提出的未来工作方向包括：扩展BES到更大规模的模型和更长的训练过程，验证在更大参数模型上的可扩展性；探索BES在其他任务领域如代码生成、机器人控制和科学发现中的应用；研究BES与其他自我改进方法的集成，如与Reflexion的口头反思或Voyager的技能积累结合。基于论文成果可延伸的方向：第一，开发自适应目标分解策略。论文中目标分解固定每K步重新调用一次，且叶节点选择策略未详细说明。可以基于搜索状态动态决定何时分解、选择哪个叶节点，甚至学习分解策略本身。第二，引入进化算子的学习机制。论文使用固定的四个算子和固定选择概率，可以学习每个算子的最优应用时机和参数，甚至用策略梯度训练算子选择策略。第三，探索BES在多智能体协作中的应用。每个智能体运行独立BES，通过进化算子交换发现的高质量轨迹片段，实现群体进化。第四，理论方向是放宽定理假设或建立更紧的界。论文假设线性块总相关且γ>0，可以研究在更弱假设下的保证，或分析实际任务中熵壳逃逸的概率。第五，开发BES的分布式实现以加速搜索。进化算子天然适合并行，可以设计分布式框架同时评估多个候选并共享结果。第六，研究BES与人类反馈的结合。人类可以提供高层次的子目标指导，加速后向搜索的初始化或纠正错误分解。第七，探索BES在开放域持续学习中的应用，使模型能够持续发现和整合新知识而不遗忘旧知识。

论文声称代码和训练模型已开源于https://github.com/Embodied-Minds-Lab/BES，这有助于复现。论文提供了详细的实验配置附录，包括数据集、模型、训练超参数和评估指标。逻辑推理使用Knights-and-Knaves数据集，多跳推理使用MuSiQue，开放问题使用三个几何优化基准，这些都是公开可用的。然而存在一些复现挑战：第一，论文使用GPT-5作为开放问题推理的骨干模型，这是一个闭源且昂贵的模型，研究者可能无法访问。虽然作者说明BES可应用在ShinkaEvolve之上，但GPT-5的具体能力和成本可能影响结果。第二，论文未提供预训练的基础模型检查点，需要研究者自行冷启动微调。在Knights-and-Knaves上需要先生成1K SFT样本，在MuSiQue上需要设置Wikipedia离线服务器，这些基础设施可能增加复现难度。第三，论文未报告种子变动的方差，虽然报告了运行间方差(如Circle Packing上的±0.014)，但未说明运行次数和统计显著性检验。第四，计算资源需求较高。多跳推理使用Llama-3.1-8B-Instruct，后训练需要GPU内存存储多个候选轨迹和后向目标树。开放问题推理需要大量API调用，成本可能超出学术预算。总体而言，论文提供了足够的细节和开源代码，研究者可以复现核心结果，但可能需要调整模型大小或减少搜索预算以适应有限资源。建议复现者从小规模任务开始(如Knights-and-Knaves)，验证BES的基本机制，然后逐步扩展到更复杂任务。