神经灌木丛：多样化的任务专家密布于预训练权重周围 Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights

RandOpt 算法的完整步骤如下。第一步，初始化：从预训练权重 $\theta \in \mathbb{R}^d$ 出发，定义一组噪声尺度 $\Sigma = \{\sigma_1, \ldots, \sigma_M\}$（实验中使用 4 个尺度）。第二步，随机生成：采样 $N$ 个随机种子 $\{s_1, \ldots, s_N\}$，每个种子对应一个标准高斯噪声向量 $\epsilon(s_i) \sim \mathcal{N}(0, \text{Id})$，同时为每个种子随机分配一个噪声尺度 $\sigma_i \in \Sigma$，生成扰动权重 $\theta'_i = \theta + \sigma_i \cdot \epsilon(s_i)$。第三步，评估选择：用训练集 $D_{train}$ 评估每个扰动模型 $f_{\theta'_i}$ 的性能得分 $v_i$，选择 top-$K$ 个模型的索引 $\mathcal{I}_{top} = \text{arg topK}(v_i)$。第四步，集成推理：对于测试输入 $x$，用 $\mathcal{I}_{top}$ 中的每个模型生成预测，通过多数投票得到最终输出 $\hat{y} = \text{mode}\{\arg\max_y f_{\theta_i}(y|x) \mid i \in \mathcal{I}_{top}\}$。关键超参数包括 $N$（种群大小，实验中使用 500 到 100000）、$K$（集成大小，实验中使用 1 到 50）和 $\Sigma$（噪声尺度集合）。

RandOpt 的技术新颖性体现在多个层面。首先，它将 Best-of-N 范式从输出空间迁移到了权重空间，这是一个概念性的转变：不是在同一个模型上搜索最好的输出，而是在不同的模型上搜索最好的权重。其次，论文首次系统地量化了预训练权重周围的解密度——用数学定义为 $\delta(m) = P_{\epsilon}[s(\theta + \epsilon) \geq s(\theta) + m]$——并揭示了它随模型规模的单调递增规律（Scaling Law）。第三，论文提出了谱不一致性指标 $D$ 来量化解的多样性，证明了扰动是任务专家而非通用改进者。第四，从损失景观分析的角度，论文揭示了一个反直觉的现象：预训练后的任务特定损失景观不是平坦的，而是崎岖的——预训练权重可能处于任务准确率的谷底，周围环绕着许多更高的山峰。这与传统的平坦极小值观点形成了有趣的对比。第五，论文通过 1D 信号实验展示了灌木丛现象在简单设置中也能出现，表明这不是大语言模型独有的特性，而是一个更普遍的预训练现象。

从独立分析的角度，本文存在几个值得关注的弱点。首先，实验任务主要集中在有明确评判标准的任务上（数学题有标准答案、编程题有测试用例、化学反应有产物验证），对于更开放的任务（如创意写作 ROCStories），论文只展示了定性结果，缺乏系统的定量评估框架。改进建议：引入自动化的开放任务评估指标（如 RUBRIC 评分、人类偏好评估），并验证 RandOpt 在这类任务上的有效性。其次，噪声尺度 $\Sigma$ 的选择对性能有显著影响（Figure 7 中 K/N 的变化表明不同选择比例下最优性能差异明显），但论文缺乏系统的超参数敏感性分析。改进建议：提供自适应的噪声尺度选择策略，例如基于预训练损失曲率来确定合理的搜索范围。第三，论文使用高斯扰动 $\epsilon \sim \mathcal{N}(0, \text{Id})$ 作为默认的搜索分布，但没有探索更结构化的搜索分布（如低秩扰动、基于梯度信息的定向扰动），这可能错失了进一步提升性能的机会。改进建议：结合 LoRA 等低秩方法，探索在低秩子空间中的随机搜索，可能同时降低搜索维度和提升搜索效率。第四，蒸馏实验仅在两个模型规模（1.5B 和 3B）和一个任务（GSM8K）上进行，缺乏对蒸馏方法泛化性的系统评估。改进建议：在更多模型和任务上验证蒸馏的有效性，特别是探索是否可以通过课程学习（从简单任务到复杂任务）来提升蒸馏效果。

作者提出了几个重要的未来研究方向。第一，探索预训练为何会进入灌木丛体制：论文的 1D 信号实验表明，在多种信号类型上预训练是关键因素，但这在大规模语言模型中的具体机制仍不清楚。未来需要研究预训练目标、学习动态和数据多样性如何共同塑造参数空间的几何结构。第二，扩展到结构化预测任务：目前的多数投票集成仅适用于离散预测，对于文本生成、图像生成等结构化输出，需要开发新的集成策略。作者在附录中展示了扩散模型上的均值集成作为概念验证，但最优的集成或蒸馏方法仍有待探索。第三，从本文的成果可以延伸的方向包括：探索灌木丛是否可以解释其他令人惊讶的后训练现象（如随机奖励训练的有效性），研究灌木丛在不同架构（Transformer vs. SSM vs. 混合架构）中的普遍性，以及开发基于灌木丛理论的新一代后训练算法——例如在参数空间中进行有指导的探索（而非纯随机）来更高效地找到最优的专家组合。第四，联邦学习场景：由于 RandOpt 完全并行且不需要梯度通信，它天然适合数据隐私受限的联邦设置，每个参与方可以独立地在本地搜索好的扰动，然后只共享性能分数。

论文在可复现性方面提供了良好的支持。代码已开源在 GitHub（https://github.com/sunrainyg/RandOpt），项目页面也已公开（https://thickets.mit.edu）。实验使用了多个公开可用的模型（Qwen2.5 系列、Llama3.1-8B、OLMo3-7B），这些模型的权重和训练细节都是公开的。数据集也是标准基准（GSM8K、MATH-500、MBPP 等）。在算力方面，论文展示了在 200 个 GH200 GPU 上仅需 3.2 分钟即可完成一次完整的 RandOpt 后训练（N=2000, K=50），这表明在中等规模的 GPU 集群上复现是可行的。对于小规模实验（N=500 到 3000），甚至可以在单机多卡上完成。复现的主要挑战在于：需要获取预训练模型权重（特别是 Qwen2.5 系列的 Instruct 变体），需要正确设置评估管道（特别是对于 Countdown、USPTO 等非标准任务），超参数选择（$\Sigma$、$N$、$K$）可能需要根据具体任务和模型进行调整。总体而言，由于算法本身非常简单（随机采样加评估加选择加集成），复现的技术难度较低，主要成本在于计算资源。