OmniOpt：现代优化器的分类法、几何视角与基准测试 OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers

方法的具体实现包含四个递进步骤。第一步：建立通用元流水线。定义五阶段操作模板 Delta_t = S_5(S_4(S_3(S_2(S_1(G_t)); S_{t-1}); S_{t-1}); S_{t-1}, W_t))，其中 S_0 是训练信号获取接口，S_1 根据张量拓扑和模块类型为每个参数组分配路由标签 rho^{(i)}，S_2 应用结构化变换 T 将路由梯度转换为潜在不同维度的变换后梯度 hat{G}_t = T(G_t; S_{t-1})，S_3 更新优化器内部记忆 S_t = f(S_{t-1}, hat{G}_t)，S_4 应用逆算子 R 恢复全空间更新，S_5 应用缩放、正则化和几何约束。第二步：开发LMO驱动的四轴分解。定义范数约束LMO为 lmo_{D_rho}(s) = argmin_{||x|| <= rho} ，证明不同范数球给出不同方向族：欧几里得球给出标准化梯度 g/||g||_2，max-范数球给出符号方向 sign(g)，谱范数球给出矩阵极方向 U V^T。然后沿四轴组织更新：轴I指定更新域（全空间、矩阵空间或低秩投影子空间），轴II指定状态估计器（动量、二阶矩、方差降低估计），轴III指定几何和预条件算子（LMO约束集或Hessian预条件器），轴IV指定最终化包装器（学习率、权重衰减、投影回、路由规则）。第三步：构建双维分类法。维度A（方法论维度）将108个优化器组织成五个家族：T1元素级自适应动量和标量控制（43个成员，包括AdamW、NAdam、Adan、MARS-AdamW等），T2矩阵级结构方法（16个成员，包括Muon、Shampoo、SOAP、GaLore等），T3离散化和方向量化（5个成员，包括Lion、SignSGD等），T4状态压缩和结构聚合（11个成员，包括AdaFactor、8-bit Adam、Adam-mini等），T5曲率感知和几何正则化（25个成员，包括SAM、Sophia、LAMB等）。维度B（效果导向维度）记录六个可测量训练目标：O1收敛效率、O2单步计算成本、O3内存开销、O4训练稳定性、O5超参数鲁棒性、O6泛化质量。第四步：进行大规模基准测试。选择24个代表性优化器跨越T1-T5家族和四轴空间的主要区域。评估包含两个阶段：阶段一在C4数据集上使用LLaMA架构在256上下文长度下进行广泛筛选，跨越60M、130M、350M和1B四种模型规模；阶段二将阶段一中更强的优化器迁移到更严格的FineWeb-Edu数据集和32k长上下文设置，跨越340M和1B规模和四种架构。测量六个目标（O1-O6）：优化质量（验证困惑度）、单步计算（隔离wall-clock运行时）、内存（优化器状态内存）、稳定性（梯度范数动态）、鲁棒性（学习率扰动）和泛化（跨场景迁移）。

论文的技术新颖性体现在四个方面。第一，建立了优化器的元流水线框架，这是首个将现代优化器对齐到共同更新过程模板的操作级抽象，暴露了优化器在单步更新中介入的位置。与之前的工作相比，这个框架不仅描述更新规则，还分离主要机制与默认值，为后续的分类学奠定了基础。第二，使用LMO驱动的四轴分解从几何角度统一了方向选择，将符号方向、谱正交化、Kronecker预条件和投影更新放入单个紧致坐标系。这比现有理论工作更进一步，因为它不仅解释了为什么某些更新可以视为范数诱导的最陡下降，还将理想化LMO方向选择扩展到实际优化器更新，增加了曲率估计、梯度估计质量和状态压缩选择。第三，构建了双维分类法，这是首个超过100个优化器的系统分类，将优化器组织成方法维度（机制家族）和效果维度（目标）的交叉矩阵。与现有调查相比，这个分类法避免按名称或时间顺序组织，而是根据移除哪个组件会使方法崩溃到更简单基线来分配主要机制标签。第四，进行了机制对齐的基准研究，这是论文的核心。与现有LLM优化器基准相比，这个基准在家族和轴级别评估优化器，系统地比较代表性优化器在六个效果目标下的权衡，并对矩阵结构优化器Muon进行了机理分解，研究其子操作如何跨规模和架构组合。

论文揭示了现代优化器的几个独立分析弱点。第一，激进的状态压缩具有秩界限制。APOLLO是短上下文256 token时的单个最佳优化器，但在长上下文32k时最差，其退化是+21.87困惑度。框架通过轴II解释了这种对比：APOLLO通过随机投影到低维子空间压缩优化器状态。在长上下文下，梯度的有效秩上升且其结构变得更复杂，因此固定低维投影按比例丢弃更多信息，短上下文时几乎无损的压缩在长上下文时变得有损。改进方向：开发自适应压缩方案，其保留秩或投影适应随上下文增长的梯度上升有效秩，以便短上下文内存胜利不会成为长上下文质量失败。第二，谱矩阵几何是架构条件性的。Muon在标准Transformer上强但在Gated DeltaNet上表现不同，其增益操作在标准Transformer上可堆叠但在Gated DeltaNet上失去可加性。改进方向：开发预测性账户说明给定几何何时迁移，与模型和数据的可测量属性绑定，允许从业者无需详尽扫掠即可选择优化器。这建议设计原则，即从架构和训练期间出现的统计可测量属性中选择优化器几何。第三，曲率感知和几何正则化方法只在有限体制内竞争。Sophia、LAMB等方法在当前基准下不提供一致优势。它们通过额外Hessian向量积、剪切或信任比率参数或第二梯度评估添加成本，但未在匹配调优下传递一致质量回报。改进方向：开发更便宜且更稳定的曲率估计，以确定这些机制何时成为默认工具，何时仍然是专家选择。这也包括明确表征曲率信息值得其开销的体制。第四，协议敏感性强烈。许多对AdamW的明显改进在重新调优基线时缩小或消失。优化器结论可以随模型规模、批次大小、训练时长、数据与模型比例、学习率调度、warmup、权重衰减和超参数调优预算而变化。改进方向：开发标准化、匹配预算评估协议，包括完整学习率迁移研究、匹配token长上下文比较和使控制变量假设明确的报告惯例，以便更容易区分内在算法进展与调优和协议效应。

论文提出了多个未来研究方向。第一，开发诊断和自适应压缩。最直接的差距是缺少将定性机制归属转化为可测试量的度量。有用例子包括预测压缩何时变得有损的有效秩估计、预测Kronecker或低秩预条件器何时应刷新的基线陈旧度量，以及分离真实算法增益与调优产物的内在与协议分解。这些度量会将当前坐标系转化为预测性诊断，并指向具体算法目标。APOLLO崩溃显示了有效秩估计的回报，即其保留秩或投影适应随上下文增长的梯度上升有效秩的压缩方案。第二，架构感知几何和迁移。排名跨数据集、上下文长度和架构以任何单设置比较无法预料的方式交叉，这两个最清晰的跨接机制——压缩与梯度秩以及谱几何与注意力拓扑——仅在事后被理解。这激励了何时给定几何迁移的预测性账户，与模型和数据的可测量属性绑定，这将允许从业者无需详尽扫掠即可选择优化器。相同的句柄建议设计原则，即从架构和训练期间出现的统计可测量属性中选择优化器几何。RMNP是一个例子：在层级Hessian的行块对角优势性和动量Gram矩阵的对角优势性下，其行归一化是Muon风格预条件的架构感知专业化，未来优化器应该与架构和训练期间出现的统计共设计预条件器。第三，多目标选择。因为O1-O6目标真正权衡且没有方法一致最好，优化器选择是领域仍然作为单数字排行榜处理的多目标问题。成本感知比较（token效率与wall-clock和内存）、Pareto感知选择和针对前沿指定区域的优化器设计都是开放的。第四，组合搜索。框架通过手识别兼容和冲突组合。自动化这将意味着搜索轴兼容组合、解决相同槽位排序和共设计方差降低、方向几何和状态压缩。它还包括低探索问题：如何组合两个S2约束而不牺牲任一个。第五，成本有效曲率。跨T2和T5使用曲率的方法显示相同成本张力。Sophia跟随T5对角曲率路线，而Shampoo和SOAP跟随T2 Kronecker基线路线。它们传递不一致增益或高成本的强增益。更便宜且更稳定的曲率估计将帮助确定这些机制何时成为默认工具和何时仍然是专家选择。

论文提供了较为完整的复现支持。开源代码和网站已发布，Hugging Face上提供了相关资源。附录A详细列出了所有实验的超参数配置，包括学习率、动量系数、数值稳定性常数以及方法特定的辅助参数（如APOLLO的投影秩和投影间隔）。阶段一C4-LLaMA短上下文筛选和阶段二FineWeb-Edu 32k长上下文实验的超参数配置分别在表19和表20中给出。这些详细配置使得研究者能够复现论文中的主要实验结果。然而，复现难度仍需要考虑几个因素：算力需求较高，最大实验涉及1B参数模型在32k上下文长度下的训练；论文使用了一些较新的预print方法（如APOLLO、Conda），这些方法的LLM规模行为仍在建立中；协议敏感性意味着稍微不同的调优可能会改变相对排名。总体而言，对于有足够计算资源的研究者，论文提供了足够的细节来复现主要结果，但完全复现所有实验需要相当的硬件投入。