相同架构，不同容量：优化器诱导的谱缩放定律

优化器是表示缩放的一等维度：相同架构下 Muon 硬秩指数约为 AdamW 的 2.3 倍。

前置知识

有效秩与软秩/硬秩 (Rényi effective rank)

对归一化特征谱用 Rényi 熵族定义一簇有效秩：$\alpha=1$ 得软秩 $R_1$（熵加权谱扩散，对小特征方向敏感），$\alpha=2$ 得硬秩 $R_2$（参与比，对主成分方向敏感）。$\alpha$ 越大越强调主成分集中度。

本文用 $R_1$、$R_2$ 两个锚点量化 FFN 谱容量，软/硬秩对比直接揭示优化器把新增宽度变成扩散容量还是主成分容量，是全文度量的基石。

FFN 特征谱探针 (FFN eigenspectrum probe)

在每层 FFN 取激活前 $z=W^{\text{in}}x$ 与激活后 $a=\phi(z)$ 两个探针点，对一批表示算经验协方差并迹归一化得特征谱。前激活谱反映优化器塑造的线性几何，后激活谱反映经非线性重分布后的实现容量。

全文结论建立在「同架构、不同优化器训练后 FFN 谱如何随宽度 $D$ 缩放」这一测量上，前后激活对比还能分离优化器几何与非线性重注入。

Muon / NorMuon / Dion 矩阵感知优化器

Muon 用 Newton–Schulz 迭代把权重更新正交化；NorMuon 再做逐神经元归一化；Dion 则把正交化与更新秩解耦，用秩比例 $r$ 投影更新。它们用 Lion 作非矩阵参数的标量优化器。

本文比较 AdamW 与这三个正交更新优化器，并用 Dion 把「更新几何」与「更新秩」拆开，精确定位驱动硬秩缩放的是正交化还是秩。

缩放定律与幂律拟合 (Scaling law)

经典缩放定律把损失建模为规模/数据/算力的幂律。本文把对象从损失换成表示容量：改变 FFN 隐藏维 $D$，对有效秩拟合 $R(D)\propto D^\beta$，指数 $\beta$ 衡量新增宽度转化为有效谱容量的效率。

主结果就是 $\beta_{\text{soft}}$、$\beta_{\text{hard}}$ 随优化器剧烈变化，把缩放定律的因变量从损失换成了表示几何。

硬-软秩不对称性 (Hard–soft asymmetry)

因 Rényi 熵对 $\alpha$ 非增，恒有 $R_1\ge R_2$。论文定义指数级不对称 $\Delta_{1,2}=\beta_{\text{soft}}-\beta_{\text{hard}}$：值越大表示新增宽度主要扩张低方差扩散方向，谱更集中、容量利用更差。

此前工作把这种不对称当作 Pre-LN 架构的稳定属性；本文证明它由优化器决定，是理解容量如何被结构化的关键诊断量。

研究动机

经典的缩放定律把损失预测成模型规模、数据、算力的幂律，却几乎把优化器当作固定的训练细节。最近虽有「优化器感知的损失缩放」工作，把 AdamW/Muon/Shampoo 等的差异建模为共享指数上的乘性效率因子——这只回答了「最终验证损失有多低」，没回答「学到的内部表示长什么样」。一个关键悬而未决的问题是：如果两个优化器验证损失相当，它们学到的表示几何是否也相同？此外，先前研究 [8] 在固定优化器下建立了 FFN 的谱缩放定律，并发现软秩与硬秩之间存在稳定的「硬-软不对称」$\Delta_{1,2}\approx0.37$（AdamW 下），把这一不对称归因于 Pre-LN Transformer 架构本身。如果优化器能改变这个不对称，那「架构决定容量利用方式」的图景就是不完备的。同时，语言数据呈 Zipf 分布，LLM 在罕见/长尾 token 上 notoriously 表现差，但容量如何在频次分桶间分配、是否随优化器变化，此前无人系统测量。

本文的目标是本文的目标是：在固定 Transformer 架构与固定 FFN 宽度计划下，仅改变优化器（AdamW、Muon、NorMuon、以及可调秩的 Dion $r\in\{1/2,\dots,1/16\}$），量化优化器对 FFN 谱容量缩放指数 $\beta_{\text{soft}}$、$\beta_{\text{hard}}$ 的影响，并用 $\Delta_{1,2}$ 暴露容量被「结构化」的方式。进一步要回答三个具体问题：(1) 谱缩放定律是否对优化器不变？(2) 损失匹配是否意味着几何匹配——延长训练或调学习率能否闭合差距？(3) 优化器诱导的谱位移是否大于或会重塑「注意力头秩」「位置编码(RoPE/NoPE)」这类架构干预的效应？最终要把优化器确立为表示缩放的一等设计维度。

与已有工作不同的是，本文的独特切入角度是「从损失缩放下沉到表示缩放」。已有缩放定律工作要么完全忽略优化器，要么仅把它当作损失的乘性效率因子；而已有的优化器工作又只关心收敛速度与训练效率，几乎不测表示几何。本文把两件事对接起来：用 FFN 特征谱的有效秩（而非验证损失）作为缩放对象，并用 Dion 把「正交化」与「更新秩」两个因素解耦，再用与架构干预（注意力秩、RoPE 移除）的对照实验，把「优化器几何」从「架构」中真正剥离出来，证明前者常在 MID/TAIL 频次区主导后者——这是此前被忽视的一类协同效应。

核心方法

直觉上，可以把 FFN 看作一间可调面积的「表示仓库」：加宽 FFN 等于扩仓库，但库存（方差能量）能填进多少个真正「顶梁柱」式的主成分方向、还是只是堆成低矮的散货，取决于工人（优化器）怎么搬运。技术路线是：用 modded-nanoGPT 配置训练 GPT 风格解码器（Pre-RMSNorm、RoPE、平方-ReLU FFN、QK-norm），在 160M 与 350M 两个规模上对每个优化器扫一组 FFN 隐藏维度 $D=m\cdot d_{\text{model}}$（160M 扫 $m\in\{1..8\}$，350M 扫 $m\in\{1,2,3,4\}$）。训练后，在保留验证集上提取每层 FFN 的前/后激活表示，计算迹归一化特征谱，再用 Rényi 有效秩族（主用 $R_1$ 软秩、$R_2$ 硬秩锚点，外加 $\alpha\in\{0.5,1,1.5,2,3,5\}$ 全扫描）测容量，最后对宽度拟合幂律 $R(D)\propto D^\beta$ 得到缩放指数与不对称 $\Delta_{1,2}$。

核心创新是把「硬-软秩不对称」从架构属性重新定位为「架构-优化器对」的属性：在固定架构下，仅换优化器就能让 $\beta_{\text{hard}}$ 从 AdamW 的 0.29 跃升到 Muon 的 0.82（160M 聚合），TAIL 区甚至从 0.44 到 1.02（2.3 倍），而 $\beta_{\text{soft}}$ 几乎不变地聚在 [0.66,1.01]。这说明优化器改变的「不是容量是否增长，而是哪种容量增长」——AdamW 把新增宽度主要塞进扩散方向（$\Delta_{1,2}=+0.37$），Muon 系则几乎消除了 MID/TAIL 的不对称（$\Delta_{1,2}\approx0$）。更关键的是用 Dion 把效应拆成两半：正交化本身不够，更新秩才是硬秩缩放的瓶颈——$r=1/16$ 时 TAIL 硬秩指数从 0.88 掉到 0.40，跌回 AdamW 区间。这把「更新几何」和「更新秩」分别归因为软秩/硬秩容量的控制旋钮。

方法步骤详情

流程分七步。(1) 训练：每个 (优化器, FFN 宽度) 组合独立训练，160M 用 3.15B tokens、350M 用 4.19B tokens，序列长 512、batch 1024，常数学习率后接 20% 线性冷却，BF16 混合精度。(2) 探针采集：在约 10.5M token 保留集上取每层前激活 $z_{\ell,t}$ 与后激活 $a_{\ell,t}$。(3) 谱估计：算经验协方差并迹归一化得归一化特征谱。(4) 有效秩：算 $R_1$、$R_2$ 及全 $\alpha$ 扫描，逐层计算后跨层平均。(5) 频次分层：按语料 token 频次把累计质量切成 HEAD/MID/TAIL 三等份，分桶算谱。(6) 幂律拟合：对每个 (优化器, 频次桶, 秩度量) 拟合 $\log R=\beta\log D+c$，报告 $\beta$ 与 $R^2$。(7) 对照：把优化器诱导增益与架构干预（12 头→6 头、RoPE→NoPE）位移并排比较，并做延长训练/学习率扫消融。

技术新颖性

新颖性体现在三点。其一，把谱缩放定律的因变量从「单优化器下的 FFN 利用率」扩到「优化器族下的缩放指数本身」，证明 $\beta_{\text{hard}}$ 是架构-优化器对的属性而非架构属性。其二，引入 Dion 做受控分解：它把正交化与更新秩解耦，从而把「正交更新带来 Muon 式容量」与「低秩约束压回 AdamW 式容量」两个机制单独识别——这是普通 Muon 比较做不到的。其三，对照实验设计上，不满足于「优化器之间有差」，而是直接把优化器位移与架构干预（注意力秩、位置编码）并排比较，并引入「损失匹配但几何不同」的延长训练对照，排除收敛速度/学习率这些平庸解释，把结论锁死在「优化器几何本身塑造表示」上。

实验结果

核心发现五条。其一，硬秩缩放强依赖优化器：160M TAIL 区 AdamW 仅 $\beta_{\text{hard}}=0.44$，Muon/NorMuon 达 1.02/1.04，MID 区 AdamW 0.24 对 Muon 0.93，而软秩所有优化器聚在 $\beta_{\text{soft}}\in[0.66,1.01]$。其二，硬-软不对称是优化器属性：AdamW 各频次桶恒正（$\Delta_{1,2}\approx+0.18\sim0.21$），Muon/NorMuon 在 MID/TAIL 几乎归零。其三，损失匹配≠几何匹配：AdamW 12K 步与 Dion(1/16) 6K 步 perplexity 拉平，但 AdamW 聚合 $\beta_{\text{hard}}$ 反从 0.29 崩到 0.03（$R^2=0.01$），学习率扫里 Muon 最弱(0.80)仍高于 AdamW 最强(0.44)。其四，更新秩控制硬容量：Dion $r$ 从 1/2 降到 1/16，TAIL 硬秩从 0.88 跌到 0.40，软秩只温和下降。其五，350M 复现并超架构干预：Muon $\beta_{\text{hard}}=1.13$、AdamW 0.39，优化器增益在 30 项对照中 28 项超过注意力秩干预。

**Table 2**: β values for soft and hard ranks with R² in parentheses for GPT-2 160M (Figure 2).

**Table 3**: Extended AdamW training breaks hard-rank scaling despite matched loss in GPT-2 160M.

**Table 8**: Effect-size synthesis for TAIL hard-rank scaling.

**Figure 2**: Optimizer-dependent spectral scaling across token-frequency regimes (HEAD/MID/TAIL).

**Figure 4**: Soft and hard spectral rank scaling for TAIL tokens in GPT-2 160M across Dion rank fractions.

**Figure 5**: Optimizer-dependent TAIL spectral scaling persists at 350M scale.

**Figure 6**: Optimizer-induced shifts in spectral scaling exceed attention-rank shifts in GPT-2 160M.

查看结构化数据

任务	指标	本文	基线	提升
TAIL 稀有 token 硬秩缩放指数 (160M)	$\beta_{\text{hard}}$	Muon 1.02 / NorMuon 1.04	AdamW 0.44	指数提升 2.3 倍，从亚线性到近线性
MID 频次 token 硬秩缩放指数 (160M)	$\beta_{\text{hard}}$	Muon 0.93	AdamW 0.24	AdamW→Muon 增益 $\Delta\beta=+0.69$，为各区最大（约 HEAD 的 2.1 倍）
损失匹配对照下的硬秩缩放 (160M)	聚合 $\beta_{\text{hard}}$	AdamW 12K 步: 0.03 ($R^2$=0.01)	Dion(1/16) 6K 步: 0.50 ($R^2$=0.97)	perplexity 相当时硬秩缩放差距悬殊，证明 loss 不蕴含几何
更新秩对 TAIL 硬秩的控制 (Dion 160M)	$\beta_{\text{hard}}$	$r$=1/2: 0.88	$r$=1/16: 0.40	高秩相对低秩 2.2 倍；低秩跌回 AdamW 区间
TAIL 硬秩缩放在 350M 的复现	$\beta_{\text{hard}}$	Muon 1.13 / NorMuon 0.88	AdamW 0.39 / Dion(1/16) 0.48	优化器排序在更大规模保持一致
优化器 vs 注意力秩架构干预 (160M)	硬秩指数位移覆盖	优化器诱导增益在 30 项中 28 项占优	12h→6h 注意力秩位移	AdamW→Muon TAIL 位移 0.74，约为注意力秩效应的 2 倍
350M 4×FFN 验证 perplexity	PPL ↓	Muon 22.97 / NorMuon 22.80	AdamW 28.35	Muon 系比 AdamW 低约 20%

局限与改进

作者自承：实验仅在 160M 与 350M 两个规模的稠密 FFN 架构上完成，1B+ 前沿规模尚未验证；每个 (优化器, 宽度) 只用单种子，单次谱缩放测量就要训练多到 8 个宽度变体，算力开销大；只覆盖 AdamW/Muon/NorMuon/Dion 一组优化器与固定数据配方，其它架构（MoE、SSM）、训练协议与优化器族可能给出不同行为；软/硬秩与 Rényi 族只刻画 FFN 宽度如何转化为可用容量，并不能完全预测下游任务表现。我额外观察到三点：其一，所有结论建立在 modded-nanoGPT 这一相对窄的配方上（Pre-RMSNorm、平方-ReLU、QK-norm），是否迁移到 SwiGLU/LayerNorm 等主流配方未知；其二，HEAD 硬秩拟合质量偏低（$R^2$ 常 < 0.6），作者自己也把它当作「方向性证据」而非精确常数，削弱了「全面频次覆盖」的力度；其三，研究停留在「相关性」层面——是否可通过人为干预更新几何或谱集中度来因果地控制表示容量，作者明确列为未决问题。

独立分析的弱点

第一，规模与配方外推不足：结论仅在 160M/350M 的稠密 FFN + 平方-ReLU + Pre-RMSNorm + QK-norm 这一非主流配方上得出，现代大模型多用 SwiGLU/MoE 且 1B+ 未触及；改进方向是移植到主流配方并做到 1–3B。第二，单种子带来统计不确定性：HEAD/MID 硬秩拟合质量偏低（$R^2$ 常<0.6），置信区间宽（如 AdamW HEAD 硬秩 $0.26\pm0.22$）；应多种子+bootstrap 给出 $\beta$ 区间。第三，缺乏因果闭环：目前只证明相关，未做反向干预（如显式投影梯度、谱正则化）验证几何驱动容量；可设计「同 loss 轨迹、不同几何」受控实验。第四，下游断链：谱容量与下游任务（少样本、长尾知识、推理）的关联未直接验证；可把 HEAD/MID/TAIL 硬秩指数作为探针预测稀有事实召回，给「硬秩有用」一个下游佐证。

未来方向

作者明确提出：在 1B+ 规模验证前沿可推广性；测试对更新几何或谱集中度的定向干预能否因果地控制表示容量。基于本成果可延伸的方向包括：(1) 把谱缩放定律纳入现有的损失/算力缩放框架，形成「损失–数据–算力–优化器几何」四维联合缩放律，用于预算分配；(2) 用 Dion 的秩比例作为表示容量的在线可调旋钮，做「训练中动态调秩」以在不同频次桶按需分配容量；(3) 把谱诊断（前/后激活秩、重注入比 $\rho_\alpha$）做成训练监控指标，在预训练早期预警表示塌缩；(4) 系统扫更广优化器族（Shampoo、SOAP、Scion、Lion 矩阵化变体）与位置编码/归一化放置的联合空间，给出架构-优化器协同设计的搜索图谱；(5) 在 MoE 上做专家级谱分析，看容量如何在专家与频次之间再分配。

复现评估

复现门槛中等偏上，瓶颈在算力而非方法黑箱。有利因素：架构用公开的 modded-nanoGPT，数据用 FineWeb-Edu，GPT-2 BPE 词表 50,304，优化器超参与训练协议（AdamW $\text{lr}=3\times10^{-3}$，Muon 系 $2\times10^{-2}$，权重衰减 0.01，动量 0.95）在附录 A 全部给出，谱度量公式写明，并提供主页 optimizer-scaling-laws.github.io。算力是主要门槛：主扫含 160M 40 次训练（5 优化器×8 宽度）+ 350M 20 次（5×4），另有学习率/归一化/位置编码/延长训练消融；作者用 4×RTX 3090 跑 160M、8×RTX 3090 跑 350M。学术组可在数张消费级 GPU 上数周内复现 160M 主表，但 350M 全扫与延长训练控制成本显著。主要不确定项是单种子与部分低 $R^2$ 拟合，复现时建议至少双种子并报告 $\beta$ 区间。

相同架构，不同容量：优化器诱导的谱缩放定律 Same Architecture, Different Capacity: Optimizer-Induced Spectral Scaling Laws