趋同进化：不同语言模型如何学到相似的数字表征

揭示 LLM 数字表征的"频谱 vs 几何"两级收敛分离，证明 Fourier 尖峰普遍但模运算可分性苛刻

前置知识

离散 Fourier 变换 (DFT)

对一组有序序列 $e(0), e(1), \ldots, e(N-1)$ 做 DFT，得到频率域表示 $F_\nu = \frac{1}{\sqrt{N}} \sum_{n=0}^{N-1} e(n) e^{-2\pi i \nu n}$。若数字嵌入在某些周期 $T$ 处出现尖峰，意味着同余类 $n \bmod T$ 在嵌入空间里被相邻地组织起来，是分析嵌入周期性结构的标准工具。

本文核心测量就是数字嵌入的 Fourier 频谱，所有"频谱收敛"的论证都基于 DFT 在 $T=2,5,10$ 处的尖峰是否出现。

线性探针 (Linear Probe)

训练一个简单的多类逻辑回归分类器，从嵌入 $e(n)$ 预测某种属性（如 $n \bmod T$），用 Cohen's $\kappa$（剔除随机猜测后的归一化准确率，$\kappa=0$ 是随机，$\kappa=100\%$ 是完美）评估属性是否"线性可分地"被嵌入编码。

本文用 mod-T 线性探针的 $\kappa$ 来度量"几何收敛"，若 $\kappa$ 高则说明不同余类在嵌入空间里被线性超平面分开。

Fisher 线性判别分析 (LDA)

寻找使类间方差与类内方差之比 $v^\top S_B v / v^\top S_W v$ 最大的投影方向 $v$，其最大值即广义特征值 $\lambda_{\max}(S_W^{-1} S_B)$，是线性可分性的理论上界。

本文 Theorem 1 的 Remark 2 用 $\lambda_{\max}(S_W^{-1} S_B)$ 把"Fourier 功率"与"线性可分性"联系起来，并发现条件数 $\mathrm{cond}(S_W)$ 是决定探针准确率的关键因子。

Mamba/Linear RNN/DeltaNet

Mamba 系列使用选择性状态空间模型 (SSM)；Gated DeltaNet 是基于 $\delta$-kernel 记忆的线性注意力变体。它们都属"线性 RNN"，相对 LSTM 主要差异在于递归公式是线性而非非线性门控，常在大规模训练中替代 Transformer。

本文发现 Transformer 与 Linear RNN 都能获得几何收敛，而 LSTM（同为 RNN 但非线性门控）只在 T=2、5、10 处出现 Fourier 尖峰而探针 $\kappa$ 接近随机，是论文最核心的架构差异证据。

研究动机

已有工作（如 Zhou et al. 2024、Nanda et al. 2023）反复观察到 Transformer LLM 的数字嵌入在 Fourier 域中出现 $T=2, 5, 10$ 处的尖峰，并据此推断模型"学会了模算术结构"。但这些工作只测了频谱，从未验证模型是否真的把不同余类线性可分地区分开。在本文作者用完全相同的 10B token 数据训练 Transformer、Gated DeltaNet、LSTM 时发现：三者在 $T=10$ 处都有清晰的 Fourier 尖峰（$\Phi_{10}$ 分别是 Transformer 较低、LSTM 较高），但只有 Transformer/DeltaNet 的 mod-10 探针能达到 $\kappa \approx 85-95$，LSTM 的 $\kappa$ 只有 2.0，与随机无异。这暴露了一个隐患：直接用 Fourier 频谱推断模型是否"学会模算术"是不可靠的。

本文的目标是本文目标有三：(1) 系统刻画 Transformer、Gated DeltaNet、Mamba-2、LSTM、PPMI、word2vec，甚至原始 token 频次分布是否都呈现同一 Fourier 模式，以判断"频谱收敛"有多普遍；(2) 通过定理与受控实验说明 Fourier 尖峰 $\Phi_T$ 是 mod-T 探针表现良好的必要非充分条件；(3) 找出几何收敛（线性可分）涌现所依赖的具体数据信号、架构特征和优化器，并解释 LSTM 为何失败。

与已有工作不同的是，既有文献多停留在'模型有 Fourier 尖峰就足够'的论述。本文首次提出两级层次：频谱收敛（spectral convergence）与几何收敛（geometric convergence）可以解耦；首次给出 $\Phi_T > 0$ 不蕴含线性可分性的构造性定理（Theorem 1 Part ii）；并以生物学趋同进化（convergent evolution）作类比，从数据/架构/优化器/分词器四个维度做受控扰动，定位几何涌现的"环境压力"来自何处，这是此前任何工作都没系统性做过的事。

核心方法

整体思路是"先观察、再证伪、再归因"三步走。先在 13 个公开预训练模型上检验 Fourier 尖峰的普遍性，再用 300M 量级自训练模型做对照，证明 Fourier 尖峰存在并不能保证线性可分；接着通过 Theorem 1 的 (i) 必要性与 (ii) 构造反例，给出 Fourier 功率 $\Phi_T$ 与 LDA 判据 $\lambda_{\max}(S_W^{-1} S_B)$ 之间的精确关系式；最后分别对数据（5 种扰动）、架构（4 类）、优化器（AdamW vs Muon）、分词器（多 token vs 单 token 加法）四类因素做受控实验，把'几何收敛'这一现象拆解到具体物理量上。

核心创新点是把'模型是否学到了模算术'这一直觉判断形式化为两个可独立测量的层次：频谱层（看 $T$-谐波处的 Fourier 功率 $\Phi_T$）与几何层（看不同余类是否被线性超平面分开）。Theorem 1 的两段陈述构造性地闭合了这两层之间的鸿沟：(i) $\Phi_T = 0 \Rightarrow S_B = 0$（无信号就无几何分离），(ii) 反过来即便 $\Phi_T$ 任意大、只要 $S_W$ 各向异性到 $\mathrm{cond}(S_W) > C(T,\epsilon)$，任何 $T$ 类线性分类器都不可能超过 $1/T + \epsilon$。这与传统可解释性工作直接看 Fourier 谱就下结论的范式截然不同，是论文最关键的概念贡献。

方法步骤详情

方法分为四块实验与一个理论工具：(1) 频谱普遍性实验：取 GPT-2-1.5B、GPT-OSS-120B、Llama-3.1-8B、Llama-4-Scout-109B、DeepSeek-V3-671B、Mamba-2.8B、Falcon-Mamba-7B、xLSTM-7B、Kimi-Linear-48B、GloVe-Dolma、FastText-WikiNews 共 13 个模型以及 FineWeb-Edu 语料的原始 token 频次，计算嵌入在 $\nu = 1/T$ 处的归一化功率 $\|F_{1/T}\|_2 / \mathrm{median}$。每条曲线在 $T=2,5,10$ 处都出现尖峰。(2) 受控训练：固定 Llama-3 分词器与 10B FineWeb-Edu token，训练 4 个 300M 模型（320M Transformer、318M Gated DeltaNet、316M Mamba-2、232M LSTM），参数列于 Table 2，统一使用 AdamW 或 Muon。(3) 结构归因实验：对 Transformer + Muon 引入 5 种数据扰动（Isolate-k、ContextLength-$\ell$、Swap Numbers、Unigram Replace）；同时切换优化器，做 Figure 4 与 Figure 5 的对比。(4) 算术训练实验：在 9-digit 与 3-digit 加法上单独训练 Transformer，比较两种分词粒度下 Fourier 谱与 $\kappa$ 的差异。(5) 探针评估：用 3 随机种子 × 10 折交叉验证（共 30 次），对 $T \in \{2,3,\ldots,10\}$ 训练逻辑回归（主要）、MLP 与 RFM 核探针（附录）汇报 $\kappa$。理论工具上，计算每类嵌入的 $S_B, S_W$，并报告 $S_W^{-1} S_B$ 的特征值谱 (Figure 2/8 右侧) 来直观化 $\lambda_{\max}$ 与 $\mathrm{cond}(S_W)$。

技术新颖性

技术新颖性体现在三点：(a) 给出 $\mathrm{Tr}(S_B) = \Phi_T / N$ 的精确关系式（Lemma 4）以及 $\Phi_T/(N \cdot (T-1) \lambda_{\max}(S_W)) \le \lambda_{\max}(S_W^{-1} S_B) \le \Phi_T / (N \cdot \lambda_{\min}(S_W))$ 的双向界（Lemma 5），并明示 Fourier 功率只决定 $\mathrm{Tr}(S_B)$，而 $\mathrm{cond}(S_W)$ 单独控制可分性；(b) 引入'结构归因'（structural attribution）的概念—通过替换训练分布中单一结构（如同现信号、上下文长度、跨数字交互）来定位涌现来源，类比于 influence functions 之于单实例归因；(c) 把数字周期性扩展到所有循环概念（days of the week、months of the year、additive carries），用'趋同进化'作总框架，把多种架构–任务压力下的共同解统一起来。

**Figure 3**: Examples for the Proof of Theorem 1 Part (ii)

**Figure 4**: Spectral convergence is universal but geometric convergence depends on the data signal

**Figure 5**: Geometric convergence depends on architecture and optimizer

**Figure 7**: Emergence of Fourier structure in a constructed embedding

实验结果

核心发现可归纳为四个层次。第一，频谱收敛几乎无例外：Figure 1 列出 13 个模型与原始 token 频次在 $T=2,5,10$ 处均出现 Fourier 尖峰，其中 LSTM 嵌入的频谱甚至与未训练的 token 边际分布几乎重合（Figure 2）。第二，几何收敛高度挑剔：在完全相同的 10B tokens 与分词器下，Transformer/Gated DeltaNet/Mamba-2 在 $T=10$ 处线性 $\kappa$ 达到 76.7–85.4（含 Muon），而 LSTM 只有 2.0、PPMI 仅 27.1、word2vec 29.3（Figure 5）。这种分离在 MLP 与 RFM 核探针下复现（附录 Figures 11–12）。第三，几何收敛需要数据信号叠加：Figure 4 显示 Unigram Replace 完全打乱同现后 $\kappa$ 降至 1.2（但 Fourier 尖峰不变），Swap Numbers（保留 n-gram 但破坏数字–文本关联）降至 28.8，Isolate-1（每序列仅 1 个数字，不能跨数字交互）仍有 45.0，Isolate-8 可恢复至 77.2，说明几何收敛由'数字–文本同现 + 跨数字交互 + 长上下文'三股信号叠加驱动。第四，模数选择由分词器决定：9-digit 加法下 Muon 与 AdamW 都把 $\kappa_{2,5,10}$ 训到 99–100%（Figure 6 上），3-digit 单 token 加法则对优化器与种子敏感，需 1.5–2B token 才出现'grokking'相位转换，且不同种子泛化与否不同（Figure 10）。训练动力学（Figure 9）显示，语言预训练下 $\Phi_T$ 与探针准确率平滑同步上升，并无 grokking 的突变，与算术任务的相位转换形成鲜明对比。

**Table 1**: Data perturbation used in §4.1

**Figure 2**: A "Spiky" Fourier Spectrum Does Not Imply Good Feature Learning

**Figure 6**: Tokenization determines convergence in arithmetic

**Figure 9**: Spectral and geometric convergence co-emerge gradually during pretraining

**Figure 10**: Training dynamics for Transformers trained on addition

**Figure 11**: Structural Attribution Results with RFM probes

**Figure 12**: Structural Attribution Results with 2-layer MLP probes

**Figure 13**: Circular probe projections of token embeddings onto the unit circle

查看结构化数据

任务	指标	本文	基线	提升
mod-10 线性探针 Cohen's κ（10B token FineWeb-Edu 预训练）	Cohen's κ (%)	Transformer+Muon: 85.4；Gated DeltaNet+Muon: 77.8；Mamba-2+AdamW: 80.1；LSTM+AdamW: 2.0	随机猜测/边际分布: 0%；Transformer+AdamW: 72.1	Transformer+Muon 较 LSTM 同数据+同优化器高 83.4 个百分点
mod-2 线性探针 Cohen's κ	Cohen's κ (%)	Transformer+Muon: 96.1；Gated DeltaNet+Muon: 95.1；Mamba-2+AdamW: 95.0；LSTM+AdamW: 9.0	随机: 0%	Transformer/DeltaNet/Mamba 较 LSTM 高约 86 个百分点
9-digit 加法下 mod-10 κ	Cohen's κ (%)	Muon: 100.0；AdamW: 100.0	3-digit 加法（同一模型、同一数据规模）Muon seed42: -4.5，AdamW seed42: -4.8	分词粒度（多 token → 单 token）造成约 105 个百分点的下降
Fourier 功率 Φ_10 与线性可分性对照	Φ_10 与 λ_max(S_W^{-1}S_B)	Transformer: Φ_10=33.8, λ_max=23.314, cond(S_W)=122.1；DeltaNet: Φ_10=24.6, λ_max=19.963, cond(S_W)=126.3；LSTM: Φ_10=337.4, λ_max=0.290, cond(S_W)=8569.0	Token 边际分布: Φ_10=94.0, λ_max=0.046, cond(S_W) ≈ 不适用	Transformer 用 LSTM 1/10 的 Φ_10 取得 80 倍的 λ_max，体现 cond(S_W) 的决定性作用
数据扰动下 mod-10 探针 κ 退化	Cohen's κ (%)	Original: 85.4；ContextLength-64: 72.0；Isolate-k=8: 77.2；Isolate-k=1: 45.0；Swap Numbers: 28.8；Unigram Replace: 1.2	Original (Muon+Transformer) κ=85.4	消融跨数字交互（k=1）下降 40 个百分点；消融数字–文本关联下降 56.6；完全随机化（Unigram）下降 84.2

局限与改进

局限性可分作者自陈与我的观察两块。作者承认：(1) 全部实验在 FineWeb-Edu 10B token、Llama-3 分词器、$N=1000$ 个数字的设定下进行，向更大语料或更多数字（比如中文或代码语料）外推需要额外验证；(2) 受控实验只对比了 Transformer、Gated DeltaNet、Mamba-2、LSTM，未涵盖 RWKV、RetNet 等其他线性 RNN 变种，也没有在大模型（>1B）上重复 Mod-T 探针，因为探针方差会随模型规模不稳定；(3) 算术实验仅做了 9-digit 与 3-digit 两种粒度，缺中间粒度（如 4/6/8-digit）的扫描；(4) 没有讨论这些涌现模结构如何影响下游推理。我自己的观察包括：(a) 样本量上探针评估只用了 1000 个数字，每个 $T$ 类只有 100 个样本，对稀有模类（如 mod-3 这种无 10 因子的小模）统计功效不足；(b) Theorem 1 的构造假设嵌入 1 维，实际嵌入 1024 维，多维情形下 cond(S_W) 的解释力需要更细分析；(c) 训练只用 Muon 与 AdamW 两种优化器，对 Lion、Shampoo、Sophia 等新优化器未做测试，结论普适性受限于优化器景观；(d) Tokenizer 维度只比较了 Llama-3，未做 BPE、SentencePiece、Unigram 等不同分词算法的对比。

独立分析的弱点

(1) 数据扰动的因变量粒度有限：Isolate-k 限制在一段内的数字 token 数，但实际自然语料里跨段共现依然可能，扰动可能并不彻底；可以加入更极端的 '数字随机打散' 作为强基线。(2) 架构差异归因不细：作者把 LSTM 失败归到'非线性门控'，但未排除激活函数、循环公式细节导致的不同。建议直接控制非线性 vs 线性 RNN 的对照实验，例如同结构但把所有 sigmoid/tanh 换为 identity 的'线性化 LSTM'。(3) 理论下界在维度 $d$ 较小时退化：当 $d \le T-1$ 时 Lemma 5 要求 $S_W$ 可逆的假设不再自动成立。本文未讨论 $d=1024, T \le 10$ 时这条假设是否被违反，可能影响 $\lambda_{\max}$ 的解释。(4) 对'趋同进化'的隐喻用得大胆，但缺少量化指标：什么程度才算'同'？建议用 CKA (Centered Kernel Alignment) 或 RSA (Representational Similarity Analysis) 在 13 个模型两两之间给出统计意义的表征相似矩阵。(5) 算术实验缺乏对 epoch 数的明确区分：3-digit 单 token 加法 500K 对 1000 epoch 与多 token 9-digit 的 1 epoch 在数据-参数比上不可比，应统一为'训练量'维度。

未来方向

(a) 把两级层次推广到其他周期概念。Engels et al. (2025)、Karkada et al. (2026) 已经在星期、月份上找到 Fourier 结构，可以直接套用本文的 $\Phi_T$ / 探针方法验证'spectral-geometric 分离'是否普遍成立。(b) 把可控扰动扩展到事实性、时间、地理、人物属性，研究 LLM 学到的'周期 vs 非周期但线性可分'概念是否同样服从两级层次。(c) 把结构归因当作开发工具：用本文方法做数据审计，自动识别训练语料中驱动特定表征涌现的'最小文档子集'，类似 influence functions 的替代品。(d) 在训练目标里显式注入模运算约束，使模型从一开始就具备几何收敛的嵌入，可能提升算术、代码与推理任务的可靠性。(e) 与表征工程结合：把 $\Phi_T$、$\kappa$、$\lambda_{\max}(S_W^{-1} S_B)$、$\mathrm{cond}(S_W)$ 做成线性探针诊断工具箱，类比 Huh et al. (2024) 的 kernel alignment，给出 LLM 数字推理能力的可解释 benchmark。(f) 把 Term 1 的反例推广到非均匀类、噪声嵌入、非线性嵌入，做更紧的上下界。(g) 把'趋同进化'框架扩展到 RLHF、多模态、安全对齐训练后的表征，研究后训练是否破坏或增强两级收敛。

复现评估

复现评估正面因素多：作者公开了 13 个模型完整 Fourier 谱、加 5 种数据扰动训练脚本与 9-digit/3-digit 加法训练代码（HuggingFace collection: hf.co/collections/deqing/convergent-evolution），并使用 Llama-3 公开分词器。但仍存在挑战：(1) 主体实验在 300M 量级×10B tokens×单 epoch FineWeb-Edu，复现需 4×H100/A100 各一周量级，组里一般规模实验室可行；(2) 13 个开源/闭源预训练模型的 Fourier 谱虽可独立计算，但 DeepSeek-V3-671B 与 GPT-OSS-120B 这种大模型需要约 0.5TB 显存单独加载，复现大模型那部分难度较高；(3) Muon 优化器实现需引入 moonlight 或 modded-nanogpt 等非官方实现，与标准 HuggingFace 不直接兼容；(4) 探针的超参（3 seeds × 10 fold）虽小，但要在 PPMI/word2vec 等传统方法上重训一次 GloVe/word2vec，需复现 Pennington/Bojanowski 等人的训练流水线。综合可复现等级 ★★★☆☆（中小规模实验可复现，全部 13 模型 + 完整算术训练需大量算力）。

趋同进化：不同语言模型如何学到相似的数字表征 Convergent Evolution: How Different Language Models Learn Similar Number Representations