LLM 作为噪声信道：模型容量与缩放定律的香农视角

用香农-哈特利定理把 LLM 训练建模为噪声信道，统一解释 U 形缩放与过训练退化。

前置知识

神经缩放定律 (Neural Scaling Laws)

经验性公式，刻画 LLM 测试损失 $\mathcal{L}$ 与参数量 $N$、训练 token 数 $D$ 的关系。代表工作如 OpenAI 律 $L=(N_c/N^{\alpha_N}+D_c/D^{\alpha_D})^{\alpha_D}$。其核心假设是损失随规模严格单调下降。

本文正是要修正这类单调定律在低 SNR 场景下失效的问题，必须先理解其数学形式才能体会新公式的改进。

香农-哈特利定理 (Shannon-Hartley Theorem)

通信理论中描述带宽 $B$、信号功率 $S$、噪声功率 $N$ 下无差错通信上限信道容量的公式 $C = B \log_2(1 + S/N)$。其中 $S/N$ 是信噪比 (SNR)。该定理揭示了 SNR 趋近零时容量趋零的事实。

本文把 LLM 训练类比为信道传输，香农容量直接定义 $C_{LLM}$，是整个理论框架的根基。

灾难性过训练与量化诱导退化 (Catastrophic Overtraining & QiD)

近期实证发现：在下游 SFT 时，预训练过度或参数更大的模型反而表现更差，损失曲线呈 U 形。类似地，量化把权重压到 2-4 bit 时，更大的模型反而掉点更严重。这两类反直觉现象打破了"越大越好"的传统假设。

本文的统一公式正是要同时解释这两类扰动下的 U 形行为，是论文实验部分的核心验证目标。

Shannon-Weaver 通信模型

经典线性通信链：信源 → 发射机 → 含噪信道 → 接收机 → 目的地。本文将其映射到 LLM：输入 X 视为信源消息，LLM 层视为含噪信道，输出 Y 视为接收信号，预训练是"调制"过程把知识写入权重。

这是论文中从通信理论迁移到 LLM 的概念桥梁，是推导 $C_{LLM}$ 公式的直觉来源。

研究动机

现有 LLM 缩放定律，无论是 OpenAI 提出的 $(N_c/N^{\alpha_N}+D_c/D^{\alpha_D})^{\alpha_D}$ 还是 Chinchilla 的 $A/N^{\alpha}+B/D^{\beta}+E$，都假设损失随参数量 $N$ 和 token 数 $D$ 单调下降。然而实际观察中出现了两类反常现象：Springer 等人发现下游 SFT 时过长的预训练会引发 catastrophic overtraining，损失先降后升；Kumar、Ouyang 等人也指出在低 bit 量化（GPTQ 2-4 bit）下大模型掉点更严重（QiD），损失呈 U 形。传统幂律在 SNR 较低的扰动场景下拟合偏差巨大，例如在 Pythia 10 dB 高斯噪声下 OpenAI 定律的 R² 从 0.9786 暴跌至 0.0707，平均标准差高达 ±0.38，根本无法捕捉 U 形 loss basin。

本文的目标是本文希望提出一个统一的理论框架，同时解释单调预训练与 U 形退化两种看似矛盾的行为。具体目标有三：(1) 用单一公式拟合高 SNR（预训练、40 dB 噪声）和低 SNR（10 dB 噪声、2 bit 量化、大 LR SFT）所有场景，R² 平均保持在 0.95 以上；(2) 揭示 LLM 存在类似香农容量的根本上限 $C_{LLM}$，给出可解释的指数分析；(3) 在外推能力上明显优于 OpenAI、Chinchilla、QiD 等定律，譬如用 ≤6.9B 参数、≤180B token 的 Pythia 模型拟合后能预测 12B 模型到 307B tokens 的表现。

与已有工作不同的是，已有 perturbation-aware 定律（QiD Law、Law of Precision）都把扰动项加在幂律之后作为惩罚项，结构上仍是 OpenAI/Chinchilla 的扩展。本文另辟蹊径，借用香农-哈特利定理把模型容量定义为 $C_{LLM} = aN^{\alpha}\log_2(1+bD^{\beta}/\text{noise})$，把带宽、信号、噪声放在对数信噪比框架中统一表达，并且把训练动态 $D = b_s \cdot t$ 与参数量 $N$ 通过 $(DN)^{\gamma}$ 项耦合起来，显式建模 model-interaction noise，这一点是已有定律都没捕捉的。

核心方法

作者把 LLM 训练类比为在带宽为 $B$、信号功率 $S$、噪声功率 $N$ 的高斯信道中传输信息。模型参数量 $N$ 类比带宽 $B$（更大的模型能容纳更广的频率/特征），训练 token 数 $D$ 类比信号功率（更多数据带来更多信息），训练过程中的数据、模型优化、扰动都归为噪声。在此基础上借鉴香农-哈特利定理 $C = B\log_2(1+S/N)$，推导出 LLM 的"容量" $C_{LLM}$，再通过 $L = 1/C_{LLM}$ 给出损失。这是一种把信息论框架迁移到 LLM 容量建模的范式转变 (paradigm shift)，既保留了对数容量的高 SNR 极限退化为幂律的能力，又能自然地解释 U 形 loss basin 的出现。

本文最核心的创新在于把"容量"用对数信噪比表达，并显式区分三种噪声源：数据诱导噪声 $dD^{\delta}$、模型-数据交互噪声 $c(DN)^{\gamma}$、不可约噪声 $e$。其中交互项 $c(DN)^{\gamma}$ 把 $D$ 和 $N$ 通过乘积耦合，这是与 QiD Law、Law of Precision 等现有扰动感知定律的本质差异——后者只在分母里把 $N$、$D$ 简单相乘作为惩罚系数，没有显式建模 $D$ 与 $N$ 的相互作用随训练时长而放大的动态。论文还通过指数分析发现：当 $\gamma > \alpha$ 时模型缩放开始反噬 (backfire)，当 $\delta > \beta$ 时数据缩放开始反噬，U 形 loss basin 就是这两个不等式先后触发的结果。

方法步骤详情

方法分四步。第一步，将 Shannon-Hartley 公式的物理量映射到 LLM：带宽 $B \propto N^{\alpha}$，信号 $S \propto D^{\beta}$，噪声分三部分 $c(DN)^{\gamma}+dD^{\delta}+e$（交互/数据/不可约），得到 $C_{LLM} = aN^{\alpha}\log_2(1 + bD^{\beta}/(c(DN)^{\gamma}+dD^{\delta}+e))$，共 9 个正拟合常数。第二步，损失 $L = 1/C_{LLM}$：$C \to \infty$ 时 $L \to 0$，且高损区小幅扩容即大幅降损、收敛后边际递减。第三步用 scipy.optimize.curve_fit 在 Pythia (160M-12B) 和 OLMo2 (1B-32B) 16 个 token checkpoint 上联合拟合 wikitext2 损失。第四步可选 6 参数简化版，删去 $b$、$d$、$e$，单轴外推更稳。

技术新颖性

在方法层面，本文第一次把 LLM 容量与香农信道容量做严格数学对应，并用 $\log_2(1+\text{SNR})$ 替代传统加性幂律。技术新颖性体现在三点：(1) 噪声三段式分解中 $c(DN)^{\gamma}$ 项把训练时长 $t \propto D$ 与模型大小 $N$ 联合编码为模型-数据交互噪声，这在已有 QiD (Ouyang 2024) 和 Law of Precision (Kumar 2024) 中均未出现，已被消融实验（Table 10）证实在 10 dB 时 R² 差距高达 0.15；(2) 拟合 6 个 SNR 等级（10-40 dB）下都保持 R² > 0.95，是唯一在 Pythia 与 OLMo2 跨架构稳定的定律；(3) 在联合外推最严苛设置下，9 参数完整版仍能以 R²=0.847 预测 1.7× 训练范围之外的 (N, D) 组合，而 OpenAI 与 Chinchilla 降至负值。

**Figure 3**: Structural correspondence between Shannon communication model and LLMs.

实验结果

三扰动维度验证新定律。高斯噪声 (10-40 dB) Pythia 平均 $R^2=0.9613$、OLMo2 $0.9585$；10 dB 时 Pythia 仍 $0.9555$，远超 Asymmetric 的 $0.8322$（Table 2）。SFT (GSM8K/SiQA/StarCoder) 平均 $R^2$ 依次 $0.936$、$0.916$、$0.937$；OpenAI 律 StarCoder $-1.010$（Table 3）。GPTQ 2-4 bit 量化 Pythia 平均 $0.9824$、OLMo2 $0.9548$；AWQ/bnb/quanto 同样验证（Table 16）。外推是亮点：$\le 6.9$B 模型、$\le 180$B tokens 拟合后预测 12B 到 307B tokens，pooled $R^2=0.847$；OpenAI $-0.082$，Chinchilla $0.305$（Table 8）。指数分析（Table 9）表明低 SNR 区 $\gamma > \alpha$ 触发缩放反噬，$\delta > \beta$ 恒成立。

**Table 2**: Comparison of R² scores under varying Gaussian noise levels.

**Table 3**: Comparison of R² scores across diverse SFT domains: GSM8K, SiQA and StarCoder.

**Table 4**: Comparison of R² scores across different quantization bit-widths: 4, 3 and 2 bit.

**Table 6**: Progressive Token Extrapolation on Pythia.

**Table 7**: Progressive Model Extrapolation on Pythia.

**Table 8**: Joint Model and Token Extrapolation.

**Table 9**: Comparison of exponents for model size (N) and token count (D).

**Table 10**: Ablation analysis of the model-noise term.

**Table 16**: Robustness across post-training quantization schemes on Pythia (AWQ, bitsandbytes, quanto).

**Figure 4**: Evolution of Pythia loss contours under varying Gaussian noise levels.

**Figure 5**: Pythia loss evolution under varying SFT learning rates on GSM8K.

**Figure 6**: Evolution of Pythia loss contours under varying quantization bit-widths.

**Figure 8**: 3D Loss Landscapes: ours (orange surface) vs. QiD law (blue wireframe).

查看结构化数据

任务	指标	本文	基线	提升
Pythia + Gaussian noise (6 SNR levels)	Average R² ± Std	0.9613 ± 0.03	OpenAI 0.4887 ± 0.38, Asymmetric 0.9272 ± 0.06	比最强基线高 0.034，标准差小一倍
OLMo2 + Gaussian noise	Average R² ± Std	0.9585 ± 0.06	OpenAI 0.8531 ± 0.22, Chinchilla 0.8569 ± 0.22	比 OpenAI 高 0.105
SFT-GSM8K (5 LR levels)	Average R²	0.936	Asymmetric 0.896, OpenAI 0.339	比最强基线高 0.040
SFT-StarCoder	Average R²	0.937	Asymmetric 0.916, OpenAI −1.010	完全消除负 R² 现象
Pythia + GPTQ Quantization (4/3/2 bit)	Average R²	0.9824	OpenAI 0.897, Chinchilla 0.892	比最强基线高约 0.004，2 bit 时差距放大到 0.24
Joint Extrapolation (k=5, j=12) on Pythia	Pooled R² across 6 SNR levels	0.847	OpenAI −0.082, Chinchilla 0.305, QiD 0.761	比 QiD 高 0.086，比 Chinchilla 高 0.542

局限与改进

作者明确指出的局限有三点：(1) 完整版含 9 个拟合常数，在小数据集上风险较高，需要 N×D 网格足够密集才能稳定估计 9 维参数空间；(2) 框架依赖训练时长 $D = b_s \cdot t$ 的近似，但实际中学习率调度、warmup 阶段会改变有效 $D$，公式假设的恒定 $b_s$ 可能偏差；(3) 验证只在 Pythia (160M-12B) 和 OLMo2 (1B-32B) 这两个 decoder-only 稠密模型上完成，未覆盖 MoE（如 DeepSeek-V4）、encoder-decoder 架构、纯 RL 训练（如 RLHF）。我个人还观察到：作者把 wikitext2 测试损失作为唯一拟合目标，缺少 ARC、MMLU 等下游任务直接验证容量等价性；另外，公式中 $C_{LLM}$ 与 $L$ 的倒数关系 $L=1/C_{LLM}$ 缺乏严格推导，更像经验选择，倒数也可能让参数解释性变弱。

独立分析的弱点

独立分析三个可改进点。第一，$D = b_s \cdot t$ 的近似对非恒定 batch size 或动态学习率场景不成立，现实 LLM 训练通常用梯度累积和 warmup，建议改写为 $D \approx \int_0^T b_s(t)\,dt$ 的积分形式，并加入 learning rate schedule 项作为额外噪声通道。第二，9 参数的完整版在小实验 (k=3, j=8) 外推中 pooled R²=0.521 仍不够稳健，建议引入层级贝叶斯先验 (hierarchical Bayesian prior) 借用 Pythia 与 OLMo2 拟合后的指数作为强先验，把方差进一步压低。第三，框架目前只解释 wikitext2 单一损失，缺少对 emergent abilities、calibration、truthfulness 等下游行为的一致性预测，扩成多目标联合拟合会更有说服力。

未来方向

作者在 §6 总结中提到未来方向：把扰动因子 $X$（量化位宽或学习率）显式加入 SNR 调制 $C_{ext} = aN^{\alpha}\log_2(1 + X \cdot bD^{\beta}/(c(DN)^{\gamma}+dD^{\delta}+e))$，并在 §5.5 给出实证 (R² 0.9602)，后续可推广到多模态、对抗样本、跨语言迁移等更多扰动源。基于成果可延伸的方向还包括：(1) 用拟合后的指数 $\alpha,\beta,\gamma,\delta$ 作为"训练健康指标"，实时监测预训练是否进入 U 形退化区；(2) 把 $(DN)^{\gamma}$ 改为 $(D^{\delta_1} N^{\delta_2})$ 的非耦合形式，分别学习 $D$、$N$ 维度的噪声动态，可能进一步提升外推；(3) 扩展到 MoE 架构，把 expert count 作为额外带宽维度 $B_{LLM} \propto N^{\alpha} E^{\eta}$，探索万亿参数模型是否仍受香农容量约束。

复现评估

复现难度中等。开源情况：作者承诺开源 (论文来自 ByteDance Seed 与 University of Virginia)，但截至目前只用了公开模型 Pythia (EleutherAI) 与 OLMo2 (Allen AI) 的 checkpoint，未单独训练新模型，因此复现者只需要下载预训练权重和 16 个 token 预算点的中间 checkpoint。数据方面，wikitext2 是 HuggingFace datasets 一行代码可获取，GSM8K/SiQA/StarCoder 同样公开。算力需求：实验的最大负载是同时对 12B Pythia、32B OLMo2 做 GPTQ 2-4 bit 量化与全量 SFT (bs=64, max_length=1024, 1 epoch)，需要约 4×A100 80G 或等价 GPU，跑完全部 6 个 SNR、5 个 LR、3 个 bit 宽度约 2-3 天单卡时间。代码方面，scipy.curve_fit 拟合门槛很低，但 9 参数的非凸优化需要多次重启动防止局部最优，官方建议在 README 提供多起点搜索脚本。

LLM 作为噪声信道：模型容量与缩放定律的香农视角 LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws