Adam 定律：面向大语言模型的文本频率定律 Adam's Law: Textual Frequency Law on Large Language Models
提出文本频率定律：同等语义下高频文本更适合 LLM 提示与微调，结合 TFD 蒸馏与 CTFT 课程训练在 4 大任务验证。
前置知识
Zipf 定律与词频
Zipf 定律描述自然语言中词频与词排名之间的反比关系：第 r 常见的词出现频率大致正比于 $1/r^\alpha$（$\alpha \approx 1$），即排名第二的词出现次数约为第一名的 1/2，第三名约为 1/3，以此类推。wordfreq 等开源工具正是基于这一规律，利用 ParaCrawl、Wikipedia 等大规模网页语料统计每个词的出现频率，返回 log 化的 rank 或 per-million 频率值，是估计 LLM 训练数据中词出现频率的标准替代手段。
本文的句级频率 $sfreq$ 直接由词级频率 $wfreq$ 通过位置无关的几何平均聚合得到，若不熟悉 Zipf 词频，就无法理解作者为什么可以用开放语料的统计去逼近闭源 LLM 预训练数据的频率分布，也无法判断公式 3 中 $K$ 次方根的选择是否合理。
释义（Paraphrase）与数据增强
释义指用不同词语表达相同语义。NLP 中常用释义做数据增强（Abaskohi et al., 2023）、评估生成多样性（Tang et al., 2024）、缓解数据污染（Zhu et al., 2024b）等。本文核心操作是给同一含义生成 20 个候选释义，再按频率挑出最高与最低的 1 对进入 TFPD 数据集，从而构建出严格的「语义相同、表述不同」对照实验设计。
TFL 的成立前提是「语义相同、表述不同」，释义恰好提供了天然对照样本；没有释义这一工具，就无法验证 LLM 在同等含义下是否对高频表达更友好，也无法公平区分「高频带来的优势」与「不同 prompt 模板带来的差异」这两种解释。
课程学习（Curriculum Learning）
课程学习模仿人类「先易后难」的学习顺序，按某种难度度量把训练数据从简单到复杂排序后再做 SGD 训练，常见难度度量包括句子长度、依存树深度、模型当前 loss 等。Bengio et al. (2009) 之后这条路线被广泛用于 NLP 任务，本文则提出 CTFT 把频率作为新的「难度」信号，并指出与传统 easy-to-hard 课程（由低依存树深度度量）的区别。
CTFT 是 TFL 在微调场景的延伸，且 Table 4 显示 CTFT 进一步在所有语言对上击败了 easy-to-hard 与 high-to-low 基线，因此必须先理解经典课程学习的设定才能看出 CTFT 的创新之处——CTFT 不是简单替换难度指标，而是发现了与依存树深度正交的频率维度。
LoRA 微调
LoRA（Low-Rank Adaptation）在冻结原模型参数的前提下，向注意力层注入低秩矩阵 $A \in \mathbb{R}^{d \times r}$、$B \in \mathbb{R}^{r \times k}$，仅训练 A、B 两组参数以极小成本适配下游任务，r 通常取 8、16、32。训练时输出 $\Delta W = BA$，前向传播为 $y = Wx + BAx$，推理时还可把 $BA$ 合并回 $W$，不增加任何额外延迟，是工业界主流的轻量化微调方案。
论文所有微调实验都基于 LoRA（lora_target=all，lr=1e-4，epoch=10，附录 Table 19 给出完整超参），理解 LoRA 有助于读者评估「FT on HF w/ CTFT 带来最多 +29.96% BLEU」这一结论的算力门槛与可复现性，也有助于判断 CTFT 是否能扩展到全参数微调或 RLHF 阶段。
研究动机
随着 LLM 在链式思考、机器翻译、空间推理等任务上能力持续增强，'训练什么数据、用什么顺序训练'成为越来越关键但缺乏系统结论的开放问题。已有工作多聚焦数据质量（Iskander et al., 2024）与数据量（Grattafiori et al., 2024），却鲜有研究在「语义保持不变」的前提下讨论表述形式对 LLM 表现的影响。Cao et al. (2024) 指出同一个问题的不同提示（语义等价）会带来显著差异的结果，但尚未有人回答 '在算力与提示次数有限时，应该选择哪条释义'。此外，Oh et al. (2024) 证明稀有词比常见词更难预测，暗示「低频 = 难」是一种普遍规律，但作者认为这一观察尚未被直接转化为可操作的训练/提示策略。
本文的目标是论文希望回答一个简洁可操作的问题：当多条文本表达相同含义时，应该优先使用高频表述还是低频表述？具体目标有三：（1）形式化提出 Textual Frequency Law（TFL），主张「在语义一致条件下，句级频率越高，LLM 在 prompting 与 fine-tuning 两个阶段都越应偏好」，从而把一条认知科学观察升级为可操作的工程定律；（2）形式化提出 Textual Frequency Distillation（TFD），用 LLM 自身生成的「故事续写」语料校准无法直接获得的训练集频率估计，把闭源 LLM 的隐式统计量蒸馏为可计算的数字；（3）形式化提出 Curriculum Textual Frequency Training（CTFT），把频率从「数据筛选」维度进一步延伸到「训练顺序」维度，通过在每个 epoch 内按频率升序喂入数据，让模型经历「从少见到常见」的课程，最终在仅几百条训练样本的低资源翻译任务上击败经典 easy-to-hard 与 high-to-low 课程学习基线。
与已有工作不同的是，现有研究存在两个被忽视的角度。其一，几乎所有「课程学习」工作都用句长、依存树深度、困惑度等结构或难度指标作为排序依据，从未把「训练语料中的出现频率」当作学习顺序的信号；本文发现频率与传统复杂度指标（Max Dependency Tree Depth、Flesch-Kincaid Grade Level）之间的 Pearson/Spearman 相关系数绝对值普遍 < 0.28（Table 5），说明频率是独立于复杂度的全新维度。其二，面对闭源 LLM 无法获取真实训练数据的现实，过去方法多依赖人工编写的语料或对齐数据；TFD 巧妙地让 LLM 自己「续写」句子来反推它在何种表达上更顺畅，从而把闭源 LLM 的隐式频率信息「蒸馏」出来，这一思路在先前的频率相关研究中未被提出。
核心方法
整体思路是「频率先验 → 释义选择 → 频率蒸馏 → 课程训练」四步流水线，先用 Zipf 词频做开放语料上的句级频率估计，再据此在多条释义中挑选最频繁的版本送入 LLM；为了让估计更贴近闭源 LLM 真实训练分布，作者让 LLM 自己「续写」故事并把生成语料重新喂回频率计算器进行二次蒸馏；最后在微调阶段按蒸馏后的频率把训练样本从低到高排序，每个 epoch 重排一次，形成「由罕见到常见」的课程。技术上，论文把 LLM 形式化为 Seq2Seq 模型（公式 1：$P(y \mid i, x) = \prod_{j=1}^{T} P(y_j \mid y_{<j}, i, x)$），并把指令 $i$ 与实际输入 $x$ 拼接为「句级样本」；接着利用 wordfreq 等开放语料统计每个词的 Zipf 频率 $wfreq(x_k, D)$，以位置无关的几何平均 $sfreq(x, D) = [\prod_{k=1}^{K} wfreq(x_k, D)]^{1/K}$（公式 3）估算句级频率，从而把 TFL 写成 $x^* = \arg\max_{x\in P} sfreq(x, D)$（公式 2），把频率信号完整地贯穿 prompting 与 fine-tuning。
核心创新在于把「人类阅读速度与词频正相关」这一认知科学结论迁移到 LLM：作者假设 LLM 在预训练时更频繁地见到高频表达，因而对高频表达的条件概率更自信、负对数似然（NLL）更低、对应的下游任务表现也更好。这一假设与 Oh et al. (2024)「稀有词更难预测」的实证吻合，但本文的「Key Idea」是把频率从「事后观察指标」升级为「事前选择与训练信号」——既用于 prompting 阶段（释义选择），又用于 fine-tuning 阶段（CTFT 的低到高排序）。与已有方法（句长课程、依存深度课程）的本质区别在于：Table 5 显示频率与上述复杂度指标几乎正交（|Pearson| < 0.28），因此 CTFT 提供的训练信号是新颖且互补的，而不是把现有课程学习方法换皮；此外，TFL 把「释义选择」与「训练数据排序」两件事用同一频率信号统一起来，是首个在两个阶段都给出具体操作建议的频率工作。
方法步骤详情
完整流程可拆为四步。第一步「TFPD 数据集构建」：在 GSM8K、FLORES-200、CommonsenseQA、Tool Calling 四个原始数据集基础上，让 GPT-4o-mini 按特定 prompt（同时生成 10 条低频 + 10 条高频候选）产出 20 条释义，由 3 名英语专业背景标注员对原始句 + 最高频 + 最低频 三句进行「同义/可能同义/不同义」三方判定，仅保留三人一致判同义的样本，最终得到 738 (MR) + 526 (MT) + 575 (CR) + 114 (TC) 对配对样本（Table 1）。第二步「句级频率估计 $F_1$」：用 wordfreq 对英文句子中的每个词做 Zipf 频率查询，再用公式 3 的几何平均得到句级频率，挑选 HF 配对中频率最高者作为训练/提示输入。第三步「Textual Frequency Distillation」：把待评估的句子当作前缀 prompt，让 LLM 做「story completion」生成续写段落，构成新语料 $D'$，再按公式 4 在 $D'$ 上重新统计频率 $F_2$；最终按公式 $F(x) = \alpha F_1(x) + (1 + \zeta \mathbf{1}(F_1(x)=0))\beta F_2(x)$ 融合，其中 $\zeta$ 用于在 $F_1$ 因词频为 0 而失效时放大 $F_2$ 权重（公式 5）。第四步「Curriculum Textual Frequency Training」：对训练集 $T$ 中的 $N$ 个样本按 $\mathrm{sort}_{x_n\in T} F(x_n)$（公式 6）从低频到高频排序，每 epoch 都按此顺序喂入数据；微调统一使用 LoRA（lora_target=all, lr=1e-4, epoch=10, bs=8, Table 19）。
技术新颖性
技术新颖性体现在三方面。其一，公式 3 提出的「位置无关几何平均」把无法直接获取的预训练语料频率估计降级为任意开放语料的 Zipf 统计，使闭源 LLM 也能被纳入研究，这是过去 Zipf 相关工作（Speer, 2022; Mikhaylovskiy, 2025; He et al., 2025）没有显式建模的。其二，TFD 的「story completion 频率蒸馏」是作者首创：传统 Self-paced Learning (Jiang et al., 2014) 用模型当前 loss 当难度信号，而 TFD 用 LLM 生成的「自然续写」做语料再统计，能更全面地反映 LLM 内部的真实频率分布；Figure 5 显示 TFD 用 20%→100% 数据时 BLEU 改进量随之上升，验证了「数据越多越准」的直觉。其三，CTFT 把频率当作「课程」而非「数据筛选」信号，公式 6 明确每 epoch 都重新排序，这一点与 Lu and Lam (2023) 的「easy-to-hard」课程（按依存树深度排序）形成对照，并在 Table 4 中显示 CTFT 在 8/8 指标上击败后者。
实验结果
实验在 4 大任务上展开，结论高度一致。**数学推理（图 2）**：在 DeepSeek-V3 上准确率从低频分区的 63.55% 跃升至高频分区的 71.54%（+7.99%），GPT-4o-mini 从 60.70%→68.70%（+8.00%），LLaMA-3.3-70B-Instruct 从 80.49%→88.75%（+8.26%）；交叉分析发现「在低频分区做对的题在高频分区仍做对」，说明 TFL 的提升是「把原本答错的题纠正过来」而非随机波动。**神经机器翻译（表 3、图 3）**：在 100 种语言 ×3 个指标的 600 组比较中，DeepSeek-V3 的 BLEU 在 99/100 语种上提升，其中 63 种 >1 BLEU、31 种 >3 BLEU、12 种 >5 BLEU；GPT-4o-mini 的 BLEU 在 95/100 语种上提升（5 种降且都 <1 BLEU）；chrF 上 DeepSeek-V3 实现 100/100 提升。**常识推理（表 2）**：GPT-4o-mini 0.6747→0.6974、DeepSeek-V3 0.7043→0.7235、LLaMA-3.3-70B 0.7530→0.7704，3 个模型一致提升。**工具调用（表 14）**：在工具选择准确率上 3 个模型分别 +6.14/+2.64/+3.51 个百分点，「正确使用工具的精度」也分别 +5.26/+0.88/+1.76 个百分点。**消融**：图 4 显示 TFD 移除后 COMET 指标在 DeepSeek-V3 上从 100% 胜率跌至 83.3%，BLEU 上从 96.7% 跌至 13.3%，证明 TFD 是关键模块；表 4 显示 CTFT 在 8/8 指标上为最优变体，例如 pag_Latn 上 BLEU 从 3.7781→4.9102（+29.96%），kik_Latn 上 BLEU 从 1.2432→1.6570（+33.29%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Math Reasoning (GSM8K TFPD) | Accuracy (%) | DeepSeek-V3 71.54% / GPT-4o-mini 68.70% / LLaMA-3.3-70B 88.75% (HF partition) | DeepSeek-V3 63.55% / GPT-4o-mini 60.70% / LLaMA-3.3-70B 80.49% (LF partition) | +7.99 / +8.00 / +8.26 绝对百分点 |
| Neural Machine Translation (100 languages) | BLEU (语种改进率) | DeepSeek-V3 99/100 语种提升，GPT-4o-mini 95/100 语种提升（HF partition） | LF partition 的对应 BLEU | 63/99 语种 >1 BLEU，31/99 语种 >3 BLEU，12/99 语种 >5 BLEU (DeepSeek-V3) |
| Neural Machine Translation | chrF (语种改进率) | DeepSeek-V3 100/100 语种提升 | LF partition | 86/100 语种 >1 chrF，40/100 语种 >3 chrF |
| Commonsense Reasoning (CommonsenseQA TFPD) | Accuracy | GPT-4o-mini 0.6974 / DeepSeek-V3 0.7235 / LLaMA-3.3-70B 0.7704 | 0.6747 / 0.7043 / 0.7530 (LF partition) | +0.0227 / +0.0192 / +0.0174 |
| Agentic Tool Calling | Tool Selection Accuracy | GPT-4o-mini 0.6667 / DeepSeek-V3 0.6404 / Qwen2.5-14B 0.6667 | 0.6053 / 0.6140 / 0.6316 | +6.14 / +2.64 / +3.51 个百分点 |
| CTFT on NMT (pag_Latn) | BLEU | FT on HF w/ CTFT = 4.9102 | FT on HF w/o CTFT = 3.7781 | +29.96% |
| CTFT on NMT (kik_Latn) | BLEU | FT on HF w/ CTFT = 1.6570 | FT on HF w/o CTFT = 1.2432 | +33.29% |
局限与改进
作者在 Limitations 段中明确承认：TFD 的「story completion」会带来额外推理开销，文中用 671B 参数的 DeepSeek-V3 多次生成续写，部署在中小团队会有显著成本；这是「为获取闭源 LLM 训练数据频率」的妥协方案。从独立观察看，还存在三点局限：（1）Table 6 中 [50%, 55%) 区间出现低频反而胜出，作者解释为该区间仅 21 样本，但该反例提示 TFL 在某些「中高难度」区间并非普适；（2）Table 4 中 1/2 LF + 1/2 HF 混合训练已能带来 3.9073→4.4291（+13.35%）BLEU 提升，说明并非一定要 100% 高频才能获益，纯 HF 训练可能在某些场景下会损失低频带来的多样性，这一点作者未深入讨论；（3）所有微调实验仅在 qwen2.5-7b-instruct + LoRA 上完成，是否能 scale 到 70B+ 模型或全参数微调仍属未知；Table 18 显示 0.5b→72b 的 qwen-2.5 系列在 MR 任务上提升幅度波动较大（0.5b: +5.2pp，14b: +9.0pp，72b: +7.6pp），说明「HF 的边际收益」并非单调随模型增大。
独立分析的弱点
独立分析三个潜在弱点。**弱点一：TFD 频率蒸馏的高成本与可复现性风险**。TFD 需要对每个候选句子都让 LLM 生成完整的「故事续写」段落，再重新统计词频。论文虽报告 Figure 5 展示「数据越多越好」，但未给出性价比最优的数据量；改进方向是引入 active sampling 策略，仅对低频词的句子做 distillation，从而把 TFD 成本削减 50% 以上。**弱点二：TFPD 的英文中心偏差**。Table 1 显示所有长度统计都以「English words」为单位，MT 实验的 100 种目标语言中 16 种是 class 0、46 种是 class 1（Table 20），但配对释义的频率估计也仅在英文上完成；改进方向是借鉴多语种 Zipf 表（如 Wikipedia 跨语种统计）或对每种目标语言独立做配对，让频率对齐目标语言的预训练分布。**弱点三：CTFT 在小规模数据上的有效性未验证**。CTFT 在 4 种低资源语言上的微调集均为 500 样本级别（FLORES-200 dev），当训练集规模扩展到 10K+ 时，每 epoch 内做频率排序 + 重排训练顺序的工程复杂度会上升，且 NLL 的隐式课程信号可能被随机梯度噪声淹没；改进方向是研究在排序时引入 sliding window 课程（参考 s1: Simple test-time scaling, Muennighoff et al., 2025）以降低重排成本。
未来方向
作者层面的未来方向（基于论文结论可延伸）有三条：（1）把 TFL 从「释义选择」推广到「生成阶段的 decoding 策略」，即在 beam search 时加入对生成 token 频率的奖励，让模型主动倾向输出高频表达；（2）把 TFD 蒸馏语料做成可复现的公开数据集，让其他研究者能复现闭源 LLM 的频率估计（论文已承诺开源 TFPD 与代码，仓库见 footnote 1）；（3）将 TFL 与 Chain-of-Thought 推理结合——Table 21 已初步显示 CoT 的 chrF 从 18.823→32.873，ROUGE 从 0.175→0.310，BERTScore 从 0.492→0.838，说明「让 CoT 推理步骤也用高频表述」可能进一步提升模型解释性与准确性，这值得专门研究。基于成果可延伸的方向包括：把频率信号扩展到 RLHF 阶段，让奖励模型同时考虑语义正确性与表述频率；研究 TFL 在多模态模型（如图文描述）中的等效形式；以及在 retrieval-augmented generation 场景中验证「检索出高频段落」是否能比「BM25 最高相关段落」带来更稳的回答。
复现评估
复现门槛整体偏低。论文已开源代码与 TFPD 数据集（github.com/HongyuanLuke/frequencylaw），且核心超参在 Table 19 中完整列出（lora_target=all, lr=1e-4, epoch=10, bs=8, quantization_bit=4, bf16=true），便于在单卡 24GB 显存上跑 qwen2.5-7b 的 LoRA 微调。数据集侧，TFPD 是基于 GSM8K、FLORES-200、CommonsenseQA 等公开数据集 + GPT-4o-mini 生成释义 + 三人标注构成，标注协议与三选项判定流程在 §3.5 中描述清楚；但需要注意：3 名标注员均为英语专业背景、且没有公布标注一致性系数（如 Cohen's Kappa），复现者若请新标注员可能产生 ±2% 准确度波动。算力侧，TFD 蒸馏 100 种语言的全套语料需要调用 DeepSeek-V3 数十次（每次续写段落长度未公布），按商用 API 价格粗略估算需要 50–200 美元；主实验（MR/CR/TC）的提示部分仅需调用闭源 API 数百次，单卡 7B 模型在 A100 上 1 小时内可完成 CTFT 微调。综合看，复现难度为「中等偏下」：核心模块（TFPD + TFL + CTFT）可在 1 张 A100 + <500 美元 API 费用内完成；完整 TFD 重现则需要更多预算与时间。
论文图表
附录中的 4 组案例对比，每组展示一个英文→塞尔维亚西里尔文翻译任务的 ground-truth、高频输入+输出、低频输入+输出、原始输入+输出及其 BLEU/chrF/COMET 得分；高频输出的选词（如 «Два нумера»、«номинована»）更贴近 ground-truth «Две песме»、«номиноване»，BLEU 0.6189 vs 0.4717 直观体现 TFL 优势。
Figure 6 是质性证据，与 Figure 2/3 的量化结论互补；适合放在方法/案例研究部分帮助读者形成 '高频释义究竟长什么样' 的直观印象。