语言模型学到了什么、何时学到？隐式课程假说 What do Language Models Learn and When? The Implicit Curriculum Hypothesis
提出预训练遵循稳定组合技能涌现顺序的隐式课程假说，并能用内部表征预测未见任务的训练轨迹。
前置知识
Scaling Laws 缩放定律
描述模型损失 $\mathcal{L}$ 与参数量 $N$、数据量 $D$ 的幂律关系 $\mathcal{L}(N,D) \propto N^{-\alpha}+D^{-\beta}+\mathcal{L}_\infty$，只能给出聚合损失曲线，无法揭示模型究竟学到了什么技能。
本文直接回应 scaling laws 局限性，必须先理解 L 只能描述聚合表现，才能体会为什么需要研究"技能何时涌现"。
In-Context Learning 上下文学习
模型在推理时通过 prompt 中的少量示例完成任务，无需更新参数。本文中所有任务都以 ICL 形式评估，要求 1B 级模型也能在 prompt 内完成复制、翻译等操作。
ICL 是本文所有任务的统一评估协议，也是 function vector 提取的前置条件。
Function Vector 函数向量
由 Todd 等人 2024 年提出：从 transformer 残差流中提取紧凑向量 $v_\tau$，编码模型执行任务 $\tau$ 的计算方向；可通过 CIE 选取少量 attention head 或直接取 block-output 隐状态获得。
H3 直接建立在 FV 之上：用余弦或 RBF 相似度衡量任务表征，再用核岭回归从近邻轨迹预测未见任务的整条训练曲线。
Spearman 秩相关系数 $\rho$
衡量两组排序一致性的非参数指标，取值 $[-1,1]$；当两个模型对所有任务的涌现排序一致时 $\rho$ 接近 1。本文中 45 个模型对的 $\rho$ 均高于 0.64 且 $p<10^{-7}$。
这是量化"涌现顺序跨模型稳定"这一核心结论的核心统计量，理解它就能看懂 Table 2。
研究动机
现有预训练监控手段只能给出平滑下降的损失曲线和下游基准（如 MMLU、GSM8k）的整体分数，无法回答"模型在训练第几步学会了什么技能"这一根本问题。Loss 曲线即使在获得全新质变能力时也几乎是线性下降，例如 Kangaslahti 2025 已观察到定性能力在某个 token 步突然出现；GSM8k 等基准本身由数值流畅性、多步规划、自然语言理解等多个先决能力组合而成，当分数卡住时研究者无法定位瓶颈究竟在哪一环。Srivastava、Michaud 等人的 quanta 假说虽然提出离散技能被渐进解锁，但 quanta 只能事后发现且往往不对应可解释能力，更不刻画技能之间的组合依赖关系。
本文的目标是本文明确提出"隐式课程假说"：预训练过程中技能按一个稳定、组合、可在模型间复现的顺序涌现。具体包含三个子假设 H1 组合顺序（组合任务晚于其组件涌现）、H2 跨模型稳定（emergence ordering 的秩相关显著高于随机）、H3 表征对齐（功能向量近的任务有相似的训练轨迹）。作者希望用简单任务清单系统验证该假说，并证明涌现顺序可以从模型内部表征中读出，从而为预训练监控提供诊断表盘，并指导数据配比决策。
与已有工作不同的是，此前工作要么停留在理论层面（Lee 2025、Arora & Goyal 2023 的简化设定），要么只考察个别的语法/事实类别（Liu 2021、Friedman 2022），既没有覆盖组合依赖，也没有把行为顺序与内部表征打通。本文首次构造 53 个简单技能与 38 个组合技能的任务套件，覆盖字符串操作、形态变换、事实提取、共指、逻辑与算术；同时首次用 function vector 空间预测整条训练轨迹，使假说在 410M–13B、九个开源模型的实证层面得到同时行为与表征两路证据。
核心方法
作者设计了一套"原子+组合"的可控任务清单，把每条任务的训练轨迹定义为模型在 20 个左右均匀采样 checkpoint 上的精确匹配准确率，再用 0.8 绝对阈值的首次跨越时刻作为涌现时间 $t^*_\tau(m)$。在表征层面，沿用 Todd 等人的 function vector 提取方法：先在 ICL prompt 上做前向传播，只保留答对样本，从残差流中通过 CIE 选出少量 attention head 或直接取某 block 末端隐状态作为任务向量 $v_\tau$，再用 RBF 核 $K(v_i,v_j)=\exp(-\|v_i-v_j\|^2/2\sigma_k^2)$ 衡量任务相似度。最后用核岭回归做留一法预测，把目标任务的整条轨迹写成其表征近邻轨迹的核加权组合 $\hat{a}_c(t)=k_c^\top (K_S+\lambda I)^{-1}y_t$。
与传统下游基准评估不同，本文把"能力"重新定义为"在 0.8 绝对阈值上跨过的时刻"，并要求组合任务的先决条件是构造期已知的，从而把抽象的"技能顺序"转化为可测量的涌现时刻排序。第二个新意是把行为层面的 emergence order 与机制层面的 function vector 几何绑定：如果两个任务在表征空间相近，它们的学习曲线也应相近，且这一对应强到能预测从未评估过的目标任务轨迹，$R^2$ 在 0.68–0.84 之间。
方法步骤详情
步骤一选取模型与 checkpoint：在 OLMo-2（1B/7B/13B）、OLMo-3 7B、LLM360 Amber/Crystal 7B、Pythia 410M/1.4B/2.8B/12B 上取前 1T tokens 内约 20 个 checkpoint。步骤二构造任务：53 个简单任务覆盖 copying、大小写、复数/动名词、en→fr/sp 翻译、首都/货币、共指、算术与条件逻辑；38 个组合任务由 2–3 步链式合成。步骤三测涌现：在每个 checkpoint 跑 ICL 评测，取首次跨过 0.8 阈值的 step 作为 $t^*_\tau$。步骤四提取 FV：对每个任务构造 ICL prompt 集并过滤答错样本，按模型分别用 head-based 或 hidden-state 取 $v_\tau$。步骤五行为分析：算组合先决条件是否全部早于组合涌现，并算任意两模型 emergence order 的 Spearman $\rho$。步骤六留一法预测：用 RBF 核 + 核岭回归得 $\hat{a}_c(t)$，对比真值的 $R^2$ 与 MAE。
技术新颖性
技术新颖性体现在三处：其一，把"课程"形式化为带设计期先决关系的偏序 $\preceq$，并给出可证伪的三条假设 H1/H2/H3，比 quanta 假说更具体；其二，把 FV 几何真正用作"训练动力学预测器"，而非仅做静态相似度分析，留一法 $R^2$ 高达 0.838（OLMo2-13B）；其三，发现仅在绝对阈值下顺序稳定，相对阈值会让模型间相关性显著下降，这一条洞察修正了领域内对"涌现"定义常有的模糊性。
实验结果
核心发现一，跨模型涌现顺序高度一致：在 0.8 绝对阈值下，全部 45 个模型对的 Spearman $\rho$ 范围 0.64–0.93、平均 0.81，OLMo2-7B 与 OLMo2-13B 达 0.93；通用顺序为 copying → 字符串大小写 → 形态变换 → 翻译与事实提取 → 逻辑与世界知识 → 多步算术与组合。核心发现二，组合任务 76 次配对中有 54 次（71%）组合晚于其全部组件出现，仅 19 次弱反转与 3 次强反转（全部涉及 first letter 任务）。核心发现三，表征可预测：留一法预测复合任务轨迹 $R^2$ 在 Pythia-410M 上 0.681、OLMo2-13B 0.838，MAE 介于 0.068–0.195；具体任务如 fr→eng→upper $R^2=0.99$、plural→lower $R^2=0.89$。核心发现四，组合瓶颈存在：把基任务集限制为仅简单任务时所有模型 MAE 上升（平均 $\Delta$MAE=+0.135），说明复合任务共享超出其元素本身的额外结构。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 9 模型两两 emergence order Spearman ρ（绝对阈值 0.8） | Spearman 秩相关（0–1） | 平均 0.81，范围 0.64–0.93，45 对全部 $p<10^{-7}$ | 随机排序期望 $\rho \approx 0$ | 相对随机基线提升约 0.81 个相关系数，量化了跨家族跨数据的顺序稳定 |
| 留一法预测复合任务训练轨迹（OLMo2-13B） | $R^2$ 与 MAE（0–1 准确率） | $R^2=0.838$，MAE=0.099 | 仅用简单任务做基：MAE=0.242 | 加入复合近邻后 MAE 降低 0.143，证明表征近邻共享额外结构 |
| fr→eng→upper 复合轨迹预测（OLMo2-7B） | per-task $R^2$ | $R^2=0.99$，MAE=0.017 | 未给出数值基线 | 近完美预测，体现 FV 几何对高一致性复合任务的解释力 |
| 组合-先决涌现顺序遵循率 | 无反转占比 | 54/76 = 71% 完全遵循，19 弱反转，3 强反转 | 随机顺序期望约 33% 满足 | 相对随机提高约 2 倍，部分支持 H1 |
局限与改进
作者明确承认两点局限。其一，绝对阈值的 0.8 是经验选择，对接近随机水平的任务难以适用，所有未跨过的任务被归入 1001B 桶，可能掩盖尾部顺序。其二，相对阈值下跨模型 $\rho$ 大幅下降（详见附录 F），意味着稳定顺序只在"绝对可达性"意义上成立，对追求上限性能的 fine-tune 场景指导有限。此外，全部强反转都集中在 first letter 组件，提示该任务的"原子性"假设可能不成立；任务仅 91 个且大部分是高资源欧洲语种，覆盖广度不足以推论所有下游能力；function vector 在不同模型上要分别选择 head-based 或 hidden-state 提取方式，缺少统一协议也给复现带来摩擦。
独立分析的弱点
独立观察到的弱点有三。其一，emergence 被定义为"首次跨阈值"，忽略了曲线斜率与最终精度信息，等于把动力学压缩为一维排序，可能错失像 arithmetic 这种"慢启动、长尾"的能力。其二，H1 在 76 对中只有 71% 完全遵循，剩余 29% 反转未给出机制解释，仅指出 first letter 例外，作者没有回溯究竟是表征相似度被高估，还是真正存在并行涌现路径。其三，留一法预测 $R^2$ 虽高，但只在 0–1T 区间内验证，没有外推到完整训练预算，也没有验证能否预测全新类别（如代码、推理链）任务的轨迹；任务的英文/欧洲语种偏置也限制了泛化主张。其改进方向分别是：把 emergence 重新定义为闭区间曲线拟合、对反转案例做 task-level 表征诊断、扩展到代码与多语言任务。
未来方向
作者建议将任务套件作为预训练监控的"诊断表盘"，周期跑一次即可判断某个训练 run 是否落后或超前于 schedule，从而指导早期停机或数据配比调整。基于成果还可延伸三个方向：一是把组合偏序用于主动课程学习，按 H1 的依赖图设计数据采样；二是把 function vector 几何用作"探针"实时预测正在训的下一个 checkpoint 的能力分布；三是把方法移植到 post-training RLHF 阶段，检验对齐过程是否同样遵循隐式课程。
复现评估
作者公开了数据与代码（github.com/KaiserWhoLearns/ElementalTask），全部使用开源模型 OLMo-2/3、LLM360、Pythia 及公开 checkpoint，无需私有算力；评测主体在 1B–7B 级别，单卡 A100/H100 即可承担 0–1T token 区间的批量推理，主要成本来自 9 个模型 × 20 checkpoints × 91 任务的 ICL 评估。复现难点在于 function vector 提取需逐模型选择 head-based 或 hidden-state 方式并搜索最优层，以及高斯平滑与 RBF $\sigma_k$、核岭回归 $\lambda$ 的超参选择；论文附录 G 与 H 给出了完整流程，但跨模型迁移仍有调参摩擦。
论文图表
