通过神经元胞自动机训练语言模型 Training Language Models via Neural Cellular Automata

步骤一,NCA 数据生成:在 12×12 的二维周期边界网格上,每个 cell 用 $n=10$ 维 one-hot 编码(默认 $n=10$,实验中也试 $n=2,15$);状态转移由 $3\times3$ 卷积(4 通道)+ cell-wise MLP(hidden=16, ReLU)组成的 $f_\theta$ 决定,下一状态从 $\text{softmax}(f_\theta(c^{(t)}_{N(i)})/\tau)$ 中采样,$\tau=10^{-3}$ 引入轻微随机性;对每个轨迹随机初始化 $\theta$ 和初始网格 $c^{(0)}$ (i.i.d. uniform over {0..9}),rollout 多个时间步。步骤二,复杂度筛选:把所有时间步序列化为字节流,计算 $r = \text{compressed bytes}/\text{raw bytes} \times 100$ (gzip 压缩比,等价于 Kolmogorov 复杂度的可计算上界),仅保留 $r>50\%$ 的轨迹进入训练集。步骤三,tokenization:用 $2\times 2$ 非重叠 patch 把网格切成块(参考 ViT 做法),每个 patch 对应一个 4 cell ∈ {0..9} 的组合,bijectively 映射到 $10^4=10000$ 的整数词表;按行优先序列化每帧并加 分隔符,跨时间步拼接得到最多 1024 token 的序列。步骤四,预预训练:在 164M token 的 NCA 序列上以 next-token cross-entropy $\mathcal{L}=-\sum_i \log p_\phi(x_i|x_{<i})$ 训练一个 1.6B 参数的 Llama 风格 transformer(24 层,32 头,hidden=2048,weight-tying)。步骤五,迁移到自然语言:把除 embedding 外的所有权重迁移到下游,在 OpenWebText(9B tokens)、OpenWebMath(4B)、CodeParrot(13B)上各跑一个 epoch;下游推理评估用 OpenWebText→BigBench-Lite、OpenWebMath→GSM8K、CodeParrot→HumanEval 的「域匹配」方式。

技术新颖性体现在三个层面:第一,首次把 NCA 这一图灵完备的可学习动力学系统作为语言模型的预预训练信号源,把 Mordvintsev et al. 2020 的「生长型 NCA」范式从视觉/形态发生任务扩展到表征迁移的预训练任务;第二,提出「用 gzip 压缩比作为 NCA 样本复杂度的可计算代理」,从而把抽象的 Kolmogorov 复杂度变成了显式可调的生成器超参数,使得合成预训练第一次具备「按下游域复杂度调档」的能力;第三,通过选择性重置 attention/MLP/LayerNorm 的消融实验,定量证明 transformer 内部的「功能分工」——attention 学通用 in-context 计算,MLP 学域特定统计——这一发现与 Shinnick et al. 2025a 的并发工作以及 MoE 模型上的「MLP 主要负责记忆」观察(Jelassi et al. 2025)形成相互印证。

独立分析的弱点有三:第一,合成数据量与多样性的瓶颈:当前 NCA 用 12×12 小网格和 10 维 one-hot 字母表,虽然保证了 rollout 廉价,但 state space 远小于真实自然语言的多尺度结构,模型可能把更多容量浪费在「区分不同 θ」上,而不是学到更抽象的统计规律。改进方向是引入多尺度网格、分层 NCA(hierarchical NCA)或者把 NCA 嵌入更大规模的「world model」框架。第二,复杂度度量过于单一:仅用 gzip 压缩比过滤样本,这对捕捉「长程依赖」和「算法深度」都太粗糙,例如一个 32% 压缩率的序列可能由简单重复构成,也可能由短程复杂但中程周期的模式构成,二者对学习的价值完全不同。改进方向是引入 Lempel-Ziv 78 子串增长率、block entropy、assembly index(Sharma et al. 2023)甚至 epiplexity(Finzi et al. 2026)做多维过滤,实现「按下游任务的多维复杂度谱调档」。第三,评估规模与可解释性的脱节:虽然机制分析(选择性重置 attention)很漂亮,但没有把「被 NCA 训练出的 attention head 究竟形成了什么 induction circuit」做白盒刻画,例如可以用 attention pattern 可视化、对照 Olsson et al. 2022 的 induction head 定义,直接验证 NCA 是否在加速 induction head 形成。改进方向是结合 causal tracing、attention knockout,做 NCA 训练前后 induction head 出现位置/数量的对照分析,并把这个时间提前到 NCA 阶段本身,看不同复杂度带的 NCA 是否「催熟」不同类型的 head。

作者明确指出的方向:第一,把 NCA 推向全合成预训练——目前 NCA 只能做 pre-pre-training 阶段,如何用 NCA 替代自然语言预训练甚至后训练,需要解决「无监督学习 → 语义对齐」这一鸿沟,可能路线是用 NCA 继续 pretrain + 极小量精选自然语料做 SFT。第二,系统化「按域调档」的研究——目前只在 gzip 复杂度和字母表大小上做了一维扫描,未来应探索多维「结构指纹」(rule 类别、网格拓扑、epiplexity 谱)与下游任务的最优配对,可能发展为「synthetic data lake」范式,根据目标域自动搜索/进化生成器配置。基于成果可延伸的方向:第一,跳出 NCA,选择或合成其他图灵完备生成器(随机 Turing 机、寄存器机、自行设计的元胞自动机)做类似的预预训练实验,验证 NCA 的发现是否在其他图灵完备系统上仍成立,或找到比 NCA 更优的「教学数据」;第二,把这一框架扩展到多模态——把 NCA 轨迹的视觉呈现作为 vision transformer 的预预训练源,验证是否同样能加速下游图像任务,这与 Baradad Jurjo et al. 2021 的「noise-based pretraining」一脉相承;第三,与 RLHF/RLAIF 结合,看 NCA 预预训练是否同样能降低对齐阶段的样本复杂度,这与 Han et al. 2025a 的「reward-based pretraining」观点有共鸣。

复现评估整体偏正面:作者开源了完整代码(github.com/danihyunlee/nca-pre-pretraining)与项目网站(hanseungwook.github.io/blog/nca-pre-pre-training),论文附录 B 的 Table 2 给出了完整的预预训练与预训练超参数(预预训练 batch size 16、lr 1e-4,无 weight decay;预训练 batch size 512、lr 5e-4 数学/文本、2e-4 代码、weight decay 1e-4、gradient clipping 1.0、cosine schedule + 10% warmup),并提供了 4 个随机种子的报告(主要实验)与至少 2 个种子(消融实验),以 ±std 形式呈现;附录 C 给出了 fine-tuning 细节(GSM8K 10 epoch、lr 1e-5、含 CoT;BigBench-Lite 1 epoch、lr 5e-6;HumanEval 不做 fine-tuning),以及评估参数(temperature 0.4, top-p 0.95, 64 个 decoding 用无偏 estimator)。算力需求较温和:1.6B 模型 + 164M NCA 预预训练 token + 单 epoch 4-13B 自然语言预训练 token,主要靠 MIT Supercloud 和 Lincoln Laboratory 提供的 HPC 资源,论文承认了 NSF CSGrad4US Fellowship、Google、Amazon、ARO W911NF-23-1-0277 等资助。复现难度中等偏低:最棘手的是 NCA 数据生成环节需要先 sample 大量随机 $f_\theta$ 再筛选 gzip 50%+ 的轨迹,需要并行 rollout 流水线;但其余训练 pipeline 是标准 Llama-style transformer 训练,无定制算子,使用常见开源库即可重现。