Parcae：稳定循环语言模型的标度律

用动力学系统稳定循环Transformer，并建立可预测的循环标度律。

前置知识

循环（looped）Transformer

将若干层 Transformer 块打包为一个循环单元 R，对隐藏状态 $h_t$ 进行 $T$ 次迭代 $h_{t+1}=R(h_t,e)$。参数共享但深度可变，期望用更少参数获得更深模型的推理能力。

本文正是研究这类架构的训练不稳定和标度问题，是全部讨论的对象。

残差流（residual stream）与谱半径

残差流是 Transformer 各子层相加的主干通道。把循环写成 $h_{t+1}=Ah_t+Be+R(h_t,e)$ 后，矩阵 $A$ 的谱半径 $\rho(A)$ 决定 $h_t$ 是否爆炸：当 $\rho(A)<1$ 时 LTI 系统稳定，$\rho(A)\ge 1$ 时残差爆炸。

本文用 $\rho(A)$ 这个量诊断循环模型的训练崩溃，是稳定性判据的核心。

Chinchilla 标度律（parametric scaling law）

Hoffmann 等人提出的损失随参数 $N$ 与数据 $D$ 的经验公式 $L(N,D)=E+X N^{-x}+Y D^{-y}$，通过拟合得到 FLOP 最优分配策略，是大模型训练的事实标准。

本文把循环深度 $\mu_{rec}$ 作为第三个轴加入该框架，复用同一套拟合与外推方法。

零阶保持（ZOH）与 Euler 离散化

把连续 $\dot h=Ah+Be$ 离散到步长 $\Delta$，ZOH 给出 $A_{disc}=\exp(\Delta A)$，Euler 给 $A_{disc}\approx I+\Delta A$。前者精确后者便宜，且当 $A$ 特征值为负时都能让 $\rho(A_{disc})<1$。

Parcae 用 ZOH 离散一个负对角矩阵 $A$，从而保证 $\rho(A_{disc})<1$，这是稳定性的工程实现。

测试时计算（test-time compute）

推理时通过更多采样、更长推理链或更深的循环步数 $T$ 换取质量提升。本文研究的是循环步数 $T$ 的扩展，是 CoT 之外的一条正交路径。

测试时循环的饱和行为是论文第五节的核心结论之一。

研究动机

近年来主流 Transformer 靠堆参数、堆数据扩展质量，但参数膨胀抬高部署显存、增加推理能耗。当推理与边缘部署占比越来越高，社区需要一条『加 FLOPs 不加参数』的正交轴。循环（looped）Transformer 通过把激活送回同一组层 $T$ 次来提高算力，前期工作（如 Geiping 等的 RDM）已显示它在小合成任务上能匹配更大模型。然而 Geiping 等以及本文作者都观察到，这类循环模型在大规模训练中极不稳定：残差流在循环过程中爆炸 $\|h_T\|_2$ 急速上升，loss 曲线后期出现 spike（170k 步之后尤其明显）。现有稳定方案只能在 Pre/Post-Norm 之间加 block pattern，仍依赖精细的超参搜索（学习率 4e-4 还能收敛，6e-4 就发散），并不能给出可分析的稳定性条件，导致实验难以复现、规模化受阻。

本文的目标是本文目标有三条：第一，给循环 Transformer 一个数学可分析的稳定性判据，让『为什么崩』和『什么条件稳定』都有显式回答；第二，基于该判据设计一个开箱即用、无需敏感超参搜索的稳定循环架构 Parcae，并在 1.3B 规模上验证其质量；第三，把循环深度 $\mu_{rec}$ 作为继参数、数据之后的第三个标度轴，建立训练 FLOP 与测试时循环步数 $T$ 的可预测标度律，使循环不再是凭经验调的黑箱。

与已有工作不同的是，此前循环模型的研究要么走小规模 toy 实验（缺乏规模化证据），要么只把 Pre/Post-Norm 当工程经验补丁（缺乏稳定性理论）。本文的切入角度是用经典控制理论的 LTI 框架去重写循环前向传播，把 $A$ 与 $B$ 显式拆出，从而首次把『残差爆炸』归结为 $\rho(A)\ge 1$ 的特征值问题。这一视角既是分析工具，也是构造工具——只要把 $A$ 参数化为负对角再离散化，$\rho(A)$ 就被天然夹在 $(0,1)$，稳定性无需靠 Norm 兜底。这是与 RDM、Universal Transformer 等已有方案的本质差异。

核心方法

Parcae 思路分三步：先把循环前向重写为残差流的非线性时变动力学 $h_{t+1}=Ah_t+Be+R(h_t,e)$，线性化后得到离散 LTI $h_{t+1}=Ah_t+Be$，其稳定性等价于 $\rho(A)<1$。据此判定 RDM 的 addition（$A=I$，$\rho=1$，仅边缘稳定）和 concatenation（$A$ 无约束）必然不稳。Parcae 用两段修复：(1) 把 $A$ 参数化为 $\text{Diag}(-\exp(\log A))$，连续化后 ZOH 离散，使 $\rho(A)$ 严格 $<1$，并对 $e$ 加 prelude norm 抑制 loss spike；(2) 训练时改成 per-sequence depth sampling，让 $\mathbb{E}_{T\sim\Lambda}$ 估计更准。配上 $\mu_{bwd}=\lceil \mu_{rec}/2\rceil$ 的截断 BPTT，整体就能在多尺度多 LR 下稳定收敛。

和已有循环方案最本质的区别在于：RDM 用 Norm 做『事后兜底』，Parcae 用动力学先验做『事前约束』。$A$ 被显式参数化成负对角 $\text{Diag}(-\exp(\log A))$，无论训练怎么走，$\rho(A)$ 都不可能越过 1；这相当于把循环步数 $T$ 从『靠 Norm 抢救的病态迭代』变成『严格压缩映射』。再加上 per-sequence depth sampling，每个微批次内不同样本可有不同 $T$，避免整批被某次坏采样拖崩。这些改动让 Parcae 不需要专门扫超参，且 1.3B 规模训练稳定不掉点。

方法步骤详情

训练流程：(1) 输入 $s$ 经 prelude 嵌入 $e=\text{LN}(P(s))$（含 prelude norm），$h_0\sim\mathcal{N}(0,\sigma I)$；(2) 每步 $h_{t+1}=A h_t+B e+R(h_t,e)$，其中 $A=\exp(\Delta\odot \tilde A)$ 由 ZOH 离散得到，$\tilde A=\text{Diag}(-\exp(\log A))$；$B$ 走 Euler $(\Delta B)$ 离散，无约束但搭配 prelude norm；(3) $T$ 次后经 coda $C$ 投影到词表；(4) 微批次内逐样本采样 $T\sim\Lambda$，$\Lambda$ 仅由 $\mu_{rec}$ 控制；(5) 反向截断到 $\lceil \mu_{rec}/2\rceil$ 步。1.3B 设置下模型中间 1/3 层循环，预留 LP/LC 块保留非循环入口与出口。

技术新颖性

新颖性可拆三点。第一，把经典控制理论的 LTI 稳定判据（$\rho(A)<1$）首次系统性地引入循环语言模型分析，让『为什么之前要加 Norm』从经验变定理。第二，$A$ 的负对角 + ZOH 离散是一种结构化归纳偏置：它不靠 L2 正则、谱归一化等『软』约束，而直接把特征值锁死在负实半轴，可解释性远超黑盒参数化。第三，per-sequence depth sampling 把 RDM 的 micro-batch 级深度采样细到样本级，配合 $\mu_{bwd}=\lceil \mu_{rec}/2\rceil$ 的截断策略（取代旧方案的双参数 $\Lambda$），既稳定又便于外推到任意 $T$。这三处改动叠加，使循环终于拥有可分析的、可扩展的、可外推的训练动力学。

**Figure 1**: Parcae and the Scaling Laws of Looping

实验结果

RDM 设置下 Parcae 把 100M/350M 验证 PPL 从 14.23/10.76 降到 13.59/10.09（最高 6.2%），下游平均分高 0.4–1.8 点。nanochat 设置 140M/370M/770M/1.3B 四档 Val PPL 压低 4.3–9.2%；1.3B CORE 达 25.45（对照 22.42），Core-Ext 15.90（14.72），770M Parcae 在 CORE 追平 1.3B Transformer，相对参数效率 87.5%。训练标度证实循环是数据外第三条正交轴，最优 $\mu_{rec}$ 与 $D$ 服从幂律 $\mu_{rec}^\*\propto C^{0.40}$、$D^\*\propto C^{0.78}$，外推误差仅 1.3%/0.8%。测试时缩放遵守 $L(T)=L_\infty+Ze^{-zT}$，统一标度律对 held-out 模型预测误差 0.85–1.31%，用上经验 $L_{\mu_{rec}}$ 后降至 0.1–0.17%。

**Table 1**: Comparison of Prior Update Rule Stability based on LTI Representation

**Table 3**: Zero-Shot and Perplexity Results Trained on RDM Setup

**Table 4**: Stability Results Trained on Transformer Setup

**Table 5**: Comparing Parcae to Fixed-Depth Transformers

**Table 6**: Core Scores Comparison of Looping Optimal Frontier over Purely Scaling Data

**Figure 4**: Looping Scales Training Compute Optimally

**Figure 5**: Optimal μrec and Tokens Follows Predictable Power Laws

**Figure 6**: Pareto Frontier of Looping

**Figure 7**: Test-Time Scaling of Parcae

**Figure 8**: Scaling Test-Time Compute follows a Predictable Power Laws

查看结构化数据

任务	指标	本文	基线	提升
100M 模型 WikiText 困惑度	PPL (↓)	14.23	13.59 (RDM)	Parcae 数值更低 (-4.5%)
350M 模型验证集困惑度	Val PPL (↓)	10.09	10.76 (RDM)	相对下降 6.2%
1.3B 模型 CORE 分数	CORE (↑)	25.45	22.42 (Transformer)	+3.03
1.3B 模型 Core-Extended	Core-Ext (↑)	15.90	14.72 (Transformer)	+1.18
140M 模型 Lambada 困惑度	Lambada PPL (↓)	80.64	127.39 (Transformer)	降低 36.7%
770M 模型 CORE 分数	CORE (↑)	22.42	25.07 (1.3B Transformer)	接近两倍参数量模型

局限与改进

作者明确承认三点局限。其一，Parcae 的循环单元位置（pre/mid/post）、组合方式与极端循环深度在大规模下尚未充分验证，本文只在 mid-loop 一种配置上测到 1.3B。其二，标度律实验在 140M 和 370M 上拟合，外推到 1.3B 时损失拟合误差约 1%，需要更大 FLOP 预算与参数规模进一步验证 $\gamma_\mu\approx 0.40$、$\gamma_D\approx 0.78$ 是否仍成立。其三，$\mu_{rec}$ 越大，要达到同等质量所需的测试时循环步数 $T$ 也越大，推理开销被放大；目前没有给出保持质量同时压缩 $T$ 的方法。从我的观察看，论文使用的 $A=\text{Diag}(-\exp(\cdot))$ 是对角限制，比全秩参数化更保守，可能限制表征能力；且两种离散化（ZOH 与 Euler）只在 $\mu_{rec}$ 不太大时有效，更深循环下数值稳定性可能再次成为问题。

独立分析的弱点

几点可改进方向：其一，$A$ 用负对角虽保证 $\rho(A)<1$，但牺牲特征向量自由度，可试低秩 + 谱归一化或结构稀疏 $A$ 找『稳定且表达强』的折中。其二，per-sequence depth sampling 需为每个样本记录不同 $T$ 与计算图，显存与吞吐压力大，可探索分组采样摊薄开销。其三，幂律指数 $\gamma_\mu\approx 0.40$ 与 $\gamma_D\approx 0.78$ 仅在两档参数得到，外推到 10B+ 可能有偏差，建议补充 1B–3B 中尺度验证。其四，统一标度律 $L(T|\mu_{rec},D)=L_{train}(\mu_{rec},D)+Z\exp(-zT/\mu_{rec})$ 隐含『测试时 loss 不污染训练 loss 拟合』假设，RL 阶段未必成立。其五，评测集中在 CORE 聚合任务，代码、数学、推理等专项能力未做细分，难以判断循环对哪些能力特别友好或吃亏。

未来方向

作者已经点出几个未来方向：研究更大规模下的循环最优配置；探索 $\mu_{rec}$、参数、数据三轴如何联合扩展；以及如何在保持质量的同时压缩测试时循环步数。基于论文成果还可延伸：第一，把 LTI 框架扩展到非线性主导的训练后期，研究 norm collapse 等现象；第二，把 Parcae 的『事前约束』思路应用到 MoE、状态空间模型等其他可循环架构；第三，结合 speculative decoding 或早期退出机制，让大 $\mu_{rec}$ 模型在推理时按难度自适应选择 $T$；第四，把统一标度律用于指导 RL 微调中的 rollout 长度选择；第五，从动力学角度研究循环 Transformer 的可解释性（如把 $A$ 的对角元素视为残差流的『衰减时间常数』）。

复现评估

论文给出了相当详尽的复现信息：两套训练设置（Huginn/RDM 与 nanochat）都列了具体超参、模型维度、训练 FLOPs，附录 Section P/Q/E/D/O/M/L 涵盖了模型定义、训练算法、FLOP 估算、标度律拟合细节、消融实验。所有对比都给出了 PPL 与 CORE 双指标，并附 140M/370M/770M/1.3B 多档规模结果。主要门槛在于算力：1.3B 模型在 100B tokens 上训练，需要数百到上千张 H100/A100 级别 GPU，单实验室难以负担；140M/370M 规模较易复现，参数标度与幂律拟合部分可以本地完成。但代码与模型权重是否开源需进一步确认，论文截至发表未明确给出仓库地址，这是一大隐患。

Parcae：稳定循环语言模型的标度律 Parcae: Scaling Laws For Stable Looped Language Models