求解回路：用吸引子模型统一语言建模与推理 Solve the Loop: Attractor Models for Language and Reasoning
用固定点吸引子代替循环展开，实现恒定内存训练。
前置知识
Transformer 与因果自回归语言模型
标准的 Transformer 编码器/解码器结构，通过自注意力机制建模序列中 token 之间的依赖关系，预测下一个 token 的概率分布。本文中的基线模型（nanochat 训练流程下的 GPT）即采用这种架构。
Attractor Model 的骨干网络就是一个标准因果 Transformer，所有与传统 Transformer 的对比（如 140M/370M/770M 规模）都以它为参照。
循环/Looped 架构（Looped Transformer）
通过权值共享让一个 Transformer 块重复应用 T 次以实现隐式思考或算法推理，代表工作有 Parcae、Huggin、Ouro、TRM、HRM 等。其训练和推理对循环深度 T 高度敏感。
Attractor Model 正是为了解决这类架构在训练不稳定、内存线性增长、推理需固定步数这三大痛点而提出的。
Deep Equilibrium Model（DEQ）与隐式微分
DEQ（Bai et al., 2019）将神经网络层视为求解一个不动点方程 $z^\star = f_\theta(z^\star, x)$，前向用根求解器（RootFind），反向通过隐函数定理避开对每一步求导：$\frac{\partial \mathcal{L}}{\partial \theta} = \frac{\partial \mathcal{L}}{\partial z^\star} (I - J_z)^{-1} \frac{\partial f_\theta}{\partial \theta}$。本文的吸引子模块是 DEQ 思想在输出嵌入空间的一次重新设计。
理解 DEQ 及其 one-step 近似（$u \approx v$）是看懂 Attractor Model 反向传播策略和内存 O(1) 论证的前提。
根求解与 Anderson 加速
求解 $A(y)=0$ 形式的非线性不动点，常用 Anderson 加速结合最近若干次迭代的残差来加速收敛，比朴素定点迭代快数倍。本文 RootFind 默认采用此方法，迭代步数由残差阈值 $\|A(y_t)\|_2/\|y_t\|_2 < \varepsilon$ 决定。
Attractor Model 的“自适应深度”特性完全建立在根求解器按收敛自动停止之上，区别于依赖学习式 halting head 或固定 T 的方案。
深度监督（Deep Supervision）
在训练阶段对网络的中间层或中间时间步施加额外监督信号，常用于小数据、迭代式任务（如 Sudoku）。本文在推理任务实验中将 TRM 的深度监督协议直接搬到 Attractor Model 上作为初始化机制。
解释为什么在 Sudoku/Maze 实验中骨干网络和语言建模实验不同——它用前一个监督步的 $(y, z)$ 直接作为吸引子的初始化 $y_0$。
研究动机
循环 Transformer（looped Transformer）被视为通向隐式思考与算法推理的关键路径，但实际落地暴露出三大顽疾。第一，训练不稳定：循环展开的步数越多，深度方向的梯度越容易爆炸或消失，需要精巧的谱半径约束（如 Parcae 的线性注入）等手段才能压住。第二，训练内存随循环步数线性增长，因为必须为反向传播存住每一步的中间激活，Figure 5 显示 Parcae 在 256 步时已 OOM，而本文方法在整个 0–256 区间始终保持在 4.18 GB 左右。第三，推理时循环步数与训练时不一致会显著掉点（train-test mismatch），且顺序计算代价高昂——Geiping 等人报告训练一个循环模型所需的原始 FLOPs 可达同等规模前馈模型的十倍。另一个极端是极小模型推理任务：TRM、HRM 这类专用递归架构在 7M 表现亮眼（Sudoku-Extreme 74.7%），但一扩大到 27M 性能立刻塌到 0%，而 DeepSeek R1、Claude 3.7、o3-mini-high 在 Sudoku-Extreme 和 Maze-Hard 上均为 0%，暴露出“less is more”的尺度反常。
本文的目标是设计一个通用架构，使得隐式循环具备五个性质：(i) 训练稳定；(ii) 训练内存与迭代步数无关；(iii) 训练 FLOPs 显著低于显式展开；(iv) 推理时可自适应选择迭代深度；(v) 同时在大规模语言建模和极小模型推理两个尺度上都取得强表现。本文用 140M/370M/770M 三个规模的语言建模和 7M/27M 两个规模的 Sudoku-Extreme/Maze-Hard 来同时检验这五个性质。
与已有工作不同的是，作者跳出了“循环步数 T 是网络超参数”的预设，而是把“循环到底收敛到哪里”作为优化目标。具体而言，论文观察到 Blayney 等人 2026 的机制分析指出循环语言模型对绝大多数 token 实际上会收敛到不动点，于是反其道而行之：直接用 DEQ 式根求解器在输出嵌入空间求这个不动点，并用一个非循环 Transformer 骨干预先给出一个有意义的初值 $y_0$。这与 DEQ 把不动点放在隐藏空间、用零或噪声初始化、用独立输出头解码的做法形成关键区别，也为后面“均衡内化（equilibrium internalization）”这一新现象创造了空间。
核心方法
直觉上，Attractor Model 把“生成下一个 token”拆成两个阶段。先由一个相对大容量的因果 Transformer 骨干把输入映射成“输出嵌入空间”里的一个粗略猜测 $y_0$，这个猜测已经是一个有意义的预测向量；然后由一个权重共享的小 Transformer 吸引子模块做定点迭代 $y_{t+1} = T_{\theta_a}(y_t, y_0)$，并在残差足够小时直接以该均衡 $y^\star$ 解码得到最终词表分布。前向用 Anderson 加速根求解器，反向用基于隐函数定理的 one-step 近似 $u \approx v$ 避免对每一步求导，从而实现训练内存 O(1)。作者最有趣的发现是：训练过程中骨干自动学会把 $y_0$ 推到不动点附近，导致推理时即便 T=0（不调用求解器）也能拿到接近 T→∞ 的性能，他们称之为“均衡内化”。
三处本质区别于既有方法。第一，把不动点放在“词表嵌入空间”而不是隐藏空间，每一步迭代 $\{y_0, y_1, \dots, y^\star\}$ 都已经是可解码的预测，使求解器可以随时介入或退出。第二，初始化用骨干给出的有意义的 $y_0$ 而不是零/高斯噪声，对比 Table 6 显示这能让 60.3M 模型在 FineWeb-Edu 上的验证 PPL 从 43.87 直接降到 34.05。第三，骨干+吸引子的两段式结构稳定了均衡训练的病态动力学——DEQ 基线在训练后期需要的迭代次数持续上升（Figure 6b），而 Attractor Model 反而快速收敛到最少迭代次数并保持稳定，为“均衡内化”提供动力学基础。
方法步骤详情
训练算法（Algorithm 1）依次执行：(1) 用词嵌入矩阵 $E$ 把输入 token 序列 $x$ 映射成 $\tilde{x} = E(x)$；(2) 通过骨干 Transformer 产生初始输出嵌入 $y_0 = T_{\theta_b}(\tilde{x})$，注意 $y_0$ 已经在词表嵌入维度上，可直接走解嵌矩阵；(3) 定义残差映射 $A_{\theta_a}(\tilde{y}; y_0) = T_{\theta_a}(\tilde{y}, y_0) - \tilde{y}$，其中 $T_{\theta_a}$ 是带 $y_0$ 加性注入的吸引子块；(4) 调用 RootFind(Anderson) 求 $y^\star$，停止条件 $\|A_{\theta_a}(y_t, y_0)\|_2/\|y_t\|_2 < \varepsilon$ 或达到 $T_{\max}$；(5) 用绑定的 unembedding $E^\top$ 解码 $y^\star$ 得到词表概率。反向过程给定 $v = \partial \mathcal{L}/\partial y^\star$，求解 $(I - J_{\tilde{y}}^\top) u = v$ 后用 $u^\top \partial T_{\theta_a}/\partial \theta$ 更新参数，本文采用 one-step 近似 $u \approx v$（与 Phantom Gradient、Full IFT 的对比见表 5）。推理时完全复用同一流程，$\varepsilon$ 和 $T_{\max}$ 成为可调的测试时计算预算。语言建模实验用标准交叉熵损失；推理实验改用 TRM 的深度监督协议，把前一步的 $(y, z)$ 作为下一步求解器的初始化。
技术新颖性
技术新颖性体现在四个层面。其一，架构层面，骨干+吸引子的两段式分解以及把不动点放在输出嵌入空间，使整个迭代轨迹都可解码、可检查，这是 DEQ 所没有的。其二，优化层面，one-step 隐式微分近似把反向内存从 O(T) 压到 O(1)，Table 5 量化显示这相对 Full IFT 节省 4.8 倍内存、2.7 倍步时，仅多付出 0.14 的 PPL。其三，现象层面，发现“均衡内化”——骨干 $y_0$ 自动被训练到不动点附近，使求解器在推理时基本可以被剪掉（Figure 7 的 T=0 曲线），这是首次在循环 LM 文献中被系统报告。其四，统一性层面，同一框架同时在 770M 语言建模和 27M 推理两个尺度生效，27M 模型在 Sudoku-Extreme 上 91.4%、Maze-Hard 上 93.1%，把 TRM 在 27M 上的崩溃（0%）彻底翻了过来。
实验结果
语言建模上（Table 1），Attractor Model 在 140M/370M/770M 三个规模上同时击败参数匹配的标准 Transformer 和循环 LM Parcae：140M 验证 PPL 18.30（vs Transformer 21.48，-14.8%；vs Parcae 19.06），Lambada PPL 68.02（-46.6% / -15.6%），CORE 14.59（+12.2% / +3.9%）；370M 验证 PPL 14.03，Lambada PPL 27.14（-33.4%），CORE 20.24（+15.9%）；770M 验证 PPL 12.09，Lambada PPL 15.21（-32.0%），CORE 26.83（+19.7%）。最值得注意的对比：770M Attractor 在 Lambada PPL（15.21）上优于 1.3B Transformer（17.26）且 CORE（26.83 vs 25.45）更高，逼近了“参数翻倍 + token 翻倍”的训练量。Figure 4 显示相对 Parcae 节省 25%–31% 训练 FLOPs，Figure 5 显示内存始终为 4.18 GB 不随循环深度增长，而 Parcae 在 T=256 时已 OOM。Figure 6 给出均衡内化的硬证据：PCA 投影显示 Attractor 在 8 次迭代后已塌缩到单一吸引子，且训练过程所需的 solver 迭代次数早期即降到最低并保持稳定；图 6b 的 DEQ 对照则迭代次数持续上升。Figure 7 更进一步，140M/370M/770M 三档 Attractor 在 T=0（不调用求解器，只用骨干 $y_0$）下 PPL/CORE 已基本与 T→∞ 持平，而 Parcae 需跑到 T≈8 才达到平台。推理任务上（Table 2），27M Attractor 在 Sudoku-Extreme 拿到 91.4%、Maze-Hard 拿到 93.1%，把 HRM 27M（55.0%/74.5%）和 TRM 7M（74.7%/85.3%）甩在身后；7M Attractor 较弱（54.3%/46.7%），但和同类小模型在同一量级；TRM 在扩到 27M 时直接归零，Attractor 反而在 27M 上比 7M 更强。消融（Table 3–6）依次确认：把 DEQ 隐藏空间不动点 + 零初始化换成输出嵌入空间不动点 + 骨干初始化，PPL 从 42.18 降到 34.05；加性注入比仅初始化和拼接都更稳（34.05 vs 51.92/36.81）；one-step 反向只比 Full IFT 多 0.14 PPL；用骨干初始化比零/高斯初始化 PPL 降低 7.82–9.82。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FineWeb-Edu 140M 语言建模 | 验证 Perplexity ↓ | 18.30 | Transformer 21.48 / Parcae 19.06 | -14.8% / -4.0% |
| FineWeb-Edu 140M 语言建模 | Lambada Perplexity ↓ | 68.02 | Transformer 127.39 / Parcae 80.64 | -46.6% / -15.6% |
| FineWeb-Edu 140M 语言建模 | CORE 准确率 ↑ | 14.59 | Transformer 13.00 / Parcae 14.04 | +12.2% / +3.9% |
| FineWeb-Edu 370M 语言建模 | 验证 Perplexity ↓ | 14.03 | Transformer 15.79 / Parcae 14.49 | -11.1% / -3.2% |
| FineWeb-Edu 370M 语言建模 | Lambada Perplexity ↓ | 27.14 | Transformer 40.77 / Parcae 32.74 | -33.4% / -17.1% |
| FineWeb-Edu 370M 语言建模 | CORE 准确率 ↑ | 20.24 | Transformer 17.46 / Parcae 20.00 | +15.9% / +1.2% |
| FineWeb-Edu 770M 语言建模 | 验证 Perplexity ↓ | 12.09 | Transformer 13.08 / Parcae 12.49 | -7.6% / -3.2% |
| FineWeb-Edu 770M 语言建模 | Lambada Perplexity ↓ | 15.21 | Transformer 22.37 / Parcae 19.71 | -32.0% / -22.8% |
| FineWeb-Edu 770M 语言建模 | CORE 准确率 ↑ | 26.83 | Transformer 22.42 / Parcae 25.07 | +19.7% / +7.0% |
| FineWeb-Edu 770M vs 1.3B Transformer 跨规模 | CORE / Lambada PPL | CORE 26.83 / Lambada 15.21 | 1.3B Transformer CORE 25.45 / Lambada 17.26（2x tokens） | +1.38 绝对 / -1.92 倍 PPL |
| 训练效率（语言建模全规模） | 训练 FLOPs ↓ | 25%–31% 低于 Parcae | Parcae 同规模 | -25%~-31% |
| 训练效率（语言建模全规模） | 峰值训练内存 | 4.18 GB（恒定） | Parcae OOM 于 T=256 | O(1) vs O(T) |
| Sudoku-Extreme（27M，~1000 样本） | 准确率 ↑ | 91.4% | TRM 27M 0.0% / TRM 7M 74.7% / HRM 27M 55.0% / Transformer 27M 0.0% / DeepSeek R1 & Claude 3.7 & o3-mini-high 0.0% | +91.4% 绝对（vs 同规模 TRM 27M） |
| Maze-Hard（27M，~1000 样本） | 准确率 ↑ | 93.1% | TRM 27M 0.0% / TRM 7M 85.3% / HRM 27M 74.5% / Transformer 27M 0.0% / DeepSeek R1 & Claude 3.7 & o3-mini-high 0.0% | +93.1% 绝对（vs 同规模 TRM 27M） |
| DEQ 消融（60.3M on 1B tokens） | 验证 PPL ↓ | 34.05 | DEQ+独立 head 42.18 / DEQ+tied unemb. 38.74 | -8.13 / -4.69 PPL |
局限与改进
作者在文中坦承：one-step 隐式近似在 Sudoku/Maze 这类小数据、小模型任务中过于粗糙，TRM 报告显示用 one-step 替代原反向会使 Sudoku 准确率从 87.4% 跌到 56.5%，因此推理实验不得不改用 Phantom Gradient（k=3）方案，这意味着“内存 O(1)”在推理实验上不再严格成立。其次，论文虽然展示了 770M 击败 1.3B Transformer（2x tokens），但仍局限于 nanochat 训练流程和 FineWeb-Edu，未在更大规模（如 7B+）和更多数据混合上验证，能否在 RLHF / 指令微调后保持优势未知。第三，对 $T_{\max}$、$\varepsilon$、Anderson 窗口大小、attractor 块深度等超参的敏感度分析偏少，特别是对极小模型 7M 段（Sudoku 54.3%、Maze 46.7% 反而低于 7M TRM）的失败模式缺乏深入归因。最后，“均衡内化”目前只是经验观察，缺乏对其发生条件的严格理论刻画，也没有讨论当骨干容量过小或数据噪声过大时 $y_0$ 能否稳定地收敛到不动点附近。
独立分析的弱点
独立审视下有三个具体弱点。其一，推理实验的反向传播是“特批版”——用 Phantom Gradient（k=3）替代论文主推的 one-step，这削弱了“端到端 O(1) 内存”的卖点，论文需要一个统一方案在两个尺度上都成立，比如自适应切换 one-step / Phantom Gradient 的调度器。其二，Figure 7 显示 Parcae 在 T=0/T=1 时表现很差，而 Attractor Model 的 T=0 已经接近最优，这看似利好实则暗示 Attractor Model 实际是一颗“伪循环”模型——其循环结构主要在训练中扮演正则化/蒸馏角色，推理时基本退化为前馈网络；那么从循环 LM 的研究视角，它可能无法表达真正需要迭代的算法。其三，7M 推理结果（54.3%/46.7%）明显弱于 7M TRM（74.7%/85.3%），论文未给出原因分析——是不是吸引子块太小无法承载有效迭代、还是小模型下 Anderson 加速不够稳定、亦或是 $\varepsilon$ 在小模型上不合适——这些都需要进一步诊断。改进方向：(1) 引入 $\varepsilon$ 调度课程，从大 $\varepsilon$ 逐步收紧，让均衡内化和精确不动点之间有更平滑的过渡；(2) 在小模型推理任务上也报告 one-step 反向，并明确“内存 O(1)”与“任务性能”的 Pareto 曲线；(3) 对 7M 失败案例做激活/不动点残差分析，验证是否出现谱半径发散。
未来方向
作者明确点出的方向是“进一步研究均衡内化现象以及 Attractor Model 与有限循环的本质差异”，可延伸为三条线索。第一，把均衡内化形式化：能否证明在合适的初始化与损失下，骨干 $T_{\theta_b}$ 必然被拉向 $T_{\theta_a}$ 的不动点，从而获得新的训练动力学理论。第二，把该框架扩展到多模态/长上下文/多步推理 Agent：当前 $y_0$ 是单步预测，可探索让 $y_0$ 编码长期计划或工具调用状态，吸引子模块负责多步细化。第三，替代根求解器：当前用 Anderson 加速，未来可探索 Broyden、Newton-Krylov 甚至 learned solver（如轻量 halting policy）以进一步降低平均迭代次数，同时维持 O(1) 内存。还可以与 speculative decoding 结合——$y_0$ 视为“草稿”，$y^\star$ 视为“修正”，天然契合推测式解码的并行化结构。
复现评估
复现友好度较高。代码仓库 https://github.com/jacobfa/Attractor 与项目页 https://attractor-models.github.io/ 均已公开。语言建模实验完全基于 Karpathy 的 nanochat 训练框架和 FineWeb-Edu，140M/370M/770M 三档加 1.3B Transformer 对照的训练成本与 Parcae 论文同量级，单卡节点（多 A100/H100）即可复现；消融实验仅需 60.3M 模型 + 1B tokens，门槛更低。推理实验沿用 TRM 仓库的数据生成协议与 deep supervision 流程，且 Sudoku-Extreme/Maze-Hard 数据集均为开源。唯一偏重算力的是 770M 的多次规模实验和 Figure 5 的内存扫描（在 T=256 时 Parcae 已 OOM，需要较大 GPU 显存）。Anderson 加速、$T_{\max}$、$\varepsilon$ 等超参在论文及附录中给出，O(1) 内存结论的工程实现主要依赖不存储中间迭代激活，复现时需注意 PyTorch/JAX 的 checkpoint 设置是否正确关闭了对 solver 内部状态的保存。整体而言，对一个熟悉 nanochat 与 DEQ 的研究组，2–4 周内可复现主表结果。
论文图表
