均衡推理器：通过学习吸引子实现可扩展推理

EqR：把迭代推理视为吸引子动力学，将 Sudoku 准确率从 2.6% 拉到 99.8%

前置知识

权重共享迭代模型（Weight-Tied Iterative Models）

指在多个迭代步中复用同一组参数的神经网络。与普通前馈网络堆叠不同层不同，它将同一模块反复施加在潜变量上：$z_{k+1} = f_{\theta}(z_k; x)$。代表性工作包括 Universal Transformer、HRM 和 TRM。这种结构天然地把"层数"变成"迭代步数"，从而把推理时的额外计算转换为沿潜变量轨迹的细化。

本文研究的所有模型（HRM/TRM/URM/EqR）都属于这一类，理解迭代步等价于"深度"是阅读正文的关键。

深度均衡模型与不动点（Deep Equilibrium / Fixed Point）

DEQ 把网络输出定义为 $z^{\star} = f_{\theta}(z^{\star}; x)$ 的不动点。它把无限深权重共享网络压缩为求解一个方程，本文沿用这一不动点语言但放宽要求：并不要求严格收敛到一个点，而要求轨迹进入"吸引子"——即在有限迭代下被反复应用 $f_{\theta}$ 拉入的稳定区域。

EqR 的核心诊断 $\|f_{\theta}(z;x) - z\|$ 正是 DEQ 残差。读懂它才能理解为什么"残差下降=正确率上升"。

测试时计算扩展（Test-Time Compute Scaling）

在推理阶段投入更多算力（更多采样、更长搜索、更多迭代）以换取更高准确率。两条正交轴：深度 D（单条轨迹的迭代步数）与广度 B（独立随机重启的条数），总计算量常用 NFE = D·B 度量。

本文所有 Fig.3、Tab.4、Tab.5 的实验都是在刻画这两个轴的扩展行为，是论文实验部分的骨架。

吸引子景观与吸引盆（Attractor Landscape / Basin）

把潜变量空间想象成有山有谷的地形，$f_{\theta}$ 的反复作用就像水往低处流。"吸引子"是低洼处的水汇聚点；"吸引盆"是会被它"吸住"的初始区域。正确解对应一个或多个"好的吸引子"，错误解对应"伪吸引子"，训练的目标就是改造地形让正确吸引子盆又大又稳。

这是 EqR 全文的统一语言（图 2、图 6），所有干预手段（RI、NI、ACT）都用"改变地形"来解释。

分段在线训练（Segmented Online Training, SOT）

把一条很长的迭代轨迹切成多段，每段算一次损失并立即做一次参数更新，下一段从更新后的潜状态继续。这与"末端单点损失 + 截断梯度"或"先攒所有锚点再统一更新"都不同，核心是把"参数更新"和"潜状态推进"在时间尺度上交替进行。

SOT 是把迭代深度从 16 推到 1024 仍能稳定训练的关键工程创新，是 Tab.8(c) 中 47.1% → 74.7% 飞跃的直接原因。

研究动机

现有的迭代推理模型（HRM、TRM、URM 等）虽然展示了"用更多迭代步换更高准确率"的潜力，但人们并不清楚这种扩展性为什么会出现、在什么条件下会失效。具体痛点有三：(1) 内部机制不透明——没人知道网络到底在潜变量空间里"想什么"，无法诊断额外迭代是否真的把状态推向正确答案；(2) 训练难以扩展——把迭代深度从 16 推到 1024 会让反向传播的 Jacobian 链条件数爆炸，普通前馈模型的 2.6% 准确率与 TRM 的 84.8% 之间存在巨大鸿沟，但二者的差距究竟来自权重共享、层级结构、还是截断/在线训练策略并不清楚（Tab.2 揭示：从 42 块前馈到 2 块权重共享 21 步，准确率从 2.6% 跳到 32.6%）；(3) 测试时扩展行为不稳定——不少近期工作观察到"测试时算力越多反而越差"（Pipis et al. 2025; Ghosal et al. 2025），说明在糟糕的训练配置下，加更多迭代甚至是有害的。

本文的目标是本文目标有三：(1) 为"迭代推理为什么能随测试时计算扩展"给出一个**可诊断的机制解释**——把推理视为潜变量空间中的不动点动力学，把"准确率随计算提升"对应到"轨迹收敛到任务对齐的吸引子"；(2) 基于此提出两个任务无关、轻量级的训练干预（随机状态初始化 RI + 路径噪声注入 NI），让权重共享模型天然具备可扩展的吸引子景观；(3) 在 Sudoku-Extreme 和 Maze-Unique 这两个长程约束满足基准上，把测试时扩展能力推到训练预算的 60 倍以上（16 步训练 → 1024 步推理，等价于 40,000+ 层），并通过 ACT 实现按难度自适应分配计算。

与已有工作不同的是，与已有工作的关键差异在于视角：DEQ 派系把"收敛"看作表征学习工具，关心固定点是否存在；HRM/TRM 派系把"收敛"看作训练经验，关心最终准确率。本文独特地引入"**景观对齐**"概念——不仅问"是否收敛到一个不动点"，更问"这个吸引子景观和任务度量景观是否对齐"。基于此，论文提出一个反直觉的设计取舍：放弃深度的端到端反向传播（梯度会爆炸），改用 SOT 让训练轨迹上的每个段都拿到新鲜的参数；引入 RI 不是为了覆盖更多数据分布，而是为了让 train 与 test 时的"重启分布"一致；引入 NI 借鉴 SAM 的"平坦极小值"思想，但作用对象从参数空间搬到状态空间。这一整套把"状态空间地形工程化"的思路，是先前工作没有系统给出的。

核心方法

EqR 的核心直觉是：把"反复跑同一个神经网络小块"理解为"在潜变量空间里迭代一个动力学系统"，让正确解成为这个动力学的稳定吸引子。训练时，模型的输入是未解出的数独/迷宫，输出是解，但中间维护一个潜变量 $z$，每次应用同一个权重共享的小网络 $f_{\theta}$ 更新它；训练目标就是改造这个 $f_{\theta}$ 的几何性质，让"残差 $\|f_{\theta}(z;x)-z\|$ 小"在潜变量空间里对应"解的损失小"。落到技术路线上：先用一份"5 步构造路径"把普通前馈网络（42 块）逐步改造为可扩展的权重共享迭代器（2 块 × 21 步），再加入 SOT 让 1024 步训练可行；接着在 16 步训练预算下，用 RI + NI 这两个干预把景观从"伪吸引子丛生"塑形成"正确吸引子又大又稳"；推理时启用两轴扩展——深度 D 把单条轨迹推到 1024 步让残差充分下降，广度 B=128 独立重启覆盖更多吸引盆；最后用 ACT 让简单题早停、难题多算。

EqR 与 TRM/HRM/URM 最本质的区别不在网络结构，而在**对训练目标的几何再诠释**。TRM 关心末端损失是否下降，HRM 关心双层潜变量是否协调，URM 关心残差监督的密度——它们都把权重共享当作"能算更久的引擎"，却没回答"为什么多算能更对"。EqR 的核心创新是引入**景观对齐诊断**：在 256 个样本上跑 512 个随机初始化，把轨迹用 PCA 投到二维，按序列级错误着色（Fig.6），由此把模型失败模式分成四类（无正确吸引子 / 正确与伪吸引子共存 / 正确吸引子盆很窄 / 正确吸引子盆大且唯一），并用每个类去预测"深度扩展"或"广度扩展"哪种更有效。基于此，论文提出 RI 解决的是模式 (c) 下的"盆难以到达"问题——让 train 与 test 共享同一重启分布；NI 借鉴 SAM 的"平坦极小值"思想但作用在潜变量空间——加噪声相当于在状态空间做扰动正则，强迫 $f_{\theta}$ 定义的吸引子盆是平坦的，对重启和扰动鲁棒。这一对干预把 EqR 在 16 步训练预算下，把 Maze-Unique 从 44.9% 拉到 82.2%——单凭权重共享结构根本做不到。

方法步骤详情

EqR 的完整推理-训练流程分四阶段：**第一阶段：构造可扩展的权重共享迭代器**。从 42 块 MLP-mixer 前馈网络（Sudoku）出发，按 Tab.2 的 5 步路径改造：(a) 把 42 块换成 2 块 × 21 次迭代，准确率 2.6% → 32.6%；(b) 引入截断梯度 + 末端损失 + 分离的 carried state，把深度从 21 步拉到 16×（每段 21 步），准确率 → 51.8%；(c) 改用 SOT，每段末尾立即做一次参数更新，下段从更新后的潜状态继续，准确率 → 74.7%；(d) 引入层级潜变量 $(z_H, z_L)$，$z_L$ 在每个外步内跑 6 次、$z_H$ 每 3 个外步更新一次，准确率 → 76.5%；(e) 加上 ACT 训练头，准确率 → 84.8%。**第二阶段：塑形吸引子景观**。在 TRM-style 训练上叠加两个任务无关的干预：RI——把每条轨迹的初始潜变量从固定的 $z_0$ 改为 $z_0 \sim \mathcal{N}(0, \sigma_0 I)$（$\sigma_H=1, \sigma_L=8$），覆盖更多盆；NI——把更新规则改为 $z_{k+1} = z_k + (1-\lambda) r_{\theta}(z_k;x) + \beta \varepsilon_k$（$\lambda=0.05, \beta=0.01, \varepsilon_k \sim \mathcal{N}(0, I)$），用阻尼+各向同性高斯噪声让局部动力学更平坦。**第三阶段：两轴推理扩展**。深度轴 D：单条轨迹的迭代步数从训练时的 16 推到推理时的 64 甚至 1024，相当于 42,000+ 等价层。广度轴 B：128 条独立随机重启轨迹，每条解出候选，按"残差最小"或"多数投票"聚合。Tab.4 显示 D=64, B=128 组合在 Sudoku 达 99.8%、Maze 达 93.0%。**第四阶段：ACT 自适应计算**。在 $z_H$ 上加一个 $\hat q_k = f_{\phi}(z_k)$ 的停止头，满足 $\hat q_k > \delta$ 即视为该样本已收敛，移出 batch 换新样本；用固定大小推理队列保持 GPU 利用率，Avg. NFE 在 D=1024 时从 1024 降到 58.7（17.4× 节省），准确率仅从 96.1% 降到 95.3%。

技术新颖性

技术新颖性体现在四个层面。**第一，概念层**：把 DEQ 的不动点语言和 HRM/TRM 的迭代训练结合，引入"景观对齐"作为可诊断的中间表征，这是之前工作没有给出的统一框架。**第二，算法层**：SOT 看似只是"分段更新"，但 Tab.8(c) 的 47.1% → 74.7% 飞跃证明它的本质是让"参数更新与潜状态推进"在时间尺度上交替——这一交替让后续 segment 是在"当前最新的算子"下生成的，而不是用陈旧参数下生成的状态去匹配目标。**第三，训练干预层**：RI 的新颖性不在"加随机性"（这是 dropout/数据增强的常规操作），而在于**匹配 train-test 重启分布**——训练时每条轨迹都独立采样 $z_0$，推理时也独立采样，从而避免分布漂移；NI 的新颖性是**首次在潜变量空间做扰动正则**，把 SAM 的"平坦极小值"思想从参数空间搬到状态空间。**第四，推理层**：把 Top-1 收敛（选残差最小的重启）作为聚合规则在 RI+NI 后才有效——Tab.8 数据暗示 baseline TRM 下残差最小可能对应伪吸引子，所以多数投票更稳；而 EqR 训练后的景观中残差与正确率强相关（$\Delta$PI 指标从 3.58% 降到 0.13%），于是 Top-1 收敛在 B=128 时反超多数投票。

**Figure 2**: Landscape alignment enables scalable and generalizable reasoning.

**Figure 4**: Controlled construction path from feedforward model to scalable iterative reasoner.

**Figure 6**: Four attractor landscape modes visualized by residual and task error.

实验结果

EqR 在 Sudoku-Extreme 和 Maze-Unique 两个受控基准上取得大幅领先：**主结果 Tab.1**：在 Sudoku 上 EqR 达 99.8%，相对 TRM 84.8% 提升 15.0pp，相对 URM 77.6% 提升 22.2pp，相对 HRM 55.0% 提升 44.8pp，相对 64 层前馈模型 2.6% 提升 97.2pp；在 Maze 上 EqR 达 93.0%，相对 TRM 44.9% 提升 48.1pp，相对 URM 51.4% 提升 41.6pp，HRM 和前馈模型则完全失败（0% 左右）。**构造路径 Tab.2**：从 42 块前馈（2.6%）到 2 块 × 21 步权重共享（32.6%）→ 加 SOT 推到 16× 深度（74.7%）→ 加层级（76.5%）→ 加 ACT（84.8%），每一步都贡献独立增益，参数始终只有 5.03M（vs 42 块前馈的 105.6M）。**景观塑形 Tab.3**：在 TRM 基线上叠加 RI+NI，Sudoku 从 84.8% → 86.4%，Maze 从 44.9% → 82.2%，其中 RI 单独已把 Maze 拉到 68.6%，说明覆盖正确盆是 Maze 任务的关键。**两轴扩展 Tab.4**：D=16, B=1 时 Sudoku 86.4% / Maze 82.2%；仅加深到 D=64 → 93.0% / 88.9%；再加广度 B=128 → 99.8% / 93.0%。**Pareto 热图 Fig.3**：广度 B 扩展在 D ≳ 4（≈ 168 层）之后才有效，揭示了"先有足够深度让轨迹能沉到盆里，再加重启才有意义"的深度-广度交互。**ACT 节省 Tab.5**：Sudoku-Lite 上匹配 92.99% 准确率时，EqR 比 baseline 少用 3.76× NFE，EqR+ACT 进一步少用 11.34× NFE；D=1024 时平均 NFE 从 1024 降到 58.7（17.4×），准确率仅损 0.8pp。**路径独立性 Tab.11**：$\Delta$PI(B=128) 在 Maze 上从 TRM 的 28.60% 降到 EqR+RI+NI 的 1.33%，表明重启间的预测一致性大幅提升。**泛化 Tab.14**：在 Mini-ARC 上 EqR 达 55.28%，比 TRM 48.35% / HRM 44.85% 都高；Sudoku-Extreme 改用 Transformer backbone 也从 72.0% → 74.7%（训练干预）→ 95.9%（推理扩展），证明收益不绑定特定 mixer。**5 个种子稳定性**：baseline 84.33 ± 0.59% vs EqR 86.18 ± 0.44%，EqR 略低方差。**数据集影响（App. C.2）**：在原始 Maze-1k（多解但单标签）上迭代模型的扩展性崩坏，引入 Maze-Unique 唯一最短路径版本后扩展性恢复，揭示任务标签的良定义性本身决定了吸引子景观能否被学到。

**Table 1**: Weight-tied iteration is critical for generalization.

**Table 2**: A clean construction path on Sudoku-Extreme.

**Table 3**: Learning favorable attractor landscapes.

**Table 5**: EqR with Adaptive Computation Time (ACT) on Sudoku-Lite.

**Table 8**: Training dynamics ablations.

**Figure 3**: Pareto heatmaps illustrating two-axis test-time scaling with iterations (depth) and stochastic trajectories from multiple initializations (breadth).

**Figure 7**: Test-time depth-scaling efficiency on Sudoku-Lite.

**Figure 8**: Breadth-scaling efficiency of aggregation rules on Sudoku.

查看结构化数据

任务	指标	本文	基线	提升
Sudoku-Extreme (9×9 数独极难版)	Exact accuracy (%)	EqR: 99.8 (D=64, B=128)	TRM 84.8, URM 77.6, HRM 55.0, 64层前馈 2.6	相对 TRM +15.0pp，相对前馈 +97.2pp
Maze-Unique (30×30 唯一最短路径迷宫)	Exact accuracy (%)	EqR: 93.0 (D=64, B=128)	TRM 44.9, URM 51.4, HRM 0.3, 16层前馈 0.0	相对 TRM +48.1pp，相对前馈 +93.0pp
Sudoku-Lite (Sudoku-Extreme 2048 子集)	Test-time compute efficiency (NFE @ 92.99% acc)	EqR+ACT: 21.2 NFE	Baseline (TRM): 240.9 NFE	11.34× 算力节省
Sudoku-Extreme (Transformer backbone)	Exact accuracy (%)	EqR + scaling: 95.9	Transformer baseline: 72.0	+23.9pp，证明迁移到不同 mixer
Mini-ARC (抽象推理)	Exact accuracy (%)	EqR: 55.28	TRM 48.35, HRM 44.85	比 TRM +6.93pp
Sudoku-Lite ACT 效率	Avg. NFE @ D=1024	EqR+ACT: 58.7 NFE (95.3% acc)	Without ACT: 1024 NFE (96.1% acc)	17.4× NFE 节省，准确率仅损 0.8pp

局限与改进

作者承认的局限与可观察的局限可分四块。**(1) 任务范围窄**：实验集中在 Sudoku-Extreme 和 Maze-Unique 两个**合成的、长程约束满足**的基准。Mini-ARC 上的 55.28% 虽优于 TRM/HRM，但绝对水平仍很低；论文未在自然语言推理、数学竞赛、代码生成等开放域任务上验证扩展性是否仍成立。**(2) 训练-推理差距大**：训练最大 16 步、推理推到 1024 步（64× 训练深度）。这种"训练短、推理性"的组合依赖 SOT 提供的中等深度监督去外推到极深，但论文没有刻画"训练深度 vs 推理深度"的最大安全比例是多少。**(3) 任务良定义性假设**：App. C.2 的 Maze-1k 失败案例表明，当任务标签存在多解但训练用单标签时，吸引子景观无法形成稳定结构。这意味着 EqR 的成功依赖于"任务标签唯一且正确"，而在实际开放任务中常违反。**(4) 自主观察的局限**：超参 $\sigma_H, \sigma_L, \beta, \lambda$ 是网格搜索得到（$\sigma_H=1, \sigma_L=8, \beta=0.01, \lambda=0.05$），不同任务需要不同配置；Maze-Unique 不得不"主动缩小模型容量"（从 2 层降到 1 层、隐藏维从 512 降到 128）才能让实验现象清晰——这意味着论文是在"故意让模型变弱"的前提下展示扩展性收益，对实际大模型部署的指导价值有限。

独立分析的弱点

**弱点 1：RI+NI 的超参敏感**。Tab.12 的噪声尺度扫描显示 $\beta=0.01$ 与 $\beta=0.1$ 在 Sudoku 上差距仅 0.1pp，但 Tab.10 的可学习初始化（83.99%）反而略低于简单高斯（86.03%）。这暗示 RI+NI 的设计点很"脆"，需要一个稳定的超参选择程序。**改进方向**：把 RI 的 $\sigma_0$ 也作为可学习量（per-task），或借鉴 $\beta$-VAE 的退火策略：训练初期 $\beta$ 较大帮助探索，后期衰减到 0 保留确定性推理。**弱点 2：SOT 的内存优势未充分利用**。Tab.9 给出 SOT 单步的 cost 与 detached carry 相同（$c_{\ell} + c_B + c_u$），但论文没有充分利用"分段"的并行性。**改进方向**：把同一 batch 内不同样本分配到不同段并行执行，让 SOT 的"分小段"天然适配大批量训练，把 batch size 推到 4096+ 而不爆显存。**弱点 3：Top-1 收敛假设强**。Tab.8 与 Fig.8 的分析显示 Top-1 收敛只在 RI+NI 之后才优于多数投票，但**没有理论保证**：残差小可能对应稳定但不正确的伪吸引子。**改进方向**：把"残差最小"改为"残差小 + 预测置信度高"的复合选择，或在残差接近时退回到多数投票——一个简单的混合策略可在不同训练配置下保持鲁棒。**弱点 4：ACT 的阈值 $\delta$ 是固定的**。论文用了"学习停止头"，但停止阈值仍是标量常数。**改进方向**：让 $\delta$ 也按任务难度自适应（如 Sudoku 用 0.5，Maze 用 0.7），或在训练时用课程学习——先学"何时该停"再学"怎么停"。**弱点 5：吸引子景观只可视化在 Sudoku**。Fig.6 的 4 种景观模式基于 256 个 Sudoku 样本 × 512 个初始化，但论文没有把同样的诊断搬到 Maze 或 Mini-ARC 上验证 4 种模式是普适分类。**改进方向**：在多个任务上做 PCA 可视化，看 (b)（正确与伪共存）和 (c)（窄盆）哪个更主导，并据此设计任务特定的 RI/NI 强度。

未来方向

**作者提出的方向**：(1) 寻找更广的迭代推理模型应用场景，特别是自然语言和代码生成；(2) 探索不同 RI/NI 参数化（如可学习的、非高斯的）以替代固定高斯；(3) 拓展到更大的模型容量（论文中 Maze 主动缩小模型）。**基于结果可延伸的方向**：(1) **任务良定义性诊断**：App. C.2 揭示了"任务标签是否唯一"决定扩展性能否成立。可以构造一个"标签多重性度量"，在训练前预测某个任务能否被 EqR 风格方法解决；(2) **多模态吸引子景观**：本文只分析单模态潜变量，但 Coconut / SoftCoT 等水平方向方法可与 EqR 垂直方向方法正交组合——把 latent thought 视为多个并行的吸引子景观，用 EqR 风格训练塑形每一个；(3) **吸引子层面的可解释性**：Fig.13 的定性轨迹显示"擦除-重试"行为，可以把潜变量轨迹作为模型"思维过程"的可视化工具，反向用于诊断模型的失败模式；(4) **理论保证**：App. A.1 给出了"残差 → 正确率"的局部稳定性证明（公式 7），但需要局部 L-Lipschitz < 1 和 margin > 0，未来可以给出端到端的学习率/深度/数据量的量化界；(5) **跨尺度迁移**：从 5.03M 参数的 9×9 Sudoku 推到 LLM 尺度的隐式推理，需要回答"1024 步外推"在十亿参数模型上是否仍稳定——这或许是通向"无推理 token 的可扩展思维链"的关键。

复现评估

**开源情况**：代码仓库 `https://github.com/locuslab/EqR` 公开，论文承诺释放完整训练脚本。**数据集**：Sudoku-Extreme 直接复用 HRM 仓库（https://huggingface.co/datasets/sapientinc/sudoku-extreme）共 1000×1001 训练样本和 422,786 验证样本；Maze-Unique 是作者自构的开源数据集，1000 训练 + 1000 测试，需要自行生成（脚本预计随代码一起发布）。**算力需求**：Tab.17 显示训练在 768 global batch size 下 50k 步（Sudoku）或 100k 步（Maze），单个模型参数仅 5.03M / 2.64M，按 8×H100 / A100 量级的单机多卡可在 1-2 天内复现单点；不过要进行 Fig.3 的二维网格扫描（D × B 联合），可能需要 50-100 个独立 run，**总成本约 200-500 GPU·小时**。**复现难度**：中等偏低。架构与 TRM 完全对齐（用 TRM 的 2 层 × 21 步作为 Sudoku 基线），超参 $(\sigma_H=1, \sigma_L=8, \beta=0.01, \lambda=0.05)$ 已直接给出；Adam-atan2 优化器（LR 1e-4, weight decay 1.0, EMA 0.999, 2k 步 warmup）也是 TRM 的标准配置。**潜在风险点**：(1) SOT 的段长和段数对结果敏感（Tab.8(c) 47.1% vs 74.7%），实现时需精确复现"末端局部反向 + 立即更新 + 分离 carried state"的语义；(2) RI 的初始分布需要按 (σ_H, σ_L) 严格区分两层，σ_L=8 这个较大值对结果影响显著（见 App. A.3）；(3) 论文未提供方差条形图，单个 run 的复现可能落在 95% CI 之外。

均衡推理器：通过学习吸引子实现可扩展推理 Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning