通过误差控制动力学重思循环模型中的状态追踪 Rethinking State Tracking in Recurrent Models Through Error Control Dynamics
证明仿射SSM/线性注意力无法收缩状态子空间误差，主张误差控制而非表达力决定鲁棒性。
前置知识
循环模型与状态空间模型 (SSM)
循环网络以 $h_t=f(h_{t-1},x_t)$ 沿时间复用参数，含 Elman/LSTM/GRU。SSM (S4/Mamba/Mamba-3) 与线性注意力为仿射特例：$h_t=A(x_t)h_{t-1}+b(x_t)$，$A,b$ 输入依赖但不依赖 $h_{t-1}$。
本文的核心结论恰好作用于这一类仿射循环：理解了什么是'affine in state'，才能看懂 Theorem 1 为何把 SSM 与 Linear Attention 一并判为'不可纠正'，为何只有 state-dependent（如带 $\tanh$ 或 gating 且依赖 $h_{t-1}$）的循环才具备误差收缩能力。
状态追踪任务与有限群 (finite group)
状态追踪要求在线维护符号 $g_t$ 满足 $g_t = T(g_{t-1}, x_t)$，典型任务是输出$x_1 \cdot x_2 \cdots x_t$ 的运行乘积。本文在有限群上评测：$C_2$（奇偶）、$C_6$（6阶循环）、$S_3$（最小非阿贝尔群，顺序敏感）。
论文所有实验都建立在群状态追踪上：必须先理解群元素乘法、生成元 (generator) 与 running product，才能看懂为什么 $C_2$、$C_6$、$S_3$ 分别考察'可交换 vs 顺序敏感'以及'complexity/可分性'递增的难度梯度。
仿射 (affine) 与状态依赖 (state-dependent) 循环
仿射循环 $\partial h_t/\partial h_{t-1}$ 不依赖 $h_{t-1}$，典型形式$h_t=A(x_t)h_{t-1}+b(x_t)$。状态依赖循环相反，雅可比依赖 $h_{t-1}$，如 tanh RNN 的 $\tanh(Wh_{t-1}+W_xx_t+b)$。
这是本文判定'能否修正误差'的判据。读者必须区分：仿射意味着无法沿 $U$ 收缩扰动（Theorem 1），而状态依赖意味着可以选择性收缩——这是后续区分 saturation vs climb 失败模式、判断 $T_{cross}$ 是否可预测的根基。
符号子空间 (symbolic subspace) $U$ 与子空间分解
对每个符号状态 $g$ 取隐藏表示 $c_g \in \mathbb{F}^d$，定义符号子空间$U:=\mathrm{span}\{c_g-c_{g'}\}$。任意扰动分解为 $U$ 与 $U^\perp$ 投影，论文把可分性比 $q(t)$ 拆为 $q_U$ 与 $q_{U^\perp}$。
这是实验诊断的核心抽象。如果不清楚 $U$ 的几何含义，就无法理解 Figure 3 为什么'失败 = spread 从 $U^\perp$ 流入 $U$'——也读不懂 Theorem 1 想要证明的'仿射在 $U$ 上恒等'究竟意味着什么。
可分性比 (distinguishability ratio) $q(t)$ 与最近质心界
$R(t)=\mathbb{E}\|W_{out}(h_t-c_{g_t})\|^2$ 为类内散布、$M(t)=\min_{g \neq g'}\|W_{out}(c_g-c_{g'})\|^2$ 为类间分离、$q(t)=R(t)/M(t)$。$q(t)<\tau=1/2$ 时最近质心解码一定正确。
$q(t)$ 是连接 Theorem/Corollary 与下游精度的桥梁。Figure 2/4 全靠这一标量呈现，并用来定义 $T_{cross}=\min\{t: q(t) \ge 0.5\}$，没有这一概念就理解不了后续'相关性 r=0.87'在度量什么。
研究动机
近年来 RNN/SSM (Mamba、Mamba-3、Linear Attention、AUSSM) 的进展让研究者聚焦于'expressivity'——固定架构能否实现某类符号转移 $T: G \times X \to G$ (Merrill 2024、Sarrof 2024、Grazzi 2025、Karuvally 2025)。但同一架构下多项近期工作反复出现反例：Shakerinava 2026 证明 input-dependent complex-diagonal SSM 对 $S^3$ 两层sufficient，rollout 却追踪失败；Terzic 2025a 显示 diagonal selective SSM 在训练长度上拟合 regular-language emulation，外推却崩溃；AUSSM 理论对 Abelian 群足够，$C_2$ 与$C_6$ 上表现不均匀。表达力足够并不必然带来稳健追踪——现有理论只刻画'能否表示'，对'运行时是否仍保持正确'束手无策，导致架构选优只能靠试错。
本文的目标是本文明确引入第二条轴——误差控制 (error control)：隐藏状态在区分符号状态的子空间方向上的漂移动力学。作者希望在仿射循环（包括 SSM 与 Linear Attention）这一大类模型上严格证明：(a) 一旦它精确实现某个保态 (state-preserving) 的符号转移，则在状态分隔子空间 $U$ 上的返回映射 $F_s$ 必为恒等 (Theorem 1)，因此无法选择性收缩扰动；(b) 在此约束下，鲁棒追踪的长短由累积误差而不是表达力决定，并由可分性比 $q(t) = R(t)/M(t)$ 越过阈值 $\tau = 1/2$ 的时刻 $T_{cross}$ 定量刻画 (Corollary 1)。最终目标是将'架构 expressivity'与 'robustness' 解耦，建立一个可显式预测失败 horizon 的误差动力学框架。
与已有工作不同的是，现有的可表达性文献和最近的现象学观察都把'误差控制'当成黑箱或一笔带过。本文切入角度是在形式上引入两条互补工具：(1) 状态分隔子空间 $U$ 上的代数刻画，把'affine 模型无法修正误差'翻译成一个关于雅可比的具体定理 (Theorem 1: $A_s|_U = I$)；(2) 可分性比 $q(t)$ 与最近质心界 $\tau = 1/2$，提供一种'可度量、可预测'的判据 (Corollary 1) 并实证其跨架构一致 (113 个 S3 模型上 Pearson $r=+0.87$, $p<10^{-30}$)。这两个工具组合起来把鲁棒追踪从'expressivity 是否够'重新定位到'误差是否被控制'，并系统区分了 saturation（一上来即超阈值）与 climb（阈值前增长线性）两种 affine 失败模式。
核心方法
方法分两层。直觉上，作者把状态追踪可靠性类比为'能否修正隐藏状态被推偏后的痕迹'：稳健模型应在区分各符号状态的子空间方向上具备吸引子，使扰动自动收缩到正确表示。技术上：(1) 用代数办法对仿射返回映射 $F_s(h)=A_s h + b_s$ 在状态分隔子空间$U$ 上的行为给出闭式结论 (Theorem 1)，再用扰动分析严格证明无法收缩；(2) 在仿射约束下导出累积误差 $e_U(t)=e_U(0)+\sum\eta_j$ 的递推并据此推出 $T_{cross}\approx\tau M /\|W_{out}\bar\eta\|$ (Corollary 1)；(3) 在 $C_2$、$C_6$、$S_3$ 群追踪任务上验证 8 个仿射与 2 个状态依赖模型，并用扰动恢复 (Figure 1)、$q(t)$ 演化(Figure 2)、子空间分解 (Figure 3)、$T_{cross}$ 与 $m_p$ 相关性 (Figure 4) 四套诊断一致验证。
本文的核心创新是把'能否修正误差'形式化为判别'仿射 vs 状态依赖'的几何条件，并配套可量化指标 $q(t)$ 与 $T_{cross}$。具体地，三点本质区别于既有的可表达性文献：(1) 证明一个反直觉的恒等式——若仿射 $F_s$ 把每个 $c_g$ 都还原，则 $F_s$ 在分隔这些 $c_g$ 的子空间 $U$ 上必为恒等 ($A_s|_U = I$)，因此既保留状态又不能收缩误差，二者不可兼得；(2) 提出可分性比 $q(t) = R(t)/M(t)$ 与最近质心界 $\tau = 1/2$，把'还能不能解出来'翻译成一个数值信号，并据此预测 $T_{cross}$；(3) 在 113 个 $S_3$ 模型上把 $T_{cross}$ 与 max-passing length $m_p$ 的 log-log 相关性量化到 $r = +0.87$ ($p = 6.9 \times 10^{-34}$)，从而把 $T_{cross}$ 由理论标量升级为可预测下游失败的实证代理量。
方法步骤详情
分五段。一、抽象：$h_t=\phi(g(h_{t-1},x_t)\odot A(x_t)h_{t-1}+b(x_t))$；仿射对应 $g\equiv 1$、$\phi(z)=z$、$\partial h_t/\partial h_{t-1}$ 不依赖 $h_{t-1}$。二、$U:=\mathrm{span}\{c_g-c_{g'}\}$。三、Theorem 1：仿射 $F_s$ 必有 $A_s|_U=I$，故 $F_s(c_g+\delta)-F_s(c_g)=\delta$，仿射既精确实现 $T_s$ 又无法在 $U$ 收缩；状态依赖仅需局部 Jacobian $\le 1$。四、Corollary 1：$\tilde F_s=F_s+\varepsilon$，$e_U(t)=e_U(0)+\sum_{j<t}\eta_j$，$T_{cross}\approx\tau M/\|W_{out}\bar\eta\|$。五、实验：curriculum 60、外推 100–1000，$m_p$ 为 acc $\ge 90\%$ 的最大 $L$。
技术新颖性
四点新颖性。第一，把误差控制提升为与表达力并行的独立维度，给出闭式定理 (Theorem 1: $A_s|_U=I$)，把'SSM/Linear Attention 不能纠正误差'升级为代数不可能性。第二，用 $q(t)=R(t)/M(t)$ 与最近质心界$\tau=1/2$ 把稳健性量化成可预测标量 $T_{cross}$。第三，把失败模式二分：saturation (Mamba/Mamba-3 一开始即超阈) 对应 $R(0)/M(0)$ 太大；climb (Negative Mamba/Token-gated RNN 线性增长后过阈) 对应$T_{cross}\approx\tau M/\|W_{out}\bar\eta\|$。第四，把 $q(t)$ 拆为 $q_U$ 与 $q_{U^\perp}$，实证 affine 失败时误差流入 $U$、状态依赖将其锁在 $U^\perp$；113 个 $S_3$ 模型 Pearson $r=+0.87$ ($p=6.9\times 10^{-34}$)为'误差动力学主导 robustness'提供强统计证据。
实验结果
$C_2$、$C_6$、$S_3$ 上对比 8 仿射与 2 状态依赖循环，curriculum 60、外推至 1000。(1) Table 2：tanh/State-gated RNN 全 1000；Mamba 全 $\le 60$ 或失败；Negative Mamba $C_2$、Token-gated RNN $C_2$/$S_3$ 达 1000。(2) Figure 1：状态依赖 $\|e_t\|/\|e_0\|$ 收缩数个量级，Token-gated RNN 反放大。(3) Figure 2：saturation vs climb 两种轨迹，$T_{cross}$ 总先于 $m_p$。(4) Figure 3 反转证明'失败 = 误差流入 $U$'。(5) Figure 4：113 个 $S_3$ 模型 Pearson $r=+0.869$ ($p=6.9\times 10^{-34}$)，$m_p$ 处 $q$ 中位数 0.91。(6) Table 3：tanh/ReLU/GroupSort k=2/max/min 全 1000。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| $C_2$ Parity 群追踪 (1 层) | max-passing length $m_p$（测试精度 ≥ 90% 的最大序列长度） | tanh RNN=1000, State-gated RNN=1000, Negative Mamba=1000, Token-gated RNN=1000, Simple AUSSM=300, Mamba=失败, Mamba-3=200, AUSSM=1000, Linear RNN=失败 | Mamba ($\le 60$)、Mamba-3 (200)、Linear RNN（失败）等多数仿射模型要么只能挺到训练长度、要么完全失败 | 状态依赖模型相对最强仿射基线在 $S_3$/复杂任务上差距大；$C_2$ 上多个 affine 也能跑到 1000，说明 $C_2$ 是序为 2 的边角案例（中性振荡仍可被二分解码容忍） |
| $C_6$ 6 阶循环群追踪 (1 层) | max-passing length $m_p$ | tanh RNN=1000, State-gated RNN=1000, Token-gated RNN=300, AUSSM=200, Mamba-3=100, Simple AUSSM=100, Negative Mamba=100, Mamba=失败, Linear RNN=失败 | Mamba $m_p$=失败, Mamba-3=100, AUSSM=200 | 状态依赖模型相对 Mamba-3/AUSSM/Linear RNN 上界 200 提高 5 倍（1000 vs 200）；仿射内 Token-gated RNN=300 相对 AUSSM=200 +50% |
| $S_3$ 对称群追踪 (2 层) | max-passing length $m_p$ | tanh RNN=1000, State-gated RNN=1000, Token-gated RNN=1000, Mamba-3=60, Simple AUSSM=100, Negative Mamba=200, Mamba=失败, AUSSM=失败, Linear RNN=失败 | Mamba=失败（完全失败）, AUSSM=失败, Mamba-3=60（只到 curriculum） | tanh/State-gated RNN=1000 vs 最强 affine Token-gated RNN=1000 持平，但 8 个 affine 中 6 个失败、3 个只到 curriculum (60)；论文把 S_3 视为误差控制最敏感的测试 |
| $S_3$ 仿射失败预测 (113 模型) | $T_{cross}$（首次 $q(t) \ge 0.5$）vs $m_p$ 的 log-log Pearson r | r=+0.869, $p = 6.9 \times 10^{-34}$ | 过去只能比较表达力是否够 (expressivity-only) | 提供首个可量化的'失败时刻预测器'，$T_{cross}$ 先于 $m_p$ 出现，bootstrap 95% CI 在 $m_p$ 处 $q \in [0.83, 1.07]$，阈值约 1 而非 0.5 |
| $S_3$ 子空间分解 (Negative Mamba 与 Token-gated RNN) | $q_U$ vs $q_{U^\perp}$ 的反转点 | 在 $m_p$ 附近从 $q_{U^\perp} > q_U$ 反转为 $q_U > q_{U^\perp}$，与 Theorem 1 预测一致 | tanh/State-gated RNN 全程 $q_U$ 受抑制 | 将'affine 失败'定位为'误差流入 $U$ 的过程'，并定量显示出切换时点与 $m_p$ 对齐 |
| $S_3$ 1 层非线性扫描 (固定 RNN 骨架换 $\phi$) | $m_p$ | tanh=1000, ReLU=1000, GroupSort k=2=1000, pointwise max=1000, min=1000 | affine=失败, LayerNorm=失败, sphere projection=失败 | 多个非线性均能跑满 1000 而 affine/纯归一化全部失败，说明关键不在非线性家族而在雅可比能否调制符号方向 (Section E.1) |
局限与改进
作者承认几个局限：(1) 实验集中在 $C_2$、$C_6$、$S_3$ 等生成元驱动的群追踪任务，更长 horizon 的更复杂组合结构 (hierarchical groups、context-free languages) 验证不充分；(2) 模型规模较小，未扩展至 LLM 级 SSM (Mamba-8B)；(3) 依赖 oracle 群元素 $g_t$ 离线计算质心 $c_g(t)$ 与 $q(t)$，真实长上下文语言建模中不可在线计算；(4) 阈值 $\tau=1/2$ 是最近质心充分条件，实际训练后 decoder 失败点更接近 $q\approx 1$（bootstrap 中位数 0.91），理论判据与实际判据存在常数 gap；(5) Theorem 1 只刻画'在 $U$ 上 $A_s=I$'，未量化 $U^\perp$ 上的收缩机制，状态依赖 Jacobian contractivity 要求需借助 Appendix E.1 单独讨论。
独立分析的弱点
独立分析仍有几处可改进。第一，$T_{cross}$ 与 $m_p$ 的相关 $r=0.87$ 仅在 $S_3$ 113 个 sweep上验证，未在更难的非阿贝尔群上重测。第二，作者给的反例说明 $F_a^2=\mathrm{id}$ 仍属中性输运，但并未给出'哪些 $A_s|_U$ 形状可让 affine 仍然鲁棒'的完整分类。第三，依赖 oracle 离线估计$q(t)$，推理时无法获得 ground truth $g_t$，未给出无标签代理量。第四，对 Negative Mamba/Token-gated RNN 这类能跑到 1000 的 affine，没给出'它们如何在 $U$ 上仍能撑这么久'的细致机制——误差方向是否走在 $U$ 的低秩子空间使 $\|W_{out}\bar\eta\|$ 小？第五，未把 Theorem 1 推广到 input-dependent $A(x_t)$ 情形，许多真实 SSM 输入依赖项可能恰好抵消 $A_s|_U=I$。
未来方向
几条未来方向。第一，把 Theorem 1 弱化到'部分 state-dependent'——SSM 中插轻量 tanh-only-on-$U$ 子块，研究'可证明可压缩 + 仍可高效训练'的折中架构。第二，用 lightweight linear probe 或对 hidden state 做 PCA 估计不依赖 oracle 的 $q(t)$，在线监测'何时即将出错'。第三，对 Negative Mamba/Token-gated RNN 等'撑得久' affine 做更细机制分析 (low-rank $U$ 结构、$\|W_{out}\bar\eta\|$随架构/尺度的变化)，并改造为'结构化松弛的半仿射'。第四，连接到 long-context bench (Needle-in-Haystack、LongBench、$\infty$-Bench) failure 分析；探索 Theorem 1 的代数对偶——'哪些 transfer function $\sigma$ 使仿射 SSM 破坏 $A_s|_U=I$'。
复现评估
复现成本中等。8 仿射 + 2 状态依赖循环，每架构 1/2 层 × {C2, C6, S3} × grid search (state dim、LR、schedule、3 seeds)，Appendix C 表 4 给出完整 grid，curriculum 至 60、外推至 1000；估计 1–4 块 A100 数小时。作者未显式声明开源代码 release，惯例会随 ICLR/ICML 最终版本公开。复现难度主要在三处：(1) AUSSM、Mamba-3 的 complex-valued diagonal unitary 实现细节需对照原论文；(2) Subspace diagnostics 需要 oracle 群元素 $g_t$，对 synthetic task 不难但需 separate pipeline；(3) $T_{cross}$ vs $m_p$ 相关性需 113 个独立 sweep。数据完全 synthetic，无外部数据。理论部分 (Theorem 1、Corollary 1) 可基于代数推导独立验证。
论文图表
