Sessa：选择性状态空间注意力 Sessa: Selective State Space Attention
将注意力机制嵌入循环反馈通路，构造多跳路由的Sessa解码器，理论上获得ℓ^-β的多项式记忆衰减与灵活选择性检索能力。
前置知识
自注意力机制（Self-Attention）
Transformer的核心组件，对当前位置的查询向量 $q_t$ 与可见上下文中的所有键向量 $k_j$ 计算相似度，经softmax归一化得到权重 $\alpha_{t,j}$，再用这些权重对值向量 $v_j$ 做加权求和得到输出。在Sessa中 $y_t = \sum_{j \le t} \alpha^{\mathrm{fwd}}_{t,j} v_j$。
Sessa的设计起点是注意力，本文需要用它作为对比基线（一跳直接读取）来理解为何将其嵌入反馈通路能带来质变。
状态空间模型（SSM / Mamba）
通过隐状态 $h_t = A_{t} h_{t-1} + B_{t} x_t,\ y_t = C_{t} h_t$ 实现序列建模，理论上可线性扩展到长上下文。'选择性SSM'（如Mamba）使 $A_t, B_t$ 输入相关，可通过将离散化步长 $\Delta_t$ 设为0实现'冻结时间'来保留长程信息。
Mamba是本文的主要对比基线，其'失败冻结时间'（failed freeze time）是导致指数遗忘的关键假设，理解它是看懂Proposition 5和Corollary 4.6的前提。
因果下三角求解（Causal Lower-Triangular Solve）
形如 $(I - B) s = f$ 的线性方程组，其中 $B \in \mathbb{R}^{T \times T}$ 是严格下三角矩阵（即下三角部分为0、对角线为0）。它对任何 $f$ 有唯一解，可通过前向替换（forward substitution）$s_t = f_t + \sum_{j<t} B_{t,j} s_j$ 高效计算；Sessa混合器的核心就是这种'对每个特征维度独立求解的下三角系统'，用batched solve_triangular/TRSM核即可在GPU上加速。严格下三角矩阵的另一个关键性质是幂零性：在horizon $T$ 上 $B^T = 0$，因此其逆可以展开为有限和 $(I - B)^{-1} = \sum_{k=0}^{T-1} B^k$，按'跳数' $k$ 分解贡献——正是这一分解直接对应了Sessa的'多跳多路径'特性，也正是其多项式衰减律的数学根源。
这是Sessa的'反馈通路'的数学实现：把反馈权重和反馈增益抽象为严格下三角矩阵后，下三角矩阵的幂零性使 $(I-B)^{-1} = \sum_{k=0}^{T-1} B^k$，从而可以按'跳数'分解贡献，正是这一分解直接对应了Theorem 8的 $O(\ell^{-\beta_{\mathrm{tail}}})$ 多项式衰减律。
端到端雅可比矩阵（End-to-End Jacobian）
在输入 $x$ 处对模型输出求偏导得到的 $J^{\mathrm{e2e}}_{t,\tau}(x) = \partial y_t / \partial x_\tau$，衡量位置 $\tau$ 的输入对位置 $t$ 输出的灵敏度。在长上下文分析中，固定路由的雅可比（值雅可比 $J^{\mathrm{attn}}$、求解雅可比 $J^{\mathrm{sessa}}$、脉冲雅可比 $J^{\mathrm{ssm}}$）和深度端到端雅可比分别用于机制诊断与跨层组合。
本文的衰减律、稀释分析、选择性检索定理都建立在一系列雅可比边界上，是连接架构与理论的桥梁。
BIBO稳定性
有界输入有界输出（Bounded-Input Bounded-Output）稳定性，指输入 $\|x\|_{\infty,2} \le R$ 能保证输出 $\|\mathcal{N}(x)\|_{\infty,2} \le C_R < \infty$ 的性质。对Sessa而言，只需假设反馈增益 $|\gamma_t| \le \rho < 1$（由 $\gamma_t = \tanh(\cdot)$ 自动满足）即足以保证 $(I - B^{\mathrm{fb}})$ 的逐行和小于 $\rho < 1$，从而三角求解 $(I - B^{\mathrm{fb}})s = f$ 在 $\ell_\infty$ 范数下有界，输出 $s$ 不会因反馈迭代而爆炸。这是Lemma 4.2和Proposition 2的核心。
BIBO稳定性是Sessa反馈通路不爆炸的前提，也是为何反馈增益 $\gamma_t = \tanh(\cdot)$ 被设计为有界于 $(-1, 1)$ 而非任意实数的原因；如果 $|\gamma_t|$ 可以任意大，反馈通路的迭代就会放大噪声、无法收敛成有界信号，整个架构也就无法稳定训练。
研究动机
现代序列建模的两大主流——Transformer自注意力和Mamba类状态空间模型——在长上下文上各有难以克服的失败模式。注意力在'扩散'（diffuse）路由下会出现'稀释'（dilution）现象：当softmax权重无法集中在少数相关位置时，单个token的权重 $O(1/|\mathcal{W}_t|)$，对老旧token来说其贡献退化为 $O(1/\ell)$，因而是查询时间控制的 $1/t$ 稀释而非多跳遗忘机制。Mamba及其变体（包含Mamba-2）则通过'冻结时间'（freeze time, 让 $\Delta_t \approx 0$ 保持 $A_t \approx I$）来抵抗遗忘，但当无法在相关区间维持长'保留走廊'时，状态转移矩阵连乘 $\prod_{r=\tau+1}^{t} A_{r} \le e^{-\lambda c_\Delta \ell}$，呈现指数衰减 $O(\kappa^\ell)$。这两种机制在很多真实长上下文任务（如多段风格识别SymbolSoup、带结构性干扰的多查询关联回忆Diffuse MQAR）中恰好会落到'锐利检索不可用'的失败区：噪声掩盖了相关token，选择信号弱可分，导致Transformer的注意力散开、Mamba的离散化步长被强制增长。
本文的目标是本文提出Sessa（Selective State Space Attention），一个把'输入相关的注意力'嵌入'循环反馈通路'的解码器宏架构。其目标是在'匹配失败'（matched breakdown）这一统一设定下——即锐利检索（sharp retrieval）对Transformer注意力与Mamba状态空间都不可用时——构造一种新的序列混合器：它保留自注意力的'输入相关直接读取'（input-dependent direct read）能力，又通过反馈通路把单跳读取扩展为'多跳'（multi-hop）累积——让单个token对未来的影响经过多个内部路由步聚合，从而既不像Mamba那样在'保留走廊'被破坏时落入指数衰减，也不像Transformer那样因softmax质量分散而被 $1/\ell$ 稀释。具体地，作者希望Sessa在长程噪声任务上把对老旧token的敏感度从 $O(1/\ell)$ 提升到 $O(\ell^{-\beta_{\mathrm{tail}}})$、$\beta_{\mathrm{tail}} \in (0,1)$，并通过深度堆叠进一步实现'灵活选择性检索'（flexible selective retrieval）：不仅能保持恒定影响（frozen profile），甚至能随距离增加影响（increasing profile），而这是固定深度的diffuse Transformer和failed-freeze-time Mamba均被证明无法做到的。
与已有工作不同的是，已有关于在循环/反馈中引入注意力的工作（Transformer-XL、Feedback Transformer、Block-Recurrent Transformer等）多从架构特异性角度出发，没有把'上下文如何产生路由/混合系数'与'这些系数如何随时间组合'两件事分开抽象。本文独到的切入角度是提出一个'路由诱导的系统视角'：把routing（混合系数的产生，如 $\alpha^{\mathrm{fwd}}, \alpha^{\mathrm{fb}}$）和system（一次直接读取 vs 通过反馈反复组合）严格区分，据此将self-attention归为'一跳、输入相关'的direct-read系统、将Mamba归为'多跳但单链'的反馈系统、把Sessa归为'多跳且多路径'的反馈系统——这一系统论框架直接推出了多项式衰减律 $O(\ell^{-\beta_{\mathrm{tail}}})$ 与'灵活选择性检索'（flexible selective retrieval）的存在性定理，区别于以往工作仅给出经验性改进。
核心方法
Sessa的核心想法是把'注意力放到反馈循环里'。具体地，每个token位置先用一次标准的因果自注意力（forward attention）得到'一次性读取'的信号 $f_t = \sum_{j \le t} \alpha^{\mathrm{fwd}}_{t,j} v_j$，再用一个针对严格过去 $j < t$ 的注意力计算反馈权重 $\alpha^{\mathrm{fb}}_{t,j}$，把它们与一个由输入决定的标量增益 $\gamma_t = \tanh(\langle \bar{a}_t, w_\gamma \rangle + b_\gamma) \in (-1,1)$ 相乘得到反馈路由矩阵 $B^{\mathrm{fb}}$ 的元素 $[B^{\mathrm{fb}}]_{t,j} = \gamma_t \alpha^{\mathrm{fb}}_{t,j}$。关键一步是求解一个因果下三角线性系统 $(I - B^{\mathrm{fb}}) s = f$：在数学上等价于前向替换 $s_t = f_t + \gamma_t \sum_{j<t} \alpha^{\mathrm{fb}}_{t,j} s_j$，可以用batched triangular solve（如TRSM核）高效实现。结果 $s$ 既是Sessa混合器的输出，也是下一个位置（间接地）会读取的状态。由于下三角矩阵在有限horizon $T$ 上是幂零的（$[B^{\mathrm{fb}}]^T = 0$），$(I-B^{\mathrm{fb}})^{-1} = \sum_{k=0}^{T-1} [B^{\mathrm{fb}}]^k$，即 $s$ 是'对 $f$ 施加 $k$ 跳反馈步'的贡献之和——这是Sessa与单跳自注意力的本质区别，也是后续多项式衰减律的数学根源。整体结构上Sessa采用'门控-MLP风格'的单块：LayerNorm → 切分 $a, g$ → GELU($a$) → Mixer → 与 $g$ 元素相乘 → 残差连接，区别于Transformer交替堆叠自注意力和FFN的惯例。
已有工作（Transformer自注意力、Mamba2的SSD框架）都把'路由系数的产生'与'路由系数在时间上的组合方式'绑定到具体架构中。Sessa的关键创新是把这两个维度拆开独立设计：(1) 用注意力产生输入相关的反馈权重 $\alpha^{\mathrm{fb}}$（保持自注意力的选择性优势）；(2) 把这些权重按'反馈通路'反复组合（保留RNN/SSM的累积优势）。由此在单层内形成'多跳且多路径'的路由图——一个固定源token $\tau$ 对目标位置 $t$ 的影响沿着大量长度从1到 $T-\tau$ 的有向路径聚合，每条路径贡献一次 $\gamma$ 与 $\alpha^{\mathrm{fb}}$ 的乘积。在扩散路由下，单条路径的幅度小（$O(1/t)$ 级别），但路径数随 lag $\ell$ 多项式增长，于是求和后的总影响表现为 $O(\ell^{-\beta_{\mathrm{tail}}})$ 的多项式衰减，渐近地慢于 $1/\ell$（Transformer的稀释率）和指数（failed-freeze-time Mamba），也慢于Sessa自己当反馈关闭时的零尾。
方法步骤详情
Sessa的前向计算按token时间步 $t$ 严格因果进行。输入 $x \in \mathbb{R}^{B_{\mathrm{batch}} \times T \times D}$ 先做LayerNorm $\tilde{x} = \mathrm{LN}(x)$，再切分线性投影 $(a, g) = \mathrm{split}(\tilde{x} W^{\mathrm{in}} + b^{\mathrm{in}})$，$a$ 经GELU激活为 $\bar{a}$。混合器Mixer对 $\bar{a}$ 计算五个线性投影：$q^{\mathrm{f}}_t = \bar{a}_t W^Q_f$、$k^{\mathrm{f}}_t = \bar{a}_t W^K_f$、$v_t = \bar{a}_t W^V$、$q^{\mathrm{b}}_t = \bar{a}_t W^Q_b$、$k^{\mathrm{b}}_t = \bar{a}_t W^K_b$。前向分支对 $(q^{\mathrm{f}}, k^{\mathrm{f}})$ 应用RoPE并在 $j \le t$ 上做因果softmax得到 $\alpha^{\mathrm{fwd}}_{t,j}$，加权求和得 $f_t = \sum_{j \le t} \alpha^{\mathrm{fwd}}_{t,j} v_j$。反馈分支在严格过去 $j < t$ 上对 $(q^{\mathrm{b}}, k^{\mathrm{b}})$ 做softmax得到 $\alpha^{\mathrm{fb}}_{t,j}$，再用一个标量门 $\gamma_t = \tanh(\langle \bar{a}_t, w_\gamma \rangle + b_\gamma) \in (-1,1)$ 形成反馈路由矩阵 $[B^{\mathrm{fb}}]_{t,j} = \gamma_t \alpha^{\mathrm{fb}}_{t,j}$（$j \ge t$ 为0）。对每个特征维度独立求解下三角系统 $(I - B^{\mathrm{fb}}) s = f$（等价前向替换 $s_0 = f_0$, $s_t = f_t + \gamma_t \sum_{j 0$）廓形。
技术新颖性
技术上Sessa的新颖性体现在三方面。第一，'注意力嵌入反馈通路'这一具体构造的'多跳+多路径'特性是新颖的：以往反馈类架构（Transformer-XL、Feedback Transformer、Bulk-Recurrent Transformer、Block-Recurrent Transformer）虽然都引入了某种循环，但Sessa是第一个明确把'反馈路由算子'设计为'严格下三角矩阵 $(I - B^{\mathrm{fb}})^{-1}$'从而形式化其'k跳贡献求和'展开并据此推出多项式衰减律的工作。第二，理论部分给出'匹配失败'（matched breakdown）下的统一比较范式：在注意力（diffuse softmax）和Mamba（failed freeze time）都不可用时，给出Transformer的 $O(1/\ell)$ 稀释、Mamba的 $O(c\kappa^\ell)$ 指数遗忘与Sessa的 $O(\ell^{-\beta_{\mathrm{tail}}})$ 多项式尾——这是首个把三种架构放到同一'路由图'框架下做严格比较的结果。第三，灵活选择性检索定理（Theorem 12）证明Sessa在统一廓形参数 $\nu_k(\beta) = k(1-\beta)-1$ 下可同时实现衰减、冻结、递增三种廓形，并给出对应'匹配类的不可能性'（Proposition 13：固定深度的diffuse Transformer和failed-freeze-time Mamba无法实现 $\nu \ge 0$ 的廓形）。这是一个定性的而非定量的分离，说明Sessa在结构上突破了'一跳或单链'的局限。
实验结果
实验部分在匹配参数量、优化器、训练步数的前提下，对比Sessa、Transformer和Mamba2在两个长程合成任务和一个短程语言建模任务上的表现（每个实验取2个种子的均值与标准差）。在SymbolSoup（带3段噪声分隔、含两个不同风格块的分类任务，标签是所用风格对）上，Sessa以 0.8601 ± 0.0016 的分类准确率显著领先，Transformer为 0.7921 ± 0.0070，Mamba2只有 0.0500 ± 0.0000——与5类随机猜测水平相当，说明Mamba-2在该任务上完全未收敛，作者将这一失败解释为'失败冻结时间'导致指数衰减使远距离信息被擦除。在Diffuse MQAR（将经典MQAR扩展为多token键、带共享前缀与错配后缀的结构性干扰、训练时见到的检索 lag 与测试时最长 lag 相差 4 倍）上，Sessa取得 0.1541 ± 0.0071 的 token 准确率，Transformer 0.1222 ± 0.0003，Mamba2 0.0021 ± 0.0000；Mamba2 几乎不学，长程检索被噪声淹没，而Sessa较Transformer绝对提升约 3.2 个百分点（约 26% 相对提升）。在SimpleStories短上下文语言建模上，Transformer反而最好（困惑度 7.6701 ± 0.0313，Top-1 50.441 ± 0.059%），Mamba2居中（7.7229 ± 0.0207，50.299 ± 0.046%），Sessa稍逊（8.3700 ± 0.0482，49.144 ± 0.081%）；作者做了一项关键消融——把Sessa的反馈分支去掉而保留其余架构——结果显示消融模型把困惑度从 8.3700 降到 8.0902、Top-1 从 49.144% 提到 49.648%，说明在短上下文下反馈通路'分到了容量却用处不大'，而Sessa真正的优势集中在长上下文（与表1一致）。整体上，结果呼应了理论：长程任务的赢家是Sessa，短程任务上Transformer仍然是更'直接'的选择，消融澄清了Sessa的代价-收益结构。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SymbolSoup 分类准确率（长程合成任务） | Accuracy（↑） | 0.8601 ± 0.0016 | Transformer 0.7921 ± 0.0070；Mamba2 0.0500 ± 0.0000 | Sessa 较 Transformer 绝对 +6.80 个百分点（相对 +8.6%），Mamba2 完全未收敛 |
| Diffuse MQAR 检索 Token 准确率（长程关联回忆） | Token Accuracy（↑） | 0.1541 ± 0.0071 | Transformer 0.1222 ± 0.0003；Mamba2 0.0021 ± 0.0000 | Sessa 较 Transformer 绝对 +3.2 个百分点（相对 +26%），Mamba2 几乎为零 |
| SimpleStories 短程语言建模 | Perplexity（↓） | 8.3700 ± 0.0482 | Transformer 7.6701 ± 0.0313；Mamba2 7.7229 ± 0.0207 | Sessa 在短程上落后 Transformer 约 0.70 ppl（落后 9.1%），但消融（去掉反馈）后降至 8.0902，超过完整 Sessa |
| SimpleStories 短程语言建模 | Top-1 准确率（↑） | 49.144 ± 0.081% | Transformer 50.441 ± 0.059%；Mamba2 50.299 ± 0.046% | Sessa 较 Transformer 落后约 1.30 pp；消融后提升到 49.648 ± 0.026% |
| SimpleStories 短程语言建模（消融：去掉反馈分支） | Perplexity（↓） | 8.0902 ± 0.0192（消融） | 完整 Sessa 8.3700 ± 0.0482 | 消融带来 0.28 ppl 改善（-3.3%），支持'短程中反馈通路未被充分利用'的解释 |
局限与改进
本文的局限性可从作者明示与读者观察两个层面总结。**作者明确承认/讨论的局限**：(1) 短上下文下Sessa反而劣于Transformer，且完整Sessa劣于'去掉反馈分支'的消融版——这意味着在短程任务上Sessa付出了参数与计算成本却未获益，作者把这一'分布外'代价归因于短程任务对反馈通路需求弱、容量被分走；(2) Mamba-2在所有长程任务上'不收敛'，作者把这一现象解释为失败冻结时间，但并未提供Mamba-2的超参数调整或更长训练的尝试，意味着这一对比可能并不完全公平；(3) 实验仅在2个种子上报告均值与标准差，没有跨架构的成对显著性检验，消融也只对Sessa做了一次（去除反馈），未对Transformer或Mamba-2做对应的'加反馈'消融。**基于结果可观察的局限**：(4) 理论结果的'匹配失败'假设（diffuse attention、failed freeze time）虽然在长程噪声任务中合理，但实际训练好的Transformer在很多场景中并非diffuse，理论优势是否会迁移到'非失败'区未经验证；(5) 当前Sessa全前缀版本的反馈求解是 $O(T^2)$ 时间和空间（'lower-triangular solve'，与softmax注意力同级），并未解决真正的长上下文效率问题，论文也承认这需要稀疏化或核方法才能亚线性扩展；(6) 实验规模较小（合成任务 + 短程语言建模），未在标准的LongBench/RULER、真实大模型规模（>1B参数）或多模态任务上验证；(7) Theorem 12 的构造深度 $k$ 是问题相关的，不同的 $\beta$、$k$ 需要不同的网络——是否能用单一深度网络实现所有廓形仍未说明。
独立分析的弱点
独立分析来看，Sessa的主要弱点集中在以下方面。**计算复杂度**：当混合器按全前缀dense实现时，$(I - B^{\mathrm{fb}})s = f$ 的求解是 $O(T^2)$ 的（与softmax注意力同级），论文自己在第3.2节也指出'in the dense full-prefix formulation, the mixer remains quadratic in T'。在百万级token场景下，这远不如真正稀疏的Mamba，因此要落地为长上下文模型需要：(a) 引入局部窗口或滑动窗口稀疏化使 $B^{\mathrm{fb}}$ 分块带状、(b) 用核方法或低秩近似把三角求解变成近似线性、或 (c) 用Mamba-2那样的SSD/parallel scan把每步线性递归变为chunk-wise线性。**短程性能损耗**：消融显示Sessa的反馈通路在短程下'占容量不办事'，表现为困惑度+0.7、Top-1 -1.3pp。改进方向是引入'输入相关的反馈强度'——在短程任务或低熵输入下让 $\gamma_t$ 接近0、长程困难时让 $\gamma_t$ 接近临界值 $\rho$，可通过Gumbel门控或基于'任务不确定性'的元学习器实现。**理论-实际匹配度的'失败模式'假设**：理论优势在diffuse attention和failed freeze time下成立，但训练良好的attention并非总是diffuse；改进方向是让Sessa的反馈通路在'高选择度'区域（softmax尖峰）也发挥作用——例如让前向注意力的'溢出'权重（被softmax截掉的部分）被反馈通路'二次利用'，从而让单层既能'尖锐读取'又能'多跳累积'。**构造深度依赖**：Theorem 12 的实现深度 $k$ 随 $\beta$ 和廓形需求变化，构造并不'统一'；改进方向是训练一个自适应的深度选择器、或用scaling-law方式实证不同深度对应的 $\beta_{\mathrm{tail}}$ 区间。**评估规模**：仅有2种子、合成数据 + 短程LM，缺少标准长上下文基准（LongBench、RULER、Needle-in-Haystack）的复现实验，论文也明确'不报告LRA完整结果'。**Mamba-2 不收敛的对照公平性**：Mamba-2 在SymbolSoup上给出 0.05 的随机猜测水平，但没有讨论是否尝试了更长训练、调整 $\Delta_t$ 初始化或使用双向扫描；改进方向是对Mamba-2做充分的超参搜索或使用其'双向 + 集成'的官方实践。
未来方向
**作者/论文中暗含的方向**：(1) 稀疏化Sessa——将 $B^{\mathrm{fb}}$ 限制为带状或块状，使三角求解退化为 $O(T\log T)$ 或 $O(T)$；(2) 推广Theorem 12的构造到真正的'单深度自适应'网络，即用同一深度同时实现 $\nu_k(\beta)$ 的整个参数族。**基于成果可延伸的方向**：(3) 将Sessa的'反馈通路注意力'扩展到多模态——视觉patch序列、语音帧序列、基因序列上，看多项式衰减律是否同样带来对噪声/截断更鲁棒的表现；(4) 与Retrieval-Augmented Generation或KV-cache压缩结合：Sessa的反馈通路本身是一种隐式的'状态记忆'，可能减少对长KV-cache的依赖；(5) 训练一个'路由决策头'决定每个位置用前向注意力直接读取、还是用反馈通路累积——这相当于在Sessa的层内引入Mixture-of-Experts结构；(6) 把Sessa的'严格下三角 $B^{\mathrm{fb}}$'与Mamba-2的SSD块结构结合，研究是否存在一种'chunk-wise线性'的并行扫描实现，同时保持'多跳多路径'的灵活廓形；(7) 探索 $\beta_{\mathrm{tail}} \to 0$ 的极限，此时多项式尾退化为 $O(1/\ell^0) = O(1)$ 的'平坦'廓形——理论上有意思、工程上意味着真正的'无衰减记忆'，但可能与BIBO稳定性冲突，需要细致分析。
复现评估
**开源情况**：官方实现已在 https://github.com/LibratioAI/sessa 公开，单作者维护（Liubomyr Horbatko），实现了Sessa混合器及与Transformer、Mamba2的匹配基线。**数据**：三个评测任务均为公开——SymbolSoup与Diffuse MQAR为本文提出的合成基准，SimpleStories为 (Finke et al., 2025; SimpleStories Project, 2025) 的开源短文语料，tokenizer 跨架构共享。**算力**：论文未明确报告所用硬件或训练时长，但任务规模（短上下文LM + 两个合成任务、2个种子）表明是单GPU甚至消费级GPU即可完成的轻量实验，远未触及大模型规模。**难度评估**：理论部分包含30余个定理/命题/推论及详细的appendix证明，构造定理（Theorem 12）涉及5个组件 $G_{H,\tau^*} = M_{H,k} \circ \cdots \circ S_{H,\tau^*,\varepsilon_H} \circ Q_H \circ P_H$ 的逐分量构造，复现门槛较高；实验部分架构清晰、参数量匹配明确，'去掉反馈分支'的消融也极容易在公开代码上重复。总体而言，**实验部分可高度复现**，理论部分对非线性分析熟悉的读者可逐步验证，对纯工程读者则门槛较高。
论文图表