FAAST：基于闭式快速权重的纯前向联想学习，用于测试时监督适配

用 Moore-Penrose 伪逆闭式解把 key-value 联想记忆压成单块 fast weight 矩阵，免反向传播免推理时访存。

前置知识

Moore-Penrose 伪逆 (K^†)

对任意矩阵 $K \in \mathbb{R}^{N \times d_x}$，伪逆 $K^\dagger$ 是满足四个 Penrose 条件的唯一矩阵；通过 SVD 分解 $K = U\Sigma R^\top$ 可以显式构造 $K^\dagger = R\Sigma^\dagger U^\top$，其中 $\Sigma^\dagger$ 把每个非零奇异值 $\sigma_i$ 取倒数。它是线性最小二乘问题 $\min_W \|KW - V\|_F^2$ 的最小范数解。

FAAST 的核心就是用 $W^\star = K^\dagger V$ 一次性求出线性回归的最优解，从而把迭代 SGD 换成一次性的前向闭式计算，是本文方法的数学根基。

快速权重 (Fast Weights)

1990 年代由 Schmidhuber、Ba 等人提出的一种权重形式：慢权重（slow weights，常规网络参数）保持长期知识，快权重则随输入/上下文快速变化、瞬时绑定临时关联。FAAST 把 fast weight 定义为从 (k,v) 联想对中解析求解出的线性映射矩阵。

FAAST 借用了 fast-weight 的概念，但摆脱了之前 Hebbian/在线更新等迭代方法，直接给出闭式解，因此既能利用联想记忆的范式又具备解析最优性。

联想记忆与键值存储 (Associative Memory / Key-Value Memory)

经典联想记忆（如 Hopfield 网络）把模式存为吸引子，查询时按相似度检索；现代记忆网络把每条样本编码为键 $k_i$ 和值 $v_i$，推理时通过注意力分数 $a = \mathrm{Attn}(q, K)$ 加权读取 $h = a^\top V$。FAAST 复用这一范式，但把整张记忆压缩为一个 $d_x \times d_y$ 的矩阵。

理解 FAAST 必然要理解它和 kNN、kNN-LM、ICL、RAG 等记忆方法的根本差异——后者在推理时必须遍历所有键值对，而 FAAST 把整张表压缩掉。

线性探针 / 冻结表征 (Linear Probe / Frozen Representation)

冻结预训练编码器 $\phi_x, \phi_y$，在其输出上只训练一个线性分类器 $W$。Alain & Bengio 2016 的工作证明这种“表示-关联解耦”能用来诊断表征质量，是 FAAST 范式的直接前身。

FAAST 强制“表示学习”和“关联学习”解耦——表示由冻结预训练编码器提供，关联完全由闭式 fast weight 承担，这是其能避免反向传播的架构前提。

Softmax 注意力作为熵正则最小二乘 (Softmax Attention as Entropy-Regularized Retrieval)

论文附录 B.2 证明标准 softmax 注意力等价于 $\min_a \|K^\top a - q\|_2^2 - \tau H(a)$ 的熵正则最小二乘解，其中 $H(a) = -\sum_i a_i \log a_i$；当 $\tau \to 0$ 且 $K$ 列满秩时退化为伪逆解 $a^\star = K^\dagger q$。FAAST 的快速权重可改写为 $h = q^\top W^\star = (K^\dagger q)^\top V$。

这一等价关系是 FAAST 理论的核心——它揭示了 softmax 注意力其实只是伪逆检索的温度平滑近似，$\tau\to 0$ 就是 FAAST 极限。

研究动机

把预训练大模型适配到下游任务，目前主要走两条路。第一条是反向传播路线：包括全量微调、LoRA、Adapter、Prefix-tuning 等，但都要迭代 SGD、保留 optimizer state、跑多个 epoch，在多任务、测试时适配、在线学习等场景下算力成本极高；LoRA 虽然把可训练参数量压到极小，但梯度计算本身没省掉。第二条是记忆/上下文路线：kNN-LM、RAG、Memory Networks、ICL 等把标注样本存为 key-value 记忆，推理时要么遍历整张表（kNN-LM 在 WikiText-103 上需要 307 GB 显存，16 GPU 小时）要么把演示塞进上下文（ICL 在 1-shot 翻译时上下文长度随样本数线性增长），开销随样本量线性或平方增长。两条路在论文图 1 中分别对应 (a)(b) 两个极端——前者要“训练”，后者要“检索”，且都把任务适配与预训练表示深度绑定。

本文的目标是论文提出 FAAST 想要实现“第三条路”：(1) 完全无反向传播、无梯度、无迭代、无预测误差信号；(2) 推理时不需要访问任何 key-value 记忆，所有任务信息都被压缩成一个固定的 fast weight 矩阵 $W^\star \in \mathbb{R}^{d_x \times d_y}$；(3) 适配过程对预训练表示完全解耦，能以即插即用的方式挂到任意冻结编码器后面。具体量化目标包括：在 CIFAR-10/mini-ImageNet 上达到或超过反向传播线性探针的准确率，同时学习时间节省 ≥90%；在 WikiText-103 上让 GPT-2 XL 具备测试时适配能力，相对零样本困惑度降低 ≥10%，相对 kNN-LM 节省 95%+ 显存。

与已有工作不同的是，FAAST 的独特切入角度是把任务适配重新形式化为“在固定表征上的联想映射学习”。它把表示学习和关联学习做了严格架构级解耦——表示由冻结预训练编码器 $\phi_x, \phi_y$ 提供，关联由解析闭式解 $W^\star = K^\dagger V$ 给出。论文指出这一组合在先前工作中是空白：Hebbian/感知机是前向学习但不能解析；伪逆解（ELM、Ridge probe）是闭式但通常仍需特征工程；fast-weight 模型是联想式但要在线更新；ICL/kNN-LM 是非参数记忆但要推理时访存。FAAST 是首个同时满足“前向、闭式联想、非参数记忆、推理时不访存、即插即用”五个条件的方案。

核心方法

FAAST 的整体思路是：把所有标注样本 $(x_i, y_i)$ 经过冻结编码器 $\phi_x, \phi_y$ 映射成 key-value 对 $(k_i, v_i)$，堆成矩阵 $K \in \mathbb{R}^{N \times d_x}$ 和 $V \in \mathbb{R}^{N \times d_y}$，然后对线性最小二乘问题 $\min_W \|KW - V\|_F^2$ 直接写出闭式最优解 $W^\star = K^\dagger V$，再用谱滤波控制过拟合风险。这等于一次性把整张 key-value 表“压缩”成 $d_x \times d_y$ 的 fast weight 矩阵，推理时仅做一次矩阵乘法 $h = q^\top W^\star$ 即可获得输出。技术路线上分三步：第一步构造 key-value（分类用预训练编码器输出，LLM 用中间层 hidden state 的前后 token 配对）；第二步用 SVD 求伪逆得到 $W^\star$；第三步通过相对阈值 $\epsilon = 1/N^\alpha$ 截断小奇异值以平衡欠拟合/过拟合，并通过增量更新规则 $W_{t+1} = \frac{N_t}{N_{t+1}} W_t + \frac{N}{N_{t+1}} W^\star$ 在内存不可承受时流式聚合。

FAAST 的核心创新在于把下游适配视为“固定表征上的线性回归闭式解”，并由此推出一系列推论。第一，它与之前所有 fast-weight 方法的本质区别是“解析最优性”：传统 fast weight (Ba et al. 2016, Miconi et al. 2018) 要靠 Hebbian 或可塑性规则在线迭代，FAAST 的 $W^\star$ 是定理 B.1 保证的最小二乘全局最小范数解，且作者证明任何小步长梯度法在 $W_0=0$ 初始化下都收敛到 $W^\star$。第二，它与 ICL/kNN-LM 的本质区别是“推理时无需访存”：记忆/上下文方法在推理时要遍历 $N$ 个 key-value 对，开销 $O(N d_x + N d_y)$；FAAST 把整张表压成 $W^\star$ 后推理成本 $O(d_x d_y)$，与样本数 $N$ 无关。第三，伪逆带来的负号注意力权重是 FAAST 的关键——softmax 注意力的非负约束本质上是一种熵正则 (附录 B.2)，当温度 $\tau \to 0$ 才退化为伪逆解，而伪逆解允许 $a^\star = K^\dagger q$ 取负值，从而能加能减，抑制无关键；表 9 的消融显示 miniImageNet 上负号注意力把 1-shot 准确率从 5.0% 拉到 32.3%。

方法步骤详情

FAAST 的完整方法包含五个步骤。步骤一，构造键值对：分类任务里用冻结 CLIP ResNet-50 的图像编码器得到 $k_i = \phi_x(x_i)$，用文本编码器对 class prompt 编码得到 $v_i = \phi_y(y_i)$；LLM 任务里给定输入序列 $x = (x_1, \dots, x_T)$，从指定中间层 $l$ 提取 $k_t^l = \phi_l(x)_t$、$v_t^l = \phi_l(x)_{t+1}$，把过去 token 关联到下一个 token。步骤二，堆叠矩阵 $K = [k_1, \dots, k_N]^\top \in \mathbb{R}^{N \times d_x}$ 与 $V = [v_1, \dots, v_N]^\top \in \mathbb{R}^{N \times d_y}$，用 SVD $K = U\Sigma R^\top$ 计算伪逆 $K^\dagger = R\Sigma^\dagger U^\top$，得到闭式 fast weight $W^\star = K^\dagger V$。步骤三，谱滤波：用 $\Sigma^\dagger_\epsilon = \mathrm{diag}(\sigma_i^{-1} \mathbb{I}[\sigma_i \geq \sigma_{max} \epsilon])$ 截断小奇异值，相对阈值默认 $\epsilon = 1/N^{0.8}$，抑制对噪声/特例的过拟合。步骤四，集成到下游网络：分类器中把 fast weight 与原预训练投影 $W_0$ 做插值 $W_{t+1} = \frac{N_t}{N_{t+1}} W_t + \frac{N}{N_{t+1}} W^\star$，$N_0$ 表示先验的“等效样本数”(CIFAR-10 设为 400, mini-ImageNet 设为 800)；LLM 中在每层 hidden state 上做残差更新 $h_t^l = k_t^l + (k_t^l)^\top W_l^\star P_l$，其中 $P_l$ 是零初始化的轻量读出投影，可在 OpenWebText2 上预训练一次后冻结，所有任务特定信息都只在 $W_l^\star$ 里。步骤五，推理时只需一次矩阵乘法 $h = q^\top W^\star$ (或加 $P_l$)，不再访问任何 key-value 记忆，时间复杂度 $O(d_x d_y)$ 而非 $O(N d_x + N d_y)$。

技术新颖性

技术新颖性体现在四个层面。第一是理论层面：作者把“适配 = 线性回归闭式解”的视角做透，给出定理 B.1（最小范数最优性）、引理 B.2（softmax 注意力是熵正则近似）以及增量更新的 Sherman-Morrison-Woodbury 推导，把一组零散技术点统一在一个最小二乘框架下。第二是架构层面：严格分离“表示学习”（冻结预训练编码器）与“关联学习”（$W^\star$），并且 $W^\star$ 自身是一个非参数模块，可以挂到任意网络后面，即插即用。第三是工程层面：针对 LLM 的扩展（多中间层 fast weight + 读出投影 + token 重要性打分器 + 增量更新 + 衰减因子 0.9）解决了“如何让闭式解在 $10^8$ token 规模上落地”的工程难题。第四是范式层面：论文主张“训练时算力”应被一次性的“解析适配”取代，呼应了 Hinton 2022 提出的 forward-forward 范式和 Malladi 2023 的零阶优化，但走的是完全不同的确定性闭式解路径，避免了随机搜索带来的不稳定。

**Figure 2**: FAAST module and the integration with pretrained neural networks.

**Figure 5**: Filter noisy components under a threshold $\epsilon$. Experiments are conducted with $N_0 = 0$ to avoid the influence of prior.

**Figure 6**: Training dynamics for different memory size and update discount settings

实验结果

实验覆盖四类任务、十余个数据集/模型组合，核心发现可以归纳为四组。第一组是图像分类 (Table 2)：以 CLIP ResNet-50 为冻结特征，CIFAR-10 5-shot 准确率 FAAST 达 73.8±0.3，显著超过 Linear backprop 71.9±0.4 和 kNN 71.7±0.3；CIFAR-10 Full 数据上 FAAST 86.7±0.2 vs Linear 88.3±0.3，二者持平但 FAAST 训练只需 38 GPU 秒，相比 Linear 投影的 568 GPU 秒和 Full Finetuning 的 1512 GPU 秒分别节省 93.3%/97.5%；mini-ImageNet 20-way 5-shot 上 FAAST 88.6±0.2 反超 Linear 84.5±0.3 约 4 个点，Full 数据上 93.0±0.1 几乎与 Linear 93.2±0.2 打平；显存用量 FAAST 仅 4 MB (与 Linear 同量级)，相比 kNN/Softmax Memory 的 80 MB 节省 95%。第二组是情感分类 (Table 3)：冻结 GPT2-XL 测 SST-2/IMDB 1-shot，FAAST 分别达 78.5±1.1 / 86.7±0.9，把 ICL 的 59.6±1.4 / 70.1±1.3 拉高 15+ 个点；Full 数据 SST-2 上 FAAST 87.5±0.9 vs 零样本 74.3±1.2，相对提升 17.8%，IMDB 上 90.4±0.8 vs 85.7±1.0 提升约 5.5%。第三组是语言建模 (Table 4)：WikiText-103 + GPT2-XL 上 FAAST PPL 从零样本 17.41 降到 15.35 (相对 -11.8%)，逼近 backprop Linear 13.60；若允许读出投影在 WikiText-103 上预训练一次，FAAST 可达 13.23 反超 backprop；GPU 小时从 3 (backprop) / 16 (kNN-LM) 降到 0.2，推理显存从 307 GB 降到 112 MB (-99.9%)。Figure 3 显示模型规模越大 FAAST 收益越显著，从 GPT2-small 5.8% 相对降幅递增到 GPT2-XL 11.8%。第四组是机器翻译 (Table 5)：冻结 Qwen2.5-3B/7B-Instruct 在 IWSLT2017 四个语言对上，FAAST 全面超过 ICL 与零样本，Qwen2.5-3B De-En/En-Fr/Fr-En Full BLEU 提升均超过 3 分，Qwen2.5-7B En-De Full 27.75 vs 零样本 25.53，1-shot 26.77 vs ICL 25.39。附录消融 (Table 9) 还显示若把伪逆换成无负号的线性注意力，miniImageNet 1-shot 准确率从 40.4% 跌至 5.0%，几乎随机；Figure 5 表明谱滤波阈值 $\epsilon = 1/N^{0.8}$ 在 underfit/overfit 之间取得稳健折中。

**Table 1**: Comparison of FAAST with Representative Prior Approaches.

**Table 2**: Image classification results about 5-shot and full-data accuracy with 95% confidence interval for CIFAR10 and miniImageNet.

**Table 3**: Sentiment classification accuracy on SST-2 and IMDB datasets, with a 95% confidence interval.

**Table 4**: Sequence modeling adaptation results on WikiText-103 using GPT2-XL (1.5B).

**Table 5**: Machine translation on IWSLT2017, bold BLEU scores for statistical significance at p < 0.05.

**Table 8**: Image Classification Training/Learning Costs.

**Table 9**: Necessity of Negative Attention Weights.

**Table 10**: Large Language Model Train and Learn Cost Comparison.

**Figure 3**: GPT2 model size and mem layers vs. perplexity on WikiText-103.

**Figure 4**: FAAST vs. Linear (backprop). The std represents the variance of accuracy across episodes.

查看结构化数据

任务	指标	本文	基线	提升
CIFAR-10 5-shot 图像分类 (10-way)	Accuracy (%)	73.8 ± 0.3	CLIP 零样本 70.3 ± 0.9；Linear (backprop) 71.9 ± 0.4；kNN Memory 71.7 ± 0.3	+1.9 over Linear backprop，+3.5 over CLIP 零样本，+2.1 over kNN
CIFAR-10 Full 图像分类	Accuracy (%)	86.7 ± 0.2	Linear (backprop) 88.3 ± 0.3；Full Finetuning 85.4 ± 0.4；kNN Memory 82.7 ± 0.2	几乎打平 Linear (-1.6)，但训练时间从 568 GPU 秒降到 38 GPU 秒 (-93.3%)
mini-ImageNet 5-shot (20-way)	Accuracy (%)	88.6 ± 0.2	Linear (backprop) 84.5 ± 0.3；kNN Memory 87.1 ± 0.2	+4.1 over Linear backprop，+1.5 over kNN
mini-ImageNet Full (20-way)	Accuracy (%)	93.0 ± 0.1	Linear (backprop) 93.2 ± 0.2；kNN Memory 88.6 ± 0.1	几乎与 Linear 持平 (差 0.2)，反超 kNN +4.4
SST-2 1-shot 情感分类	Accuracy (%)	78.5 ± 1.1	GPT2-XL 零样本 74.3；ICL 59.6 ± 1.4	+18.9 over ICL，+4.2 over zero-shot
SST-2 Full 情感分类	Accuracy (%)	87.5 ± 0.9	GPT2-XL 零样本 74.3 ± 1.2	+13.2 over zero-shot
IMDB 1-shot 情感分类	Accuracy (%)	86.7 ± 0.9	GPT2-XL 零样本 85.7；ICL 70.1 ± 1.3	+16.6 over ICL，+1.0 over zero-shot
WikiText-103 语言建模 (GPT2-XL 1.5B)	Perplexity ↓	15.35 (零样本 17.41)；含域内读出 13.23	Zero-shot 17.41；Linear Projection (backprop) 13.60；LoRA 13.57；kNN-LM 12.70	-11.8% 相对 PPL 降低；若读出预训练后 13.23 反超 backprop Linear
WikiText-103 学习成本	GPU hours	0.2	Backprop 3 GPU hrs；kNN-LM 16 GPU hrs	-93.3% vs backprop，-98.75% vs kNN-LM
WikiText-103 推理显存	Memory	112 MB	kNN-LM 307 GB	-99.9% 显存占用
IWSLT2017 En-De Full (Qwen2.5-7B)	BLEU	27.75	Qwen2.5-7B 零样本 25.53；ICL 25.39	+2.22 over zero-shot，+2.36 over ICL
IWSLT2017 De-En Full (Qwen2.5-3B)	BLEU	36.40	Qwen2.5-3B 零样本 32.92；ICL 32.33	+3.48 over zero-shot，+4.07 over ICL

局限与改进

作者在 §7 Discussion 中坦承三点限制。第一是依赖预训练表征的质量：FAAST 不修改表示，所以若冻结编码器 $\phi_x, \phi_y$ 没捕捉到任务相关特征，联想学习无从发力；论文在 mini-ImageNet 上用 WordNet ID 当 label 时零样本 6.4% 接近随机，但 FAAST 仍能到 86.8% (含 N0 先验) 或 85.1% (无先验)，说明在表征有信息但语义不对齐时 FAAST 仍可解。第二是任务类型限制：FAAST 适合输入-输出有明确对应关系的联想式任务，对需要组合推理、层次依赖、长程规划的复杂问题不擅长，因为这些需要迭代优化。第三是评估范围：目前只在分类和序列建模上评估，结构化预测、多模态、reasoning 等更复杂任务尚未涉及。从实验细节补充两点观察：(a) FAAST 在 Full Data 下与 backprop Linear 仍有 0.2-1.6 个点的差距，说明闭式解在大规模、强任务下的精度上限仍未触达反向传播；(b) LLM 路径上必须额外在 OpenWebText2 上预训练一个读出投影 Pℓ 和 token scorer，这部分仍需要反向传播，并非完全无梯度，作者只在论文主体里强调了下游适配是 forward-only。

独立分析的弱点

独立审视论文，可以指出四个具体弱点及改进方向。弱点一：谱滤波阈值 $\epsilon = 1/N^\alpha$ 中的 $\alpha = 0.8$ 是网格搜索得到的固定值，但 Figure 5 显示在 $N$ 大时不同 $\alpha$ 曲线会有交叉，论文没有给出理论上界；改进方向是引入自适应阈值，例如通过交叉验证或 LOO 误差动态选 $\alpha$，或借鉴 Xie-Bilkis 那种数据相关的截断规则。弱点二：FAAST 仍依赖一个用反向传播预训练的“读出投影” Pℓ，这在 LLM 实验中是隐含成本，且 OpenWebText2 与下游任务 (如 WikiText-103、IWSLT2017) 之间存在分布漂移；Figure 6 中更新衰减因子 UD=0.9 也是经验值，作者承认这不够 solid，改进方向是探索完全无参数读出（如直接用 $W^\star$ 的 hidden state 残差）或任务无关的零空间基底。弱点三：增量更新规则 (公式 14) 在论文里只是经验做法，作者虽然在附录 B.3 用 Sherman-Morrison-Woodbury 证明了 $W_{t+1}$ 与 $W^\star$ 等价，但实际实现里用了线性插值近似 $W_{t+1} = \frac{N_t}{N_{t+1}}W_t + \frac{N}{N_{t+1}}W^\star$，二者的偏差并没有量化；改进方向是给出严格的误差上界，或在 streaming 场景下采用 recursive least squares (RLS) 替代。弱点四：当前所有实验都假设有标注数据，但在更现实的测试时适配场景中标签是逐步到达的，FAAST 没有给出在线主动学习或半监督扩展；改进方向是引入伪标签或 self-training 流程，把 FAAST 与少量人工标注结合。

未来方向

作者明确提到的方向包括：将 FAAST 推广到结构化预测、组合推理、多模态任务；探索在压缩表征下做联想学习以应对资源极受限场景。基于实验结果还可以延伸出几条线：(1) 把 $W^\star$ 看作任务嵌入，构造 mixture-of-tasks 或多任务 fast weight 库，论文附录 B.3 的插值性质为此提供理论支撑；(2) 在 LLM 推理中把 FAAST 作为 KV-cache 压缩的替代品，避免长上下文带来的 attention 复杂度 $O(T^2)$，让 100K+ 上下文部署成为可能；(3) 把闭式 fast weight 与参数高效微调结合，例如先 LoRA 适配再 FAAST 压缩，做成一个“训练-压缩-部署”流水线；(4) 探索 $\sigma_i$ 截断与模型可解释性的联系，因为 $W^\star$ 的谱结构本身可作为任务特征的事后分析工具；(5) 在联邦学习或隐私敏感场景下利用 FAAST 的单遍特性，避免多轮 SGD 暴露中间梯度。

复现评估

可复现性整体良好。代码与模型已在 https://github.com/baoguangsheng/faast 公开（论文 §1 末段声明），论文附录 C.1-C.2 给出了完整的训练超参与实验设置：图像分类用 CLIP ResNet-50 + SGD(momentum=0.9) + StepLR，5-shot 用 600 episodes 跑 95% 置信区间；语言建模用 GPT-2 small/medium/large/XL + Qwen2.5-3B/7B-Instruct，AdamW + cosine + lr=2e-5 + 8×H100 80GB + bfloat16 + flash attention 2。数据均使用标准公开集 (CIFAR-10, mini-ImageNet, SST-2, IMDB, WikiText-103, IWSLT2017, OpenWebText2)，阈值 $\alpha=0.8$、N0=40×类别数、读出投影在 1% OpenWebText2 上预训练一次等关键超参都明确给出。复现难度分两档：图像分类和情感分类是初级，单卡 H100 几小时可复现；但 LLM 的 WikiText-103 与 IWSLT2017 实验需要 8×H100 80GB 跑约 3 GPU 小时 baseline 与 0.2 GPU 小时 FAAST，外加读出投影预训练，普通实验室不算轻松。整体可复现性：开源 + 充分披露 = 中上，但 FAAST 在 LLM 上仍需预训练读出投影，验证“完全前向”这一卖点时需要小心区分下游适配和读出预训练两个阶段。

FAAST：基于闭式快速权重的纯前向联想学习，用于测试时监督适配 FAAST: Forward-Only Associative Learning via Closed-Form Fast Weights for Test-Time Supervised Adaptation