Brainstacks：通过冻结 MoE-LoRA 栈实现跨域认知能力与持续学习 Brainstacks: Cross-Domain Cognitive Capabilities via Frozen MoE-LoRA Stacks for Continual LLM Learning
冻结 MoE-LoRA 栈 + 零空间投影 + 经验路由,发现适配器实际编码可迁移的认知原语。
前置知识
LoRA 与 QLoRA
LoRA 通过低秩分解 $\Delta W = BA$,其中 $A \in \mathbb{R}^{d_{in}\times r}$、$B \in \mathbb{R}^{r\times d_{out}}$,$r\ll d$,冻结原权重 $W$ 只训练 $A,B$,把可训练参数量压缩到原来的 0.1%-1%。QLoRA 在此基础上把基座量化到 4-bit NF4,进一步降低显存。
本文的 MoE-LoRA 建立在 LoRA 之上,rsLoRA 把缩放系数改为 $\alpha/\sqrt{r}$(取代原始 LoRA 的 $\alpha/r$),使得 rank 变大时输出尺度稳定;这是 Brainstacks 的基本构造单元,不理解 LoRA 就无法看懂模块设计。
Mixture-of-Experts (MoE) 与 Top-K 路由
MoE 在前馈网络中放置 $N$ 个专家网络,由路由器 $W_r$ 给出每个 token 的专家概率分布。Top-K 路由只激活概率最高的 $K$ 个专家,其余置为 $-\infty$,输出为 $y = \sum_{i\in\text{TopK}} g_i \cdot E_i(x)$。Shazeer 风格进一步引入可学习的噪声项 $\ell_{noisy} = W_r x + \text{softplus}(W_n x) \odot \epsilon$ 鼓励探索。
Brainstacks 把 MoE 路由移植到 LoRA 专家上,并加入 Shazeer 噪声;理解 top-K 与负载均衡损失 $\mathcal{L}_{aux} = N\sum_e P(e)f(e)$ 是看懂路由设计的前提,否则无法理解专家利用率为何均匀。
持续学习与灾难性遗忘
持续学习指模型在多个任务序列上训练时,仍能保留旧任务能力。灾难性遗忘(McCloskey & Cohen 1989)指后续任务训练覆盖了旧任务参数导致旧能力丢失。常见缓解方法包括 EWC(参数正则化)、PackNet(参数剪枝分配)、渐进网络(为每个任务加列)等。
Brainstacks 的核心动机之一就是解决 LoRA 顺序微调时的灾难性遗忘,并用零空间投影与冻结栈实现几何级别的隔离;这是 motivation 章节的核心问题。
零空间投影 (Null-Space Projection)
在线性代数中,矩阵 $A$ 的零空间是 $\{x \mid Ax=0\}$。给定旧任务占用的子空间投影 $P = VV^\top$($V$ 是 SVD 提取的 top-K 右奇异向量),新任务的梯度被投影到正交补空间 $\delta \leftarrow \delta - \delta P$,使其物理上无法写入旧任务方向。本文用随机化 SVD(torch.svd_lowrank)在 $d_h$ 很大的隐藏层高效计算。
这是 Brainstacks 反遗忘系统的几何核心;不理解零空间就无法理解为何作者声称零遗忘以及为何用 64 个主方向近似占用 1.7% 的 3840 维空间。
奇异值分解 (SVD) 与主方向
SVD 把矩阵分解为 $D = U\Sigma V^\top$,其中 $V$ 的列(奇异向量)按对应奇异值从大到小排列,是输入空间中方差最大的正交方向。Randomized SVD 通过随机投影加速大矩阵的近似分解,常用于神经网络的低秩近似。
Brainstacks 用 SVD 提取每层隐藏状态的主方向作为旧域子空间的基,再做零空间投影。这是连接表征几何与梯度隔离的桥梁。
DPO / GRPO 强化学习对齐
DPO(Direct Preference Optimization)通过 chosen/rejected 对数据直接优化偏好损失,无需显式奖励模型。GRPO(Group Relative Policy Optimization)对同一 prompt 的多个采样按组内相对优势做策略优化,常配合执行验证或答案匹配奖励。
本文边界实验尝试对每个域在 SFT 后做领域适配的 RL,对齐 chat 用 DPO、code/math/medical 用 GRPO;理解这两者才能评估 RL 实验为何爆炸(loss ~28M)以及 BestStackCallback 为何必要。
Cross-Attention 与 Transformer 注意力机制
Self-attention 中每个 token 关注序列内的其他 token;cross-attention 中 query 来自一个序列而 key/value 来自另一个序列。Brainstacks 的 meta-router 用了 learned query attention 与跨域查询向量实现 cross-attention,把每个 prompt 与每个 domain query 比对得到独立 sigmoid 分数。
理解 cross-attention 才能读懂 3.6 节 meta-router 架构——一个 ~2M 参数的轻量网络如何把 prompt 编码后对 5 个域分别打分。
研究动机
现有 LLM 多能力扩展方法本质上是单体化的:要么在单一训练 run 中混合多个领域数据进行全量微调,把所有领域知识耦合到同一组参数里;要么做顺序 LoRA 微调,但会遭遇灾难性遗忘(McCloskey & Cohen 1989)。这带来三个根本问题:第一,新增领域要么从头训练(成本巨大),要么有遗忘旧能力的风险;第二,部署后没有机制能单独移除或更新某个领域能力;第三,推理时所有学到的知识被均匀施加,无法针对输入选择性激活相关专长。例如一个医院同时需要医疗问答和代码生成能力时,要么混合训练,要么顺序训练导致一边覆盖另一边。参数高效方法如 LoRA 虽然降低成本($\Delta W = BA$,$r\ll d$)但未解决模块化问题;MoLoRA、MixLoRA、LoRAMoE 等 MoE-LoRA 扩展虽引入条件计算但仍局限在单一训练阶段,无持续学习能力;EWC、PackNet 等持续学习方法通过正则化或剪枝保护旧知识但仍是单体架构,无法在推理时组合领域能力,也没有架构层面的遗忘防护保证。
本文的目标是本文的目标是提出一种新的架构原语——冻结的 MoE-LoRA 栈——同时解决上述三个问题:让每个领域训练为一组叠加的残差 MoE-LoRA 适配器,训练后永久冻结;让新领域在冻结栈之上训练,梯度通过零空间投影被约束到与已占用方向正交的子空间;让推理时一个轻量级的 meta-router 选择性激活相关领域栈。最终得到一个模块化系统:领域可以独立添加、移除或更新而不影响其他能力,推理时可按 prompt 组合不同领域专家,且几何层面保证零遗忘。
与已有工作不同的是，本文的独特切入角度是把适配器重新理解为认知能力而非知识存储:通过 outcome-based sigmoid meta-router 在训练后用经验损失测量自动发现每个 prompt 的最优领域组合——例如 97% 的医学 prompt 实际上路由到 chat+math 栈而非医学栈本身。这与现有所有基于领域标签或任务 ID 训练路由器的方法形成根本区别:LoRAHub、MoLE、C-LoRA、Online-LoRA 都假设一对一的领域-适配器映射,而本文证据显示最优路由常常排除名义上正确的领域适配器。作者进一步用 PSN v2(仅在 TinyStories 训练的随机初始化模型)独立验证:即便基础模型从没见过 Python,code 块仍能学到函数定义的结构模式(`def` + 缩进 + 冒号)——这是适配器编码可迁移认知原语的直接证据。
核心方法
Brainstacks 的整体设计哲学是把每个领域能力封装为一组永久冻结的 MoE-LoRA 适配器栈,新领域通过冻结+叠加的方式增量添加,推理时由一个轻量路由器按 prompt 选择性激活。直觉上它像一本不断补充章节的书:基础模型是通用语言能力(书页材质),每个领域栈是装订好的章节(写完就再不动),meta-router 是目录索引(按读者问题翻对应章节),零空间投影保证新章节不会改写旧章节的内容。技术路线包含五大组件:(1) MoE-LoRA 构建块——在 4-bit 量化基座上对 7 个 transformer 投影(q/k/v/o/gate/up/down)应用带 Shazeer 噪声 top-K=2 路由的 LoRA 专家;(2) 内层循环的残差提升——同一领域内顺序训练多个栈,前一个冻结后下一个学习残差误差;(3) 外层循环的持续域训练——按 chat→code→math→medical→reasoning 的课程顺序逐域添加;(4) 零空间梯度投影——用随机化 SVD 提取旧栈主方向,新栈梯度被投影到正交补空间;(5) 基于经验结果(outcomes)的 sigmoid 元路由器——通过穷举测量每条 prompt 在不同域组合上的损失自动发现最优组合目标。
本文的核心创新是把 MoE-LoRA 与零空间投影结合成一个可堆叠的冻结原语,并通过 outcome-based router 实现真正的跨域组合(与 softmax 不同,sigmoid 允许多个栈同时激活)。和已有方法的本质区别在于五点叠加:(1) Shazeer 风格的可学习噪声路由器(专用 noise_linear + softplus)首次用在 LoRA 专家上;(2) MoE 路由覆盖全部 7 个投影包括注意力(之前 MoLoRA/MixLoRA/LoRAMoE 都只限 FFN 或注意力用单 LoRA);(3) rsLoRA 缩放 $\alpha/\sqrt{r}$ 与 MoE-LoRA 首次组合;(4) 残差提升机制通过冻结栈堆叠突破单栈天花板(chat 域 0.8741 → 0.8531,相对改进 2.4%);(5) 零空间投影是硬几何约束而非软正则化损失($\delta \leftarrow \delta - \delta P$,物理上无法写入已占用方向)。这些元素整合产生的 outcome-based router 让 5 个认知能力(指令跟随、数值推理、过程逻辑、CoT 结构、医疗推理)组合出 $2^5-1=31$ 种域组合,相对线性 5 个领域提供指数级覆盖。
方法步骤详情
完整方法分为以下步骤。步骤 1,构建 MoE-LoRA 单元 MoELoRADelta:对每个目标投影,配备 N=4 个专家,每个专家是 rank r=16 的低秩分解 $A_i \in \mathbb{R}^{d_{in}\times r}$、$B_i \in \mathbb{R}^{r\times d_{out}}$,rsLoRA 缩放 $s=\alpha/\sqrt{r}$,$\alpha=r=16$ 得 $s=4.0$,$B$ 零初始化保证新栈起点恒等;路由器 $W_r \in \mathbb{R}^{d_{in}\times N}$ 输出 Top-K=2 概率 $\ell_{noisy} = W_r x + \text{softplus}(W_n x) \odot \epsilon$,加负载均衡损失 $\mathcal{L}_{aux} = N\sum_e P(e)f(e)$ 系数 $\lambda_{aux}=0.01$,所有 7 个投影均注入。步骤 2,内层残差提升(Algorithm 1):在每个领域内,最多 R 轮(chat 3 轮、其余 2 轮)顺序训练新栈,每轮训练后冻结栈并冻结前后的验证损失 $\ell_{prev} - \ell_m < 0.002$ 时终止;BestStackCallback 监控训练并在 val loss 突增(spike>0.1)或 plateau(patience=4)时回滚到最佳 snapshot,防止冻结栈被损坏权重永久污染。步骤 3,外层持续域训练(Algorithm 2):按 chat→code→math→medical→reasoning 课程顺序,每域训练后冻结为 domain plugin,并对所有已训练域做遗忘检查;每个域完成后更新 manifest 记录栈文件、val loss、耗时;训练前用 strip_chat_tokens 预处理器剔除 chat 模板 token,关键词去污染子系统避免 ShareGPT 等数据中混入其他领域。步骤 4,零空间投影:从所有冻结栈的聚合 delta 中用 400 条验证样本(nsamples=200 for TinyLlama)收集隐藏状态矩阵 $D \in \mathbb{R}^{n\times h_{dim}}$,通过 torch.svd_lowrank(nsamples>2K 时)或 full SVD 提取 top-K=64 主方向 $V$,构造投影矩阵 $P = VV^\top$,训练时 active stack 的 delta 被投影 $\delta_{proj} = \delta - \delta P$ 后再加到输出。步骤 5,meta-router 训练(oracle discovery):对每条 prompt 测量 base-only loss、单域 loss,然后贪心搜索逐步加域(阈值 0.01),reasoning 软提升到 0.5;用 base model 隐藏状态(mid×0.45 + last×0.55)做 2M 参数 cross-attention 网络,每个域独立 sigmoid 输出;BCE loss 加置信度 margin penalty,8 epoch 余弦 LR,chat floor=0.20 + gate threshold=0.12;目标混合 80% 经验目标 + 20% 先验标签。推理时按 sigmoid 权重选择性加载栈到 GPU(缓存命中 0.00s)。
技术新颖性
技术新颖性体现在五个独立可验证的创新点叠加。第一,把 Shazeer 风格噪声路由器移植到 LoRA 专家上,使用专用 noise_linear 投影 + softplus 激活生成可学习的输入相关噪声幅度,这在 LoRA 专家文献中尚无先例。第二,MoE 路由覆盖全部 7 个 transformer 投影(q/k/v/o/gate/up/down),而 MixLoRA 仅在 FFN、LoRAMoE 在 FFN、SiRA 限制 FFN、之前所有 MoE-LoRA 工作都不在所有 7 个投影上同时路由——这是架构上的全面性差异。第三,rsLoRA 缩放($\alpha/\sqrt{r}$)与 MoE-LoRA 的组合尚未被研究过,它解决了高 rank 时训练不稳定问题。第四,残差提升通过冻结栈堆叠实现形式化梯度提升:栈 1 学习主修正,栈 2 学习栈 1 未捕获的残差,这与 Adaboost 在弱学习器叠加上的思想同构,但用零空间投影保证栈之间的几何隔离。第五,outcome-based router 通过穷举损失测量发现最优组合目标,与所有现有基于标签的路由方法(LoRAHub、MoLE、C-LoRA、Online-LoRA)形成方法论对立——后者假设一对一的领域-适配器映射,而本文证据显示医学 prompt 最优路由到 chat+math 而非医学栈本身。第 6 点独立性创新是 PSN 边界实验,它在仅训练 TinyStories 的 GPT-2 上独立验证认知原语可迁移——这是对适配器编码可迁移能力而非领域知识的独立验证,方法学上极具说服力。第 7 点工程创新是 disk-offloaded 推理系统 Superposition LLM,让 10 个 567MB 栈通过按需加载实现恒定 GPU 显存部署。
实验结果
实验结果可分四块逐一分析。**实验 1:MoE-LoRA vs 单 LoRA(Table 1)**——在 TinyLlama-1.1B 上 4-bit 量化、用 tatsu-lab/alpaca、相同超参(batch 16, 400 steps, lr 2e-4, seq_len 512, seed 42),单 LoRA(r=64, 50.5M 参数)val loss 0.874,MoE-LoRA(4×r=16, 53.6M 参数)val loss 0.872;MoE-LoRA 训练损失 7.444 看似更高,是辅助负载均衡损失 $\lambda_{aux}\mathcal{L}_{aux}$ 的 artefact;关键观察是 MoE-LoRA 在步骤 ~160 就达到单 LoRA 步骤 400 的最终性能,每步收敛快 2.5×,但墙钟慢 2×(20.2 vs 9.5 分钟)——这是路由计算和 4 专家评估的开销。**实验 2:TinyLlama 4 域持续学习(Table 2)**——9 个栈跨 4 个域共 ~485 分钟;残差提升一致有效:chat 3 轮 val loss 从 2.587→1.305→0.853(最终),code 2 轮 0.953→0.505→0.493,medical 2 轮 1.526→0.671→0.663,math 2 轮 1.627→0.695→0.696;min_loss_delta=0.002 plateau 检测正确终止第 3 轮。图 3 显示 chat 域单 LoRA 在 0.8741 plateau,Brainstacks 通过 3 轮残差提升降到 0.8531,相对改进 2.4%——证实残差提升突破单栈天花板。**实验 3:遗忘与零空间效果(Table 3, Figure 4-6)**——无路由(所有栈同时激活)情况下 chat 1.778、code 1.452、medical 1.984、math 1.041,这些数值不是遗忘(冻结权重未变),而是 ungated 累积——医学 prompt 同时接收 chat/code/math 栈未在医学训练过的加性校正;零空间投影相比无投影的 run:math 训练后 chat -0.061、code -0.060、medical -0.082、math -0.143,所有 4 个域都受益,math 自身受益最大 12.1% 相对减少;零空间保护让旧域不被新域方向覆盖。**实验 4:Gemma 3 12B 5 域零样本评测(Table 4, 200 样本/任务)**——HellaSwag 0.670→0.650(-0.020)、ARC-Easy 0.510→0.515(+0.005)、ARC-Challenge 0.525→0.495(-0.030)、TruthfulQA 0.350→0.370(+0.020)、MMLU 0.450→0.435(-0.015)、GSM8K 0.665→0.665(0)、MedQA 0.385→0.350(-0.035)、MedMCQA 0.330→0.360(+0.030);200 样本下 95% CI 约 ±0.07,所以 ±0.02-0.03 在采样噪声内,关键观察是路由系统在任何任务上都没有灾难性退化。**关键发现:认知原语可迁移性(Section 5.1)**——oracle discovery 阶段显示医学 prompt 路由到医学栈仅 3%(1/33 样本),路由到 chat+math 97%;具体例子:样本 [601] 医学 prompt base=1.412 到 best=0.421(delta=+0.992),样本 [625] base=3.470 到 best=1.364(delta=+2.106),chat 和 math 栈在零医学训练数据下把损失降低 50-70%;PSN v2 独立验证:在 TinyStories-only GPT-2 上,code 块激活时输出 `def eatansson usualber(...): sing loudly...` ——使用纯 TinyStories 词汇但保留了 Python 函数定义的结构模式(def+缩进+冒号),证实即使基础模型从未见过 Python,code 块仍能学到代码结构能力。**专家路由分析(Figure 7)**——内层 MoE 路由器在域间利用均匀(0.232-0.274/专家),符合 top-2 of 4 的理论预期 0.25;PCA 聚类显示 token 级专家路由在域间有显著重叠,域的区分主要发生在 prompt 级 meta-router 而非 token 级。**课程与数据敏感性**——ShareGPT 污染 chat 与 code/medical 时导致 code 域 loss 爆炸;medalpaca flashcards 在 50 步过拟合,被 MedQA + medical-o1-reasoning + PubMedQA 替换;medicine 在 math 前训练导致收敛差(缺数学推理能力),证实课程顺序 chat→code→math→medical→reasoning 合理。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TinyLlama 单域 SFT(tatsu-lab/alpaca) | Validation Loss(400 steps) | MoE-LoRA (4×r=16) val=0.872,step ~160 达到单 LoRA 最终性能 | Single LoRA (r=64) val=0.874(400 steps) | 每步收敛快 2.5×,最终 val 略低 0.002 |
| TinyLlama 4 域残余提升(chat 域 3 轮) | Validation Loss | Brainstacks 3 轮残余提升 val=0.8531(1200 累计 steps) | Single LoRA 400 steps plateau 在 0.8741 | 相对改进 2.4%,突破单栈天花板 |
| TinyLlama 4 域持续学习(零空间投影 vs 无) | 零样本跨域累积损失(math 训练后) | chat 1.778 / code 1.452 / medical 1.984 / math 1.041(带 NS) | chat 1.839 / code 1.512 / medical 2.066 / math 1.184(无 NS) | NS 让所有域减少 0.06-0.14 干扰,math 自身降 12.1% |
| Gemma 3 12B HellaSwag(200 样本) | 零样本准确率 | 0.650(路由) | 0.670(基座) | -0.020(在 95% CI ±0.07 内) |
| Gemma 3 12B ARC-Easy(200 样本) | 零样本准确率 | 0.515(路由) | 0.510(基座) | +0.005(在噪声内) |
| Gemma 3 12B TruthfulQA(200 样本) | 零样本准确率 | 0.370(路由) | 0.350(基座) | +0.020(在噪声内) |
| Gemma 3 12B MedMCQA(200 样本) | 零样本准确率 | 0.360(路由) | 0.330(基座) | +0.030(在噪声内) |
| Gemma 3 12B MedQA(200 样本) | 零样本准确率 | 0.350(路由) | 0.385(基座) | -0.035(在噪声内) |
| Gemma 3 12B GSM8K(200 样本) | 精确匹配率 | 0.665(路由) | 0.665(基座) | 0.000(完全持平) |
| Gemma 3 12B MMLU(200 样本) | 零样本准确率 | 0.435(路由) | 0.450(基座) | -0.015(在噪声内) |
| 认知原语可迁移性(PSN v2 独立验证) | 医学 prompt 在 chat+math 路由上的相对损失降低 | 97% 的医学 prompt 路由到 chat+math;样本 [601] delta=+0.992;样本 [625] delta=+2.106 | 医学 prompt 路由到医学栈仅 3%(1/33) | 认知原语可迁移性首次被独立验证(含 PSN v2 实验) |
局限与改进
作者承认的局限性:(1) 推理开销——每个 token 流过所有加载的冻结栈(一次一个从 CPU),10 个 567MB 栈每次生成步骤增加延迟,生产部署需要常驻 GPU、kernel fusion 或 LatentMoE 压缩(潜在 16× 内存减少);(2) 隐藏维度容量上限——Gemma 3 12B 3840 维下每域占 64 方向用 1.7% 空间,50+ 域时容量成问题,70B+ 模型(8192 维)才可容纳 100+ 域;(3) 路由器训练数据敏感——v1 到 v2 reasoning 迭代表明路由器质量依赖训练数据与栈学习信号的匹配(OpenThoughts 含代码格式污染了 reasoning 信号,需换 LogiQA);(4) 预训练基座要求——PSN 实验确认 Brainstacks 需要有内聚隐藏几何的预训练基座,随机初始化权重上堆 LoRA 修正无用信号。我的额外观察:(5) 200 样本基准评测的信噪比过低(±0.07 CI),Table 4 的 -0.020 到 +0.030 差异无法支持零退化或改进的强结论——作者诚实承认关键观察是路由系统在任何任务上都没有灾难性退化,但没说有显著收益;(6) 路由发现的认知原语可迁移性是观察结果而非受控实验——PSN v2 提供了独立验证但样本量小(33 条医学 prompt),需要在更大数据集上复现;(7) 完整反遗忘系统在 ungated 推理下失效(累积损失 ~1.8),需要 router 才能恢复零遗忘承诺——但 router 本身在训练后引入新故障点;(8) 计算成本——Gemma 3 12B 5 域实验在 Colab G4 96GB 上每个域 500 steps 加路由器训练,实际工程门槛对研究者偏高。
独立分析的弱点
独立分析有四个值得关注的弱点。**弱点 1:评估规模不足**——Table 4 的 200 样本/任务是统计上虚弱的设计,无法区分真实效果与采样噪声;所有 ±0.02-0.03 的差异都在 ±0.07 CI 内,作者实际上承认了这点。改进方向:用全量 benchmark 或至少 1000+ 样本,让 95% CI 收紧到 ±0.03 以下,才能可靠讨论基线持平或轻微改进。**弱点 2:路由依赖经验 oracle,泛化风险**——outcome discovery 通过在训练集 prompt 上穷举搜索发现最优组合,但未见测试 prompt 是否同样受益于该组合;97% 路由到 chat+math 的结论是在 33 条 medalpaca 样本上得到的,样本量过小。改进方向:在独立的 held-out oracle 测试集上验证路由分布,并在未见 prompt 类型(如非英语医学、长 prompt)上做零样本泛化测试。**弱点 3:零空间投影的零遗忘声明依赖域隔离假设**——作者承认 ungated 推理时累积损失严重,零遗忘承诺只在 router 完美路由时成立,但 router 是 2M 参数的小网络,可能误分类(reasoning v1→v2 迭代就是证据)。改进方向:分析 router 误分类对最终输出的影响程度,或提供 router 不工作时的退化保证。**弱点 4:5 域实验的样本量不足**——医学域仅 ~20K 样本且路由主要走到 chat+math,意味着医学栈本身可能欠训练;reasoning 域 v1→v2 迭代进一步说明数据敏感性高。改进方向:扩展到 8-10 域并保持每域 >50K 样本,或在更大模型(Gemma 3 27B / 70B)上验证缩放性。**弱点 5:未与最强持续学习基线对比**——InfLoRA、NESS、LoRA-DRS 在论文相关工作中讨论但无直接 head-to-head 实验,无法判断相对优势。改进方向:在相同 TinyLlama 配置上重跑 InfLoRA + NESS 做对照表。
未来方向
作者提出的未来方向:(1) Self-Expanding LLM——利用 meta-router sigmoid 输出的低置信度信号检测能力 gap,触发自动数据采集与新栈训练;(2) Partitioned Subspace Network (PSN) 架构用于原生持续预训练,让残差流物理分割到不同域的隐藏维度子空间,跨子空间 attention 实现组合;(3) LatentMoE 压缩把栈内存降 16×(3840→256 维 latent)让消费级 GPU 部署;(4) 知识蒸馏把路由 ensemble 蒸馏到小 dense 模型但要 routing-aware 目标保留组合结构;(5) per-domain RL(DPO/GRPO)精修 SFT 栈,前提是 BestStackCallback 防护训练不稳定。基于成果的可延伸方向:(6) 把 outcome-based router 应用到 MoE LLM(如 Mixtral)而非 LoRA,验证认知原语可迁移性是否对全参数 MoE 也成立;(7) 探索 router 与领域栈的协同训练(end-to-end)而非当前的 two-stage,可能进一步提升路由精度;(8) 把零空间投影用于多模态域(视觉/语音)持续学习,验证几何隔离假设在不同表征空间的普适性;(9) 跨模型迁移——冻结的领域栈能否在不同基座(如 Llama-3 / Qwen)间迁移,类似 LoRA 跨模型工作;(10) 与 prefix tuning / prompt tuning 结合,看是否能在更轻量的参数空间实现认知原语。
复现评估
**开源情况**:代码已发布到 https://github.com/achelousace/brainstacks,论文明确给出 GitHub 链接。**数据集**:TinyLlama 实验用 tatsu-lab/alpaca (~52K)、python_code_instructions_18k_alpaca (~18K)、medalpaca flashcards (~33K)、GSM8K (~7.3K);Gemma 3 12B 实验用 Nemotron v2 chat、UltraFeedback、Daring-Anteater、OpenCodeReasoning、OpenThoughts、GSM8K、OpenMathReasoning、NuminaMath-CoT、MedQA-USMLE、medical-o1-reasoning-SFT、PubMedQA、OpenThoughts-114k、Nemotron STEM、Sky-T1——这些大多是 HuggingFace 上可获取的公开数据集,但完整重现需要 ~300K 样本的下载和预处理(含去污染和 chat token 剥离)。**算力**:TinyLlama-1.1B 4-bit 在 Colab 级别可重现(4 域 ~485 分钟);Gemma 3 12B 在 Colab G4 96GB 上需要 4-bit NF4 + SDPA attention + gradient checkpointing 优化,5 域 + meta-router 总耗时估计 10+ 小时,门槛偏高;PSN v2 涉及 GPT-2 pretraining 50K 词汇 + 6 层 MoE transformer ~100M 参数的原生训练,需要从头 pretrain TinyStories 阶段。**复现难度**:中等偏高——核心算法实现清晰(Algorithm 1/2),但工程细节多(BestStackCallback 的 spike 阈值、strip_chat_tokens 的 20+ token regex、disk-offloaded inference 的 cache 管理、router outcome discovery 的贪心 + 软提升混合)。**主要风险点**:(a) Outcome discovery 阶段需要为每个 prompt 跑多个域组合前向,训练集规模大时计算成本指数级增长(虽然作者说结果缓存到磁盘);(b) 零空间投影需要每个旧域都收集 400 条验证样本的隐藏状态,跨 4-5 域累积存储开销可观;(c) 7 投影 MoE-LoRA 的 einsum 实现需要仔细处理 top-K 路由的 batch 维度。
论文图表