← 返回 2026-04-02

S0调优：混合循环-注意力模型的零开销自适应方法 S0 Tuning: Zero-Overhead Adaptation of Hybrid Recurrent-Attention Models

Jack Young 📅 2026-04-03 👍 7 2026-07-13 08:36
代码生成 参数高效微调 循环状态 混合架构 零开销
arXiv HuggingFace PDF

通过仅优化初始循环状态实现零推理开销的高效模型微调方法

前置知识

混合循环-注意力模型

这是一种结合了循环层（如GatedDeltaNet、Mamba-2）和标准注意力机制的神经网络架构。循环层维护一个状态矩阵，在每个token处更新，而注意力层负责长距离依赖建模。例如Qwen3.5采用3:1的比例交错排列GatedDeltaNet层和注意力层，FalconH1则在每个层内并行处理Mamba-2和注意力头。这种设计既实现了次二次序列复杂度，又保留了注意力机制的上下文学习能力。

本文提出的方法专门针对这种混合架构中的循环状态进行优化，理解其结构对掌握S0调优的工作原理至关重要。

参数高效微调(PEFT)

PEFT是一类旨在减少微调所需参数数量的技术，包括LoRA、prefix tuning等方法。LoRA通过在权重矩阵上添加低秩分解实现微调，只训练少量参数（如秩24的适配器）。prefix tuning则在输入前添加可学习的虚拟token。这些方法在数据稀缺或算力有限时特别有用，但通常需要在推理时合并权重或增加额外计算开销。

S0调优是一种新型PEFT方法，与之对比的核心基线是LoRA，理解PEFT的背景有助于评估S0调优的贡献和优势。

循环状态初始化

在混合架构中，每个循环层维护一个状态矩阵，该状态在每个token处通过门控规则更新。例如GatedDeltaNet使用公式 S_t = alpha_t * S_{t-1} circ (I - beta_t * k_t * k_t^T) + beta_t * v_t * k_t^T，其中alpha_t是衰减门，beta_t控制写入强度。默认情况下，S_0被初始化为零矩阵。S0调优的核心思想是将这个零替换为学习的值，从而引导模型朝目标任务生成。

这是本文的核心创新点，理解循环状态如何更新和传播是理解S0调优轨迹引导机制的基础。

研究动机

当前主流的参数高效微调方法（如LoRA）主要针对纯Transformer架构设计，通过修改权重矩阵来实现模型适配。然而，混合循环-注意力模型（如Qwen3.5、FalconH1）中存在一个纯Transformer没有的适配表面——循环隐藏状态。这个状态矩阵在每个token处更新，能够累积整个上下文窗口的分布信息，但默认被设置为零。现有PEFT方法忽视了这一重要资源，导致在混合架构上性能受限或需要额外的推理开销（如权重合并）。例如，在HumanEval基准上，使用约48个验证过的训练解，Qwen3.5-4B的基线准确率仅为48.8%，而LoRA（rank 24，4.7M参数）虽然提升到61.5%正负5.1%，但仍存在较大方差且需要权重合并步骤。

本文的目标是本文的目标是提出一种名为S0调优的零推理开销PEFT方法，通过仅优化每个循环层的初始状态矩阵S_0，同时冻结所有模型权重，来适配混合语言模型。作者希望证明这种方法在小监督数据（约48个执行验证的HumanEval解）情况下，能够在HumanEval任务上超越LoRA，同时保持零推理开销的优势。具体来说，目标是在Qwen3.5-4B上实现超过+20个百分点的pass@1提升，并在FalconH1-7B上与LoRA相当，且无需权重合并。此外，还希望验证跨域迁移能力到MATH-500和GSM8K，并在纯Transformer上作为负控制验证方法的有效性。

与已有工作不同的是，本文的独特切入角度在于认识到混合架构中的循环状态是一个高杠杆的适配表面，这与LoRA等修改权重矩阵的策略有本质区别。已有工作（如Galim等人在Mamba-1上的研究）表明，在对角状态架构上初始状态调优表现不如LoRA，但本文聚焦于矩阵值状态（GatedDeltaNet的524K个状态条目），这是更表达丰富的适配表面。另一个创新是轨迹引导机制：S0的直接影响在prompt结束时衰减到0.03%的KL比率，但85%的修正解在第一个生成字符处就与基线分叉。这说明初始扰动被循环机制放大，改变了整个生成轨迹，这与LoRA的均匀权重修改形成了鲜明对比。

核心方法

S0调优的整体思路是将混合循环-注意力模型中每个循环层的初始状态S_0^{l}作为可学习参数，同时冻结所有模型权重theta。给定提示-完成对，循环层现在从alpha * S_0^{l}而不是默认的零状态开始，其中alpha是每架构特定的标量状态缩放超参数。仅使用完成目标上的交叉熵损失优化集合{S_0^{l}}_{l=1}^L，提示token被掩码以确保梯度仅作用于目标完成。关键洞察是，由于S_0仅在t=0处注入，它在t=1时就被吸收到运行状态中，每后续步骤执行未修改的循环，没有任何适配器分支和权重合并。因此，S0调优作为计算图的结构属性，而非经验近似，实现了零推理开销。

S0调优的核心创新点是将适配表面从权重矩阵转移到循环状态的初始化上。这与LoRA有本质区别：LoRA通过对权重矩阵添加低秩分解来修改整个模型的参数化，而S0调优仅修改每个循环层的单个初始状态矩阵（Qwen3.5-4B为12.6M参数，占总模型的0.3%），所有权重保持冻结。另一个本质区别是轨迹引导机制：S0对输出logits的直接影响在prompt结束时衰减到几乎为零（0.03% KL比率），但这个初始扰动被循环机制放大，导致85%的修正解在第一个生成字符处就与基线分叉。相比之下，prefix tuning在纯Transformer上所有配置下都退化性能13.9个百分点，说明循环结构是成功的关键。

方法步骤详情

S0调优的方法步骤如下：（1）为每个循环层l初始化S_0^{l} = 0，形状与该层的原生循环状态相同。（2）在第一个token之前将S_0^{l}作为初始隐藏状态注入，使用架构特定的缩放因子alpha（Qwen3.5使用alpha = 0.07，FalconH1使用alpha = 0.65）。（3）使用仅完成目标损失通过梯度下降优化S_0^{l}，其中提示token被掩码以确保梯度仅作用于目标完成。所有模型权重theta保持冻结。（4）在推理时，S_0在t=1时被吸收到循环状态中，在任何后续时间步添加零成本。训练在单个A10G GPU上仅需3分钟，最少25个解即可实现稳定增益。

技术新颖性

S0调优的技术新颖性体现在多个方面。首先，它首次在两个不同的循环族（GatedDeltaNet和Mamba-2）上验证了状态初始化PEFT的有效性，而前人工作主要局限于单个架构或对角状态。其次，它揭示了状态表达性阈值的存在：矩阵值状态（524K条目）能够编码足够的任务相关结构进行PEFT，而对角状态则不行。第三，它提供了详细的机制分析，包括持久性分析（显示S0影响呈指数衰减）、首字符分叉分析（85%的修正在位置0分叉）和线性探测（循环状态的AUC=0.93，残差流的AUC=0.90）。最后，它提出了架构特定的alpha调优策略，解释了为什么相同的初始状态尺度不能跨循环族无变化转移（Qwen3.5的最优alpha=0.07与FalconH1的alpha=0.65相差10倍）。

Computation graph for S0 tuning. The learned initial state S0 (teal) is injected into each recurrent layer before the first token. After t=1, it is absorbed into the running state and adds zero computational overhead. All model weights remain frozen.
Figure 2: Computation graph for S0 tuning. The learned initial state S0 (teal) is injected into each recurrent layer before the first token. After t=1, it is absorbed into the running state and adds zero computational overhead. All model weights remain frozen.

实验结果

在HumanEval任务上，S0调优在Qwen3.5-4B上实现了显著的性能提升：贪婪pass@1从48.8%提高到72.2%，在10个种子上平均提升+23.6正负1.7个百分点。与最佳Qwen LoRA基线（rank 24，4.7M参数）相比，S0获得了+10.8个百分点的优势（p=0.000056），且方差约为LoRA的三分之一（1.7 vs 5.1个百分点）。在FalconH1-7B上，S0达到71.8%正负1.3%，LoRA达到71.4%正负2.4%，在3个种子的样本量上统计上无法区分，但S0避免了权重合并且再次表现出更低方差。在参数匹配控制实验中，LoRA rank-64（12.6M参数，与S0完全匹配）在同一设置下退化了15.5正负18.9个百分点：10个种子中有8个为负。在匹配参数预算下，S0（+23.6 pp）和LoRA rank-64（-15.5 pp）之间的差距为39个百分点。跨域迁移方面，MATH-500提升+4.8正负1.4个百分点（p=0.00002，8个种子），GSM8K提升+2.8正负1.6个百分点（p=0.0003，10个种子），而Spider text-to-SQL显示无迁移（+0.0 pp）。在缩放行为上，Qwen3.5-{0.8B, 2B, 4B, 9B}的性能增益随模型尺度单调增加：0.8B为+2.6正负3.7 pp（p=0.076），2B为+19.0正负1.2 pp（p=0.001），4B为+23.6正负1.7 pp，9B为+44.0正负1.2 pp（p=0.0002）。

HumanEval main results on held-out problems 80–163. Qwen results use 10 seeds; Falcon results use 3 seeds unless noted otherwise.
Table 1: HumanEval main results on held-out problems 80–163. Qwen results use 10 seeds; Falcon results use 3 seeds unless noted otherwise.
Parameter-matched LoRA comparison on Qwen3.5-4B HumanEval (10 seeds each).
Table 2: Parameter-matched LoRA comparison on Qwen3.5-4B HumanEval (10 seeds each).
State-based comparison on Qwen3.5-4B HumanEval. S0 and state-offset use a dedicated paired 10-seed rerun; the LoRA row is included only as the main rank-24 reference baseline from Table 1.
Table 3: State-based comparison on Qwen3.5-4B HumanEval. S0 and state-offset use a dedicated paired 10-seed rerun; the LoRA row is included only as the main rank-24 reference baseline from Table 1.
Overview of S0 tuning. (a) Cross-architecture comparison on HumanEval: S0 (teal) outperforms LoRA on Qwen3.5-4B and is tied with it on FalconH1-7B (hatched bars). The Qwen comparison is significant (p < 0.001; ***); the Falcon 3-seed comparison is statistically indistinguishable from LoRA. Offset is shown for Qwen only (not applicable to FalconH1's recurrence). Error bars show ±1 std across seeds. (b) First-character divergence: of 27 FAIL-to-PASS flips, 23 (85%) diverge from baseline at the very first generated character (teal dots at position 0).
Figure 1: Overview of S0 tuning. (a) Cross-architecture comparison on HumanEval: S0 (teal) outperforms LoRA on Qwen3.5-4B and is tied with it on FalconH1-7B (hatched bars). The Qwen comparison is significant (p < 0.001; ***); the Falcon 3-seed comparison is statistically indistinguishable from LoRA. Offset is shown for Qwen only (not applicable to FalconH1's recurrence). Error bars show ±1 std across seeds. (b) First-character divergence: of 27 FAIL-to-PASS flips, 23 (85%) diverge from baseline at the very first generated character (teal dots at position 0).
(a) Scaling and architecture-specific tuning. (a) Performance gains increase monotonically with model scale, from +2.6 pp at 0.8B to +44.0 pp at 9B. Error bars show ±1 standard deviation across seeds. The 9B model achieves 76.1% absolute accuracy from a 32.1% baseline, suggesting larger models have more latent capability to unlock via state initialization. (b) FalconH1 alpha sweep: the default alpha=0.07 yields only +8.3 pp, but architecture-specific tuning to alpha=0.6–0.7 reaches 71.8%, matching LoRA's 71.4%. Large alpha (>=2.0) collapses performance.
Figure 3: (a) Scaling and architecture-specific tuning. (a) Performance gains increase monotonically with model scale, from +2.6 pp at 0.8B to +44.0 pp at 9B. Error bars show ±1 standard deviation across seeds. The 9B model achieves 76.1% absolute accuracy from a 32.1% baseline, suggesting larger models have more latent capability to unlock via state initialization. (b) FalconH1 alpha sweep: the default alpha=0.07 yields only +8.3 pp, but architecture-specific tuning to alpha=0.6–0.7 reaches 71.8%, matching LoRA's 71.4%. Large alpha (>=2.0) collapses performance.
First-character divergence in FAIL-to-PASS flips (27 flips, single-seed Qwen3.5-4B). (a) 23 of 27 corrected solutions (85%) diverge from baseline at character position 0, the very first generated character. (b) Cumulative distribution of divergence positions: all 27 flips diverge within the first 10% of the completion (mean 0.76%, median 0.0%). S0 shifts the output distribution at the first opportunity; autoregressive decoding amplifies this into a qualitatively different solution.
Figure 4: First-character divergence in FAIL-to-PASS flips (27 flips, single-seed Qwen3.5-4B). (a) 23 of 27 corrected solutions (85%) diverge from baseline at character position 0, the very first generated character. (b) Cumulative distribution of divergence positions: all 27 flips diverge within the first 10% of the completion (mean 0.76%, median 0.0%). S0 shifts the output distribution at the first opportunity; autoregressive decoding amplifies this into a qualitatively different solution.
查看结构化数据
任务指标本文基线提升
HumanEval (pass@1) 准确率 72.2%正负1.7% (Qwen3.5-4B) 61.5%正负5.1% (LoRA rank 24) +10.8 pp (p<0.001)
HumanEval (pass@1) 准确率 71.8%正负1.3% (FalconH1-7B) 71.4%正负2.4% (LoRA rank 24) +0.4 pp (不显著)
MATH-500 准确率 +4.8正负1.4 pp 基线 p=0.00002 (8种子)
GSM8K 准确率 +2.8正负1.6 pp 基线 p=0.0003 (10种子)
Spider 准确率 +0.0 pp 基线 无迁移
HumanEval (pass@10) 准确率 88.5% 66.7% (LoRA) +21.8 pp
HumanEval 准确率 76.1% (Qwen3.5-9B) 32.1% (基线) +44.0 pp
HumanEval (参数匹配) 准确率变化 +23.6 pp (S0, 12.6M参数) -15.5 pp (LoRA rank 64, 12.6M参数) 39 pp差距

局限与改进

作者承认的局限性包括：代码-数学差距——S0调优在代码生成上最强（HumanEval +23.6 pp），但跨域迁移到MATH-500（+4.8 pp）和GSM8K（+2.8 pp）虽然统计显著但实质上较小。对角状态与矩阵状态——本文结果仅针对矩阵值状态架构（GatedDeltaNet、Mamba-2），Galim等人已证明初始状态调优在对角状态Mamba-1上表现不如LoRA。训练数据要求——S0调优需要执行验证的正确解（HumanEval设置约48个验证完成），这是一个相对小的训练集，使得标题结果应被读作循环状态是强适配表面的少数据证据。证据强度和计算预算——核心结果在Qwen上是过度确定的，但Falcon仍使用3个种子，Spider是单种子alpha扫描，项目在固定个人GPU预算而非集群访问后停止扩展基准网格，因此将这些实验视为迁移检查和边界条件，而非每个竞争方法和类别的完整基准扫描。

独立分析的弱点

独立分析的弱点包括：领域泛化能力有限——S0调优在代码任务上表现优异，但在结构化输出任务（Spider text-to-SQL）上完全失效（+0.0 pp），这说明轨迹引导机制在早期token多样性较低的任务中效果有限。架构特定调优负担——不同循环族需要差异巨大的alpha缩放因子（Qwen3.5的alpha=0.07与FalconH1的alpha=0.65相差10倍），这增加了应用该方法时的调优负担。小数据敏感性——在参数匹配实验中，LoRA rank-64在10个种子中有8个退化为负结果，说明这种少数据设置本身就不稳定，虽然S0在此设置下表现良好，但可能仍对训练数据质量敏感。缺乏大规模验证——主要结果集中在小型模型（0.8B-9B）和单一代码基准上，缺乏在更大规模模型和更广泛任务类别上的验证，限制了对其泛化能力的信心。改进方向可以包括探索自适应alpha调优策略、扩展到更多架构族和任务类别，以及研究如何提升在低早期token多样性任务上的表现。

未来方向

作者提出的未来研究方向包括：研究状态表达性阈值——需要系统地探索使初始状态调优有效所需的最小状态维度和结构，理解从对角状态到矩阵状态的过渡点。扩展到更多循环架构——验证S0调优在其他循环族（如RWKV、Jamba）上的有效性，以及是否所有矩阵值状态架构都受益于该方法。探索自适应状态调优——研究是否可以学习alpha缩放因子，或设计架构无关的归一化策略，减少手动调优负担。研究跨任务状态插值——State Soup工作表明Mamba-2.8B中上下文学习的状态按任务聚类，插值它们可以提高少样本性能。可以扩展这一思想：学习多任务状态插值或动态状态选择机制。开发训练-解耦策略——当前方法需要执行验证的正确解，限制了在验证昂贵场景中的应用。可以探索自监督或弱监督的替代方案。作者还建议在更大规模模型和更广泛基准上进行系统性评估，以更全面地理解方法的缩放行为和边界条件。

复现评估

论文的开源情况较好：作者提供了代码和库（https://github.com/jackyoung27/s0-tuning），包括S0调优的实现和训练脚本。训练数据来源于冻结基模型采样的执行验证的正确解，HumanEval保留问题0-79用于训练数据收集，在保留问题80-163（n=84）上评估。主要HumanEval流水线每个训练问题最多保留一个通过完成，总共约48个验证解。训练在单个A10G GPU上仅需3分钟，最少25个解即可实现稳定增益。实验采用严格的统计协议：所有训练超参数在附录A中详细说明，主要比较使用10个随机种子，报告平均值正负标准差，并使用Welch t检验（不等方差）测试显著性。除非另有说明，主论文中的假设检验是双侧的；配对t检验仅用于专门的S0与state-offset重运行。只有3个种子的比较（Falcon、2B、9B和pass@k）作为支持性证据而非标题优越性声明报告。GPU浮点非确定性在种子间引入约2个百分点的基线变化，这被吸收到报告的标准偏差中。整体而言，复现难度中等，主要挑战在于获取相同的模型权重和GPU环境。

论文图表

Algorithm 1: S0 tuning

算法1描述了S0调优的完整流程。输入：混合模型f_theta，正确解集合{(x_i, y_i)}_{i=1}^N，缩放因子alpha。输出：学习的初始状态{S_0^{l}}_{l=1}^L。步骤1：为每个循环层l初始化S_0^{l} <- 0。步骤2-6：for step = 1 to T do：步骤3：为每个循环层l设置初始状态S_0^{l} <- alpha * S_0^{l}。步骤4：计算损失L = sum_{i=1}^N CE(y_i, f_theta(x_i; alpha S0)) + lambda * sum_{l=1}^L ||S_0^{l}||_2^2。步骤5：更新S_0^{l} <- S_0^{l} - eta * nabla_{S_0^{l}} L。步骤7：返回{S_0^{l}}_{l=1}^L。

这个算法对理解论文至关重要，因为它以伪代码形式清晰地描述了S0调优的完整实现流程，包括初始化、状态缩放、损失计算和梯度更新的所有细节。