用于提示词高亮的谱注意力引导方法 Spectral Attention Steering for Prompt Highlighting

方法步骤分为离线学习和在线推理两个完整流程。离线学习包括：1）构建合成对比性数据集，每个样本包含中性、正（相关）和负（不相关）三种提示词变体；2）从这些提示词中提取答案 span 的 key 嵌入，得到 $h$（中性）、$h^+$（正）和 $h^-$（负）；3）对于每个层 $\ell$ 和注意力头 $h$，计算正负协方差矩阵 $\Omega^+_{\ell,h} = h^\top h^+ / n$ 和 $\Omega^-_{\ell,h} = h^\top h^- / n$；4）对协方差矩阵进行 SVD 分解 $\Omega^+ = U^+ S^+ (V^+)^\top$ 和 $\Omega^- = U^- S^- (V^-)^\top$；5）根据方差阈值 $\gamma$ 选择前 $k^+$ 个最大的奇异向量构建正投影 $P^+ = U^+_{:,:k^+} (U^+_{:,:k^+})^\top$，选择后 $k^-$ 个最小的奇异向量构建负投影 $P^- = U^-_{:,k^-:} (U^-_{:,k^-:})^\top$；6）计算每个注意力头的正负 key 嵌入平均 $\ell_2$ 距离 $D_{\ell,h}$，选择 $D_{\ell,h} \ge \delta_{min}$ 的头。在线推理包括：1）对于每个用户高亮的 token $j$，提取其 key 向量 $k_j$；2）计算编辑后的 key $k'_j = k_j + (g^+ \cdot P^+_{\ell,h} k_j + g^- \cdot P^-_{\ell,h} k_j) / 2$；3）将编辑后的 key 用于注意力计算。AdaSEKA 的额外步骤是：1）离线学习多个任务特定的专家投影；2）推理时提取提示词最后一个 token 的查询向量 $q_{\ell,h}$；3）计算每个专家的动态系数 $\alpha_{m,\ell,h}(q_{\ell,h}) = \sum_{k=1}^K (q_{\ell,h}^\top u^{(k)}_{m,\ell,h}) \cdot \sigma^{(k)}_{m,\ell,h} / \max_m \sum_{k=1}^K (q_{\ell,h}^\top u^{(k)}_{m,\ell,h}) \cdot \sigma^{(k)}_{m,\ell,h}$；4）构建动态投影 $P_{dynamic} = \sum_{m=1}^M \alpha_{m,\ell,h} U_{m,\ell,h,:K} (U_{m,\ell,h,:K})^\top$；5）使用动态投影编辑 key 向量。

SEKA 的技术新颖性体现在多个层面。首先，这是首个完全在注意力计算之前进行引导的方法，彻底避免了注意力矩阵的存储和修改。从代数角度看，SEKA 的变换 $q^\top k'_j / \sqrt{d_k} = q^\top k_j / \sqrt{d_k} + q^\top P k_j / \sqrt{d_k}$ 等价于在原始注意力矩阵 $A$ 上加上一个低秩的相关性偏置矩阵 $B$，但这通过编辑 key 向量实现，不需要显式构造 $B$。其次，方法引入了注意力头的选择机制，这是基于实证发现：只有中后层的一小部分注意力头对相关性敏感，这与机制可解释性研究中的 retrieval heads 理论一致。第三，AdaSEKA 引入了训练无关的查询自适应路由机制，这是注意力引导领域的创新。与传统的 MoE 需要训练路由网络不同，AdaSEKA 通过简单的内积和奇异值加权计算动态系数，既保持了灵活性，又避免了额外训练。最后，方法在几何上的可解释性也是一个新颖点：编辑操作清晰地对应于在相关性子空间上的放大，这与传统的黑盒干预形成对比。

从独立分析的角度，SEKA 在某些特定场景下存在潜在弱点。第一个弱点是方法对模型架构的依赖性。虽然论文在 Qwen3 和 Gemma3 两个模型家族上都验证了有效性，但不同架构（如 LLaMA、Mistral）的注意力模式和 head 组织可能不同，需要重新确定 $\delta_{min}$ 等参数。改进方向可以是设计跨架构自适应的头选择策略，例如通过轻量级 probing 自动识别 retrieval heads。第二个弱点是在极端长序列场景下的扩展性。虽然方法与 FlashAttention 兼容，但对于超长序列（如 100K+ tokens），存储多个层的投影矩阵仍可能成为内存瓶颈。改进方向是探索低秩表示或参数共享策略，例如在不同层之间共享投影或使用更紧凑的表示。第三个弱点是方法的'一刀切'特性：所有高亮 token 使用相同的增益系数，而不同 token 的重要性可能不同。改进方向是引入 token 级别的自适应增益，基于 token 的语义重要性或位置信息动态调整放大程度。第四个弱点是合成数据与真实应用场景的潜在 gap。合成数据使用固定的模板结构，可能无法完全捕捉真实世界中复杂多变的上下文。改进方向是引入更多样化的合成策略，或者使用真实标注数据（如果有）进行投影学习。

作者提出的未来研究方向包括扩展到更多类型的注意力引导任务，如风格控制、安全对齐等。基于成果可以延伸的方向包括：1）将 SEKA 与其他干预方法结合，例如同时在 key 侧和 value 侧进行编辑，实现更精细的控制；2）探索端到端的投影学习方法，将当前的谱分解框架与可学习的参数结合；3）研究多任务联合学习，让单个投影能够适应多个任务，减少存储和计算开销；4）应用于更复杂的长上下文场景，如代码生成、多文档摘要等；5）与其他推理时干预技术（如 activation steering）的协同效应；6）研究方法在不同模态（如图像、多模态）中的适用性。另一个有前景的方向是将注意力引导与其他上下文利用技术结合，例如在检索增强生成（RAG）场景中，用 SEKA 引导模型关注检索到的相关文档片段。

论文在复现性方面表现良好。作者已经公开了所有材料，包括完整源码、实验运行说明、预计算的投影矩阵和预处理的数据集。所有使用的原始数据集（BIASBIOS、COUNTERFACT、Lost in the Middle）都是公开可用的，且使用 MIT 许可证。论文在 Reproducibility Statement 中提供了详细的超参数设置（附录 F），并明确说明了评估样本和指标计算的细节（附录 E）。代码仓库地址为 https://github.com/waylonli/SEKA。算力需求方面，主要实验使用单张 NVIDIA-GH200-120GB GPU，这对于大多数研究机构是可及的。然而，完全复现所有实验仍需要相当的计算资源，尤其是在多个模型规模上进行超参数搜索。合成数据的构造使用了 GPT-4o，虽然提供了提示词模板，但不同版本的 GPT 可能产生不同质量的合成样本。总体而言，论文提供了充分的实验细节和开源资源，复现难度中等，主要障碍是计算资源需求。