Avey-B：基于Avey的无注意力双向编码器架构 Avey-B
Avey-B是一种无注意力双向编码器，在NLP任务上超越传统Transformer，效率更高。
前置知识
双向编码器（Bidirectional Encoder）
双向编码器是一种能够同时考虑文本序列中左侧和右侧上下文信息的神经网络架构。与单向模型（如GPT）只能看到左侧上下文不同，双向编码器通过掩码语言建模（MLM）等预训练目标，学习对每个词元进行完整的上下文表示。BERT是双向编码器的代表，它通过随机掩盖部分词元并预测被掩盖的词元，从而学习双向上下文信息。这种架构在分类、检索、问答等判别式任务中表现出色，因为这些任务需要同时理解前后文信息。
Avey-B是专门为双向编码任务设计的，理解双向编码器的概念是理解本文研究动机和目标的基础。
自注意力机制（Self-Attention）
自注意力机制是Transformer架构的核心，它允许序列中的每个位置关注其他所有位置，从而捕获长距离依赖关系。具体来说，它通过计算查询（Q）、键（K）、值（V）矩阵的点积注意力分数，然后对值进行加权求和来生成上下文表示。虽然自注意力机制非常强大，但其时间和内存复杂度与序列长度的平方成正比（O(N²)），这限制了其在长序列处理中的应用。
本文提出的Avey-B架构完全摒弃了自注意力机制，这是其与传统Transformer编码器的根本区别，理解自注意力机制的局限性有助于理解本文的创新点。
掩码语言建模（Masked Language Modeling, MLM）
掩码语言建模是BERT提出的一种预训练目标，其核心思想是随机掩盖输入序列中一定比例的词元（通常为15%），然后训练模型预测被掩盖的词元。通过这种方式，模型被迫学习同时利用左侧和右侧的上下文信息来预测被掩盖的词元，从而获得双向上下文表示能力。MLM是双向编码器预训练的关键技术，使模型能够学习丰富的语言表示。
Avey-B采用MLM作为预训练目标，理解MLM的工作原理有助于理解Avey-B的预训练过程和评估其效果。
序列处理中的长距离依赖问题
在自然语言处理中，理解文本往往需要捕捉词元之间的长距离依赖关系，例如在一个长文档中，开头提到的实体可能在很后面才再次出现。传统的RNN模型由于梯度消失问题难以有效捕捉长距离依赖，而Transformer的自注意力机制虽然理论上可以捕捉任意距离的依赖，但其O(N²)的复杂度使得处理长序列时计算成本极高，甚至不可行。这限制了传统编码器在长文档处理、长上下文问答等任务中的应用。
Avey-B通过创新的架构设计解决了长距离依赖问题，同时避免了自注意力机制的二次复杂度，这是其核心优势之一。
动态参数化（Dynamic Parameterization）
动态参数化是指神经网络层的参数不是固定的，而是根据输入数据动态生成或调整。在Avey-B的上下文中，动态参数化体现在上下文器（Contextualizer）中，它使用输入数据的余弦相似度矩阵来动态调整不同词元之间的交互权重。与传统的静态权重矩阵不同，动态参数化允许模型根据具体的输入内容自适应地调整信息流动，从而更好地捕捉上下文相关的依赖关系。
动态参数化是Avey-B的核心创新之一，理解其工作原理和优势有助于理解Avey-B与传统Transformer架构的本质区别。
研究动机
当前工业界广泛使用的双向编码器（如BERT、RoBERTa及其现代变体ModernBERT、NeoBERT）主要基于Transformer架构，其核心是自注意力机制。虽然自注意力机制能够提供强大的双向上下文化能力，但其时间和内存复杂度与序列长度的平方成正比（O(N²)），这在处理长序列时成为主要瓶颈。例如，在需要处理长文档的信息检索、长上下文问答等任务中，Transformer编码器的计算成本急剧上升，甚至可能导致内存溢出。此外，尽管已有许多工作试图通过线性注意力、状态空间模型等方法降低复杂度，但这些方法大多专注于自回归解码器或单向模型，很少被适配到双向编码器范式中。因此，在资源受限、需要处理长序列的实际应用场景中，现有双向编码器面临严峻的效率挑战。
本文的目标是本文的具体目标是提出一种全新的双向编码器架构Avey-B，该架构完全摒弃自注意力机制，从而从根本上解决Transformer编码器的二次复杂度问题。Avey-B旨在实现以下几个关键目标：首先，在标准的词元分类（如命名实体识别）和信息检索基准测试中达到或超越现有最佳Transformer编码器的性能；其次，在长序列处理中展现出显著更高的效率和更低的延迟；最后，通过创新的架构设计，使模型能够处理远超其训练时所见长度的序列（即良好的长度外推能力）。实验表明，Avey-B在128到96K词元的序列长度范围内，吞吐量始终高于所有评估的Transformer基线，并且在N=96K时，其吞吐量分别是ModernBERT和NeoBERT的3.38倍和11.63倍。
与已有工作不同的是，本文的独特切入角度在于，它从一个全新的架构范式出发，而不是在现有Transformer框架内进行修补。Avey-B基于一个名为Avey的自回归、无注意力架构，该架构通过将序列分割成块（split），并使用一个排名器（Ranker）为每个目标块检索最相关的top-k个块，然后用一个动态参数化的神经处理器（Neural Processor）来处理这些相关块。这种设计将上下文宽度与序列长度解耦，从而实现了高效的长距离交互。Avey-B将Avey适配到双向编码器设置中，并提出了三个关键创新：解耦的静态和动态参数化、行归一化的相似度分数、以及神经压缩模块。这些创新解决了将Avey扩展到双向设置时遇到的可扩展性问题，并显著提升了性能和效率。这种从自回归到双向、从有注意力到无注意力的转换，抓住了被现有工作忽视的一个关键点：在双向编码任务中，基于检索和动态参数化的方法可能比全局自注意力更高效且同样有效。
核心方法
Avey-B的方法可以类比为一个高效的信息检索和处理系统。想象一下，当你阅读一篇长文档时，你不会逐字逐句地关注每一个词，而是会快速浏览，找到与当前阅读部分最相关的段落，然后仔细阅读这些相关段落来理解上下文。Avey-B正是采用了类似的思路：它将输入序列分割成固定大小的块（split），然后为每个目标块使用一个轻量级的排名器（Ranker）来检索最相关的top-k个块。接下来，它将这些相关块的信息压缩回原始块的大小，并通过一个神经处理器（Neural Processor）来处理，从而生成上下文表示。整个技术路线包括三个核心组件：排名器（负责检索相关块）、神经压缩器（负责压缩检索到的上下文）和神经处理器（负责上下文化）。神经处理器内部又包含三个模块：丰富器（Enricher）扩展词元特征、上下文化器（Contextualizer）实现词元间交互、融合器（Fuser）整合信息。这种设计使得Avey-B的计算复杂度与序列长度成线性关系（O(N)），而不是Transformer的二次关系。
Avey-B的核心创新点在于其独特的“解耦参数化”和“神经压缩”设计，这使其与已有方法（包括原始Avey架构）有本质区别。首先，原始Avey架构在上下文化器中将学习到的静态权重矩阵V与输入依赖的余弦相似度矩阵进行元素级乘法耦合，这种耦合可能导致破坏性的交互：一个与当前神经元高度相似的词元可能因为权重较小而贡献反而小于一个相似度较低的词元，这违反了“更相关应贡献更多”的单调性原则。Avey-B通过解耦静态和动态参数化解决了这个问题：它将每一层明确指定为静态层或动态层，并交替排列。静态层应用学习到的线性变换，而动态层仅使用余弦相似度来加权词元。这种设计保证了动态层中相似度更新的单调性，同时允许静态层在不破坏单调性的前提下塑造表示。其次，原始Avey在双向设置中面临可扩展性问题：每个块需要与top-k个检索块拼接，导致神经处理器需要处理(k+1)倍的词元数量。Avey-B引入了神经压缩器，通过一个学习到的线性投影将(k+1)S个词元压缩回S个词元，从而将神经处理器的计算量减少了4.37倍，同时保持了强大的任务性能。这两个创新共同构成了Avey-B的技术核心，使其在效率和效果上都超越了原始Avey和传统Transformer编码器。
方法步骤详情
Avey-B的方法可以分解为以下四个主要步骤：第一步是序列分块（Sequence Partitioning）。给定一个长度为N的输入序列，Avey-B将其分割成大小为S的等长块，如果N不能被S整除则进行零填充。第二步是排名与检索（Ranking and Retrieval）。对于每个目标块，排名器使用MaxSim算子计算其与所有前序块的相似度（在Avey-B中，排名器是单向的，只检索左侧上下文），然后按相似度分数排序并选择top-k个最相关的块。在检索后，排名器还会对top-k块的MaxSim分数进行归一化（除以其中的最大值），并用归一化后的分数对检索到的块进行加权。第三步是神经压缩（Neural Compression）。这是Avey-B的关键创新之一。它将目标块与其top-k个检索块拼接成一个(k+1)S大小的块，然后通过一个学习到的线性投影矩阵P将这个拼接块压缩回S个词元。为了保留原始目标块的信号，压缩器还会添加一个残差连接，将压缩输出与原始S个词元相加。第四步是神经处理（Neural Processing）。压缩后的S个词元被送入神经处理器，该处理器由多个层堆叠而成，每层包含三个模块：丰富器（Enricher）通过一个位置级神经网络将词元嵌入从维度d扩展到更大的维度m，并将输出分为两部分，一部分直接传递给融合器（部分嵌入旁路），另一部分传递给上下文化器；上下文化器（Contextualizer）是一个嵌入级神经网络，它将词元嵌入的右半部分进行上下文化，具体操作是计算词元间的余弦相似度矩阵，进行行求和归一化，然后用归一化后的相似度矩阵对词元嵌入进行加权求和，最后用左半部分进行门控；融合器（Fuser）将旁路部分和上下文化后的部分拼接，并通过一个线性投影映射回原始维度d。整个神经处理器的输出通过残差连接与丰富器的输入相加。这四个步骤共同构成了Avey-B的完整前向传播过程。
技术新颖性
Avey-B的技术新颖性体现在多个层面，使其与现有技术有显著区别。首先，与基于Transformer的编码器（如BERT、RoBERTa、ModernBERT、NeoBERT）相比，Avey-B完全摒弃了自注意力机制。Transformer编码器通过自注意力实现全局双向上下文化，但其复杂度为O(N²)。Avey-B通过“分块-检索-压缩-处理”的流程，将复杂度降低到O(N)，同时通过检索机制保留了全局上下文访问能力。其次，与原始Avey架构相比，Avey-B引入了三个关键创新：1）解耦的静态和动态参数化。原始Avey将学习权重与相似度分数耦合，可能导致单调性违反。Avey-B通过将层明确分为静态和动态两类并交替排列，保证了动态层中相似度更新的单调性，这是通过数学证明保证的（见论文附录A）。2）行归一化的相似度分数。Avey-B在动态层中对余弦相似度矩阵进行行求和归一化，得到行随机相似度算子，这稳定了训练并提升了性能。实验表明，这种简单的归一化方法优于softmax、缩放softmax和RMS归一化等替代方案。3）神经压缩模块。原始Avey在双向设置中，每个块需要处理(k+1)倍的词元，导致计算量大增。Avey-B引入神经压缩器，通过学习到的线性投影将拼接块压缩回原始大小，实现了4.37倍的吞吐量提升，同时保持了强大的任务性能。这些创新共同使Avey-B成为首个在多个标准基准测试中全面超越现代Transformer编码器的无注意力双向编码器。
实验结果
Avey-B的实验结果表明，它在多个关键方面超越了现有的Transformer编码器。在有效性方面，Avey-B在词元分类（TC）和信息检索（IR）任务上表现尤为突出。在词元分类任务中，Avey-B base在CoNLL-2003上达到92.88 F1，而BERT base为90.25，RoBERTa base为90.55，ModernBERT base为92.30，NeoBERT medium为87.55。在信息检索任务中，Avey-B base在MS MARCO上达到88.14 NDCG@10，而ModernBERT base为88.09，NeoBERT medium为70.76。值得注意的是，Avey-B base甚至在词元分类和信息检索任务上超越了所有大型Transformer编码器，尽管其预训练数据量比ModernBERT少约11倍。在效率方面，Avey-B展现出卓越的长序列处理能力。在128到96K词元的序列长度范围内，Avey-B的吞吐量始终高于所有评估的Transformer基线。在N=96K时，Avey-B-torch-compile的吞吐量分别是ModernBERT-sys-optimized和NeoBERT-sys-optimized的3.38倍和11.63倍。通过幂律衰减模型T(N)∝N^{-α}拟合，Avey-B的衰减指数α≈0.44，远小于ModernBERT的α≈0.77和NeoBERT的α≈0.81，表明Avey-B的吞吐量随序列长度增加而下降的速度大约是ModernBERT的一半。在延迟方面，Avey-B同样表现出色，在N=96K时，Avey-B-torch-compile的延迟分别是ModernBERT-sys-optimized和NeoBERT-sys-optimized的3倍和10倍以上。此外，Avey-B还展示了强大的长度外推能力：在合成的“大海捞针”基准测试中，尽管仅在2048词元的上下文窗口上训练，Avey-B能够处理长达96K词元的序列，且性能下降很小（从1K到96K仅下降3-4个点），而ModernBERT和NeoBERT分别无法超过8K和4K词元。这些结果共同证明，Avey-B不仅在标准基准测试中具有竞争力，而且在长序列处理和效率方面具有显著优势。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 词元分类（CoNLL-2003 NER） | F1分数 | 92.88（Avey-B base） | 90.25（BERT base）, 90.55（RoBERTa base）, 92.30（ModernBERT base）, 87.55（NeoBERT medium） | 比BERT base高2.63点，比RoBERTa base高2.33点，比ModernBERT base高0.58点，比NeoBERT medium高5.33点 |
| 信息检索（MS MARCO） | NDCG@10 | 88.14（Avey-B base） | 88.09（ModernBERT base）, 70.76（NeoBERT medium） | 比ModernBERT base高0.05点，比NeoBERT medium高17.38点 |
| 信息检索（NQ） | NDCG@10 | 83.62（Avey-B base） | 80.30（BERT base）, 80.66（RoBERTa base）, 75.24（ModernBERT base）, 56.72（NeoBERT medium） | 比BERT base高3.32点，比RoBERTa base高2.96点，比ModernBERT base高8.38点，比NeoBERT medium高26.90点 |
| 序列分类（SST-2） | 准确率 | 92.94（Avey-B base） | 90.94（BERT base）, 92.78（RoBERTa base）, 92.32（ModernBERT base）, 84.69（NeoBERT medium） | 比BERT base高2.00点，比RoBERTa base高0.16点，比ModernBERT base高0.62点，比NeoBERT medium高8.25点 |
| 吞吐量（N=96K，优化设置） | 词元/秒 | Avey-B-torch-compile | ModernBERT-sys-optimized, NeoBERT-sys-optimized | Avey-B的吞吐量是ModernBERT的3.38倍，是NeoBERT的11.63倍 |
局限与改进
尽管Avey-B在多个方面表现出色，但论文也承认了一些局限性。首先，在序列分类（SC）和问答（QA）任务上，Avey-B的表现并不总是最优。例如，在MNLI任务上，Avey-B base（83.58）落后于RoBERTa base（86.42）和ModernBERT base（86.72）；在ReCoRD任务上，Avey-B base（44.03）落后于ModernBERT base（65.73）和RoBERTa base（36.76）。这表明Avey-B在某些需要全局语义理解或复杂推理的任务上可能不如基于自注意力的Transformer编码器。其次，Avey-B目前缺乏融合内核（CUDA/Triton）实现，只能使用torch.compile进行优化，这限制了其效率潜力的完全发挥。论文指出，Avey是较新的架构，尚缺乏成熟的融合内核优化。第三，Avey-B的预训练数据量（180B词元）比ModernBERT（约2T词元）少约11倍，这可能限制了其在某些任务上的性能上限。如果使用更多的预训练数据，Avey-B的性能可能会进一步提升。第四，论文中评估的Avey-B模型规模相对较小（base为165M参数，large为391M参数），而ModernBERT和NeoBERT有更大的模型变体。探索更大规模的Avey-B模型是否能带来进一步的性能提升是一个有趣的问题。此外，从我的观察来看，Avey-B的神经压缩模块虽然提高了效率，但也可能损失了一些细粒度的跨块信息，这在需要精确跨块推理的任务（如某些问答任务）中可能是一个瓶颈。
独立分析的弱点
基于对论文的深入分析，我认为Avey-B存在以下几个主要弱点，每个弱点都伴随着具体的改进方向。首先，Avey-B在序列分类和问答任务上的表现不稳定，这可能源于其架构的内在限制。Avey-B的神经处理器是逐块独立处理的，块之间的信息流动仅通过排名器的检索机制实现，这可能导致全局语义信息的丢失。改进方向包括：设计更复杂的块间信息传递机制，例如允许神经处理器在处理完所有块后进行一次全局聚合；或者引入轻量级的全局注意力层来处理需要全局推理的任务。其次，Avey-B的神经压缩模块可能造成信息损失。压缩器通过线性投影将(k+1)S个词元压缩为S个词元，这本质上是一个有损压缩。在需要精确跨块推理的任务中，这种压缩可能丢弃关键信息。改进方向包括：探索更复杂的压缩机制，如使用自注意力或交叉注意力来动态选择最重要的信息；或者设计自适应压缩率，根据任务需求调整压缩程度。第三，Avey-B的排名器是单向的（只检索左侧上下文），这在双向编码任务中可能不是最优的。虽然论文的消融研究表明双向排名器性能更差，但这可能是因为当前的双向排名器实现不够精细。改进方向包括：设计更智能的双向排名策略，例如只在某些层或某些块上使用双向检索；或者结合局部和全局检索，对近距离块使用双向检索，对远距离块使用单向检索。第四，Avey-B目前缺乏专门的硬件优化。Transformer编码器有FlashAttention等成熟的融合内核优化，而Avey-B只能依赖torch.compile。开发专门的CUDA/Triton内核可以进一步提升Avey-B的效率，特别是其排名器和神经压缩器部分。第五，Avey-B的预训练数据规模较小（180B词元），而ModernBERT使用了约2T词元。扩大预训练数据规模可能会显著提升Avey-B的性能，尤其是在数据密集型任务上。
未来方向
Avey-B的研究为未来工作开辟了多个有前景的方向。首先，作者提出的架构创新（解耦参数化、行归一化、神经压缩）可以推广到其他无注意力架构中，例如状态空间模型（SSM）或线性注意力变体。探索这些技术在其他架构中的适用性是一个重要的研究方向。其次，Avey-B的检索机制可以与现有的密集检索系统（如ColBERT、DPR）相结合，用于构建更高效的端到端检索增强生成（RAG）系统。Avey-B的编码器可以用于文档编码，而其检索机制可以用于快速检索相关文档片段。第三，Avey-B的长序列处理能力使其非常适合长文档理解、长上下文问答等任务。在这些任务上评估Avey-B，并与现有的长上下文模型（如Longformer、BigBird）进行比较，将是一个有价值的研究方向。第四，探索Avey-B在多模态任务中的应用。Avey-B的检索和压缩机制可以扩展到处理图像、音频等其他模态的数据，构建统一的多模态编码器。第五，研究Avey-B的可解释性。由于Avey-B使用显式的检索机制，其决策过程可能比Transformer的注意力机制更易于解释。分析排名器检索到的块以及神经处理器的动态参数化，可以为模型行为提供有价值的见解。第六，开发更大规模的Avey-B模型。当前评估的模型规模相对较小，探索更大规模的模型（例如1B或10B参数）是否能带来进一步的性能提升，以及其效率优势是否能保持，是一个重要的研究方向。最后，将Avey-B与知识蒸馏、模型压缩等技术相结合，开发更小、更快的变体，以适应边缘设备或实时应用的需求。
复现评估
Avey-B的复现性评估如下：首先，代码和预训练模型已经完全开源。论文在第7节明确指出，所有结果都是完全可复现的，并提供了详细的架构规格（第4节）和实验协议（第5.1节和附录B）。源代码托管在GitHub上（https://github.avey.ai/avey-b），仓库包含预训练、微调和评估的脚本，包含所有实验精确超参数的配置文件，数据预处理说明以及数据集引用和划分，以及环境规范和执行脚本以复现所有报告的表格和图。其次，数据集方面，Avey-B使用FineWeb 300BT分割进行预训练，这是一个公开可用的大规模文本语料库。微调使用的是标准基准数据集（如MNLI、CoNLL-2003、SQuAD等），这些数据集都是公开可用的。第三，算力需求方面，论文提到预训练使用16块NVIDIA H200 GPU，全局批量大小为512K词元。这对于学术研究来说是一个中等规模的计算需求，但并非不可及。微调实验的计算需求相对较小。第四，复现难度方面，由于代码和配置文件已经提供，复现主要实验结果的难度较低。然而，要完全复现效率基准测试（如吞吐量和延迟测量）可能需要特定的硬件（如NVIDIA H200或B200 GPU）和软件环境（如特定的PyTorch版本和CUDA版本）。此外，由于Avey是较新的架构，可能需要一些时间来熟悉其代码库和架构细节。总体而言，Avey-B的复现性非常好，作者提供了完整的复现资源，这有助于研究社区验证和扩展这项工作。
论文图表
