BidirLM：通过适配和组合因果大语言模型从文本到全模态双向编码器 BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs

方法步骤包括三个主要阶段。第一阶段是基础适配，从预训练的因果模型开始，通过切换到双向注意力并应用MNTP目标进行适配。具体来说，在FineWeb-Edu上用10B tokens进行MNTP训练，然后在多领域语料库上用30B tokens继续训练。第二阶段是对比学习，使用KaLM-embedding等多领域数据集进行对比训练，每个查询有1到7个hard negatives。第三阶段是权重合并，将适配后的模型与原始基础模型按50%比例进行线性插值，或与专门化模型合并。对于全模态模型，将三个Qwen3-1.7B变体的文本backbone按相等比例合并，附加各自的音频和视觉head，然后在多模态语料库上进行对比训练。对于领域和模态专门化，在合并后进行500步微调。

本文的技术新颖性体现在多个方面。首先，本文是第一个系统性地隔离双向注意力、遮蔽目标和对比训练贡献的工作，通过控制消融实验揭示了MNTP阶段对微调质量的关键作用，这是之前的工作没有做到的。其次，本文提出的双重策略是缓解灾难性遗忘的高效方法，特别是在没有原始预训练数据的严格约束下。第三，本文将权重合并创新性地用于跨模态和跨领域知识迁移，这是首次将权重合并应用于组合没有共享先验模态的专门化模型。第四，本文提出的模块化全模态架构是全新的视角，通过组合现有专门化模型而不是从头训练来构建高效的编码器，仅需250 GPU小时。最后，本文的BidirLM模型系列在任务特定基准上建立了新的性能前沿，在通用嵌入基准上建立了新的开源性能前沿。

独立分析的弱点包括以下几个方面。第一，权重合并的成功依赖于适配模型和基础模型在权重空间中的相似性。本文报告Gemma的平均cosine相似度是0.78，Qwen是0.97。对于更剧烈的适配或不同的架构，权重合并可能效果不佳。改进方向是探索非线性合并策略，如任务算术或基于梯度的合并方法。第二，权重合并后的warm-up阶段增加了训练成本。改进方向是研究如何预对齐专门化模型的表示空间。第三，虽然本文强调MNTP阶段对微调质量的重要性，但对比训练仍然需要大量的数据和计算。改进方向是探索数据效率更高的对比学习方法。第四，本文没有评估生成任务的性能。改进方向是扩展评估到生成任务。第五，多模态策略在音频任务上提升不明显。改进方向可能是调整音频数据的比例或质量。第六，方法依赖于现有的专门化因果模型。改进方向是探索如何从零开始训练专门化模型。

未来研究方向包括作者提出的和基于成果可延伸的。作者提出的未来工作：系统地研究全模态设置下的对比训练，包括数据组合、hard-negative挖掘策略和扩展行为。探索更丰富的正则化策略，特别是从基础模型的知识蒸馏。在非transformer因果架构如状态空间模型上验证框架。基于成果可延伸的未来工作：扩展权重合并到更多的模态，如视频、3D、医学影像等。探索权重合并在更复杂任务上的应用，如多模态推理、跨模态生成等。研究权重合并的动态策略，根据任务和数据动态调整合并比例。探索权重合并与其他技术的组合。研究权重合并的可解释性。探索权重合并在其他模型架构上的应用。研究如何自动化地发现和组合专门化模型。

复现评估：本文的复现性良好，完全开源。作者发布了训练语料库、检查点和实验变体，可在huggingface.co/BidirLM获取。模型包括BidirLM-270M/1B、BidirLM-0.6B/1.7B和BidirLM-Omni-2.5B。数据集包括FineWeb-Edu、FineWeb2-HQ、FineMath、Stack V2、KaLM-embedding、Omni-Contrastive等，都是开源的。计算需求方面，基础适配需要10B tokens的MNTP训练，30B tokens的扩展训练，以及10M样本的对比训练。权重合并几乎不需要计算。领域和模态专门化需要500步微调。BidirLM-Omni仅需250 GPU小时的合并和对比训练计算。实验的设置是标准化的，使用了广泛可用的开源数据集和评估基准。代码和超参数的详细说明在附录中提供。总体来说，本文的复现性良好，适合其他研究者验证和扩展。