e5-omni：面向全模态嵌入的显式跨模态对齐方法 e5-omni: Explicit Cross-modal Alignment for Omni-modal Embeddings

e5-omni 的完整流程包含以下步骤：首先，给定全模态输入 $x$，构建模态组合指示权重 $w(x) \in \Delta^{|M_0|-1}$，该权重对输入中存在的每个模态分配非零质量，并按活跃模态数量归一化。然后计算实例温度 $\tau(x) = \max(w(x)^\top \tau, 10^{-6})$，对于任意一对 $(q, p)$ 使用对称温度 $\tau(q, p) = (\tau(q) + \tau(p))/2$，计算校准后的相似度 logits $\ell(q, p) = \text{sim}(e(q), e(p)) / \tau(q, p)$。接下来，构建相似度矩阵 $S \in \mathbb{R}^{B \times (B+K)}$，其中前 $B$ 列是批次内负样本，后 $K$ 列是挖掘的困难负样本。在训练步骤 $t$，使用分位数阈值 $\rho_t$ 保留最难的 $(1-\rho_t)$ 比例负样本，形成掩码 $M$。应用掩码到 DCL 损失：$\mathcal{L}_{\text{DCL}} = -\frac{1}{B} \sum_{i=1}^{B} \log \frac{\exp(S_{ii})}{\exp(S_{ii}) + N_i^e}$，其中 $N_i^e = \max(\sum_{j \in \Omega_i \setminus \{i\}} \exp(S_{ij}) - \gamma^+ \exp(S_{ii}), \epsilon)$。最后，对嵌入施加批次白化变换 $\hat{Q} = W(Q)$、$\hat{P} = W(P)$，并计算 CORAL 损失 $\mathcal{L}_{\text{coral}} = \frac{1}{4D^2} \|\text{Cov}(\hat{Q}) - \text{Cov}(\hat{P})\|_F^2$，最终损失为 $\mathcal{L} = \mathcal{L}_{\text{DCL}} + \lambda_{\text{coral}} \mathcal{L}_{\text{coral}}$。

e5-omni 的技术新颖性体现在三个方面：第一，模态感知温度校准的设计——不同于传统的全局温度或基于样本复杂度的动态温度，本文提出的温度是基于模态组合的静态学习参数，这使得温度能够捕捉模态本身的特性（如音频的噪声水平、视觉文档的长序列特性），而不是依赖于单个样本的难度。训练后音频和视频模态获得更大的温度（0.0219 和 0.0223），而文本和图像获得更小的温度（0.0130 和 0.0127），这验证了不同模态确实需要不同的校准策略。第二，课程学习与去偏对比学习的结合——本文首次在全模态嵌入场景中将负样本选择与 DCL 结合，通过渐进式增加困难度（从 $\rho_{\text{init}}=0.1$ 到 $\rho_{\text{final}}=0.5$）来平衡训练稳定性和细粒度判别能力。第三，批次白化与 CORAL 正则的协同——通过共享白化变换（对查询和目标嵌入使用同一个 $W$），然后对齐它们的协方差结构，这比单独对齐均值或协方差更有效。

从独立分析的角度，e5-omni 存在以下可改进之处：第一，模态感知温度是静态学习的，无法适应推理时的具体输入——例如，一张模糊的图片和一张清晰的图片应该有不同的温度，但当前方案给所有图像分配相同的温度。改进方向是设计基于输入质量或信息量的动态温度机制。第二，课程学习的分位数阈值是线性增长的，可能不是最优的——理想情况下，难度增加的速度应该与模型的学习能力相匹配，可以考虑基于验证集性能的自适应调度。第三，CORAL 对齐仅约束二阶统计量，没有对齐高阶统计量（如偏度、峰度），在模态分布差异较大时可能不够充分。第四，方法仅在检索任务上评估，对于分类、问答等下游任务的迁移效果未知。第五，实验中每个数据集仅使用 2 个困难负样本，这可能限制了负样本的多样性，探索更高效的困难负样本挖掘策略可能进一步提升性能。

基于本文成果，未来研究可以从以下几个方向展开：第一，将显式对齐方案扩展到更多模态（如 3D 点云、传感器数据），验证方法的通用性。第二，探索动态温度机制，根据输入的具体特征（如图像分辨率、音频信噪比）自适应调整温度。第三，将课程学习策略与强化学习结合，让模型自主决定何时引入困难样本。第四，将 e5-omni 的思想应用到生成式检索（generative retrieval）场景，改善多模态生成式模型的嵌入质量。第五，研究显式对齐对模型可解释性的影响——对齐后的嵌入空间是否具有更好的语义结构。第六，在更大规模的真实世界多模态检索系统中验证 e5-omni 的效果，包括长视频理解、多语言跨模态检索等场景。作者也提到，将 e5-omni 与推理驱动的生成式嵌入范式（如 UME-R1）结合，是一个值得探索的方向。

本文的复现条件相当友好。作者已在 HuggingFace 上开源了模型检查点（Haon-Chen/e5-omni-7B），这大大降低了复现门槛。训练数据方面，所有使用的数据集都是公开可用的：文本对比对来自 BGE-m3，文本-图像对来自 MMEB-V1 和 PixMo-Docs，文本-视频对来自 MSR-VTT 和 MMEB-V2，文本-音频对来自 AudioCaps。算力需求方面，实验在 8 张 H100 GPU 上进行，使用 LoRA 进行参数高效微调，每设备 batch size 20，梯度累积 2 步，训练 1 个 epoch，这个规模对大多数研究机构是可承受的。超参数设置清晰：学习率 $1 \times 10^{-4}$，warmup 比例 0.005，最大序列长度 512 tokens。三个核心组件的超参数也经过了系统的消融和敏感性分析，提供了合理的默认值（$\tau_0=0.02$，$\gamma^+=0.1$，$\rho_{\text{init}}=0.1$，$\rho_{\text{final}}=0.5$，$t_0=4000$，$\lambda_{\text{coral}}=0.05$）。总体而言，复现难度中等偏低。