Omni-Embed-Mini：稠密蒸馏实现无遗忘的六模态统一嵌入 Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation
冻结文本骨干作锚点，用稠密字幕自蒸馏把六种模态绑入同一嵌入空间且文本检索零退化。
前置知识
灾难性遗忘（Catastrophic Forgetting）
神经网络在已有权重上继续学习新任务时，梯度更新会覆盖旧任务依赖的参数，导致旧能力急剧退化。在嵌入模型场景中表现为：把一个强的文本嵌入器拿去和图像、音频等新模态做联合对比训练后，文本检索基准（如 MTEB）分数明显下滑，且往往难以通过回放或正则完全恢复。
这正是本文要解决的核心痛点：论文的标题卖点『Without Forgetting』就是通过彻底冻结文本侧权重，从结构上让文本退化在数学上不可能发生，理解这一点才能读懂零退化主张的根基。
SigLIP 成对sigmoid对比损失
SigLIP 用 sigmoid 替代 CLIP 的 batch 内 softmax：对每个（锚点，候选）对独立计算 $z_{ij} = \tau\,\hat{a}_i\cdot\hat{p}_j + b$，正对标签 $+1$、负对 $-1$，逐对做二元交叉熵。由于不依赖全局归一化，它在小 batch 和加入外部难负例时都非常稳定。
它是本文的主训练目标：学生嵌入与教师目标之间、以及学生与挖掘出的难负例之间，都用 SigLIP 损失在多个 Matryoshka 维度上分别计算再加权聚合。
自蒸馏与共享骨干（Self-Distillation）
传统知识蒸馏需要一个独立的大教师模型产生软目标；自蒸馏则让教师和学生来自同一模型。本文的变体更极端：教师目标就是冻结骨干自己对稠密字幕做 EOS 池化得到的嵌入 $t_i$，学生 $s_i$ 是同一骨干对媒体拼接序列的池化输出，二者权重字节级相同，天然处于同一几何空间。
这是全文最核心的创新机制——『教师信号不需要单独的嵌入教师』。理解师生共享权重如何带来零成本、可缓存的教师目标，是读懂方法部分的前提。
LoRA 低秩适配
LoRA 冻结预训练权重 $W$，只训练低秩增量 $\Delta W = BA$（$B\in\mathbb{R}^{d\times r}$，$A\in\mathbb{R}^{r\times k}$，秩 $r\ll d$），推理时可合并回原权重、零额外延迟。本文对媒体编码器的注意力块加 $r=16,\alpha=32$ 的 LoRA，仅引入 2.95M 可训练参数，导出后合并进编码器。
LoRA 是『0.9B 模型只训 7.3% 参数就能接入五个新模态』的关键：骨干和文本路径完全不动，所有新能力都装进投影器加 LoRA 这 68.32M 参数里。
Matryoshka 表示学习（MRL）
MRL 训练时让嵌入向量的前 $k$ 个维度截断并重归一化后仍然可用，即『套娃式』多分辨率表示。推理时可按存储/延迟预算选择 128、256、512 或 1024 维。本文在维度集合 $\mathcal{D}=\{128,256,512,1024\}$ 上分别算损失，按 $w_d \propto d^{-1/2}$ 加权（偏向激进截断），把 MRL 性质通过蒸馏项传播到所有媒体模态。
论文证明：因为 MRL 切片直接作用于骨干池化隐状态且没有学习头，该性质从文本骨干『免费继承』到六个模态，128 维截断即可把 1000 万条索引的存储从约 41GB 压到约 5GB。
ANCE 式难负例挖掘（Hard-Negative Mining）
随机负例对对比学习信号太弱。ANCE 表明：用当前编码器周期性重建索引，检索与锚点最相似的非匹配样本作为『难负例』，能让训练信号随编码器变强而自动变难。本文维护 FAISS-CPU 索引：文本循环每 epoch 约 10 次重嵌入字幕，媒体循环约 5 次重嵌入媒体样本，每样本取 5 个负例，并用 0.92 余弦阈值丢弃可能是假负例（实为重复内容）的候选。
在线混合挖掘（文本侧+媒体侧双索引）是最终配方的必要组件：消融显示组合挖掘比无挖掘的媒体模态平均高约 2.6 分，单用一边则要么伤害学生要么收益有限。
EOS 池化与嵌入检索指标
因果解码器模型取最后一个非填充 token 的隐状态作为整句嵌入（EOS 池化）再 L2 归一化，余弦相似度即检索分数。评测常用 nDCG@10（衡量排序质量，越大越好）和 hit@1（第一名命中率和准确率）。本文的嵌入 = 同一骨干的 EOS 池化输出，无投影头。
理解 EOS 池化才能理解『师生共享池化头 → 同一几何空间、无需校准机制』的论证链，以及表格中 nDCG@10、hit@1 等指标的含义。
研究动机
把一个强的文本嵌入模型扩展到新模态时存在一对耦合的失败模式，作者称之为『多模态扩展困境』。第一是文本侧灾难性遗忘：直接把文本嵌入器与媒体输入做对比微调会改变文本几何、拉低 MTEB 分数，而文本恰恰是真实世界搜索中最关键的模态，这种退化在部署上不可接受。第二是模态膨胀：现有开源全模态（omni）嵌入器为吸收所有模态的容量而不断堆参数——LCO-Embedding-Omni-3B/7B、BidirLM-Omni-2.5B、NVIDIA omni-embed-nemotron-3B、e5-omni-3B/7B 的推理参数量从 2.45B 一路涨到 8.93B（其中 e5-omni-7B 甚至出现文本均分从 3B 的 47.80 掉到 7B 的 45.34 的缩放反噬），使其不适合边缘端大规模动态检索。也就是说，在现有配方下，每加一种模态都要在『文本退化』与『模型变大』之间做交易。
本文的目标是本文的目标是构建一个 sub-billion 参数的全模态嵌入器，把文本、语音、音频、图像、视频和视觉富文档六种输入映射进单一余弦嵌入空间，同时保证文本侧检索质量零退化。核心立场是：文本不应是共同学习者（co-learner），而应是不可移动的锚（immovable anchor）——文本推理路径的权重与预训练骨干字节级相同，训练在物理上不可能改变它。在最小变体上还要做到比所有对比的开源 omni 嵌入器小约 2.7 到 9.5 倍，并且模型、代码、数据与评测框架全部开源。
与已有工作不同的是，本文的独特切入点是：教师信号根本不需要一个单独的嵌入教师模型。每个媒体样本配一条稠密级联字幕（dense cascaded caption），教师目标就是同一个冻结骨干对这条字幕的嵌入。由于师生共享完全相同的骨干权重，二者天然栖息在字节级相同的几何中，只需在原生池化隐空间上做余弦对齐——不需要校准机制（对比 e5-omni 的模态感知温度、去偏负例课程与白化协方差对齐），不需要投影头，教师目标可离线一次算完并按样本 ID 缓存到磁盘。概念上这是 Reimers & Gurevych (2020) 把新语言蒸馏对齐到冻结英语教师句子空间的跨模态翻版：把『语言』换成『模态』，把『翻译句』换成『稠密字幕』，但更进一步——连学生侧的文本塔也彻底冻结。
核心方法
直觉上，既然文本嵌入空间已经被预训练校准好、又绝不允许被动，最干净的做法是把它整个冻住当坐标系，让所有媒体模态『搬进来』而不是让它跟着搬。技术上：六个模态全部流经同一个因果 transformer（0.9B 版骨干为 Qwen3-Embedding-0.6B，隐藏维 1024；2.3B 版为 Qwen3-VL-Embedding-2B，隐藏维 2048），用 EOS 池化头取最后非填充隐状态并 L2 归一化作为嵌入，没有投影头。语音（Whisper-small）与音频（Dasheng-base）双编码器并行、各自输出每 30 秒 128 个投影 token 后时间交错成 256 token；图像、视觉文档、视频共享从 Qwen3.5-0.8B 抽出的 ViT（2×2 空间合并 + 维度投影），视频另用 196 个可学习查询的空间池化器使序列长度与帧数无关。训练目标为 Matryoshka SigLIP 对比损失与余弦自蒸馏之和 $\mathcal{L} = \mathcal{L}_{contr} + \lambda\mathcal{L}_{dist}$（$\lambda=1$），并配两阶段调度（前 20% 步只训投影器，之后注入编码器 LoRA）与在线混合难负例挖掘。
核心创新是『级联字幕自蒸馏』：训练样本 $i$ 配一条由 Qwen3-Omni-30B-A3B-Instruct（温度 0.7）生成的稠密字幕 $c_i$，源数据集的人工标注字幕被插进系统提示作 Reference caption 接地以抑制幻觉。教师目标 $t_i$ 是冻结骨干对 $c_i$ 的 EOS 池化 L2 归一化嵌入——因为骨干冻结，$t_i$ 在整个训练期恒定，只算一次就按稳定样本 ID 缓存到磁盘；学生嵌入 $s_i$ 是同一骨干对『文本提示+媒体 token 拼接』序列的同一池化。师生共享骨干与池化意味着它们处于相同几何，无需辅助投影头，也无需独立的嵌入教师。关键推论是：文本分支不接收任何梯度，文本查询和教师目标都出自字节级相同的未训练权重，所以文本检索在训练中不可能回归——这与 ImageBind/LanguageBind 的锚定对齐（锚只是外部冻结塔）和 e5-omni 的校准式共享空间都有本质区别。
方法步骤详情
完整流水线如下。第一步，数据构建：从 590,858 行总语料筛出 caption 类别的 242,080 条单轮样本，再做时长过滤得到 227,704 条有效训练行（图像 86.1k/38%、语音 46.7k/21%、音频 45.2k/20%、视觉文档 28.3k/12%、视频 21.3k/9%），每行用 Qwen3-Omni-30B-A3B-Instruct 一次调用生成稠密字幕（2048 token 预算；视觉文档无参考字幕，改用『专家文档分析师』提示直接枚举版式、标题、表格和图表）。第二步，教师目标预计算：冻结骨干编码字幕 → EOS 池化 → L2 归一化 → 磁盘缓存。第三步，学生编码：文本查询原样过骨干；语音/音频双流各 128 token/30 秒经 SwiGLU 残差一维时序下投影器后按 $(w_1,d_1,w_2,d_2,\dots)$ 时间交错；媒体 token 经 one-hot 矩阵乘拼入占位位置以保证梯度流向投影器与 LoRA。第四步，损失计算：对每个 MRL 维度 $d\in\{128,256,512,1024\}$（2.3B 加 2048）截断重归一化，算 SigLIP sigmoid 对比损失（in-batch 正例 + 每样本 5 个挖掘难负例，可学习温度 $\tau$ 初始 0.07、偏置 $b$ 初始 $-10$）加余弦蒸馏项 $\mathcal{L}_{dist}=\sum_d w_d\,\mathbb{E}_i[1-\hat{s}_i^{(d)}\cdot\hat{t}_i^{(d)}]$，$w_d\propto d^{-1/2}$。第五步，调度：Phase 1（0–20% 步）只训投影器；Phase 2 注入 $r=16$ LoRA（AdamW，音频投影器学习率 $2\times10^{-4}$，视觉投影器与 LoRA $1\times10^{-4}$，2% 线性预热 + 余弦退火）。第六步，在线挖掘：文本循环约 10 次/epoch（5 万条字幕 FAISS 索引，约 30 秒），媒体循环约 5 次/epoch（每模态 1 万条，12–20 分钟），与主循环共享同一份在训模型（前向锁串行化）。硬件为 8× AMD Instinct MI210（64GB）、bf16、DDP。
技术新颖性
技术新颖性体现在四个层面。其一，对锚定式对齐范式的改造：ImageBind 用冻结 OpenCLIP 图像塔当锚、LanguageBind 用独立冻结文本塔当锚，本文的锚本身就是服务学生的那个骨干，且在对比目标之外叠加了非对称蒸馏——每个模态不仅被 batch 级对比互相拉扯，还被拟合到固定的逐样本目标向量上，监督更稳定。其二，配对数据的制造方式：不依赖自然共现（ImageBind 的硬约束），稠密字幕让任意媒体样本都能生成教师目标，配对数据可无限制造；LanguageBind 也用生成字幕做对比文本，但本文额外把它当蒸馏目标。其三，架构统一性：单一因果 transformer 允许多个模态交错进一个 token 序列一次编码，交错式多模态查询是架构原生的（作者坦承未做受控实验）；而传统方案各模态过各自塔再后期融合。其四，工程上教师目标完全可缓存、挖矿与训练共享模型省去约 16GB 显存的模型副本；配方还能通过换骨干平移到 2.3B（把 0.6B 文本骨干换成原生视觉语言骨干 Qwen3-VL-Embedding-2B），证明这是一套可迁移的通用 recipe 而非单点技巧。
实验结果
核心结果分四块。第一，规模与文本零退化：0.9B 是当前最小的开源 omni 嵌入器，比次小的 BidirLM-Omni-2.5B 小约 2.7 倍、比 LCO-Embedding-Omni-7B 小约 9.5 倍；在 MTEB-v2 BEIR-8 上文本得 49.57 nDCG@10，是开源 omni 组第二（仅次五倍大的 omni-embed-nemotron-3B 的 50.48），且与骨干 Qwen3-Embedding-0.6B 的 49.45 完全同几何，独立训练的 checkpoint 在八个任务上四位小数一致。第二，媒体模态格局（Fig. 5）：2.3B 版在视频上以 55.18 hit@1 领跑整个 omni 组（e5-omni-3B 32.92、e5-omni-7B 44.73），图像 64.80、视觉文档 58.10 具竞争力；但语音（2.3B 48.9 vs BidirLM 55.8）和音频（33.4 vs LCO-7B 45.9）明显落后，是用小投影器接入而非重训骨干的预期代价；0.9B 的图像（26.29）和视频（18.48）很弱，源于其 ViT 抽自 0.8B 模型且只有约 86K 图像行与 36K 视频行的训练量。对闭源、尺寸未公开的 gemini-embedding-2，2.3B 以 51.39 对 49.51 的全模态平均反超，在图像、视频、视觉文档领先而在文本、语音、音频落后。第三，消融（Table 3）：给骨干加 LoRA 在 0.9B 上是真实交易——媒体各模态升 +1.10 到 +5.66 但文本掉 3.13 分；在 2.3B 上则全模态退化（语音 −10.53、音频 −8.40），冻结是双赢选择。第四，数据与挖掘：把稠密级联字幕换成数据集原始字幕，四媒体模态均值从 30.79 掉到 23.78（−7.01），视频最惨（18.80 对 4.74，+14.06 的差距），视觉文档也损失 4.8 nDCG@10（46.98→42.21）；组合挖掘比无挖掘的均值高约 2.6，视觉文档对挖掘几乎不敏感（四种配置在 0.6 分内）；三种子下方差很小（如音频 33.96±0.59），文本恒为 49.57。MRL 继承良好：AVG 探针从 1024 维截到 128 维仅轻微下降，10M 条 float32 索引从约 41GB 压到约 5GB。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本检索（MTEB-v2 BEIR-8 八任务） | nDCG@10 ×100 | Omni-Embed-Mini-0.9B 49.57（文本权重与冻结骨干 bit-identical，训练不可能使其退化；2.3B 为 47.94） | omni-embed-nemotron-3B 50.48（4.7B）；e5-omni-3B 47.80；LCO-Embedding-Omni-3B 仅 39.42；原骨干 Qwen3-Embedding-0.6B 为 49.45 | 以 935M 参数达到开源 omni 组第二、约为 nemotron-3B 五分之一大小，相对同尺寸级别的 LCO-3B（4.7B）高 10.15 分，并从机制上保证零退化 |
| 视频检索/分类（MMEB-V2 六任务） | hit@1 ×100（AvgVid） | Omni-Embed-Mini-2.3B 55.18（omni 组第一；0.9B 为 18.48） | e5-omni-7B 44.73（8.9B）；LCO-Omni-3B 43.86；e5-omni-3B 32.92；omni-embed-nemotron-3B 34.90 | 比最强开源 omni 基线 e5-omni-7B 高 10.45 分，而参数量约为其四分之一；比 e5-omni-3B 高 22.26 分 |
| 图像检索/分类（MMEB-V2 十任务） | hit@1 ×100（AvgImg） | Omni-Embed-Mini-2.3B 64.80（0.9B 仅 26.29） | e5-omni-3B 63.90、e5-omni-7B 68.36；BidirLM-Omni-2.5B 45.98；gemini-embedding-2 47.27 | 2.3B 略胜 e5-omni-3B（+0.90）且尺寸为其一半，但仍落后 3.7 倍大的 e5-omni-7B 3.56 分；0.9B 的短板归因于小 ViT 与少量视觉训练行 |
| 视觉文档检索（ViDoRe-V3 七个英文领域） | nDCG@10 ×100 | Omni-Embed-Mini-2.3B 58.10（0.9B 为 46.92） | omni-embed-nemotron-3B 59.63；e5-omni-7B 61.00；BidirLM-Omni-2.5B 53.06；gemini-embedding-2 57.09 | 2.3B 超过闭源 gemini-embedding-2（+1.01），落后 e5-omni-7B 2.90 分但参数量仅约四分之一；该模态对挖掘不敏感、对字幕质量敏感（换原始字幕掉 4.8 分） |
| 语音理解（MAEB 12 个语音任务） | 任务均分 ×100 | Omni-Embed-Mini-2.3B 48.86（0.9B 为 43.28） | BidirLM-Omni-2.5B 55.80；e5-omni-7B 54.86；LCO-Omni-3B 53.02 | 落后最强 omni 约 7 分，是论文坦承的最弱项之一——冻结骨干、只靠投影器接入语音的代价 |
| 全模态综合平均（六模态均值） | 跨模态平均分 ×100 | Omni-Embed-Mini-2.3B 51.39 | 闭源 gemini-embedding-2（尺寸未公开）49.51；最强开源 e5-omni-7B 52.93（8.9B） | 以约一半于 e5-omni-3B、四分之一于 e5-omni-7B 的参数量反超闭源标杆 gemini-embedding-2 的全模态平均，仅以 1.54 分之差落后 3.7 倍大的 e5-omni-7B |
局限与改进
作者承认的局限包括：这是研究原型，未经高风险部署验证，可能返回错误、有偏、含隐私或误导性结果；共享空间受冻结文本骨干约束，难以言传的现象（复杂声学纹理、抽象视觉模式、细粒度时间线索）可能表示不足；级联字幕可能含幻觉、遗漏与偏见并传染学生，作者未过滤事实性，也未做受控的字幕扰动研究，只能报告聚合影响（换原始字幕均值掉 7.01 分）；单一 captioner 的系统性偏差会一致地施加于全语料而非被平均掉；音频路径用固定的语音/环境声时间交错，对单一类型主导的输入可能次优；0.9B/2.3B 的紧凑规模可能限制推理型复杂多模态检索；现有基准各测一个模态切片，不存在统一的 any-to-any 六模态基准，结论外推有限。我自己的补充观察：语音与音频同最强 omni 的差距高达 7 至 12 分，说明字幕蒸馏对副语言信息（情感、韵律、音色）的传递效率明显低于对比式联合训练；0.9B 的视觉崩塌（图像 26.29、视频 18.48）显示该 recipe 的表现强依赖骨干自带的视觉能力，『最小化』与『全能』在当前配方下难以兼得；多数消融（Table 2/3、挖掘、种子）跑在 2-epoch 消融 checkpoint 上而非最终模型，20% 的相位切换点也未消融，结论对完整训练配置的适用性有少量不确定性；媒体挖掘循环每 epoch 花 12–20 分钟×5 次，加上 22.7 万行 30B 级 captioner 推理，训练数据侧成本不低。
独立分析的弱点
第一，知识天花板等于字幕器的词汇表：模型只能学到 captioner 写得出的信息，复杂声学纹理或快速时序事件一旦被字幕压缩丢失就永久不可恢复，视频上原始字幕仅得 4.74 分正说明当前字幕器对短时事件覆盖也不完整，改进方向是在蒸馏损失之外叠加一个直接作用于原始媒体的自监督辅助目标（如模态内对比或掩码重建），让细节绕过字幕瓶颈。第二，单一 captioner 的系统性偏差全场一致放大：同一模型生成全部教师目标，其幻觉风格会均匀烙进几何中，改进方向包括双 captioner 交叉验证、以独立模型打分做字幕-媒体一致性过滤、以及抽样人工核验。第三，0.9B 与 2.3B 的视觉能力断层（图像 26.29 对 64.80）暴露配方对骨干视觉模块的高度依赖，改进方向是为小变体配更强的外部 ViT 或从大模型蒸馏视觉路径。第四，语音/音频双编码器固定时间交错且无学习式融合（语音 48.86 对 BidirLM 55.80），可引入可学习的门控 token 混合或 Mixture-of-Encoders 路由。第五，评测协议限制结论强度：视频统一用基准预抽的 8 帧均值池化，封顶了所有模型的时序上限；交错多模态查询的架构优势只有论述没有实验；相位切换点 20% 是未消融的设计选择。第六，视觉文档字幕平均约 4157 字符而骨干上下文 2048 token，长文档字幕被截断，上端细节从对比信号中丢失，可换长上下文骨干或分块字幕再池化。
未来方向
作者明确列出的方向有：学习式混合双音频编码器 token（替代固定时间交错）；Mixture-of-Encoders 变体，把输入路由到专家分支以兼顾效率与能力；用原生时空池化器替代 MMEB-V2 上的逐帧均值池化，更好保留视频时序与空间结构；以及最迫切的社区级缺口——建立统一的 any-to-any 六模态检索基准，现有基准各自只测单一模态切片。作者还把『字幕鲁棒性研究』（字幕扰动下的退化曲线、多 captioner 交叉校验、一致性过滤、人工验证）视为该配方最有价值的下一步。基于其成果可自然延伸的方向包括：骨干热插拔——因为只有投影器与 LoRA 绑定骨干几何，未来更强的文本嵌入器发布后只需重训 68M 参数即可整体升级（0.6B→2B 的骨干互换已验证此路径）；对 §F 观察到的涌现媒体↔媒体对齐（图像↔音频、音频↔视频经共享文本轴可直接比较）做系统评测，开拓无字幕的媒体内检索应用；交错式多模态查询（一次编码语音+图像+文本混合序列）的受控实验与产品化；以及向多语言与非英语域扩展——当前评测与语料几乎全为英文。
复现评估
可复现性总体很好。开源情况：模型、代码、训练数据与评测 harness 都发布在项目页；22.7 万条稠密字幕以 CC BY-SA 4.0 单独授权发布，16 个源数据集（TED-LIUM 3、LibriSpeech、WavCaps、AudioCaps、ShareGPT-4o、Recap-COCO-30K、Flickr30k、ActivityNet、MSR-VTT、VisRAG、ColPali 等）的媒体保留各自原许可并在 Table 11 逐条列出。数据侧：论文给出了每个模态的完整系统提示与用户提示库、样本 schema、以及按标识符级别的训练/测试重叠审计（MSR-VTT、ActivityNet、MSCOCO 三个与 MMEB-V2 同源的语料均确认零重叠）。算力：0.9B 用 8× AMD Instinct MI210（64GB）+ bf16 + DDP，只训练 68.32M 参数；但需要复现者自己承担 22.7 万行 Qwen3-Omni-30B-A3B-Instruct（30B 级 MoE）的字幕生成成本（每行一次调用、2048 token 预算），以及在线挖矿的开销（文本循环每 epoch 约 30 秒×10，媒体循环 12–20 分钟×5）。Table 13/14 给出了完整的逐组件参数量与超参（LoRA r=16/α=32、学习率 2e-4/1e-4、MRL 维度、0.92 假负例阈值等），附录 §G 给出全部损失方程。难点与风险：AMD MI210 集群不易获得，需移植到 CUDA 环境；部分源数据许可为 academic/research-only（WavCaps、AudioCaps、Flickr30k）或无明确许可（ActivityNet），商用复现受限；教师目标磁盘缓存与单前向锁挖矿的工程细节依赖实现质量。综合评估：对有 8 卡 A100/MI210 级算力的团队，复现 0.9B 属于中低难度；从零复刻含数据生成的完整流水线属中等难度。
论文图表
五个模态各一条定性样例，并排展示源媒体描述、原始短字幕与稠密级联字幕：如音频样例从『女人说话 + 心跳声』扩展出音高、时间顺序、环境混响等细节；视觉文档无原始字幕，由 captioner 直接生成含饼图/柱状图颜色编码的长描述；视频样例中的体操运动员名字是从画面文字读出而非臆造。
让『稠密』从抽象概念变成可感知的对照：教师信号的丰富度一目了然，也展示了接地提示如何约束幻觉，是理解 Table 2 消融为何差距巨大的直观基础。