CoME-VL：可扩展的互补式多编码器视觉语言学习框架 CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning

CoME-VL的训练与推理流程分为四步。**步骤1：双编码器多层特征抽取**。图像 $I \in \mathbb{R}^{H\times W\times 3}$ 分别送入冻结的SigLIP2-SO400M（384×384，patch=16，共27层）和冻结的DINOv3-Large（224×224，共24层），记第 $l$ 层隐藏态为 $Z^{(l)}_{\mathrm{Sig}} \in \mathbb{R}^{N_s\times d_s}$ 和 $Z^{(l)}_{\mathrm{DINO}} \in \mathbb{R}^{N_d\times d_d}$。**步骤2：熵引导候选层选择**。对每一层计算空间注意力熵，SigLIP2各层普遍较高（语义分散），DINOv3深层显著降低（空间聚焦），由此选定 $L_s = \{1,\dots,27\}$（全层）和 $L_d = \{11,\dots,24\}$（低熵深层）。**步骤3：正交化多层聚合**。对每个被选层先做LayerNorm、再过一个Orthogonal Layer（OL），OL通过反对称矩阵 $A_l$ 的Cayley变换 $Q_l=(I+A_l/2)(I-A_l/2)^{-1}$ 参数化正交投影，保证 $Q_l^\top Q_l = I$；随后用softmax权重 $w^{(e)}_l = \exp(\alpha_l)/\sum_k \exp(\alpha_k)$ 对同编码器内各层做加权求和，得到 $V_{\mathrm{Sig}}$ 和 $V_{\mathrm{DINO}}$。**步骤4：RoPE增强跨编码器对齐**。令Query来自SigLIP、Key/Value来自DINO，对Q/K施加2D RoPE得到空间相对位置感知的注意力分数；DINO侧可选2×2池化进一步压低token数；交叉注意力输出经 $\tanh(\gamma)$ 门控后加回SigLIP token，得到 $V_{\mathrm{fused}} = V_{\mathrm{Sig}} + \tanh(\gamma)\cdot\mathrm{CrossAttn}(V_{\mathrm{Sig}}, V_{\mathrm{DINO}})$，$\gamma$ 初始化为0以稳定早期训练；最终投影后的紧凑视觉token序列送入decoder-only Qwen2-7B LLM，自回归生成答案，对grounding任务额外用6 token序列 $\langle\mathrm{BOX}\rangle \langle x_1\rangle\langle y_1\rangle\langle x_2\rangle\langle y_2\rangle\langle\mathrm{END\_BOX}\rangle$ 序列化预测1000-bin坐标。

技术新颖性体现在三处显式的'工程+理论'组合创新。**第一**，把'层间熵'从分析工具升级为融合层选择判据，给出了一个数据驱动的、跨编码器一致的层选择准则，区别于Cambrian-1、Eagle等凭经验/网格搜索选层的做法；**第二**，把正交层显式嵌入到多层融合流程中，借助Cayley变换保证可微优化，避免了简单concat/avg造成的'不同层映射到高度相关子空间'的退化问题；**第三**，把RoPE从单编码器自注意力的位置编码，扩展到跨编码器交叉注意力场景——通过Q/K上的2D RoPE让异构token网格按空间偏移精确对齐，避免直接concat导致的'语义相似但空间错位'误匹配；此外，门控残差 $\tanh(\gamma)$ 借鉴Flamingo设计但配合 $\gamma=0$ 初始化保证了训练的稳定性。三者联合使得CoME-VL在增加约20%推理时间（1.26s→1.52s/样本）的同时，带来4.9%/5.4%的精度提升，相比COMM的2.2s/样本效率显著更高。

**弱点1：单向信息流的潜在浪费**。当前架构只让SigLIP token作为Query去聚合DINO的Key/Value，但DINO分支无法反过来吸收SigLIP的全局语义。在需要'先定位再理解上下文'的场景（如医学影像先框出病灶再描述），单向融合可能导致DINO编码器对高层语义'听不懂'。**改进方向**：引入双向cross-attention或对称的token交换机制，让两路token互为Q/K。**弱点2：训练成本高、推理开销不可忽略**。64块MI210训练7天（约448 GPU·日），推理+20%时间，对工业部署是显著成本。**改进方向**：可以探索蒸馏版本（如把CoME-VL蒸馏回单编码器）或用更低秩近似（如LoRA化正交层、用Q-Former替代RoPE cross-attn）压缩到消费级GPU。**弱点3：层选择依赖离线熵统计**。$L_s$、$L_d$ 是基于在ImageNet/PixMo上预计算的熵统计得到的，与下游任务可能存在分布偏移。**改进方向**：引入可学习的层门控（如每层一个可微soft mask），让模型在训练中动态决定使用哪几层，避免离线启发式。**弱点4：grounding评测局限于英文PixMo/RefCOCO**。中文、多语言、长尾类别的grounding能力未验证。**改进方向**：在RefCOCO-CN、视觉7W等多语言数据集上做迁移测试，并对box token序列化做语言无关的离散化设计。**弱点5：bounding box生成借债于Molmo的特殊token**。整套坐标离散化（1000 bins、6 token序列）是Molmo特有的，未与Qwen-VL、LLaVA等其他VLM的输出范式对齐，跨基线迁移困难。**改进方向**：统一为业界标准的'数值坐标输出'或直接复用各基线原生格式。

**作者提出的方向**：(1) 把CoME-VL扩展到视频模态，让SigLIP/Video-SigLIP提供时序语义、DINOv3的空间特征补充时空定位，应对视频grounding、video QA；(2) 探索更多互补编码器组合（如ConvNeXt、SAM、MAE）甚至编码异构模态（深度图、热成像）；(3) 把正交融合和RoPE对齐抽象为通用模块，让其可插拔到其它VLM backbone。**基于成果可延伸的方向**：(1) **跨任务迁移**：在医学影像（CT/MRI）的病灶grounding、机器人操控的空间定位（DELAN等）上验证CoME-VL，因为这些任务对空间精度要求比PixMo更严苛；(2) **训练效率**：用知识蒸馏把CoME-VL 7B压缩到2B–3B，让'多编码器'思想在端侧可部署；(3) **统一表征空间**：当前SigLIP和DINO的隐藏维度需通过OL对齐到相同 $d$，未来可探索在embedding阶段就用共享codebook做早期对齐，避免维度转换损耗；(4) **理论分析**：从信息论角度量化'正交子空间'与下游任务的互信息关系，给出层选择和OL约束的数学最优性解释；(5) **结合RLHF**：在grounding任务上加入DPO/PPO，用人类反馈进一步提升pointing精度。

**开源情况**：作者明确承诺将代码开源在GitHub（github.com/mbzuai-oryx/CoME-VL），模型权重发布在HuggingFace（huggingface.co/MBZUAI/CoME-VL），项目主页在mbzuai-oryx.github.io/CoME-VL，论文附有详尽附录解释Orthogonal Layer的Cayley参数化、bounding box token序列化方案、attention rollout可视化等细节。**数据**：训练数据为PixMo [15] 和RefCOCO [42]，均为公开数据集；PixMo本身包含点选、计数、图表理解等多种任务标注，与本文评测一致。**算力门槛**：训练需要64块AMD Instinct MI210 GPU（每块64GB显存）跑7天，相当于约448 GPU·日，BF16精度、FSDP并行、全局batch size 24、序列长度2304；这远超一般实验室或学生项目的资源，**复现难度评估为高**——核心瓶颈不在算法而在算力。**易复现部分**：正交层Cayley参数化、RoPE cross-attention、softmax层聚合都是几十行代码的模块化设计，论文附录A给出了完整公式（Eq. 9–15），具备PyTorch基础的工程师可以在1–2周内复现核心模块；最难的反而是'完整跑通训练+评测'，需要分布式基础设施经验。**对读者的建议**：若算力受限，建议先用Molmo 7B+Qwen2-VL基线在PixMo的小子集上验证grounding范式，再用DINOv3小模型（如DINOv3-S）替代DINOv3-L做消融，可在大致8块A100上2天内跑完一轮实验。