MMEmb-R1：基于推理增强的多模态嵌入框架，融合配对感知选择与自适应控制 MMEmb-R1: Reasoning-Enhanced Multimodal Embedding with Pair-Aware Selection and Adaptive Control

训练阶段一：构建配对感知推理池。先用 InternVL3-14B-Instruct、GLM-4.1V-Thinking、Doubao-Seed-1.6-Vision 三个 worker 独立为每条样本的 query 和 target 生成 K=3 条候选理由（注意此处是单侧生成以避免信息泄露）；接着用 Qwen3-VL-32B-Instruct 作为评估器 $\mathcal{J}$ 做两次推理：一次仅给 query/target，得 baseline 置信度 $c_0=\mathrm{Conf}_{\mathcal{J}}(q,t^+)$（取首 token 为 [YES] 的 log-概率比），一次附加候选理由 $r$，得 $c_r$；反事实增益 $\Delta r = c_r - c_0$，过滤掉 $\Delta r<\epsilon=-0.1$ 的低质候选后用 softmax $w_r=\exp(\Delta r/\gamma)/\sum_{r'}\exp(\Delta r'/\gamma)$ 归一化，得到加权推理池 $\mathcal{D}_{\mathcal{R}}=\{(q_i,t_i^+,r_{i,j},w_{i,j})\}_{i,j}$，规模约 1.2M。训练阶段二：联合推理与嵌入训练。引入两个特殊 token： 标记直接嵌入抽取点， 标记推理后嵌入抽取点；按权重从池中采样一条推理路径 $r_{i,j}$，分别计算推理路径对比损失 $\mathcal{L}_{reason}=\mathcal{L}_{con}(z_q^r,z_t^r)$、直接路径对比损失 $\mathcal{L}_{direct}=\mathcal{L}_{con}(z_q^d,z_t^d)$、以及 CoT token 的 next-token prediction 损失 $\mathcal{L}_{CoT}=-\sum_{l=1}^{|r|}\log p_\theta(r_l|x,r_{。训练阶段三：自适应推理控制。先用第二阶段模型离线计算每条 RL 样本的"推理效用" $\delta_i = s_i^r - s_i^d$（即归一化后直接/推理嵌入与目标相似度之差），再用 GRPO 训练二值动作策略：动作 $a_i\in\{DIRECT, REASON\}$，奖励 $R_{ada}$ 在 DIRECT 时为常数 $\alpha=0.2$ 鼓励前期探索，在 REASON 时为 $\delta_i-\mu(L_i)$，其中 $\mu(\cdot)$ 在长度>512 token 时叠加惩罚系数 $c=1e^{-3}$；另外加 $R_{format}$ 强制 格式、加 $R_{emb}$ 借鉴 UME-R1 的 top-G 排名相似度奖励，正反两个方向取平均后作为 GRPO 总奖励；clip [0.8,1.28]、KL 系数 0.04、LR 1e-6、每 query 采 8 个 completion、训 2 epoch。推理时直接采用学到的策略：模型自动在 （直接出 ）与 ...（推理后出嵌入）之间选择。

新颖性主要体现在三处：1）把推理 $r$ 显式建模为潜变量并通过多 worker 反事实打分做加权边际化，这把过去"教师-CoT 后被机械复制"的范式升级为"对隐空间做正确的事后选择"，是对嵌入+推理联合学习的结构性改造；2）提出 $\Delta r=c_r-c_0$ 的反事实配对评估，配合 token 的 log-概率做置信度估计，是因果推断思想首次被系统化地引入"推理路径筛选"任务中；3）用连续效用 $\delta_i$ 而非二元标签训练 GRPO 策略，并配套 DIRECT/REASON 二值决策机制，把"何时推理"的控制权完全交给模型本身，而不是预设启发式规则。三者结合是此前 UME-R1（SFT+单教师）、TTE（仅做组合实验）、Embed-RL（仅做 RL 但不做选择）所没有的。

作者未深入讨论但读者可观察到的弱点有：1）"配对感知选择"依赖 Qwen3-VL-32B-Instruct 作为评估器 $\mathcal{J}$，相当于把教师模型的偏置直接搬到选择器中，一旦评估器自身对某领域（如医学影像、法律文档）能力不足，被选中的推理也容易被系统性低估——改进方向是引入多评估器集成或用 IR 度量（如 Recall@k）直接做反事实；2）反事实增益 $\Delta r$ 只比较"加 vs 不加"，未对推理长度归一化，导致短而精准的推理和长而详尽的推理可能被同等对待，改进方向可加 $\Delta r/L_r$ 或加 cost-aware 加权；3）GRPO 阶段 DIRECT 奖励固定为 $\alpha=0.2$，没有按数据难度动态调整，意味着"简单但需要高置信度跳过推理"与"困难但模型倾向于推理"两类样本可能错配，改进方向是引入课程学习或在 reward 里加样本难度先验；4）配对感知选择时 query 和 target 是分开生成再拼起来（避免信息泄露），但模型训练时却要在同一条 MLLM 里"看到 query 和 target 的拼接"，这种训练-选择偏差可能让最终效果次优；5）/ 双特殊 token 设计虽然灵活，但破坏了单一嵌入抽取点的简洁性，下游集成到只想要 768 维向量的检索系统时仍需特殊处理。

作者在 Limitations 中给出的未来方向包括：把离线生成、选择与策略学习统一为端到端联合优化框架；把自适应动作从二值扩展到连续深度（如生成 N 步 vs. M 步 CoT）；以及从根本上降低推理式嵌入的延迟。除此之外基于本文成果还可延伸的方向有：1）把"配对感知反事实选择"推广到任意检索任务（比如文本文档、代码、分子结构），核心组件 $\mathcal{J}$ 和 $\Delta r$ 都是任务无关的；2）把"按效用自适应推理"的 GRPO 框架扩展到更复杂的"分步决策"——比如先生成简短分析、再决定是否进一步细化，类似 ReAct 的推理-行动循环；3）将异构 worker pool 与 Mixture-of-Experts 思路结合，在推理时按 query 难度动态路由到不同推理深度的子专家；4）把训练数据从 MMEB 扩展到含音频、时间序列、3D 点云等多模态，验证潜变量推理框架的迁移性；5）探索"推理池"的持续更新机制——上线后用真实 query-feedback 反哺 worker 的生成质量。

复现性方面，作者公开了完整的实施细节：骨干为 Qwen2-VL-2B/7B、Qwen3-VL-2B/4B（来自阿里 Qwen 团队的开源权重），worker 包含开源的 GLM-4.1V-Thinking、InternVL3-14B-Instruct 和闭源的 Doubao-Seed-1.6-Vision（API 调用），评估器为开源的 Qwen3-VL-32B-Instruct 通过 vLLM 部署。训练在 8×H20 90GB GPU 上完成，每个骨干的联合训练约 3 epoch、RL 阶段 2 epoch，最大序列长度 12288 token、batch size 256、AdamW + cosine LR=5e-5、bf16 + DeepSpeed ZeRO-3 + gradient checkpointing；RL 阶段每 query 采样 8 个 completion、LR=1e-6、GRPO clip [0.8,1.28]、KL=0.04。训练数据为 MMEB-Train 经配对感知筛选后约 1.2M 样本 + 10K 样本的 RL 集；评测协议直接沿用 MMEB-V2 官方（图像/视频 Hit@1、文档 NDCG@5）。附录 B.1-B.4 还给出了 worker 提示模板、评估器有/无理由两份 prompt、instruction 模板、GRPO 完整奖励函数代码级细节。代码仓库（论文未明确写出但附录引用了 VLM-R1 的 codebase）相对易复现，但闭源 worker（Seed-1.6-Vision）会引入一定不可控噪声；总体而言，由于依赖开源模型权重与公开 prompt，单卡 8×H20 级别的实验室可在一周内完成主表复现。