面向指令跟随信息检索的双重视角训练 Dual-View Training for Instruction-Following Information Retrieval
极性反转合成对偶指令，305M 模型在 FollowIR 提升 45%。
前置知识
稠密双编码器检索器
由两个独立编码器构成的结构，分别把查询/文档映射到同一向量空间；检索时通过相似度（如内积或余弦）排序候选文档。本文将指令 $I$ 与查询 $q$ 先拼接再编码，因此检索行为可以同时受两者影响。
本文所有的方法都建立在双编码器之上的对比训练，是理解极性反转如何构造对比信号的硬件基础。
InfoNCE 对比损失
给定一个锚点，正样本与若干负样本，InfoNCE 通过 softmax 让正样本相似度远高于负样本。本文使用 $\tau=0.02$ 的温度参数，每个查询配 30 个硬负例，其中 1–3 个为指令负例。
理解 InfoNCE 才能明白为何作者要在 batch 内构造同向/反向两套样本——负例的多样性直接决定监督信号强度。
指令负例与硬负例
硬负例是与查询相关但不该排在前面的文档；指令负例更特殊——它在不带指令时是相关的，一旦套上指令就应被排除，例如"找出非冰下火山"题目下的"冰下火山"。
Promptriever 已经证明指令负例强于普通硬负例，本文正是站在这一定义上做文章，把指令负例"翻身"当成另一种正例。
p-MRR（pairwise Mean Reciprocal Rank）
FollowIR 提出的成对指标：给定同一对文档的两条配对指令，统计模型是否把"应该被提升"的文档排在更高位置，正值表示跟随指令、负值表示与指令反向。
它是衡量"指令敏感性"的核心数字，本文 5.21→7.57 的飞跃正是基于此指标，是必须读懂的判官。
极性反转（Polarity Reversal）
本文核心操作：给定 $(q, P^+, N^\star, I_{orig})$ 让 LLM 生成 $I_{new}$，在 $I_{new}$ 下 $N^\star$ 变正、$P^+$ 变负；同一对文档在两条互补指令下被翻转地标。
这是把"指令负例"从静态失败样例升级为对比约束的关键操作，决定了双重视角训练的全部机理。
研究动机
当前主流稠密检索器过度依赖查询—文档语义相似度。FollowIR（Weller 等，2025a）系统评测发现，即便在 12B 参数的通用嵌入模型上，人类标注指令一旦改变相关性，多数模型的 p-MRR 仍接近零甚至为负，意味着它们在指令层级完全无感。Promptriever（Weller 等，2025b）虽然用指令负例把 FollowIR p-MRR 拉到了 5 上下，但仍难以区分"主题匹配但违反约束"的文档与"满足约束且相关"的文档。一个具体例子是查询"哪种火山喷发未被直接观测？"，指令"排除其物理形成或结构分类"——主题上讲形成描述非常相关，但指令下应被排除，作者的硬负例就集中在这一类易混淆样本上。
本文的目标是让中小规模（305M 参数）双编码器真正把指令条件编码进表征，并在 FollowIR、InfoSearch（length、keyword）、MAIR（IFEval、InstructIR）三套共五个指令检索基准上同时提升指令敏感性与通用检索质量，且严格控制数据预算以做公平比对——Ins- 系与 All- 系两组实验都做了 size-matched 对比，避免"用更多数据打败"这种解释路径，从而能干净地拆解出"数据多样性"与"指令监督"两条独立因子的贡献。文章同时验证方案在 gte-multilingual-mlm-base （305M）与 bge-m3-retromae 两个不同 backbone 上的迁移能力。
与已有工作不同的是，现有指令负例被当作"静态负样本"使用，作者观察到每一条指令负例都隐含一条互补指令——把现在的负例在新指令下当成正例。如此可在零额外标注下，把同一个训练对在两条指令下同时作为正/负样本，迫使编码器对指令间的细微差异保持敏感，而不是只模仿 query-document 的固定关联。这条极性反转视角在 Promptriever、InF-IR 等先前工作中都没有被显式利用；他们要么靠扩大 instruct 数据量，要么靠更复杂的负采样，但都没把"指令本身"当成可对比的对象。因此本文切入角度的本质是：把训练数据从"文档空间对比"升级为"指令空间对比"，让监督信号同时承担分辨主题与分辨指令的两份工作。
核心方法
方法直觉非常直接：一个检索器若只看查询与文档间的固定相似度，那么当指令改变时它的排序不应改变；要让它对指令敏感，需要让"同样的文档对"在不同的指令条件下呈现相反的相关性标签。技术路线上，作者用 LLM（Qwen3-Next-80B-A3B-Instruct）在原有 $(q, I_{orig}, P^+, N^\star)$ 之上合成一条 $I_{new}$，使得 $P^+$ 在 $I_{new}$ 下变负、$N^\star$ 变正，其余负例依然保持为负；然后用 InfoNCE 在同一 batch 内同时训练 $(q \oplus I_{orig}, P^+)$ 与 $(q \oplus I_{new}, N^\star)$，迫使编码器在两条指令间切换。
和 Promptriever 把指令负例当成"静态负样本"不同，本文把每一条指令负例看作"潜在的互补正例"——通过合成互补指令 $I_{new}$ 把它翻转为正，让训练对天然形成一组对比约束 $(q \oplus I_{orig}, D^+)$与 $(q \oplus I_{new}, D^-)$ 必须被同一条编码器同时满足。这相当于把对比学习搬到指令空间上做，而不是只做文档空间。关键观测是：同一文档对只有在两个不同嵌入下分别靠近和远离时，编码器才被迫关注指令间的细节差异；任何只查询文档相似度的表示都会在第二批对比样本上失败。本质区别于Promptriever 的"加硬负例"策略——后者只能让模型学会排除某些文档，本文的极性反转迫使模型学会根据指令改写相关性，这是一条结构性更强的监督信号。
方法步骤详情
步骤一：从 Promptriever 数据中筛选至少含一条指令负例的种子样本，得到约 480k 条。步骤二：按 Appendix A 的 prompt 模板让 Qwen3-Next-80B-A3B-Instruct 生成 $I_{new}$，模板要求先 profile $P^+$ 与 $N^\star$ 属性，再选择 reversal 杠杆（领域/地理/格式/受众），并对剩余 $N_i$ 做三条 sanity check，保证新指令不会放行任何原负例。步骤三：人工抽检 100 条确认 99% 可用。步骤四：在 30 个硬负例（含 1–3 个指令负例）上跑 InfoNCE，温度 $\tau=0.02$，最大长度 512，查询与指令在编码前做 $\oplus$ 拼接。步骤五：构建 Ins-orig / Ins-DV / All-orig / All-DV 四组 size-matched 配置，DV 严格做替换而非追加。
技术新颖性
技术新颖性体现在三处。其一，把"静态负例"升级为"对比约束"——同对文档在两条指令下必须被反向打分，从梯度层面同时压制指令无关表征；其二，提出极性反转公式 $I_{new}: \mathbb{D}^+ \leftrightarrow \mathbb{D}^-$，可以与 Promptriever、InF-IR 等已有管线无缝衔接，零推理成本；其三，通过 size-matched 实验严格区分了"数据多样性"与"指令监督"两个常被混淆的因素，这是先前工作未充分讨论的。
实验结果
主结果（Table 1）于 gte-multilingual-mlm-base（305M）：Ins-DV 把 FollowIR p-MRR 由 5.21 升至 7.57（+45%），超过 EmbeddingGemma-300M（5.61）与 Qwen3-Embedding-0.6B（5.09）；InfoSearch length 由 4.06 升至 9.02，keyword 由 2.06 升至 5.61；MAIR IFEval 由 32.14 升至 36.13；FollowIR Score 由 21.33 微降至 19.73，作者归因于 DV 替换一半原始样本损失多样性。All- 配置扩到 880k 后差距更夸张——All-DV 把 FollowIR p-MRR 推到 8.30（全部最高），而 All-orig 跌至 -23.22 与 -49.65，证明混入非 instruct 数据让模型在指令下反向排序。bge-m3-retromae（Table 2）复现同样趋势：FollowIR p-MRR 于 All- 上 由 8.84 升至 13.92。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FollowIR（指令敏感性） | p-MRR | Ins-DV 7.57 / All-DV 8.30（gte-mlm-base 305M） | Ins-orig 5.21 / All-orig 5.27（同架构同预算） | +45% / +58% |
| FollowIR 综合（Score, macro MAP@1000 & nDCG@5） | Score | All-DV 21.38（best） | Ins-orig 21.33 / All-orig 20.85 | +0.05 / +0.53 绝对值 |
| InfoSearch length 子集 | p-MRR | Ins-DV 9.02 / All-DV 31.91 | Ins-orig 4.06 / All-orig -23.22 | +122% / 反转符号 |
| InfoSearch keyword 子集 | p-MRR | Ins-DV 5.61 / All-DV 12.13 | Ins-orig 2.06 / All-orig -49.65 | +172% / 反转符号 |
| MAIR IFEval | nDCG@10 | Ins-DV 36.13 / All-DV 34.08 | Ins-orig 32.14 / All-orig 24.33 | +3.99 / +9.75 绝对值 |
| MAIR InstructIR | nDCG@10 | Ins-DV 87.97 / All-DV 90.74（best） | Ins-orig 89.16 / All-orig 85.54 | 近似持平 / +5.20 绝对值 |
| bge-m3-retromae 上 FollowIR p-MRR（cross-backbone） | p-MRR | Ins-DV 11.47 / All-DV 13.92（best 全部配置） | Ins-orig 9.40 / All-orig 8.84 | +22% / +57% |
局限与改进
作者明确两点限制：第一，极性反转假设每条样本都能找到互补指令，对极窄查询偶有反转不自然；第二，仅评估英文 encoder-based 双编码器，decoder / cross-encoder 与多语言未覆盖。从数据看，FollowIR Score 从 21.33 降到 19.73（Ins-DV 对 Ins-orig），提示用 DV 替换原始 instruct 样本会让多样性下降；MAIR IFEval 在 All-DV 反而低于 Ins-DV（34.08 vs 36.13），说明合成数据在长尾约束上仍有覆盖盲区。
独立分析的弱点
第一，DV 是替换而非追加 Ins-orig 后 Score 微降，说明用合成样本在"量"上顶替原始样本时损失了多样性，可考虑做"动态比例"采样或对 Ins-orig 加权以保留多样性。第二，合成依赖 Qwen3-Next-80B-A3B，且 prompt 模板要求 5 步 checklist，单条样本合成成本高，少量查询的合成可能退化为"硬改约束"，建议未来引入小型 verifier 自动拒绝难例。第三，所有训练均在双编码器上进行，没有 rerank 或生成式检索结果作为对照——无法判断 DV 信号是否迁移到 listwise / 交叉编码场景。第四，作者在两组 backbone 上做了实验，但都没有消融"是否真的需要 LLM 合成"，例如能否用规则模板等价替换。
未来方向
作者提到三个方向：把极性反转扩展到 decoder-based retriever、cross-encoder reranker；探索多语言场景（特别是低资源语言的指令跟随意检索）；处理窄查询导致的反转不自然问题，例如引入拒识分支或自动约束强度估计。基于本文结果可延伸的方向还有：把极性反转进一步嵌入 listwise 重排训练、用同一合成数据做知识蒸馏到 7B 级别 LLM、探索 DV 与 RLHF 偏好数据协同。
复现评估
复现难度中等。已公开的内容：Appendix A 给出完整合成 prompt 模板（包含 goal、inputs、method 五步、checklist），并开源 Arctic-Embed 训练框架（github.com/snowflakedb/ArcticTraining），但未公布合成 DV 数据集与具体 80B 模型推理配置；模型依赖 Qwen3-Next-80B-A3B-Instruct 做合成，单卡不行，估计需要多卡推理；训练时 30 hard negatives、InfoNCE、$\tau=0.02$、长度 512、两个 backbone（gte-multilingual-mlm-base 305M、bge-m3-retromae）均明确；评估用 FollowIR、InfoSearch、MAIR 三个公开 leaderboard。结果可重现程度取决于各实验室是否承担 80B 模型推理成本。
论文图表