ZooWork-ShopRanker：开放偏好对齐的电商重排序器 ZooWork-ShopRanker: An Open, Preference-Aligned E-Commerce Reranker
用跨家族 LLM 裁判偏好标签对齐电商重排序器，并发布双格式 SHOPRANK-BENCH
前置知识
重排序器
检索系统的第二阶段：召回器先从海量商品中取回候选，重排序器再对每个 query-文档对精细打分并重新排序，是搜索质量的最后一道闸门。交叉编码器把 query 与文档拼接送入模型联合编码，精度高于双塔召回但需逐对前向计算。
本文的 0.6B/4B/8B 模型家族全部是重排序器，所有指标都是成对准确率；理解重排序在搜索栈中的位置，才能分清它与召回、以及与慢速 LLM 参考的差别。
判别式 yes/no 打分（并行受限解码）
Qwen3-Reranker 这类解码器式重排器不生成文本：把 query 和商品填进固定提示模板，一次前向读取 yes/no 两个 token 的 logits，其差值就是标量相关性分数。论文中所有分数（含 27B LLM 参考）都这样产生，这使在 10,511 对上评估大模型成本可控。
成对偏好损失直接作用在这个标量上；不懂这个打分机制就看不懂损失函数为何不需要参考模型，也看不懂论文的成本分析。
Bradley–Terry 成对偏好损失
给定偏好对 $(q,d^+,d^-)$ 与打分函数 $f_\theta$，最小化 $\mathcal{L}=-\log\sigma(\beta(f_\theta(q,d^+)-f_\theta(q,d^-)))$，等价于带温度的 RankNet，也是 RLHF 里拟合奖励模型的目标。模型输出标量分数而非文本，因此无需采样。
这是 8B 旗舰对齐和两个小模型锐化的唯一训练目标，论文所有训练阶段的数学核心。
DPO 与参考策略
生成式 DPO 中参考策略有两个作用：参数化隐式奖励 $\log\frac{\pi_\theta}{\pi_{ref}}$，以及防止生成文本退化。判别式重排器直接输出标量奖励（yes/no logit 差），奖励重参数化坍缩成分数本身，DPO 就退化为上面的成对损失，因此不需要参考模型；锚定角色由 LoRA 低秩更新和通用检索回放数据承担。
论文专门回答了『参考策略去哪了』这一常见疑问，是理解训练配方与 DPO 关系的钥匙。
LLM-as-Judge 与一致性分层
用多个推理型 LLM 家族（Qwen3.5-122B、Gemma-4-31B、DeepSeek-V4-Pro）当偏好裁判：每对商品按两种呈现顺序各评一次以消除位置偏差，遵循『先查硬约束、再权衡软偏好、否则平局』协议；只有两种顺序给出相同选择才算『承诺』。按承诺家族数分层：gold 3/3、silver 2/3、bronze 1/3。
跨家族一致而非单模型自信是标签可信度的度量；分层直接决定了论文报告指标的方式，bronze 层占基准 40%，不看分层会被聚合分数误导。
LoRA 微调
冻结基座权重，只训练低秩增量 $\Delta W=BA$，可训练参数约占 1%。论文受控实验显示在相同数据与配方下 LoRA 不输全参微调；对齐、蒸馏、混合格式所有阶段都只更新适配器，推理前合并后中位延迟与基座持平。
理解『全程 LoRA』才能理解推理零开销的结论、开源适配器的发布方式，以及没有参考模型时训练为何不崩。
知识蒸馏（软标签拟合）
用对齐好的 8B 教师给约 13.5 万个 query-文档对打软分数，学生模型用二元交叉熵拟合这些分数，再用裁判标注对做成对损失锐化。论文实证显示在可行规模下，标签数量比教师的名义强度更重要。
0.6B 和 4B 两个小模型都由这条路线产出，是论文效率结论（0.6B 达 2.8 倍吞吐）的基础。
研究动机
开源重排序器（BGE-Reranker-v2-m3、Jina 系列、Qwen3-Reranker）在 BEIR、MS MARCO 等公开基准上很强，但电商里『主题相关』不等于『用户偏好』：两个都相关的商品，胜负可能取决于商品类型、显式预算、赠礼对象或排除项。Table 1 的案例极具代表性：查询 shape sorter 下，BM25、BGE-large、BGE-v2-m3、Jina-m0 四个基线全部选中文办公室邮件分拣器（仅凭词面匹配）；jumpsuit under $100 下全选 239 美元款；jacket for dad 选成女士夹克；without mesh lining 查询选了带网衬款。Figure 1 量化了失败：1,843 条 gold 对中，基线在含显式硬约束的 684 对上比无约束的 1,159 对低 14-20 分，显式预算场景里 BM25 跌破 50% 随机线、交叉编码器掉 26-34 分。根因：相关性排序器没有理由在两个同等相关的商品间尊重任意声明的预算或排除项。而大规模监督又缺数据：真实流量有真实 query 和候选，却没有干净的成对偏好标签。
本文的目标是本文要把『购物偏好』变成可规模化的监督信号，训练并开源一族电商重排序器（0.6B、4B、8B），并配一个防污染的评测基准。具体三件事：其一，用跨家族推理型 LLM 裁判团做偏好神谕，以双呈现顺序、约束优先协议标注真实私域搜索流量中相邻排名的候选对，并按裁判一致度分 gold/silver/bronze 三层；其二，在 Qwen3-Reranker 三个尺寸上做偏好对齐，8B 旗舰再作为蒸馏教师产出高效小模型，使开源模型在偏好判断上显著超过最强开源基线、且每个尺寸都显著超过自己的未对齐基座；其三，构建 SHOPRANK-BENCH：约 1 万条从未公开过的私域偏好对（10,511 对），同时发布结构化与自然语言双格式，并附属性层级（AHP，1,500 对）与显式预算（1,302 对）两个诊断轨道，用于单独检验约束遵循行为，且诊断分数永不并入主指标。
与已有工作不同的是，本文不追求更大的模型也不更换架构，而是把工程难点重新定义为标签生产问题，切入点有三个。第一，用跨家族推理 LLM 裁判团替代人工标注，以家族间一致度（而非单模型自信度）作为标签可信度度量，并把 DeepSeek-V4-Pro 留作纯评测裁判、绝不进入训练标签，从协议层面切断『自己训练自己评判』的循环论证。第二，相邻生产排名配对：部署系统已视为近似等价的候选才最有区分价值，随机采样的对则被简单对比淹没——这是制造难而干净样本的杠杆，23,000 对中仅 10,511 对（45.7%）存活，高丢弃率本身证明这些对确实处在决策边界上。第三，双格式同标发布以暴露序列化伪影，诊断轨道与主指标分离计分；作者甚至把两个负结果（手工属性层级与真实偏好反相关、on-policy 挖掘撞上干净标签天花板）作为贡献明确写出。这种基准+协议+蒸馏路线+负结果的组合，比单纯刷分更有方法论价值。
核心方法
直觉：既然真实流量没有人工偏好标签，就让一组推理型 LLM 充当裁判，按先查硬约束、再权衡软偏好的协议给相邻排名的候选对投票，只有跨模型家族一致（两种呈现顺序都同意）的标签才进入训练。技术路线分两条。旗舰 ZooWork-ShopRanker-8B 直接对齐：在 Qwen3-Reranker-8B 上加 LoRA 适配器，用约 4.4k 条裁判标注偏好对混合通用检索回放数据，以成对逻辑损失 $\mathcal{L}=-\log\sigma(\beta(f_\theta(q,d^+)-f_\theta(q,d^-)))$ 训练，最后在混合格式上再跑一遍（受控实验显示该阶段对结果中性）。0.6B 和 4B 走蒸馏路线：对齐后的 8B 给 134,601 个 query-文档样本打软分，学生用二元交叉熵拟合，再用裁判标注对做成对锐化；蒸馏在两个尺寸上都优于从各自基座直接对齐。打分一律读取 yes/no logits 差、不生成文本，全程只更新 LoRA（约 1% 参数），基座权重冻结。
核心创新不在损失函数（就是 Bradley-Terry/RankNet，作者明确声明无新颖性），而在标签生产协议与评测设计。第一，跨家族裁判：Qwen3.5-122B、Gemma-4-31B、DeepSeek-V4-Pro 三个家族独立评判，用家族间一致度而非模型自信度度量标签可信度；训练只用前两个家族，第三个仅出评测标签，避免循环。第二，双呈现顺序加约束优先协议消除位置偏差：23,000 对判过的样本中 12,350 对是裁判全票平局、139 对是硬冲突，最终 10,511 对存活（45.7%）。第三，按一致度分层发布（gold 1,843 / silver 4,445 / bronze 4,223），弱标签不被平均数掩盖——bronze 占 40%，所有系统在该层比 gold 低 20-26 分。第四，相邻排名配对制造困难样本，双格式同标发布度量渲染敏感性。另有三个关键洞见：手工属性层级与裁判偏好反相关（错误的训练目标）；on-policy 挖掘的瓶颈是裁判分歧而非挖掘难度（干净标签天花板）；蒸馏在可行规模下胜过更强的面板教师。
方法步骤详情
第一步，共享底座：取 Gensmo（ZooWork 搜索引擎）真实搜索会话，候选为生产检索 top 结果，目录属性渲染成竖线分隔的结构化文本。第二步，配对：取生产排名相邻候选组成困难对，约 4,700 条去重 query 中 2,991 条贡献了对（均长 6.7 token）。第三步，裁判标注：三个 LLM 家族以两种顺序按『先查硬约束、再权衡软偏好、否则平局』协议评判，两顺序一致才算承诺；23,000 对过滤后剩 10,511 对，分 gold（1,843）、silver（4,445）、bronze（4,223）。第四步，8B 对齐：约 4.4k 裁判对加通用回放，成对逻辑损失训练 LoRA。第五步（探索性，未发布）：on-policy 挖最小间隔对送裁判，easy 切片 0.836→0.844 后停滞、gold 产率 26%→6%，暴露干净标签天花板。第六步，蒸馏：8B 给 134,601 样本打软分，0.6B/4B 用二元交叉熵拟合（混合双格式）再用裁判对锐化。第七步，评测：SHOPRANK-BENCH 双格式偏好轨道 + AHP 1,500 对 + 预算 1,302 对 + 三个 MTEB 任务。
技术新颖性
打分机制（yes/no logit 差）、LoRA、成对损失全部沿用现有组件，Qwen3-Reranker 的 logit 打分模式是『采用而非提出』。真正的新颖性有五点。其一，可规模化的偏好神谕协议：双顺序消位置偏差、约束优先评判、承诺/弃权语义、跨家族一致分层，并透明给出 45.7% 存活率、139 对硬冲突、各家族承诺率（Gemma 92.7%、DeepSeek 66.1%、Qwen3.5 仅 18.6%）等统计。其二，训练/评测裁判家族分离的防循环设计。其三，『对齐教师 + 软分蒸馏 + 裁判对锐化』管道的实证结论：可行规模下标签量比教师名义强度更重要——蒸馏同时击败直接对齐和更贵的 DeepSeek+Gemma 面板教师。其四，两个被量化刻画的负结果：手工属性层级与裁判偏好反相关（属性打分线性池化最好仅 69.5% held-out），on-policy 挖掘在 gold 产率 26%→6% 的衰减中暴露干净标签上限。其五，预算轨道的阈值/对照双切片设计，使任何总选便宜（1.000/0.000）或总选贵的捷径都无法同时拿下两个切片。
实验结果
主结果：结构化格式 8B 83.4%、4B 81.2%，超过最强开源基线 Jina-m0 的 79.2%；NL 格式 8B 81.8%、4B 79.5%，Jina-m0 78.1%；NL gold 层 0.6B 以 91.2 超 Jina-m0 的 88.8；每个尺寸都显著超过自家基座（McNemar $p\le1.3\times10^{-4}$）。约束敏感性：基线在含硬约束的 684 对 gold 上比无约束的 1,159 对低 14-20 分，ShopRanker-4B 持平。效率：结构化文本上 0.6B 与 4B 基座统计不可区分（-0.9 分，CI $[-1.9,+0.2]$），吞吐 2.8 倍。AHP 诊断：零样本全低于 50% 随机线，对齐后 8B 54.3 刚过线；属性打分模型仅 38.8%，手工层级是错误目标。预算诊断：0.6B 专家 94.7% 最高，基座-8B 阈值/对照 75.4/83.5——通用对齐只移动价格偏好而不安装预算遵循。MTEB：4B/8B 均值 0.799 领先 Jina-m0 的 0.773。零样本推理 LLM 高 8-9 分但需秒级时延，仅作参考。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SHOPRANK-BENCH 偏好轨道（结构化格式） | 成对准确率（n=10,511） | 8B 83.4%，4B 81.2%，0.6B 76.6% | 最强开源基线 Jina-m0 (2.4B) 79.2%；自家基座 Qwen3-Rnk-8B 79.2%；BM25 56.2% | 8B 领先 Jina-m0 +4.2 分；每个尺寸显著超过各自基座（McNemar p<=1.3e-4） |
| SHOPRANK-BENCH 偏好轨道（自然语言格式） | 成对准确率（n=10,511） | 8B 81.8%，4B 79.5%，0.6B 75.3%；NL gold 层 0.6B 91.2 | Jina-m0 78.1%（gold 层 88.8）；BM25 58.4% | 8B +3.7 分；NL gold 层 0.6B 以 91.2 超过 2.4B 的 Jina-m0（+2.4） |
| MTEB 重排三任务平均（ESCIReranking/SciDocsRR/AskUbuntuDupQuestions） | 各任务主指标均值 | 4B 0.799、8B 0.799、0.6B 0.761 | Qwen3-Rnk-8B 0.793、Jina-m0 0.773、BGE-v2-m3 0.732、BGE-large 0.705 | 4B/8B 领先自家基座约 +0.006~0.010，领先 Jina-m0 +0.026；对齐未牺牲通用重排能力 |
| AHP 属性层级诊断轨道 | 成对准确率（n=1,500） | 对齐后 8B 54.3%、4B 47.5%、0.6B 31.7% | 所有零样本开源重排器与 Qwen 基座均低于 50% 随机线（系统性颠倒属性优先级） | 无任何 AHP 监督，仅靠偏好对齐即从随机线以下抬升到 8B 略过随机线 |
| 显式预算诊断轨道 | 成对准确率（n=1,302，含 853 阈值 + 449 对照切片） | 预算专家 0.6B 94.7%（全场最高）；ShopRanker-4B 88.6%、8B 85.0%、0.6B 80.1% | Jina-m0 50.4%、BGE-v2-m3 46.9%、基座-0.6B 45.1%、BM25 36.3% | 少量程序化监督的 0.6B 专家大幅超越更大规模与通用对齐（阈值/对照 100/0 的捷径被双切片设计排除） |
| 含硬约束查询的 gold 层偏好对（n=684 vs 无约束 n=1,159） | 约束对与无约束对的准确率差 | ShopRanker-4B 两段基本持平（flat） | BGE-large -20、BM25 -16、BGE-v2-m3 -15、Jina-M0 -14、Qwen3-8B 基座 -6 分 | 消除开源基线 14-20 分的约束敏感性缺口 |
局限与改进
作者明确承认的：NL 视图由模型渲染、可能遗漏偏好决定性属性（论文承认未逐一审计渲染是否保留标签依赖的属性），因此双格式差距同时混杂了渲染与属性遗漏两种效应；0.6B 约等于 4B 基座只是未检测到差异而非证明相等（CI $[-1.9,+0.2]$ 包含 0）；MTEB 三个任务无置信区间且公共语料可能已在预训练中出现，只能作相对比较；预算专家未在通用基准上评测，也未检验程序化监督能否迁移到其他可检验约束；软价格偏好本身裁判模糊——选更便宜策略在阈值/对照切片得 1.000/0.000，尊重任意声明预算仍是未解难题；基准来自单一引擎（Gensmo）私域流量且偏服装类目，防污染只保证标签从未公开，query 与商品文本可能已在别处出现。我的补充观察：bronze 层占 40% 且主要由 Gemma-4-31B 单家族决定（其承诺率 92.7% vs Qwen3.5 的 18.6%），标签风格可能被单一裁判偏好主导；聚合分数被最弱标签层拉低，跨论文数字比较需谨慎；吞吐与延迟仅在 H200 单卡测得，未覆盖其他推理栈。
独立分析的弱点
独立分析六点。其一，标签层偏差：bronze 层 40% 且主要由 Gemma-4-31B 单家族决定，单裁判的系统性偏好可能渗入近半标签，改进方向是按裁判家族做去偏校验、用训练外的第四家族复核 bronze 层子集。其二，双格式评估混淆了序列化与属性遗漏两个变量，改进是强制 NL 渲染保留全部目录属性再对照，或按『渲染丢失的属性是否决定标签』分层分析。其三，预算遵循仍未真正解决：通用偏好对齐反而过度偏向便宜（基座-8B 阈值 75.4 低于对照 83.5），改进是把可程序化校验的约束（预算、排除项、尺寸）转成构造性损失或专家混合路由，而不是指望从偏好对里学出来。其四，on-policy 路线撞上干净标签天花板后直接放弃，改进方向包括平局感知的三分类目标、用裁判弃权率加权样本、或主动学习把边界样本路由给人工。其五，泛化性：单一引擎私域流量、偏服装，跨平台跨类目迁移完全未验证，公开复现者也拿不到等价流量。其六，个性化：论文只证明显式 query 意图可覆盖冲突的用户画像（附录研究），基于历史行为的真正个性化重排没有触及，而这恰是『偏好』一词的题中之义。
未来方向
作者提出或暗示的方向：把预算专家的程序化监督推广到其他可检验约束；AHP 反相关结果提示应寻找可学习的属性表示与池化方式而非手工层级；对 NL 渲染做属性保真审计；用户画像条件化的系统研究（正文提到见附录 B）。基于本文成果可延伸的：跨家族裁判的校准聚合——按各家族历史准确率加权投票，或以训练外的第四家族作为外部验证器估计标签噪声率；把干净标签天花板形式化为偏好学习中的可识别性条件，设计显式建模平局的损失（如三分类或 margin 回归）；把对齐+蒸馏配方推广到作者团队已有积累的其他垂直域（时尚检索、代码搜索）；扩展到多模态（商品图片+文本，对标 Jina-m0）；在推理时级联程序化约束校验器与神经重排器，把可检验约束从 learned 行为变成 guaranteed 行为；以及在真实 A/B 流量上验证 2.8 倍吞吐与约束遵循的业务收益。
复现评估
开源情况良好：三个尺寸的模型（Qwen3-Reranker 上的 LoRA 适配器）、双格式 SHOPRANK-BENCH（偏好轨道 10,511 对附带逐裁判判定、可自行复算分层；AHP 1,500 对；预算 1,302 对）以及代码均发布。主要缺口：训练语料——约 4.4k 裁判对、通用回放数据和 134,601 条蒸馏样本的私域底座——是专有的，开发集（easy 5,076 / hard 各 1,910）同样私有，训练无法完全复现，只能基于发布基准做评测复现。算力需求中等：训练全程 LoRA 约 1% 可训练参数；蒸馏需 8B 教师批量打分；评测单张 H200 即可，论文报告连 27B LLM 参考都能用 logit 打分在 10,511 对上负担得起；裁判标注需 Qwen3.5-122B、Gemma-4-31B、DeepSeek-V4-Pro 的推理资源或 API。复现难度：评测部分低（下载数据与模型即可跑通），训练部分高（缺语料与裁判基础设施）。统计口径友好：发布了 query 聚类自助区间、连续性校正 McNemar 检验及 bootstrap 复核细节，便于严格对比。
论文图表
在 1,843 条 gold 级偏好对上按『查询是否声明显式硬约束』分成两组（无约束 1,159 对 vs 约束 684 对）分别计算准确率。BM25 在约束对上低 16 分、BGE-large 低 20、BGE-v2-m3 低 15、Jina-M0 低 14、Qwen3-8B 基座低 6，而 ShopRanker-4B 基本持平；虚线为 50% 随机线（每对都是二元选择）。两组是不同的对，不是同一对加约束。
一图点明全文动机：开源重排器按词面/主题相关性排序而非购物偏好，硬约束遵循是系统性差距，直接引出用裁判标注偏好做对齐的方案。