RankJudge：面向多轮对话的 LLM 作为评判器合成基准生成器

多轮参考文档对话下LLM法官的合成评测基准生成器

前置知识

LLM-as-a-Judge

用大语言模型替代人类对其他LLM的输出做偏好或质量打分，已广泛用于RLHF奖励、自动评测与数据标注。可分为pointwise（独立打分）和pairwise（两两比较）两类协议。

本文正是评测LLM法官本身的元评测，需要理解评判器的常见做法（pairwise、CoT、rubric）才能明白RankJudge的联合判定准则在测什么。

Bradley-Terry模型

一种把成对比较结果映射为参与者强度的概率模型：$\Pr(i\succ j)=\theta_i/(\theta_i+\theta_j)$，可用minorization-maximization迭代拟合并转为Elo评分。

RankJudge用BT同时为judge和pair赋强度并映射为Elo，使排行榜能在部分观测下稳定，且能用Elo裁剪尾部噪声段。

多轮对话失效模式

助手在多轮交互中特有的失败类型，例如self_contradiction（后轮颠覆前轮）、instruction_forgetting（多轮后忘记指令）、evasion（绕开关键问题）等，与单轮的fact-error有本质区别。

本文核心贡献是发现并形式化7类多轮失败类型，作为ground-truth标签$\mathcal{T}$来评判法官的诊断能力。

合成基准生成器

不依赖固定题库，而是用LLM按规则生成题目并由验证器/分类器把关；只要生成器prompt和参考文档确定，benchmark可确定性重生。

RankJudge是典型的合成生成器范式，其$\Pr(c=1|j,q)=\theta_j/(\theta_j+\theta_q)$评分机制把生成-验证-评测三步串成一个可升级流水线。

研究动机

现有LLM法官评测基准普遍存在三个核心缺陷：第一，以单轮问答为主（LLMBar、JudgeBench、ContextualJudgeBench都是single-turn），无法捕捉多轮对话中后置轮次颠覆前置轮次、隐性遗忘指令等真实部署里的失败模式；第二，仅以"判决对错"作为正确性标准，区分不出"选对了但归因错"的法官——例如某个法官虽然选中了更好的对话，却把缺陷归到了错误的轮次或类别；第三，静态固定题库无法给出"哪些题真正区分强法官和弱法官"的可解释标准。MT-Bench等研究反复验证：单轮能力不能迁移到多轮成功，前沿模型在多轮下退化严重；且人类审计显示MMLU类基准中6%以上题目带有错误标签。在法官已被用于打分训练数据、把关模型发布的当下，用弱法官做门禁会悄无声息地奖励错误行为。

本文的目标是本文目标是构建一个完全合成、零人类标注成本、却能严格判定LLM法官质量的多轮评判基准。具体包含四件事：（1）设计一个由生成器prompt唯一确定三元真值 $(y^\star, r^\star, t^\star)$ 的对话对结构，其中 $y^\star\in\{A,B\}$ 标识更优对话、$r^\star\in\{1,\dots,R\}$ 标注缺陷所在轮次、$t^\star\in\mathcal{T}$ 标注失败类别；（2）通过联合判定准则 $c=\mathbb{1}[\hat{y}=y^\star\wedge\hat{r}=r^\star\wedge\hat{t}=t^\star]$ 强迫法官同时给出正确的判决、缺陷轮次与失败类型，从而剥离"猜对结论"部分；（3）部署7个失败类型与7种用户行为的双轴条件生成，跨机器学习、生物医学、金融三个知识密集领域构造基准；（4）用Bradley-Terry联合排序法官与对话对，并通过裁剪Elo最高5%尾部来抑制标签噪声，目标产物是覆盖21个前沿法官、跨约1200 Elo的排行榜。

与已有工作不同的是，本文的独特切入角度在于：把基准本身做成一个可重生的"生成器"而不是一份静态题库。具体而言：（1）采用dual-conditioned双轴生成——用户行为轴与助手失败类型轴相互独立采样，让"较优对话"和"较差对话"由两套独立的LLM生成调用产出，再通过蓝图中显式要求"在相关轮次设置缺陷将暴露的情境、但要求良性表现"保证对比结构性同构；（2）由生成器prompt唯一锁定真值三元组，构造过程不需要任何per-item人类标签，使基准可随生成器或验证器升级而确定性重生；（3）引入三层验证级联（coherence/adherence/grounding）配合Elo动态裁剪，由人类审计（120对标注，噪声/歧义均集中于Elo顶尾）与Qwen3.5-4B LoRA微调实验（顶20%段训练得到的联合正确率仅为底60%段的一半以下）独立印证——三个证据汇聚于同一噪声子集，从而给出比单一信号更可信的"切尾"决策。

核心方法

整体思路借鉴"验证比生成容易"这一已被广泛观察到的非对称性，把多轮法官评测拆成"先合成双胞胎对话，再让法官找茬"两阶段。技术上分四步：第一步是半自动失败类型发现，以Gemini-3.1-Pro为探针在MT-Bench和MT-Bench 101上聚类出7类多轮失败；第二步是双条件对话对生成，对每个失败类型 $t^\star\in\mathcal{T}$ 与7种用户行为独立采样，按蓝图独立生成两段对话，较差的那段在第 $r^\star$ 轮注入一个且仅一个缺陷；第三步是三层自动化验证级联，仅当所有原子事实断言都能在参考文档中佐证（除缺陷轮的注入点外）才保留对话对；第四步是Bradley-Terry联合排序法官与对话对的强度 $\theta_j,\theta_q$，正确概率建模为 $\Pr(c=1|j,q)=\theta_j/(\theta_j+\theta_q)$，再用Elo $=400\log_{10}\theta$ 做映射，最后剔除无人能解的共识对与顶部5% Elo尾部。

核心创新是把"正确性"从二元判决扩展为三元联合判定 $c=\mathbb{1}[\hat{y}=y^\star\wedge\hat{r}=r^\star\wedge\hat{t}=t^\star]$，迫使法官的"理解"和"结论"必须同时到位。本质区别在于：以往基准（LLMBar/JudgeBench/ContextualJudgeBench）只评判"法官是否选对了更好的对话"，无法区分"靠推理对"与"靠捷径对"；而RankJudge通过显式锁定缺陷轮次与类别，要求法官必须先识别"差在哪里、差在哪一轮、属于哪一类失败"才能得分，把评测从"分类准确率"升级为"诊断准确率"，对现实部署中"能否信任法官的归因"至关重要。第二个独立创新点是Elo双侧建模：把对话对也赋予Elo难度，使裁剪最难的尾部相当于剔除标签噪声——传统基准用固定阈值或人工过滤，本文用数据驱动方式让"难度"和"质量"协同收敛。

方法步骤详情

流程按七步执行。Step 1 失败发现：Gemini-3.1-Pro对MT-Bench/MB-101聚类得7类多轮失败（含self_contradiction、evasion、fabricated_answer等），作者监督合并重叠；详见Table 2。Step 2 双轴采样：每条目独立采样 $(t^\star,\text{user\_behavior},\text{ref\_docs},y^\star,r^\star)$，A/B顺序随机化。Step 3 双生成：较差对话蓝图锁定bad_round_index与缺陷草拟，禁用元话语；较优对话要求良性表现。Step 4 三层验证：coherence查蓝图一致、adherence查对话遵循蓝图、grounding查原子事实可佐证（缺陷轮除外）。Step 5 BT排序：MM迭代拟合 $\theta_j,\theta_q$，归一化后映射Elo $=400\log_{10}\theta$。Step 6 裁剪：丢弃全共识对与顶5% Elo尾部。Step 7 交叉验证：120对人工审计+Qwen3.5-4B LoRA反证噪声段。

技术新颖性

技术新颖性体现在三个层面。第一，把"ground-truth tuple在生成prompt里唯一确定"这一性质用作评测不变量，这意味着即便生成器和验证器都被升级，benchmark池仍可确定性重生，而无需重做人类标注，突破了合成基准通常依赖"事后人工"的天花板。第二，bipartite framing同时为judge和pair赋Elo：BT在不完全观测下仍可重排（Spearman $\rho\ge 0.95$ 在10%子采样下），并提供闭式cluster-robust误差棒；EIP作交叉检验，$\rho\ge 0.94$。第三，把"法官的归因正确性"显式纳入评判——这一联合准则把Elo差距拉宽到~1200点，且在不同领域（ML/MED/FIN）和协议（pairwise/pointwise）下均稳定（Spearman $\rho\ge 0.997$）。整体看，RankJudge把评测从"分类对不对"推进到"诊断对不对"，并把基准做成可重生的版本化流水线，是面向"法官质量"而非"被评模型质量"的基础设施级贡献。

**Figure 1**: Overview of RANKJUDGE, a benchmark generator for multi-turn judge evaluation.

实验结果

核心发现可拆为五点。1）排行榜跨度近1200 Elo：gemini-3.1-pro以1959±80领跑、gpt-5.5以1867±65次之、末位gpt-oss-20b仅762±45，前两位CI不重叠。2）域间稳定：ML/MED/FIN三域法官排名高度一致，技能近似域无关。3）开源反超专有：kimi-k2.6、gemma-4-31b等开源Elo超过sonnet-4.6；opus-4.7反常低于sonnet-4.6，hints/deliberation/rules/CoT四版prompt重写均无法缩差距，揭示是能力天花板。4）双Pareto前沿：token前沿仅opus-4.7（549t/1510Elo）、gpt-5.5（934/1867）、gemini-3.1-pro（1723/1959）三人有效；成本前沿gemma-4-31b以$0.0023/match达1695 Elo。5）失败类型偏置：弱法官预测坍缩到evasion（最多+41.6pp），低估no_clarification（−15pp）与unnecessary_refusal（−18pp）；强法官误差≤±2pp。

**Table 1**: Comparison of LLM judge meta evaluation benchmarks.

**Table 2**: Multi-turn assistant-failure taxonomy.

**Table 3**: Verification and filtering cascade, split by domain.

**Figure 2**: Human audit and SFT-with-label-noise evidence for top-Elo-tail curation.

**Figure 3**: Elo scores of 21 judges on the combined dataset.

**Figure 4**: Judge Elo against per-match compute (tokens and cost).

**Figure 5**: Per-class prediction bias for each judge.

**Figure 6**: Joint-criterion ablation, Opus-4.7 prompt revisions, and rank correlation under subsampling.

查看结构化数据

任务	指标	本文	基线	提升
法官联合正确率（21 judges × 3 domains）	Bradley-Terry Elo + 95% CI	gemini-3.1-pro 1959±80、gpt-5.5 1867±65、sonnet-4.6 1706±49、opus-4.7 1510±43，跨度约1200 Elo	MT-Bench/JudgeBench 类单轮准确率，无法跨域对比Elo	首次给出跨21法官×3领域、覆盖1200 Elo的多轮诊断排行榜
Pareto前沿：Elo vs 平均完成tokens	tokens/match	opus-4.7 549 tokens/Elo 1510、gpt-5.5 934/1867、gemini-3.1-pro 1723/1959	长尾法官多在7–10k tokens/match却远低于前沿	揭示"冗长度不直接换Elo"——性价比最优组仅3个模型
Pareto前沿：Elo vs 平均成本（USD）	$/match	gemma-4-31b $0.0023/match / Elo 1695，gpt-oss-120b 亚分级	gemini-3.1-pro 价格高一个数量级以上但仅领先264 Elo	开源模型主导成本前沿，预算受限用户可达竞争性Elo
联合准则 vs 简化准则的Elo对比	Spearman ρ / Kendall τ	加failure-type后的Elo vs 不加的Elo：ρ=0.968, τ=0.895	仅以判决对错为准则的Elo	联合准则在保留排名的前提下拉开Elo差距，强化判别力
鲁棒性：BT vs EIP + 10–80%子采样	Spearman ρ	子采样10%时Spearman≥0.95；BT与EIP的ρ≥0.94	完整评测需所有法官×所有pair	可在10%数据下复现排行榜，将评测成本降低一个量级

局限与改进

作者承认的局限主要在两个层面。第一，构造端存在生成器偏置——gpt-5.5被用于生成与验证，因此对gpt-5.5存在系统性自利偏置（pairwise时排名虚高）；附录A.3用opus-4.7做生成器的对比实验显示gpt-5.5排名从第2掉到第7而opus-4.7从第11升至第3，其余19位法官的Spearman仍达0.979，说明生成器选择主要影响"自利对"。第二，构造仍依赖LLM生成器本身的能力——若生成器无法在生物医学等高门槛领域注入"有挑战性的细微缺陷"，那么"评测"实际上是在测"生成器"而非"法官"。作者用grounding/adherence两层验证缓解，但仍未根除。本文未做的工作包括：1）未在更大语种、更长上下文（如>20轮）上验证；2）7类失败类型可能仍不完整，特别在多模态、工具调用场景中需要重新发现；3）pointwise协议下Spearman仅0.809，说明pairwise测的是"辨别能力"而pointwise测的是"绝对校准"，两个能力的解耦需要在未来工作中明确建模。

独立分析的弱点

独立分析本工作存在以下可改进点。1）生成器单一化：所有对话都用gpt-5.5生成，ground-truth分布会偏向"gpt-5.5式风格"，导致评估对"是否同源同族"敏感——改进方向是对每个域用多个生成器产出混合对话池，或引入风格扰动器做归一化。2）裁剪阈值固定5%一刀切：ML/MED/FIN生存率60.0%/48.5%/54.5%，MED域grounding损失最大（243/400），但未按域调整，可能在MED过度裁剪。3）人类审计仅120对样本（其中17对被剔除），统计功效有限，未报告inter-annotator agreement。4）评测维度单一：仅以联合正确率为指标，未报告效率/不确定性/分布稳健性等多维画像。5）BT把全员共识对丢弃，但这恰好也是标签噪声最可能位置（人类审计同样指向该段），存在用同一信号源决定保留与裁剪的循环风险。

未来方向

未来研究方向可分四类。第一，作者已暗示：把扩展到更多领域（法律、工程、代码评测）与更多模态（图文对话、工具调用）会催生新的"失败类型"，需要重跑半自动化发现流程。第二，把failure-type prediction作为软标签而非硬约束——例如允许法官"部分归因"得分按类别IoU加权，避免"差一点点就算错"的0/1惩罚，能在不引入偏置的前提下提高榜单的区分度。第三，多轮评测与RLHF奖励建模的融合：当前基准产出的"诊断级分数"天然适合作为奖励信号，未来可探索"诊断一致性"作为额外reward项是否能让训练更稳。第四，作者已用Qwen3.5-4B做顶20%段SFT反证标签噪声，但这是"诊断工具"而非应用场景；后续可基于"难度段—正确率"曲线设计课程学习，比如训练时只喂Elo中等段、推理时再走完整评估，从数据集层面把"难但干净"的子集变成"训练用干净池"。

复现评估

复现难度总体中低。代码、数据与Leaderboard均已开源（首页给出Code/Dataset/Leaderboard三个链接），生成器与验证器基于OpenRouter调用gpt-5.5，具备账号与网络即可批量复现。算力方面，21个法官在1200候选→652最终对上的总调用在千次量级，论文报告了每法官平均完成tokens（gemini-3.1-pro每match 1723 tokens、opus-4.7仅549 tokens），按$0.0023–0.05/match粗估全榜完整评分约$200–500范围。三个潜在不可复现点：1）OpenRouter路由与版本快照可能变化，建议固定commit；2）生成器在R=4轮多轮下的随机种子会影响小样本基线；3）领域数据ML用RPC-Bench的CS论文（无licence）、MED用PubMedQA（MIT）、FIN用S&P 500 10-K（MIT），RPC-Bench无licence可能阻碍部分机构使用。

RankJudge：面向多轮对话的 LLM 作为评判器合成基准生成器 RankJudge: A Multi-Turn LLM-as-a-Judge Synthetic Benchmark Generator