基于证据校准的查询聚类刻画大语言模型能力

ECC用少量成对模型比较校准语义嵌入，构建能力感知查询聚类，提升LLM能力排序质量。

前置知识

Bradley-Terry模型

用潜在强度参数 $\theta\in\mathbb{R}^M$ 刻画对象强弱的标准框架，比较中 $m_j$ 胜 $m_i$ 的概率为 $\sigma(\theta_j-\theta_i)=1/(1+e^{-(\theta_j-\theta_i)})$，最小化成对比较的负对数似然即可估计排序。

ECC 用 BT 模型为每个簇刻画一个能力剖面，是方法的核心参数化工具，不懂它无法理解能力排序如何从成对比较中学到。

成对模型比较(Pairwise Comparison)

给定查询 $q$ 与两个 LLM $m_i$、$m_j$，由裁判对二者回答打分并给出偏好结果 $y\in\{0,1\}$（$y=1$ 表示 $m_j$ 更优）。它是 ECC 在聚类阶段注入的后验证据来源。

ECC 的关键创新在于把这种后验证据直接融入聚类，而非仅做事后排序；理解这一信号才能把握方法为何能对齐潜在能力。

软聚类与责任度(Soft Responsibilities)

每个查询对 $K$ 个簇有一个非负责任度分布 $r_{qk}$，满足 $\sum_k r_{qk}=1$，表示该查询与各簇能力剖面的契合强度，从而允许一个查询同时混合多种能力需求。

软分配让 ECC 能刻画混合能力查询，区别于硬聚类，是方法灵活性和查询条件化推断的基础。

语义嵌入(Semantic Embedding)

用如 bge-base-en-v1.5 的编码器将查询文本映射为单位向量 $x_q$，表征其表层语义。它作为先验信号与后验比较共同构成聚类的两类输入。

论文核心论点是表层语义与潜在能力需求存在错位，理解嵌入先验及其局限才能读懂为何需要证据校准。

研究动机

现有查询聚类方法主要依赖静态的人工语义标签（如 MMLU 的 57 个学科、MMLU-Pro 的 14 个领域、MATH 的 7 种题型）或基于语义嵌入的无监督分组，但这些表层语义结构往往与查询的潜在能力需求错位。论文用图 1 给出直观例子：同为“数学”标签的三个查询，一个只需机械记忆（求 $\sin(x)$ 导数），一个需要多步演绎推导（有限子群证明），一个却是跨学科的多步推导（推导能斯特方程）；反之，需要同类“多步演绎推导”能力的查询又可能因主题差异被分散到不同语义簇中。实验显示，在 MMLU 上人工标签聚类甚至比全局 BT 模型更差（图 2 出现负增益），而最近基于“LLM 当裁判”的方法（如 SkillVerse）需对每个查询穷举评估大量模型，计算开销巨大，且产出的是硬离散划分，无法容纳混合能力的查询。

本文的目标是本文的目标是构建一种能力感知的查询聚类结构：让簇本身反映查询共享的潜在能力需求，而非表层语义主题，从而在未见查询上实现更可靠的、查询条件化的 LLM 能力排序。具体而言，作者希望该结构（1）能用极少量的成对模型比较作为后验证据来校准语义嵌入先验，避免昂贵的穷举评估；（2）为每个簇刻画一个由 Bradley-Terry 模型参数化的能力剖面 $\theta^{(k)}$，实现样本高效的能力估计；（3）通过可训练的软责任度容纳单查询的混合能力需求；（4）在能力感知排序质量上显著超越人工标签与纯嵌入聚类，平均提升 $17.64$ 和 $18.02$ 个百分点，并在查询路由、新模型排序等下游任务中验证实用价值。

与已有工作不同的是，本文的独特切入角度是“先评估再聚类”的范式反转。传统流程先按语义聚类、再在各簇内做能力评估，导致能力证据无法反过来影响簇的形成；而 ECC 先在未聚类的查询上收集成对比较证据，再用它校准、重塑嵌入空间的结构。另一关键差异在于用软混合而非硬划分：每个查询通过责任度 $r_{qk}$ 在多个 BT 能力剖面间做加权融合，推断时还能用一个廉价的探针比较（单次成对比较）加嵌入联合校准 $r_q$，从而把聚类与推断的信号对齐。这种把先验语义与后验证据在统一目标下交替优化的设计，是区别于 SkillVerse 等离线属性抽取方法和纯嵌入聚类的本质所在。

核心方法

ECC（Evidence-Calibrated Clustering）的整体思路是：对每个查询 $q$ 同时利用其语义嵌入 $x_q$ 与关联的成对模型比较集 $N_q$，学习一个灵活的潜在能力聚类。直觉上，表层语义只告诉我们“查询在说什么”，而后验比较告诉我们“模型在这类查询上谁强谁弱”；把二者结合才能让簇对齐真正的能力需求。技术上，给定簇数 $K$，每个簇 $k$ 由两部分定义：语义质心 $c_k$（捕获嵌入空间的先验）和能力剖面 $\theta^{(k)}\in\mathbb{R}^M$（参数化一个 BT 模型，代表该簇上 $M$ 个 LLM 的强弱），二者合称系统参数 $\Theta=\{\theta^{(k)},c_k\}$。由于单查询可能需要多种能力，ECC 引入软责任度 $P=\{r_{qk}\}$（$\sum_k r_{qk}=1$）衡量查询对每个簇的契合度。系统参数与责任度通过交替优化联合学习，最终输出一个支持查询条件化能力推断的混合结构。

核心创新点在于把“后验模型比较证据”直接嵌入聚类目标，并通过 Bradley-Terry 能力剖面刻画簇。具体地，定义每查询每簇的组合损失 $\ell(q,k;\Theta)=\ell_{comp}(q;\theta^{(k)})+\lambda\ell_{emb}(q;c_k)$，其中 $\ell_{comp}$ 是查询成对比较在簇 BT 剖面下的负对数似然（公式 2），$\ell_{emb}=-x_q^\top c_k$ 是语义失配。ECC 不做硬指派，而是最小化熵正则化期望损失 $L(P,\Theta)=\sum_q\sum_k r_{qk}\ell(q,k;\Theta)-T\sum_q H(r_q)$（公式 4），温度 $T$ 控制熵正则强度。这与纯嵌入聚类（只更新质心）和纯比较聚类（$\lambda=0$）的本质区别在于：它让语义先验与后验证据在同一目标下相互校准，既保留了嵌入提供的稳健语义骨架，又用比较证据把簇重塑得能力连贯。

方法步骤详情

ECC 交替优化分两阶段循环（算法 1）。初始化时随机化责任度 $P$ 并将嵌入归一化为单位向量。阶段一（固定 $P$ 更新 $\Theta$）：先按后验加权均值更新质心 $c_k\leftarrow \frac{\sum_q r_{qk}x_q}{\sum_q r_{qk}}$ 并归一化，再用加权 BT 损失更新能力剖面 $\theta^{(k)}\leftarrow\arg\min_\theta \sum_q r_{qk}\ell_{comp}(q;\theta)$。阶段二（固定 $\Theta$ 更新 $P$）：责任度按 $r_{qk}\propto \exp(-\ell(q,k;\Theta)/T)$ 做 softmax 归一化，$T$ 为温度。收敛判据为责任度 KL 散度与质心位移低于阈值，定理 2.1 保证目标单调非增。推断采用探针告知混合推断：用单次成对比较作探针、配合嵌入校准 $r_q$，按公式 $6$ 输出混合偏好 $P(m_j\succ m_i|q)=\sum_k r_{qk}\sigma(\theta^{(k)}_j-\theta^{(k)}_i)$。

技术新颖性

技术新颖性体现在四点。其一，范式反转——先评估后聚类，让能力证据参与簇形成，而非事后用于排序；这是与 SkillVerse、ATLAS 等只在聚类/选择后用证据的方法的根本区别。其二，用 BT 能力剖面参数化簇，使从少量成对比较中样本高效地估计相对强弱成为可能（默认仅 $7$ 次比较/查询）。其三，软混合责任度 $r_{qk}$ 刻画混合能力查询，避免了硬划分无法表达“一个查询同时需要记忆与推导”的局限。其四，推断时的探针告知机制：仅用单次比较加嵌入，就把聚类阶段所学的能力结构迁移到新查询，并通过熵正则化更新与公式 $6$ 的加权融合，巧妙解决了“纯嵌入簇在探针信号下推断失配”的问题。理论层面，定理 2.1 给出交替优化的单调收敛保证，增强了方法的可信赖度。

**Figure 3**: SPROUT 上不同聚类方法在三种推断信号与不同簇数下的排序质量增益

实验结果

论文在 SPROUT、RouterBench、Open LLM Leaderboard v2 三基准验证，默认 $K=30$、每查询 $7$ 次比较。RQ1（图 2）：在 MMLU/MMLU-Pro/MATH 上 ECC 全面超越人工标签与纯嵌入聚类，平均提升 $17.64$ 与 $17.99$ 个百分点，人工标签在 MMLU 上甚至为负增益。RQ2-RQ3（表 1）：SPROUT 的 Emb+Probe-infer 下 Emb-only $13.98$、Comp-only $25.01$、ECC $26.15$；ECC 相比纯嵌入在 Emb+Probe-infer 平均提升 $18.02$ pp；纯比较聚类在纯嵌入推断下急剧退化。RQ4（图 4）：含比较信号使簇内 BT 一致性更高、簇间相似度更低、跨簇质量间隙更大。图 5 重叠矩阵 ARI/NMI：ECC vs Emb-only 为 $0.108/0.221$，Emb vs Comp 仅 $0.021/0.054$，说明 ECC 保留嵌入骨架又吸收比较信号。查询路由提升 $16.6\%$，新模型排序小预算下高 $16.3$ pp。

**Table 1**: 三基准上不同聚类方法与推断信号的排序质量增益（K=30）

**Figure 6**: ECC 在两个应用上的性能：引导式最优查询路由与样本高效新模型排序

查看结构化数据

任务	指标	本文	基线	提升
能力感知排序质量（SPROUT, K=30, Emb+Probe-infer）	排序质量增益(pp) = 相对全局 BT 模型的平均 BT 损失下降	26.15	Emb-only 13.98 / Comp-only 25.01	较 Emb-only 提升 +12.17 pp，较 Comp-only 提升 +1.14 pp
能力感知排序质量（RouterBench, K=30, Emb+Probe-infer）	排序质量增益(pp)	31.05	Emb-only 8.39 / Comp-only 28.31	较 Emb-only 提升 +22.66 pp，较 Comp-only 提升 +2.74 pp
引导式最优查询路由（SPROUT）	路由后平均回答得分	ECC 最高（跨 K 一致领先）	随机/全局/P2L 路由	较纯嵌入路由平均回答质量提升 16.6%
样本高效新模型排序（RouterBench）	小比较预算下排序质量增益(pp)	ECC 显著领先	Emb-only 聚类	有限预算下排序质量高 16.3 pp

局限与改进

作者明确承认两点局限：一是仅评估文本查询，未覆盖多模态输入（但强调 ECC 不假设嵌入模态，原则上可扩展）；二是仅用查询的独立文本聚类，未考虑对话上下文或历史上下文，向上下文感知的扩展是未来工作。从我的观察看还有更多局限：性能高度依赖裁判一致性，虽然 B.8 做了不同裁判的鲁棒性测试，但在裁判存在系统性偏置时能力剖面可能被扭曲；方法对超参 $\lambda$、$T$、簇数 $K$ 较敏感（默认 $\lambda=3$、$T=0.1$、$K=30$），作者虽做了消融但大规模部署时仍需调参；在 Open LLM Leaderboard v2 上 Emb-infer 下纯嵌入竟达 $-0.05$（负增益），说明当查询语义与能力高度相关时 ECC 的相对优势缩小；探针告知推断要求每次推断额外做一次成对比较，在低延迟在线场景会引入额外成本；最后聚类结果依赖嵌入模型选择（bge-base-en-v1.5），更换嵌入可能改变结构。

独立分析的弱点

独立分析有四点弱点及改进方向。其一，簇数 $K$ 需预设且敏感：实验从 $2$ 扫到 $100$，实际应用难选最优值。改进方向是引入非参数化/自适应簇数（如狄利克雷过程或分裂-合并启发式）。其二，责任度推断仍需在线探针比较，对实时性要求高的查询路由不友好。可改进为学习一个从嵌入直接预测责任度的轻量神经网络，把探针蒸馏进模型。其三，BT 模型假设可传递性与单调偏好，对存在“打平”或非传递循环的真实偏好建模不足；消融虽考虑了 tie-aware 变体，但可换用 Plackett-Luce 或带平局项的扩展 BT。其四，聚类与推断的探针采样是随机的，未利用主动学习选择最具信息量的成对比较。改进：用信息增益或贝叶斯主动策略选探针，进一步压低所需比较数（当前默认 $7$ 次/查询，推断探针 $1$ 次）。

未来方向

作者提出的方向包括：扩展到多模态查询嵌入、纳入对话与历史上下文做上下文感知聚类。基于本成果可延伸的方向更广：一是将 ECC 的能力剖面用于自适应基准测试（结合 ATLAS 的 IRT 思想），实现按能力需求动态选题；二是把查询条件化排名与推理成本结合，做成本感知的查询路由（不止回答质量，还权衡 token 价格与延迟）；三是在 Agent 评估场景下，把“能力”从单轮回答扩展到多步工具调用与规划能力，重新定义成对比较与能力剖面；四是探索 ECC 与 P2L 类预测器的融合，让能力结构指导少样本回归；五是把责任度推断与检索增强结合，按能力簇组织知识库以提升 RAG 的能力匹配。作者开放了代码（github.com/fzwark/ECC），这些延伸均可基于现有实现推进。

复现评估

复现评估较好。论文开放代码（https://github.com/fzwark/ECC），三个基准 SPROUT、RouterBench、Open LLM Leaderboard v2 均为公开数据集，嵌入用开源的 bge-base-en-v1.5。关键超参明确（$K=30$、$\lambda=3$、$T=0.1$、$7$ 次比较/查询、$80\%$ 聚类比例），交替优化的两个阶段都有闭式解，算法 1 伪代码清晰，定理 2.1 保证收敛，便于复现核心算法。挑战在于：成对比较数据需对每个查询用统一裁判打分并分解，裁判算力与推理成本较高；扫簇数（$2$-$100$）与比较数（$2$-$24$）的完整消融需要相当计算量；聚类重叠矩阵和 B.4 的定性解释依赖 GPT-5.2 辅助生成人工校验摘要，这部分定性分析较难精确复现。总体算力需求中等偏上，主要瓶颈在 LLM 推理打分而非聚类算法本身。

基于证据校准的查询聚类刻画大语言模型能力 Capturing LLM Capabilities via Evidence-Calibrated Query Clustering