XpertBench：基于评分量表的专家级任务评测基准 Xpertbench: Expert Level Tasks with Rubrics-Based Evaluation
由1000余位专家贡献、覆盖7大专业领域的1346道开放性长程任务评测基准，并配套提出ShotJudge校准式自动评判框架。
前置知识
大语言模型(LLM)基准测试
用于系统衡量LLM在特定任务上能力水平的标准化题集。传统基准如MMLU-Pro、GPQA以选择题形式考察静态知识，但近年随着模型在这些考试式任务上趋近饱和，研究者开始转向开放性、长程、需要专家判断的任务场景。XpertBench正是在这一转折点上推出的新一代评测。
理解传统基准的局限性是阅读本文的入口——论文反复强调'exam-style'题目的天花板问题，读者必须先明白为何要重新设计评测范式。
LLM-as-a-Judge与自评偏差
用大模型作为评委给其他模型的输出打分的做法，可大幅降低成本并提高吞吐，但存在'自增强偏差(self-enhancement bias)'：评委倾向于奖励与自己训练分布风格相似的回答。JudgeBench研究表明GPT-4o在困难回答对上仅比随机猜测略好，说明纯LLM评分在专业场景下并不可靠。
ShotJudge的核心动机就是缓解自评偏差，读者必须先理解零样本LLM评委为何在专业任务上会失效，才能体会few-shot校准的必要性。
评分量表(Rubric)与加权检查点
把'整体质量'拆解为多个可独立判定为TRUE/FALSE的细粒度评估点，每点带有重要性等级(Essential/Important/Optional)与1–10的数值权重，最终按 $S = \frac{\sum_{i=1}^{n} w_i x_i}{\sum_{i=1}^{n} w_i}$ 聚合分数。这种设计把主观判断转化为可重复、可审计的客观过程，是开放性生成任务评估的事实标准。
XpertBench每道题配备15–40个加权检查点，整个评估体系都建立在此之上，是理解ShotJudge公式与专家标注流程的前提。
生态效度(Ecological Validity)
心理学/教育学概念，指评测任务与真实工作场景的契合程度。XpertBench不取学术代理题，而是直接邀请执业CFA/CPA/MD/JD与985高校研究者贡献日常专业挑战(如对比Lockheed Martin与Northrop Grumman的财务指标)，从而保证题目'长得像真工作'。
生态效度是论文核心卖点之一，解释了为何1346道题而非百万道简单题，为何任务必须由专家而不能由众包工人贡献。
研究动机
现有LLM评测体系已无法反映真实专业价值。MMLU-Pro、GPQA等'考试式'基准虽然易于自动判分，却在SOTA模型上迅速饱和——FrontierMath上顶级模型正确率低于2%，Humanity's Last Exam上低于10%，瓶颈已不在题目难度而在题型本身：它们把复杂多步推理压缩成单点答案或字符串匹配，把开放性综合与专业判断扁平化为点估计指标。即便GAIA、BrowseComp等深度检索基准，也只是把多步研究归结为简短事实点，本质上仍是封闭式检索而非专家式判断。此外，传统自动化评委(AlpacaEval、MT-Bench、Arena-Hard、WildBench)被指存在方法论循环性——用LLM训出的标准去评LLM，极易诱发自增强偏差；专家众包(HELM、ChatbotArena)虽保真却受限于高额人力成本，难以承担需要PhD/JD级专业知识的评估。
本文的目标是构建一个真正贴近专业工作流的高保真评测基准XpertBench，覆盖七个高价值专业领域(金融、法律、教育、工程与应用科学EAS、人文社科HSS、计算机、医疗)，收录1346道由1000余位认证专家贡献的开放性、长程、多步骤任务；每道题配备15–40个加权检查点构成的细粒度评分量表；同时提出一种可扩展且与人类专家对齐的自动评判范式ShotJudge，用以解决自评偏差与扩展性之间的矛盾。
与已有工作不同的是，与OneMillionBench、GDPval等近期工作相比，XpertBench不仅把任务规模显著放大，还独有地纳入教育(占24.4%)与人文社科(8.6%)这两类长期被低估却社会影响深远的领域，使'通才型'专业能力的评估更具说服力；与DeepResearch Bench、DEER等聚焦研究型深度检索的基准不同，XpertBench切入的是真正的'职业判断'——把执业律师、医生、分析师、教师每天面对的真实场景作为测试题，而非学术研究子任务；与Prometheus、RubricEval等通用指令级rubric工作相比，XpertBench的rubric由领域专家亲手打磨并采用双层加权(定性级别+定量权重)，覆盖到行业规范、临床流程、监管合规等真专业要素。
核心方法
XpertBench的构建与评估是一条端到端流水线。先通过Xpert Data Platform招募并两阶段考核约3000名领域专家，再让通过考核的专家每人最多提交3道来自自身真实工作的开放式任务(初稿超过1000份)，经过多轮筛选保留1346道；接着为每道任务配备15–40个原子化、客观化、带双层权重(定性等级+1–10数值)并打上评估维度标签的检查点；评估阶段使用ShotJudge：用GPT-5作为锚定模型生成被专家盲审打分的'金标准推理示范'，再让Gemini 2.5 Pro作为主评委参考这一示范进行one-shot评分，最终用加权公式聚合分数。从直觉上看，这条流水线的核心思路是'把专家的工作搬进来，再用专家的判断去校准机器评委'，从而兼具真实性和可扩展性。
ShotJudge的核心创新在于用'专家一人评审过的示例'作为in-context锚点，把零样本LLM评委转化为'模仿专家推理路径的评分器'，从根本上把自动化评估从风格匹配拉回到专业标准匹配。具体而言，每个检查点 $c_i$ 由专家预先给出二元标签 $x_i \in \{0,1\}$ 与详细文字理由，评委模型以此为few-shot示范，输出候选模型的二元判断，最后用 $S = \frac{\sum_{i=1}^{n} w_i x_i}{\sum_{i=1}^{n} w_i}$ 加权汇总。文中用CDR(Consistency minus Discordance Rate) $= P(\text{agree}) - P(\text{disagree})$ 作为对齐指标——专门惩罚与专家偏好相反的'rank reversal'——结果显示ShotJudge达到52.0%的CDR，显著优于零样本LLM-as-a-judge基线。
方法步骤详情
步骤一，专家招募与考核：在Xpert Data Platform上结合直接注册、同行推荐、供应商合作三种渠道招募专家池，其中约61%来自中国985/211及海外名校，100%具备至少3年执业经验，并配备183项法律资格、163项医师执照以及大量CFA/CPA/CATTI持证人；每位候选人必须通过专业笔试与试标注两阶段考核，未达标者直接淘汰。步骤二，任务撰写：考核通过者根据标准化培训指引，把日常工作场景拆为'情境/背景/产出要求'三段式prompt，并附上参考解答；每人最多提交3题，初稿超过1000份。步骤三，多阶段筛选：内部专家组筛掉'AI已经答得很好'的低区分题、纯主观偏好题与边缘场景题，最终保留1346道、覆盖80余个细分类别。步骤四，rubric生成：先用Claude Opus 4.1或Gemini 2.5 Pro根据prompt与参考答案生成rubric草稿，再由题目原作者或同领域专家改写，严格遵守'原子化(单一要求)/客观化(TRUE/FALSE可判定)/具体化(明确内容或格式)'三原则，每题设置15–40个检查点，并为每个检查点分配Essential/Important/Optional定性等级、1–10数值权重与维度标签(如事实准确性、逻辑连贯、领域专长、合规性)。步骤五，质量审核：每套rubric至少经一位同领域专家复核，并约30%由资深专家抽检；不达标则迭代修订或丢弃。步骤六，专家锚定：抽取GPT-5的响应，由领域专家盲审给出每个检查点的二元标签与详细理由，再由资深专家做元评估过滤异常标注，形成'金标准推理示范库'。步骤七，校准评分：在自动化阶段，把原始prompt、rubric与'带专家示范的GPT-5响应'一起喂给Gemini 2.5 Pro评委，评委据此对候选模型回答给出二元判断，最终按加权公式 $S = \frac{\sum_{i=1}^{n} w_i x_i}{\sum_{i=1}^{n} w_i}$ 输出分数。步骤八，对齐验证：通过分层抽样得到XpertBench-Gold(N=245)子集，计算ShotJudge与人类专家的CDR对齐度。
技术新颖性
技术新颖性体现在四个层面。其一，rubric设计本身把定性等级与定量权重双层叠加，既能粗粒度区分Essential与Optional，又允许细粒度调分1–10；并且每个检查点都打上维度标签，使后续可对模型的'事实准确性''逻辑连贯''合规性'等子能力做切片分析，这是WildBench等粗粒度Likert框架难以实现的。其二，ShotJudge用'专家示范作为one-shot锚点'而非通用提示工程，把'评分风格是否对齐专业标准'这件事从模糊的prompt调优变成了具体的上下文示例学习，在工程上可复用、可审计。其三，对齐指标CDR专门惩罚rank reversal，比简单的成对一致率更严格，避免评委'碰巧答对但方向相反'的假阳性。其四，1346道任务全部来自执业专家的真实工作而非学术代理题，并通过'专家资质审核+试标注淘汰+多轮rubric复核+资深抽检'形成闭环质量控制，这种'专家工厂式'的数据构建流程本身就是一项工程贡献。
实验结果
整体上，Claude-Opus-4.6-thinking以66.20%拿下榜首，GPT-5.4-high(64.78%)与Doubao-2.0-pro(64.51%)紧随其后，三者在统计上已形成第一梯队；GPT-5.2-high(61.03%)、GPT-5-high(58.70%)、Gemini-3.1-pro(55.05%)、Gemini-3-pro(53.43%)、Kimi-k2-thinking(53.30%)与Gemini-3-flash(50.98%)组成第二梯队；Claude-Sonnet-4.5-thinking-azure(46.00%)、DeepSeek-V3.1-Terminus-thinking(45.10%)、GLM-4.6(44.30%)、Doubao-1.6-thinking(42.10%)、Gemini-2.5-pro(38.20%)集中于40%–50%区间。所有12个模型均值约55%，SOTA与第二梯队间存在约15个百分点的明显鸿沟。领域细分上，GPT-5.4-high在Finance上以84.65%遥遥领先，比次优的Doubao-2.0-pro(73.82%)高出近11个百分点；Claude-Opus-4.6-thinking则在HSS(83.02%)与Law(65.54%)上称王，EAS(49.58%)也由其领跑。Education领域GPT-5.4-high(59.29%)略胜Claude-Opus-4.6-thinking(57.96%)。值得注意的是，STEM(EAS)整体分数显著偏低——SOTA仅49.58%，GPT-5.4-high在该领域仅42.84%，表明长程形式化推理与工程计算仍是普遍短板。论文还揭示了两类典型失效模式：一是'retrieval interference'，模型在启用检索/搜索时，浏览网页引入的噪声会持续干扰主分析路径，最终可用性骤降；二是'principle hallucinations'，任务早期一步的概念性误判会像滚雪球一样污染整条推理链，使得后续推理在逻辑上完全不可用。Kimi-k2-thinking作为一个国内模型表现尤其亮眼，整体53.30%与Gemini-3-pro持平，且在Law(58.00%)上跻身国际顶级行列。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体专业任务综合得分 | 加权rubric得分(%) | Claude-Opus-4.6-thinking: 66.20; GPT-5.4-high: 64.78; Doubao-2.0-pro: 64.51 | GPT-5.2-high: 61.03; GPT-5-high: 58.70; Gemini-3.1-pro: 55.05; Gemini-3-pro: 53.43; Kimi-k2-thinking: 53.30 | SOTA相对均值(~55%)高出约11个百分点；SOTA与最弱模型(Gemini-2.5-pro 38.20%)差距约28个百分点 |
| Finance领域专家任务 | 加权rubric得分(%) | GPT-5.4-high: 84.65 | Doubao-2.0-pro: 73.82; Claude-Opus-4.6-thinking: 73.25; GPT-5.2-high: 71.22 | GPT-5.4-high比次优模型高出10.83个百分点，是榜单上最显著的领域差距 |
| Law领域专家任务 | 加权rubric得分(%) | Claude-Opus-4.6-thinking: 65.54; Doubao-2.0-pro: 65.06; GPT-5.4-high: 64.79 | Kimi-k2-thinking: 58.00; Claude-Sonnet-4.5-thinking-azure: 58.70 | 前三名差距极小(<1个百分点)，表明法律推理已形成相对稳定的头部竞争 |
| Education领域专家任务 | 加权rubric得分(%) | GPT-5.4-high: 59.29; Claude-Opus-4.6-thinking: 57.96 | GPT-5.2-high: 58.43; Doubao-2.0-pro: 55.35 | 前两名差距仅1.33个百分点，长程教学规划对所有模型仍是难题 |
| EAS(STEM)领域专家任务 | 加权rubric得分(%) | Claude-Opus-4.6-thinking: 49.58; GPT-5-high: 48.20 | GPT-5.2-high: 46.13; Doubao-2.0-pro: 44.88; GPT-5.4-high: 42.84 | 整体均分显著低于其他领域；GPT-5.4-high在EAS仅排第6，与其在Finance的第一名形成鲜明对比 |
| HSS(人文社科)领域专家任务 | 加权rubric得分(%) | Claude-Opus-4.6-thinking: 83.02 | GPT-5.4-high: 80.58; Doubao-2.0-pro: 80.09; GPT-5.2-high: 76.15 | 该领域是各模型表现最一致的板块，前三名均≥80% |
| ShotJudge与人类专家对齐 | CDR(Consistency minus Discordance Rate) | ShotJudge: 52.0% | 零样本LLM-as-a-judge基线 | 显著优于零样本基线(论文未给出具体基线数值) |
局限与改进
论文承认三点局限。第一，XpertBench-Gold只有N=245，无法覆盖所有任务类别，特别是Computer Science与Healthcare在Gold子集中样本量偏小，导致论文只能聚焦五大主领域做细粒度分析，细分类别的统计推断存在不确定性。第二，专家池以中国为主(约61%来自985/211)，虽然补足了200余位海外专家，但视角的地域偏向仍可能影响评分标准的普适性——特别是法律、金融监管类条款会带有中国法系与产业语境的烙印。第三，ShotJudge依赖GPT-5作为锚定基线，这意味着如果基线本身存在系统性偏差，专家示范将继承该偏差；此外，Gemini 2.5 Pro作为主评委的稳定性、对其他模型家族的回答是否存在未识别的偏见，论文并未给出充分的跨评委交叉验证。从观察者视角还可补充两点：一是双层权重(定性级别+1–10分数)虽然灵活，但不同专家对'7分与8分'的把握差异较大，缺乏组内一致性系数(如Krippendorff's α)的报告；二是评估维度虽列出16类(表2)，但论文并未按维度切片展示模型短板谱系，仅给出按领域切片的总图，错失了对'逻辑连贯''合规性''创造性'等子能力的细颗粒诊断。
独立分析的弱点
独立分析可识别四个值得改进的方向。其一，rubric的可重复性未量化：每套15–40个检查点由不同专家撰写，但论文没有报告'两位专家独立为同一道题写rubric的吻合度'，因此难以判断rubric本身是否引入评分者间偏差。其二，任务分布偏向'静态报告型'：从附录A的例子看，金融任务是分析年报数据、法律任务是合同性质判定、STEM任务是电泳条带解读，整体偏向'信息提取+综合分析'，缺少需要多轮对话、状态维护、跨工具协作的agentic任务，与论文宣称的'agent时代'愿景存在落差。其三，闭卷评审透明度不足：ShotJudge使用GPT-5作为锚定基线，但未公开专家示范的样例数与具体形式，外部研究者难以复制或在自己的领域任务上迁移该方法。其四，'领域最高分'与'领域最低分'之间的鸿沟对工程落地没有给出操作建议——例如GPT-5.4-high在Finance拿到84.65%、在STEM仅42.84%，意味着用户需要按任务路由不同模型，但论文没有提供路由器设计或成本/质量权衡的讨论。
未来方向
作者明确的下一步方向包括把XpertBench扩展到更大规模(N>>245)的子集、用更多基线模型复现跨评委稳定性、以及把评分维度(图2的16类)做成可解释的子能力面板。基于现有成果可延伸的研究还包括：(1) 用XpertBench的失败模式(retrieval interference、principle hallucinations)构建针对性的反例训练集，专门微调模型的'早期纠错'与'检索去噪'能力；(2) 把ShotJudge的'专家示范one-shot'范式推广到开放域对话评估、代码agent评估乃至多模态任务评估，建立跨任务类型的统一评分协议；(3) 借鉴领域专长与领域短板的强相关(如GPT-5.4-high在Finance强STEM弱)，构建'Mixture-of-Experts Router'，按任务领域自动选择最合适的模型；(4) 把rubric与可执行测试用例结合——例如法律任务不仅判'是否引用《民法典》第761条'，还要求模型用结构化工具调用返回条款编号，把'评分'逐步推向'自动化合规审计'。
复现评估
XpertBench本身据称将开源(论文承诺'we release XpertBench')，但截至本文撰写时未给出具体GitHub仓库地址或数据许可证信息，仅在第7节提供Xpert平台官网链接 https://xpert.bytedance.com/ 。算力需求方面，每道题需要GPT-5与Gemini 2.5 Pro两次推理，外加专家盲审与元评估的双层人工标注，估算单题成本含API费用+专家时薪约相当于数十美元量级，1346道任务全量标注预算可观；XpertBench-Gold子集(N=245)加上双评委机制则相对经济，是大多数研究者可复现的入口。复现难度集中在ShotJudge的'专家示范'环节：必须先组建可信赖的领域专家组并完成盲审→元评估的两轮锚定，单凭自然语言prompt难以模拟这一过程；此外，rubric的撰写规范('原子化/客观化/具体化'三原则)虽然清晰，但'双层权重'的取值仍依赖专家主观判断，新进入者需要配套培训才能保证评分者间一致性。整体可复现性'中等偏难'——基础设施(平台、数据)可获取，但核心算法(专家示范+ShotJudge)的迁移需要重新投入专家资源。
论文图表
示意图显示MboI与Sau3AI识别的5′-GATC-3′序列以及切割位点(三角形标注)，强调两者识别序列相同但对Dam甲基化的敏感性不同——这是STEM样例题的关键背景。
作为附录中STEM任务的题面附件，该图展示了真实专业任务如何嵌入可视化信息，读者可借此体会XpertBench对真实工作文档(电泳图、识别序列图)的还原度。
电泳图分为上下两部分：上半部分(图1)是DH5α中提取的质粒经MboI酶切的条带，1–20为样品、21–22为未酶切对照；下半部分(图2)是把相同质粒转入ET12567后再酶切的结果，左右分别用MboI与Sau3AI处理；M为分子量marker。条带差异是解题核心——DH5α中质粒因Dam甲基化无法被切开，呈超螺旋/开环构型，ET12567(dam⁻dcm⁻)中两种酶均能切出线性片段。
这张图直接对应STEM示例任务的判分要点，是论文'真实专业文档入题'承诺的具体证据。
金融示例题(LMT vs NOC财务对比)的完整rubric：12条检查点，权重7–10分，标签Authenticity/Depth/Instruction Following。例如'计算LMT FY2023 book-to-bill比≈1.16'权重10/Essential/Authenticity；'指出NOC自由现金流转化率高于LMT并归因于营运资本管理'权重7/Important/Depth。
让读者直观感受XpertBench检查点的颗粒度、权重分布与维度标签，是理解'专家如何把开放性任务转化为机评量表'的最佳教材。
法律示例题(广西公司应收账款保理关系判定)的完整rubric：12条检查点，每条权重7/Important，覆盖Requirement Identification/Logicality/Professionalism/Accuracy维度。例如'识别广西公司与建行的关系为应收账款质押融资而非保理合同'，'准确援引《民法典》第761条关于保理合同的定义'，'不得错误地把质押等同于转让'等。
展示了法律任务rubric如何把抽象的'法律推理质量'分解为可勾选的具体要点，对照突出ShotJudge评分逻辑的可操作性。
教育示例题(孔苏哲学对话剧本写作)的完整rubric：15条检查点，权重7–10，标签Standardization/Completeness/Instruction Following/Comprehensive Application/Requirement Identification。涵盖三维教学目标分层、可观测行为动词、教学重点表述、困难与教法呼应、五段教学流程设计、学生中心度、信息技术融合(希沃游戏)、分层作业等。
教育领域题量大(24.4%)，该表是理解XpertBench如何评估'长程教学设计'这类极开放任务的关键样本。
STEM示例题(基因组cosmid文库空载率判定)的完整rubric：约24条检查点，权重7–10，覆盖Information Processing/Professionalism/Accuracy等维度。要点包括'DH5α因Dam甲基化导致MboI酶切失败'、'环状质粒迁移率受构型影响不能反映真实大小'、'ET12567是dam⁻dcm⁻甲基化缺陷株'、'空载率0因为20条泳道片段总和均远大于9.5kb'、'外源片段≥19kb'等。
STEM是公认的SOTA短板领域(EAS 49.58%)，该表揭示了专家rubric对实验设计、电泳判读、限制-修饰系统等细节的把控深度。
人文社科示例题(孔苏哲学对话剧本)的完整rubric：14条检查点，权重10分(Essential)+2分(Optional)，覆盖Professionalism/Format Structure/Accuracy/Logicality/Innovation/Completeness/Language Expression等维度。核心要求包括'三维呈现孔子生死观'(未知生焉知死、朝闻道夕死可矣、畏天命)，'再现苏格拉底助产术(maieutics)'，'准确援引西狩获麟与雅典审判等历史事实'，'用现代白话文呈现古典韵味'等。
HSS是Claude-Opus-4.6-thinking以83.02%夺冠的领域，该表展示了专家如何把'思想深度''文化还原''戏剧结构'等抽象要求拆成可机评的硬指标。