KWBench：衡量知识工作中的「未被提示的问题识别」能力 KWBench: Measuring Unprompted Problem Recognition in Knowledge Work
首个衡量模型能否「在没人点拨时自发识别问题本质」的基准；223个博弈论知识工作场景，最强模型仅27.9%通过。
前置知识
博弈论与不完全信息博弈
博弈论是用数学模型研究多个理性决策者之间策略互动的学科。不完全信息博弈（imperfect information games）是其中重要分支，参与者拥有私有信息（如真实估值、隐藏激励），需通过观察对手行为来推断对方类型，经典例子包括Harsanyi的贝叶斯博弈、Spence的信号模型、Nash均衡。KWBench的核心论点正是：知识工作本质上是一系列不完全信息博弈，区别于数学和代码这类「完美信息」问题。
论文将知识工作重新框定为「不完全信息博弈」（具体为6种博弈论模式），如果没这个认知框架，就无法理解KWBench为何要测试「问题识别」而非「任务执行」，也无法理解为何现有基准（如MMLU）无法预测真实专业场景中的模型表现。
委托代理问题与机制设计
委托代理问题（principal-agent problem）描述代理人为委托人行动但利益不一致的情形（如投资银行推荐并购交易以赚取费用而非为客户争取最佳估值）。机制设计（mechanism design）研究如何设计激励规则让理性参与者按设计者意图行事；当机制设计失败时，规则会被博弈，例如销售代表为保留佣金杠杆而故意不录入准确数据。Hurwicz、Jensen-Meckling是奠基者。
KWBench的6种博弈论模式中，委托代理和机制设计失败是最难的两类（pass rate分别仅39%和0%）。理解这两种模式是看懂「为何模型会把激励机制问题误诊为流程问题」这一核心失败模式的前提。
Mandatory Gate（强制门控评分）
一种带「非协商条件」的评分机制：若模型未通过任何一条mandatory（强制）标准，整个任务计零分；只有在全部mandatory通过的前提下，再按good-to-have和ideal标准加权给分（公式：0.40 + 0.35·good + 0.25·ideal）。这一机制源自OpenAI 2024年对齐评估中的「hard constraints」思想，应用于专业领域：某些错误（如漏掉合同中的责任条款）让输出无论多完整都失去价值。
这是KWBench区别于APEX等基准的关键设计选择。论文用此机制揭示了「执行能力与识别能力脱钩」现象——即使模型在非mandatory标准上拿到60%分数，只要识别错了问题，整体仍为0分。没有mandatory gate，专业知识差距会被掩盖在总分中。
信号博弈与策略性遗漏
信号博弈（Spence 1973）描述知情方通过可观察行动向不知情方传递私有信息；典型例子是48小时截止+排他期的并购要约本身就是「买家相信自己出价过低」的信号。策略性遗漏（strategic omission）来自Akerlof的「柠檬市场」思想——一份M&A数据室「过于完美」本身就是信号，专业人士要读「不在场」的内容（如缺失的采购、法务联系人）。
这两种博弈论模式合计构成KWBench最难的两个类别（Adversarial Counterparty 25%、Information & Signaling 35%）。理解它们能解释为何「字面执行任务」反而是失败：模型把信号当作字面信息处理，是KWBench想捕捉的核心识别失误。
研究动机
现有的前沿基准（MMLU、HumanEval、GSM8K、MATH等）正在饱和——大多数模型在这些任务上已经超过90%，剩余差距也不再能预测模型在真实专业任务中的表现。这些基准共同的结构性问题是它们都是「完美信息问题」：数学证明有公理和规则、代码任务有规范和测试用例、事实回忆有明确答案，没有隐藏变量、没有策略性对手、没有为误导而设计的遗漏。然而真实知识工作本质上是「不完全信息博弈」（imperfect information games）：评估并购要约时不知道买方真实估值、薪酬谈判时不知道候选人竞争offer的真假、临床药学建议时不知道医生会如何处方，这些场景下，决策者面对的是不完整信息下的策略互动。更关键的是，现有知识工作评估几乎全部退化为「抽取式」任务——阅读理解、检索式QA、闭卷专业考试、按规范完成任务——而实践者真正做的不是抽取而是「框定问题」（framing the situation）：判断哪个博弈正在被玩、对方在优化什么、哪个框架适用。这一步「问题识别」恰恰是现有基准开始之前就已经假定完成的步骤。
本文的目标是本文旨在构建KWBench（Knowledge Work Bench），首个专门测试「未被提示的问题识别」（unprompted problem recognition）能力的基准。具体目标包括：(1) 收集223个真实专业场景任务，覆盖收购、合同谈判、临床药学、组织政治、欺诈分析、激励机制设计等六大领域；(2) 每个任务编码一种形式化博弈论模式（principal-agent冲突、信号博弈、机制设计失败、策略性遗漏、联盟动力学、策略性相互依赖），并配以结构化专家标注（ground truth、关键洞察、失败分析、常见错误）；(3) 以「三档评分+mandatory gate」机制强制区分「识别对了但执行差」与「执行流畅但识别错」，让识别能力成为任务的硬约束；(4) 评估16家机构的16个前沿模型，量化「识别能力」这一当前基准体系测不到的能力差距。
与已有工作不同的是，本文的独特切入角度是将「知识工作」重新形式化为不完全信息博弈，并由此推出三个相互支撑的差异化设计：第一，「don't instruct, measure」（不要提示、只测量）——任务冷启动，原始数据+任务prompt，不告诉模型问题类型、不植入博弈论词汇，让训练时的概念知识与评估时的应用能力分离，这区别于把所有信息都明示出来的传统基准；第二，mandatory gate——把「是否识别对了问题」作为硬门控而非可加权项，这样即使非mandatory标准60%通过，整体仍为0分，迫使评估反映「执行优秀但识别错误」这一被传统补偿性评分掩盖的失败模式；第三，rubric测试的是「避开了预测的陷阱」而非「产生了正确答案」——74%的任务有至少一条mandatory专门测试「是否避免了具体的错误路径」，rubric是一张「错误路径地图」而非「理想答案对照表」。这套设计的核心赌注是：当前模型对博弈论概念的知识完备（直接询问时能正确定义Nash均衡、Spence信号、principal-agent），但从情境中自主应用这些知识的能力存在系统性缺口，KWBench正是要孤立测量这一缺口。
核心方法
KWBench的整体思路是把「专业场景→专家推理」这一过程拆解成「场景构造→博弈论形式化→专家标注→rubric设计→门控评分」五个阶段，并在评估时严格切断对模型的任何提示，确保测到的是「从情境到框架」的自主应用能力，而非「按指令套用框架」的指令跟随能力。技术上它是一套完整的基准工程方法论：223个任务（含185个真实事件+38个外部基准改编），每个任务都包含「任务prompt + 174个任务的参考材料 + 工具配置 + 结构化专家标注（ground truth、key insight、failure analysis、common errors、model_must_recognize）」；rubric采用三档5-5-5共15条二元标准的层级结构，并通过「三模型并行生成+人工综合」的方式保证质量；评分采用mandatory gate作为硬约束，配合非mandatory标准的加权得到最终分数。
KWBench的核心创新在于把mandatory gate从「评分技巧」提升为「测量哲学」——它不是为了让分数好看，而是为了捕捉一个反直觉的实证现象：「执行能力与识别能力是脱钩的」。具体来说，论文观察到即便模型在某个任务上整体得零分（因为mandatory没过），它在good-to-have和ideal标准上的通过率仍能达到约60%（Opus 4.6）/ 55%（GPT-5.4）。这意味着模型的「抽取、格式、专业语气」能力已经接近满分，但「判断该任务实际上是什么」的能力仍是零，而mandatory gate就是把这一gap显式化的机制。这一发现的本质来源是把rubric从「答案正确性」改为「陷阱回避性」：74%的mandatory标准专门测试「是否避开了预测的错误路径」（如「PIP目标是否都是单独可完成的」以避免员工把协作失败归咎于同事；「是否避免了逐条反驳做空者」以避开做空者预先准备好的反驳）。这与APEX等基准的根本区别是：APEX测「专业工作做得有多好」，KWBench测「如果非专业人士依赖这份输出，是否会被误导」。
方法步骤详情
方法的具体步骤分为五步。第一步，从事件到任务（from incidents to tasks）：185个任务源自真实专业事件（如带胁迫结构的收购、独立董事席位的董事会纠纷、薪酬谈判中的不可验证说辞），38个任务改编自WildBench、ProfBench、BiGGen-Bench、GDPVal、Health-Bench等已有基准并重新框定为知识工作推理；每个场景被形式化为一个已识别的博弈论模式，使评估有理论支撑。第二步，参考材料设计：223个任务中174个含参考文件（CSV、备忘录、财务数据、合同摘录、会议纪要、利益相关者邮件、团队花名册），平均50-100行；34个任务启用网页搜索、46个启用shell访问；所有任务统一提供代码执行环境以避免「算术能力」污染「识别能力」。第三步，参考材料硬化（hardening）：开发期间系统性审查所有参考材料，移除会泄露答案的编辑性注释（如把合同条款标注为「Surprisingly loose」改为呈现原始条款）；同时通过改写降低「salience cue」——删除那些因措辞、孤立摆放或异常材质会让自己「跳出来」的事实项，让模型必须通过「读情境」而非「抓显眼行」来识别信号。第四步，专家标注：每个任务配有5-8个结构化字段——ground truth（专家推理链）、key insight（区分对错的关键认知）、failure analysis（默认错误答案及其错误点）、common errors（可预测失败模式）、model_must_recognize（模型必须从参考材料中识别的事实）；整套标注共约5,800项结构化条目（平均每任务12.2个专家提取信号、8.3个常见错误、5.7个rubric标准候选），使数据集本身就是一个可复用的专家推理分解工具。第五步，rubric设计：每个任务15条二元标准（5 mandatory + 5 good-to-have + 5 ideal），分三阶段构建——元数据作规范、多模型（Gemini/Claude/GPT）独立生成5条/tier、人工综合选择最强条目；其中mandatory tier专门编码「识别步骤」与「陷阱回避」，设计上确保一个会犯常见错误的响应必然过不了mandatory，理想响应能通过全部mandatory+3-4条good-to-have。评估时采用统一中性系统prompt「You are completing a task. Be thorough and specific.」，每个模型跑3次取最佳以反映最佳能力表现，judge为Gemini 3 Flash，独立并行判断15条二元标准。
技术新颖性
KWBench的技术新颖性体现在四个层面。第一，任务构造层面，它把「真实专业事件→博弈论模式→结构化专家标注」这一三段映射做到了工程化（185个真实事件+38个改编+6种博弈论模式+5,800条结构化标注），并且通过「场景形式化→专家验证」的两阶段让rubric锚定在「已被理论识别的推理模式」而非「个人专家偏好」。第二，材料硬化层面，KWBench做了一件极少有基准做的事：系统性移除参考材料中的「自泄漏」与「显著性线索」，并明确把「salience control」作为设计原则——所有事实都在场，但事实的「显眼程度」被压平到与周围材质一致，这是对「模型会被显眼项吸引」这一已知失败模式的显式对抗。第三，评分机制层面，mandatory gate被用作「测量哲学」而非简单评分规则：当74%的mandatory明确测试「陷阱回避」时，rubric变成了一张「错误路径地图」，每一道mandatory都对应一种可预测的失败模式（论文给出了toxic employee PIP任务的完整worked example，5条mandatory对应5种可预测的法律反制路径）。第四，评估层面，论文揭示了一个结构性实证——「执行与识别脱钩」：mandatory没过导致整体0分时，模型在非mandatory上的通过率仍达60%，这种脱钩在传统补偿性评分下被掩盖，只有mandatory gate能显式测量。论文还由此推导出一个关键推论：rubric不仅用于评分，其标注数据本身就是可重用资产，研究者可以基于同一份专家推理分解构建不同的评分函数（如反事实探测、步骤级评分），不必接受KWBench的评分选择。
实验结果
论文评估了来自10家机构的16个模型，核心发现可归纳为四点。第一，绝对通过率极低：Claude Opus 4.6以27.9%的mandatory gate通过率（61/219任务）排名第一，零分计入的均分仅22.6%；GPT-5.4次之（21.1%、47/223）；GLM-5 Turbo第三（20.4%、45/221）；中段（Gemini 3.1 Pro到Qwen 3.5 MoE）压缩在13.5%-15.7%的2.2点区间内，形成「头部明显、中段平坦」的分布，与饱和基准上的平滑梯度截然不同；Top-8平均通过率仅17.8%。第二，条件分数高度收敛：一旦模型通过gate，conditional score（通过任务上的均分）在12个模型上跨度仅71.7%-84.1%，标准差3.8个百分点；在Opus 4.6与GPT-5.4共同通过的26个任务上，两者均分分别为0.816和0.819，几乎完全一致——模型间的差异在于「识别对了哪些任务」，而非「识别对了之后执行得多好」。第三，没有任何单一模型占主导：Opus 4.6与GPT-5.4的Jaccard重叠仅31.7%（预期77%），Top-8平均两两重叠仅29.3%，无一超过45%；Top-8中44个任务只被其中一个模型通过，且每个模型至少贡献了2个独特通过；Greedy set cover显示Opus 4.6单独覆盖113个可解任务中的54%，Top-8合计覆盖全部可解任务（113/113），几乎是最强单模型的两倍；最弱的8个模型（rank 9-16）仍贡献了3个Top-8全部错过的任务（人质谈判、药房分诊、Glassdoor声誉问题）。第四，执行与识别显著脱钩：在mandatory没过导致0分的任务上，Opus 4.6仍通过约60%的good-to-have标准，GPT-5.4通过55%，中段模型通过40-50%——意味着模型在「抽取数据、识别相关因素、产出专业格式输出」上表现良好，但在「判断该任务实际是什么」上失败，mandatory gate是显化这一gap的唯一机制。任务难度分布也呈底部偏态：223任务中110个无模型通过，44个仅1个模型通过，22个仅2个通过，2个任务被全部Top-8通过——可解任务的最常见模式是「恰好1个模型通过」（39%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| KWBench Overall（mandatory gate通过率） | Gate Pass Rate (Passed/Evaluated) | Opus 4.6: 27.9% (61/219); GPT-5.4: 21.1% (47/223); GLM-5 Turbo: 20.4% (45/221); Gemini 3.1 Pro: 15.7% (35/223); Qwen 3.5 Plus: 14.9% (33/222) | Top-8 average: 17.8%; ranking 9-12 (GPT-5.4 xHigh, Qwen 3.5 MoE, GPT-OSS 120B, MiniMax M2.5): 10.8%-12.8%; 最低rank的Nemotron 3 Super: 5.2% | 即使最强模型Opus 4.6也仅27.9%，距离饱和基准的90%+有显著差距；Top-8平均17.8%表明mandatory gate测量的是真实存在的系统性能力缺口。 |
| Conditional Score（通过gate的任务上的均分） | Mean Score on Passed Tasks | Opus 4.6: 82.6%; GPT-5.4: 84.1%; GLM-5 Turbo: 82.3%; Qwen 3.5 Plus: 81.7%; Qwen 3.5 MoE: 81.1%; MiniMax M2.7: 79.7% | 12个模型跨度71.7%-84.1%，标准差3.8pp；Opus 4.6与GPT-5.4共同通过的26个任务上分别为0.816 vs 0.819 | 条件分数高度收敛——一旦通过gate，前沿模型的执行质量无显著差异，能力差距集中在「识别什么任务能过」而非「过了之后做得多好」。 |
| Game-Theoretic Recognition类别（85个任务，6个博弈论模式） | Pass Rate by Top-8 | Principal-Agent: 39%; Temporal & Commitment: 38%; Information & Signaling: 35%; Multi-Agent Dynamics: 33%; Adversarial Counterparty: 25%; Mechanism Design: 0% | Domain Execution类别（105个任务）：Research & Technical 75%, Financial Analysis 67%, Judgment Under Pressure 64%, Strategic Planning 52%, Analytical Reasoning 100% | 难度梯度清晰：领域执行类任务50-100%通过，博弈论识别类25-39%通过（Mechanism Design甚至0%）；证明mandatory gate精确隔离了「对抗性识别」这一hard模式，而非对所有任务统一施加过严惩罚。 |
| Model Disjointness（模型识别能力的互补性） | Jaccard Overlap of Pass Sets (Top-8) | Opus 4.6 vs GPT-5.4: 0.317; Top-8平均两两重叠: 0.293; 最高单对: 0.39 (GLM-5 Turbo vs Qwen 3.5 Plus) | 若强模型是弱模型的超集，预期Jaccard = |S2|/|S1| = 47/61 = 0.77 | 实际重叠仅为预期的40%——说明模型识别能力存在结构性互补，没有任何单一模型是其他模型的近似超集；Top-8的greedy set cover将覆盖率从54%（Opus 4.6单模型）提升至100%（Top-8合计），几乎翻倍。 |
| Zero-Score Tasks的Non-Mandatory Performance | Good-to-have Pass Rate on Tasks That Failed Gate | Opus 4.6: 158个0分任务中通过~60%的good-to-have; GPT-5.4: ~55%; 中段模型: 40-50% | 理论上限100%（完全无关执行）；下限接近mandatory通过的最低阈值 | 证明「执行与识别脱钩」是结构性现象而非个别案例：模型能在「格式、抽取、professional tone」上拿高分同时整体得零分，传统补偿性评分完全无法捕捉这一gap。 |
局限与改进
作者明确承认四点方法论局限。第一，没有人类基线：论文测量的是模型错失了什么，但没有收集专家基线来正式界定解释边界、验证mandatory gate的校准。第二，没有识别消融实验：论文证明了模型「未被提示时不应用战略推理」，但缺少直接消融——若给同样的任务加上显式博弈论提示后通过率大幅回升，则瓶颈是「识别」；若回升有限，则是「能力」本身不够，论文未能正式区分这两个假设。第三，单judge评估：评分完全依赖Gemini 3 Flash这一个LLM judge，虽然二元、可验证的标准设计能最小化主观方差，但仍缺少inter-rater reliability基线和多judge协议来加强置信度。第四，数据污染：任务源自匿名化真实事件，但前沿训练语料不透明，对于那些与公开行业事件高度映射的场景，绝对污染风险无法排除；此外数据集存在分布偏斜——重度索引战略推理与组织行为，根植于西方职业规范与公司结构。其他可观察的局限包括：(1) 223个任务规模相对适中，每类博弈论模式的样本量较小（Mechanism Design仅2个任务），使得类别间pass rate差异的统计显著性难以保证；(2) 16个模型的覆盖虽然跨10家机构，但头部三家（Anthropic、OpenAI、Google）的最新旗舰模型占主导，分析与结论主要建立在这些模型上，对中小型或开源模型生态的代表性有限；(3) 评估时每个模型只跑3次取最佳以反映最佳能力，但这一协议无法区分「真最佳能力」与「随机好运」，论文报告best-worst差异为1-3pp，但极端任务上的方差未深入分析；(4) mandatory gate的具体阈值（每条mandatory 0/1）忽略了mandatory之间的相对重要性差异（实际工作中，漏掉「合同责任条款」比漏掉「格式要求」严重得多，但rubric平等对待它们）。
独立分析的弱点
独立分析可识别五处可改进之处。第一，mandatory gate的二元性过于刚性：当前实现下任何一条mandatory失败即整个任务0分，但mandatory之间并非平等——例如「是否识别principal-agent问题」与「是否列出所有利益相关者」虽然都是mandatory，识别问题的失败比抽取数据的失败对实际工作的危害大得多。改进方向：可改为weighted mandatory gate，每条mandatory有权重，最终mandatory score = ∑wᵢmᵢ/∑wᵢ低于阈值时整体0分，既保留门控精神又区分mandatory内部重要性。第二，任务规模与博弈论模式分布不均：Mechanism Design仅2个任务、Healthcare & Clinical仅4个任务，而Analytical Reasoning 8个任务却有100%通过率。改进方向：扩大数据集并按博弈论模式平衡采样，特别是补足Mechanism Design（当前最难、样本最少）类别，以提升跨类别比较的统计效力。第三，缺少人类专家基线：论文承认这一局限但未给出替代方案。改进方向：即使小规模地招募20-30位真实领域专家完成部分任务（如50个），就能提供「人类通过率分布」「mandatory gate的判别力」「专家间一致性」三个关键基线，让KWBench从「模型间相对比较」升级为「模型vs人类绝对评估」。第四，单judge评估的稳健性：Gemini 3 Flash作为唯一judge存在系统性偏差风险（倾向于给某些模型的输出更高分）。改进方向：双judge协议（如Gemini 3 Flash + Claude Sonnet 4.5）并报告inter-judge agreement，必要时升级到3-judge majority vote；或者在rubric设计时就让多judge互校。第五，任务场景偏西方/英语/大公司：223个任务集中于M&A、董事会政治、薪酬谈判、临床药学等典型西方大公司场景，对中小企业、非营利组织、政府部门、新兴市场的覆盖几乎为零。改进方向：引入跨文化、跨组织规模的任务构造伙伴，确保KWBench的识别能力测试不局限于「西方大公司董事会议室」这一种知识工作语境。
未来方向
基于论文成果可延伸四个未来研究方向。第一，识别消融实验（recognition ablation）：在每个任务的prompt前加上「consider game-theoretic structure, signaling, principal-agent, mechanism design」等显式提示，重新运行所有模型。若通过率大幅回升至60-80%，则瓶颈是「识别能力」（RLHF抑制了对抗性框架的自主应用）；若回升有限，则瓶颈是「执行能力」（即便提示对了也无法正确应用博弈论推理）。这一实验能直接回答「alignment tax on adversarial reasoning」的具体机制，并指导训练干预方向。第二，路由/集成策略研究：既然Top-8 greedy set cover覆盖100%可解任务、单模型最多54%，下一步可探索：(a) 学习一个轻量级router预测「该任务应由哪个模型处理」；(b) 让模型先输出一个「问题识别声明」（「本任务本质是principal-agent冲突」），再据此路由；(c) 探索ensemble voting在mandatory gate下的工作机制。这一方向将KWBench从评估工具升级为agent架构设计指南。第三，对抗性训练与alignment干预：既然「cooperative default」被论文归因于RLHF/偏好优化/指令跟随压力，那么具体干预可包括：(a) 构造显式标注「对抗性情境+正确响应」的偏好对做DPO；(b) 在RLHF中引入「对抗性推理质量」作为额外奖励维度；(c) 设计专门训练目标奖励「拒绝错误前提」的行为。KWBench可作为这些干预措施的标准评估平台。第四，KWBench向动态、多轮场景扩展：当前223个任务都是单轮prompt→response，但真实知识工作（谈判、董事会辩论、危机管理）本质上是多轮动态博弈。未来工作可构造KWBench-Multi：一个多轮版本，每轮模型输出后对手会基于对手模型（如GPT-5.4扮演卖方）做出反应，测量模型在动态博弈中的识别与适应能力，以及mandatory gate在动态场景下如何演化。
复现评估
复现性评估整体良好但存在若干门槛。数据集已完全开源（https://huggingface.co/datasets/clio-ai/kwbench），223个任务的结构化标注（ground truth、key insight、failure analysis、common errors、model_must_recognize）全部公开，包含5,800条结构化条目，远超一般基准的数据透明度。评估harness也已开源（https://github.com/ankitmaloo/fasteval），含judge逻辑、mandatory gate评分公式（0.40 + 0.35·good + 0.25·ideal）、统一系统prompt（"You are completing a task. Be thorough and specific."）。排行榜站点（https://kwbench.github.io）保证后续评估可比较。主要复现门槛包括：(1) 算力门槛：每个模型在223任务上跑3次，加上多模型rubric生成，单次完整评估至少需要数小时高算力（Opus 4.6、GPT-5.4级别的模型API成本估计在数百到数千美元）；(2) 工具门槛：每个任务需配置代码执行环境（默认开启）、174个含参考材料的任务需管理CSV/邮件/财务文件；(3) judge API依赖：评分完全依赖Gemini 3 Flash API，若该模型未来下架或API变更，整个评估流程需迁移；(4) 任务构造的隐性知识：185个真实事件任务的ground truth和failure analysis依赖于领域专家的结构化咨询过程，这一部分难以100%复现——其他研究者若要添加新任务，必须遵循相同的「领域事件→博弈论形式化→专家咨询→多模型rubric生成→人工综合」流程，门槛较高。整体而言，KWBench在数据与harness层面的开源度高于多数基准，但其评估结论（特别是模型间Jaccard重叠与互补性发现）的复现需要严格的实验协议控制和访问多个前沿模型API的能力。
论文图表
