重审「心头之痛」：面向语言模型的语义推理基准 SEMANTICQA

把多词表达资源按「分类/抽取/解释」三种原子操作重组，构建操作对齐的语义基准

前置知识

多词表达 (Multiword Expression, MWE)

由多个词组成的固定或半固定搭配，整体意义不能完全从组成部分推出来。例如「kick the bucket（翘辫子）」「heavy rain（倾盆大雨）」「Paris fashion（巴黎时装）」都属于 MWE。它们的语义透明度差别很大，从字面组合到完全成语化形成连续谱，是自然语言中长期被忽视却普遍存在的现象。

本文核心就是评测模型在 MWE 上的语义处理能力；理解 MWE 的非组合性与多样性是读懂 SEMANTICQA 任务设计的前提。

原子语义操作 (Atomic Semantic Operations)

指识别、判断、解释一个语义单元所需的最基本认知步骤：分类（categorization）打上语义标签；抽取（extraction）定位文本中的目标短语；解释（interpretation）生成自然语言释义。同一短语可以在不同操作下被复用，从而把不同任务的语义推理统一到同一套操作坐标上。

SEMANTICQA 的最大特色就是按这三种原子操作重新组织现有 MWE 数据集，这是它和以往「按短语类型分类」的基准的本质区别。

上下文学习 (In-Context Learning, ICL)

在 prompt 中附带若干标注示例，让语言模型在不更新参数的情况下完成新任务。常用 0-shot、3-shot、5-shot 三种设定。ICL 的效果受示例选择、任务格式、模型规模等多重因素影响，论文中通过对比这三种设定来观察模型在不同原子操作上的鲁棒性。

论文用 0/3/5-shot 三档 ICL 全面评估模型，发现不同操作对 ICL 的敏感度不同，是分析结果的关键维度。

语义函数 (Lexical Function)

Mel'čuk 意义-文本理论中的核心概念，把词与词之间的语义关系抽象为函数，如 Magn（强化）、AntiMagn（弱化）、Bon（褒义）、AntiBon（贬义）、Son（声音）、Oper1（施事轻动词）等。一对 base/collocate 通过语义函数标签关联，刻画搭配背后的语义角色。

Lexical Collocation Categorization 任务依赖这套标签体系，论文用 1/2/4/8/16 类数目的扩展实验分析模型对细粒度语义关系的判别能力。

任务级联 (Sequential Task Composition)

把多个原子任务按依赖关系串接起来形成工作流，例如「先抽取出短语，再对它做释义或分类」。这种组合模拟真实语义处理流水线，能揭示上游错误如何向下游传播。

论文的重要实验就是抽取-解释、抽取-分类的级联评测，结论是工作流鲁棒性差，结构错误会被柔性指标掩盖。

研究动机

现有语言模型评测主要聚焦数学推理、代码生成、逻辑推理等「高阶」能力，例如 MATH、HumanEval、MathArena 等基准衡量的是结构化推理与事实知识，但它们对子句以下（sub-sentential）的细粒度语义推理关注不足。语义短语（SP）/多词表达（MWE）的意义由词汇成分与上下文交互产生，处理它们依赖词汇消歧、语义角色推断、释义重组等组合操作，而这类操作在现有基准里要么被孤立的单任务格式掩盖，要么被多个语义操作混在一起评分。具体场景中，模型在「rocket science = 难事」这样的习语解释、「alarm clock rings」这种搭配识别、「baby oil vs olive oil」这种名词复合语义判别上的表现究竟如何，能否在不同操作间保持一致，是单任务分数无法回答的。此外，已有的 MWE 资源来自不同标注协议、难度和粒度，缺乏统一坐标做横向对比，导致评估碎片化、跨任务泛化难以判断。

本文的目标是构建一个操作对齐的语义推理基准 SEMANTICQA，把现有 MWE 资源按分类、抽取、解释三种原子操作重新组织，覆盖习语表达、词汇搭配、名词复合、动词短语四类短语共 10 个子任务，并通过 0/3/5-shot ICL 评测 12 个以上不同架构与规模的语言模型。具体目标包括：(1) 在统一提示模板下公平比较模型；(2) 通过同短语跨操作的性能模式评估语义一致性；(3) 揭示原子任务之外的级联工作流鲁棒性；(4) 给出有人工标注参照的难度参考线。最终目的是「诊断」而非「排行」，让研究者看清模型在细粒度语义上的真实能力。

与已有工作不同的是，论文的独特切入角度是「不引入新的语义理论，只对齐已有任务到它们实例化的语义操作」。这一点和此前工作截然不同：Tedeschi 等的 ID10M 单独评测习语识别、Espinosa-Anke 等的 LEXFUNC 单独评测搭配分类、Coil & Shwartz 单独评测名词复合解释，这些工作彼此孤立、任务格式和提示各异，难以做跨任务分析。SEMANTICQA 把它们装进同一坐标——同样的 273/447/818 条习语数据同时支持检测、抽取、解释操作，同一批搭配支持 305 条分类/抽取/解释，从而让「同一短语跨操作是否一致」成为可度量对象。论文还刻意保持原有数据难度差异，不做标准化，主张看「相对趋势」而非「绝对分数」，这是一种反排行榜的诊断性基准哲学。

核心方法

SEMANTICQA 的整体思路可以类比为给语言模型做「语义体检」：不直接给一张总成绩单，而是按体检项目（操作）拆开测，再把同一器官（短语）的多项指标对照起来看。技术上，论文把现有 MWE 资源按 prompt 模板 P、上下文 S、目标输出 O 三元组组织，对每个短语类型定义三种原子任务。习语类（IE）覆盖检测 IED、抽取 IEE、解释 IEI；搭配类（LC）覆盖分类 LCC、抽取 LCE、解释 LCI；名词复合（NC）覆盖组合性分类 NCC、抽取 NCE、解释 NCI；动词短语（VMWE）覆盖三种子类的抽取任务 VPE/LVE/VIE。输入构造采用 $I := P \oplus S$ 的形式，prompt 模板固定以消除提示诱导方差，输出格式由操作决定——分类任务在固定选项中选，抽取任务要求精确恢复目标 span，解释任务生成自然语言释义。评测覆盖 12 个 LMs，包括开源的 Qwen3-235B、DeepSeek-R1、Kimi-K2-Instruct、Gemma-3-27B-it，以及闭源的 GPT-5、OpenAI o3、Claude-Sonnet-4.5、Claude-3-Opus、Gemini-2.5-pro 等，外加监督基线 BERT-base/large 和 T5-base/large，全部在统一 prompt 模板下用 $\tau=0$ 的 top-p 采样评测。

核心创新是把评估坐标从「短语类型」切换到「原子操作」，让「同一语义单元跨任务的一致性」成为可测量量。这是和现有 MWE 评测最本质的区别——以往基准通常以孤立任务格式呈现，分类和抽取混在一起评分，结果分数无法说明模型到底掌握了短语语义还是学会了任务格式启发式。SEMANTICQA 通过把分类、抽取、解释拆成独立可独立打分的操作，使得「模型在 IED 上得了 85% 但 IEE 只有 70%」这种「语义理解弱于形式匹配」的模式直接暴露出来。第二个关键创新是「级联敏感性」诊断：在真实语义处理流水线中，模型先做抽取再做解释或分类，论文显式比较「在正确抽取基础上的下游准确率（Cond.）」和「端到端准确率（Overall）」之间的巨大鸿沟。第三个创新是控制变量法——固定 prompt 模板、固定采样设置，单纯通过改变示例数量（0/3/5-shot）来分离 ICL 增益和任务难度。

方法步骤详情

方法实施分四个阶段。第一阶段是任务空间定义：覆盖 4 类短语、3 种原子操作、10 个子任务，每个任务用 $(P, S, O)$ 三元组实例化，$P$ 是带任务说明的固定 prompt 模板，$S$ 是带短语的句子上下文，$O$ 是与操作对应的输出（选项 ID、目标 span、释义文本）。第二阶段是数据整合与去重：IED 取自 Harish 等的 AStitchInLanguageModels，统一成 4 选 1 格式并去重得 273 条；IEE 取自 Tedeschi 等的 ID10M 英文部分，过滤无语例、去重得 447 条；IEI 合并 PIE 与 Chakrabarty 等的 FigurativeNarrative 共 818 条；LCC/LCE/LCI 来自 Espinosa-Anke 等的 LEXFUNC/CollFrEn 数据集，每类 50 条共 305 条；NCC/NCE/NCI 来自 Garcia 等的 NCTTI 与 Coil & Shwartz 的数据集分别 242/720/110 条；VMWE 抽取来自 PARSEME 1.3 共 475 条覆盖 VPC/LVC/VID。第三阶段是模型评测：所有 LMs 在统一 prompt 模板下用 $\tau=0$、$p=1.0$ 的 top-p 采样，每模型在 0/3/5-shot 三档设置下分别推理，API 模型用官方接口，开源模型用 vLLM 部署。第四阶段是附加诊断：包括 (1) 语义类别缩放实验，把 LCC 的类别数按对数刻度从 1 扩到 16；(2) 顺序任务组合，对 IE 和 LC 做抽取-解释、抽取-分类流水线；(3) VMWE 的 ORACLE SCHEMA 提示工程，在 prompt 中加入目标类型的定义与示例。

技术新颖性

技术新颖性主要体现在三个层面。第一是评测坐标的重新设计：以往 MWE 基准按「数据集/任务」组织（如 DiMSUM、PARSEME、ID10M 等），本文首次提出按「原子操作」二维组织，这是评测方法论上的贡献而非单纯的「数据集扩充」。第二是级联诊断的显式化：论文把「在正确抽取上的条件性能」和「端到端性能」并列报告（表 5、表 6 中的 Cond. vs Overall），用数据证明抽取错误会级联到下游——例如 GPT-5 在 LC 5-shot 下 Cond. MTR 达 41.8% 而 Overall MTR 仅 17.3%，这种差距在传统单任务评测中完全不可见。第三是控制变量设计：固定 prompt 模板让不同模型在同等条件下比较，固定采样设置消除随机性干扰，使结果差异主要反映「语义推理能力」而非「提示工程能力」，这对 LLM 评测的可重复性是一种改进。

**Figure 1**: Atomic task exemplars of idiomatic expression in SEMANTICQA, grouped as task compositions.

**Figure 2**: Overview of SEMANTICQA for benchmarking LMs on lexical phenomena.

**Figure 3**: The coverage of coarse- and fine-grain semantic phrase categories of SEMANTICQA.

实验结果

实验结果揭示了多层次的现象。表 3 的主要结果显示，GPT-5 在 IED 5-shot 上达到 85.4%，超过人类的 71.0%；Claude-Sonnet-4.5 在 NCI 5-shot 上以 83.8% 远超人类 17.2%，但人类在 IEE（87.0%）、VPE（85.0%）、VIE（78.0%）等结构化抽取任务上仍领先最强模型 5-30 个百分点，说明模型在「流畅生成」上占优但在「精确边界识别」上仍有差距。表 5 的级联评测是最具诊断价值的发现：GPT-5 在 LC 5-shot 下抽取准确率 41.3%，条件释义 MTR 41.8%，但端到端 MTR 仅 17.3%——意味着即便给定正确抽取，模型也只能恢复到 41.8% 的释义质量，更上游的 58.7% 抽取错误导致端到端表现断崖式下跌。IE 上类似：GPT-5 5-shot 抽取 59.3%，Cond. 17.1%，Overall 10.1%，说明 IE 抽取错误率比 LC 更高且不可被下游补偿。图 6 的类别缩放实验显示，DeepSeek-R1 在 1/2/4/8/16 类上零样本准确率从 100% 跌到 81.7%/68.9%/49.3%/35.4%，而 BERT 监督基线从 100% 缓慢降到 69.9%，表明 LLM 依赖监督信号才能稳定处理细粒度语义关系。表 7 的 ORACLE SCHEMA 实验证明在 prompt 中显式给出 VMWE 类型定义能带来 +1.1 到 +12.5 个百分点的提升（DeepSeek-R1 0-shot 从 51.6% 涨到 64.1%），证实任务定义对齐对结构化抽取至关重要。综合来看，没有任何模型在所有 10 个子任务上都最强，ICL 对解释类任务普遍有利、对分类混合、对抽取最不稳定，闭源模型并不必然优于开源模型，Kimi-K2-Instruct 在 LCC 5-shot 达 79.7% 与 GPT-5 84.3% 的差距并不大。

**Table 1**: A summary of the data statistics in SEMANTICQA.

**Table 2**: Partial semantic relations involved in this paper, with their exemplars.

**Table 3**: Major experimental results on SEMANTICQA.

**Table 5**: Performance comparison on sequential extraction-interpretation tasks.

**Table 6**: Classification performance comparison on sequential compositions.

**Table 7**: We report the accuracy of selected frontier LMs on the VMWE extraction task under different ICL setups, both with and without ORACLE SCHEMA.

**Figure 4**: Overall the best performance (i.e., capacity triangle △) of models on SEMANTICQA.

**Figure 5**: Grouped bars represent the mean performance of each model, while circular markers denote the population standard deviation (std), computed across tasks within the same category.

**Figure 6**: The ability of semantic relation categorization of LC with different numbers of in-context exemplars and semantic category scale.

查看结构化数据

任务	指标	本文	基线	提升
习语检测 IED (ACC %)	Accuracy	GPT-5 5-shot 85.4% / DeepSeek-R1 5-shot 84.3% / OpenAI o3 5-shot 83.5%	Human 71.0% / Random ~25%	模型相对人类 +14.4
习语抽取 IEE (ACCs %)	Exact-Match Accuracy	GPT-5 5-shot 78.7% / OpenAI o3 3-shot 77.4%	Human 87.0%	模型落后人类 -8.3
习语解释 IEI (METEOR)	METEOR	Claude-Sonnet-4.5 5-shot 26.7 / Kimi-K2 3-shot 23.5	Human 20.5	模型相对人类 +6.2
搭配分类 LCC (ACC %)	Accuracy	GPT-5 3-shot 86.2% / OpenAI o3 3-shot 85.9%	Human 47.0%	模型相对人类 +39.2（说明 LCC 任务对人类不友好）
搭配抽取 LCE (ACCs %)	Exact-Match Accuracy	Claude-Sonnet-4.5 5-shot 72.7% / OpenAI o3 5-shot 71.5%	Human 50.0%	模型相对人类 +22.7
名词复合解释 NCI (METEOR)	METEOR	Claude-Sonnet-4.5 5-shot 83.8	Human 17.2	模型相对人类 +66.6
动词短语抽取 VPE (ACCs %)	Exact-Match Accuracy	Claude-Sonnet-4.5 5-shot 82.0% / DeepSeek-R1 5-shot 81.6%	Human 85.0%	模型落后人类 -3.0
搭配级联 LC (抽取→解释, 5-shot GPT-5)	METEOR	Conditional MTR 41.8% / Overall MTR 17.3%	单独抽取 ACC 41.3%	条件 vs 端到端差距 24.5 个百分点，体现级联失败
类别缩放 LCC (16 类, DeepSeek-R1 0-shot)	Accuracy	DeepSeek-R1 35.4% / GPT-5 5-shot 65.2% / BERT-base 69.9%	Random 6.3% / Majority 6.3%	GPT-5 仍优于随机 58.9 个百分点，但与监督基线差距缩小到 4.7
ORACLE SCHEMA VMWE 抽取 (DeepSeek-R1 0-shot)	Accuracy	w/ ORACLE 64.1%	w/o ORACLE 51.6%	+12.5 个百分点（绝对增益）

局限与改进

作者在 Limitations 章节承认四点限制：(1) 仅限英语，未覆盖跨语言 MWE 评估，对非英语 MWE 处理能力未做诊断；(2) 短语类型覆盖不全，没有覆盖多词专名（multiword named entities）、复杂功能词等长尾 MWE 类型；(3) 任务格式有限，未来应加入更复杂的级联工作流和语义检索类评测；(4) 模型覆盖广度受限于 API 可用性，需要持续更新。个人观察到的额外局限包括：第一，提示模板统一虽然公平但可能掩盖模型在最优提示下的真实能力，例如某些模型可能在特定提示格式下表现更佳；第二，Inter-Human 标注仅 100 条每任务，统计功效有限，人工分数应理解为难度参考而非上限；第三，序列级 ACCs 指标过于严格，对部分匹配无奖励，可能低估了模型的真实抽取能力；第四，类别缩放实验中每类仅 30 个样本，8 类和 16 类配置下的方差较大，结果稳健性需要更多样本验证。

独立分析的弱点

独立分析看几个关键弱点。第一，固定 prompt 模板虽然消除了提示方差，但也可能让 LLM 的指令调优优势被屏蔽——许多商用模型经过专门指令微调，在不同 prompt 风格上表现差异巨大，统一模板可能让 Claude-Sonnet-4.5 等模型无法发挥最优状态，改进方向是增加 prompt 风格维度（zero-shot CoT、role-based prompt 等）做消融。第二，ACCs 这种「精确匹配」指标对生成风格敏感——模型可能输出「alarm clock rings」但带多余标点或大小写差异而失分，改进方向是引入 soft-EM 或基于语义的 span 匹配（如 BERTScore-based span F1）。第三，级联评测虽然揭示了抽取-解释的脆弱性，但所有级联都是「抽取→X」的两步链，没有测试「分类→解释」或「解释→验证」等更复杂的多步推理，改进方向是构建更长链的语义推理工作流（如先解释再分类、跨短语对比）。第四，类别缩放实验只测了 LCC 任务，结论能否推广到其他分类任务未知，改进方向是在 NCC、IE 子分类上做同样的扩展实验。第五，ORACLE SCHEMA 提示工程虽然有效但属于「人工添加任务定义」，与基准诊断的初衷有张力——评测中允许这类干预会让不同模型的比较变成「提示设计能力」比较而非「语义推理能力」比较，改进方向是更系统地区分「无 schema 通用能力」与「有 schema 任务适应能力」。

未来方向

作者提出的未来方向包括扩展到多语言（特别是资源稀缺语言）、增加更复杂的顺序任务组合、引入语义检索等新评测范式。基于成果可延伸的方向有：第一，把 SEMANTICQA 作为「细粒度语义探针」用于 LLM 预训练阶段，验证训练数据中 MWE 覆盖度与下游任务表现的关系；第二，把原子操作范式扩展到其他子句级语义现象，如隐喻、讽刺、反语等非字面语言；第三，结合神经符号方法，把语义函数的标签体系（Magn/AntiMagn/Bon/AntiBon 等）作为结构化监督信号，让模型生成带语义标签的释义；第四，探索如何让模型在级联工作流中显式做错误检测与重试，例如让抽取模块输出置信度，低置信时自动切换到不同的释义策略；第五，把 SEMANTICQA 与 LLM 内部表征分析结合，通过 probing 研究模型在哪一层捕获了短语级的非组合语义。

复现评估

复现评估方面，论文开源了完整的评测 harness 和数据（https://github.com/jacklanda/SemanticQA），数据集均来自公开资源（HARISH 2021、Tedeschi 2022、Zhou 2021、Chakrabarty 2022、Espinosa-Anke 2019/2021/2022、Garcia 2021、Kolluru 2022、Coil & Shwartz 2023、Savary 2023），许可证情况需要逐项确认。算力需求方面，闭源模型走 API 成本可控，开源模型（DeepSeek-R1 685B MoE、Qwen3-235B MoE、Kimi-K2 1T MoE）需要多卡部署，对一般研究者来说门槛较高；监督基线 BERT-base/large 和 T5-base/large 在单卡 A100-40GB 上即可复现，附录 E 列出了完整超参（lr=3e-5 或 5e-5，10 或 5 个 epoch，batch 4-2048 等）。复现难度整体为中等：API 部分容易，prompt 模板和数据组织需要严格按附录 C 的格式，开源模型部署需要一定基础设施，类别缩放和级联实验需要额外编程工作。

重审「心头之痛」：面向语言模型的语义推理基准 SEMANTICQA Revisiting a Pain in the Neck: A Semantic Reasoning Benchmark for Language Models