ChLogic：评估中文表达式中的逻辑推理鲁棒性 ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions
构建英中对照逻辑推理基准，揭示大模型在中文复杂表达上的推理短板。
前置知识
命题逻辑
命题逻辑研究命题之间的逻辑关系，使用原子命题、否定、合取、析取、蕴含、双条件等连接词构建复合命题。例如 $P \to Q$ 表示如果P则Q，$\neg P$ 表示非P。命题逻辑关注命题的真值关系，不涉及命题内部的结构。
本文的基准测试包含命题逻辑模板，如基本连接词、等价定律和推理规则，理解命题逻辑是理解论文评估内容的基础。
谓词逻辑
谓词逻辑扩展命题逻辑，引入量词和谓词来表达更复杂的逻辑结构。全称量词 $\forall x P(x)$ 表示对于所有x，P(x)成立；存在量词 $\exists x P(x)$ 表示存在某个x使得P(x)成立。谓词逻辑可以表达如 $\forall x \exists y P(x,y)$ 的嵌套量词结构。
论文的Difficult aligned set包含大量谓词逻辑问题，涉及量词交替、量词交换、存在性、唯一性等高级逻辑结构。
表面实现
表面实现指同一个底层逻辑结构在不同语言或风格中的具体表达形式。例如逻辑形式 $P \to Q$ 可以在中文中表达为'如果P那么Q'、'只要P就Q'、'只有Q才P'等多种表面形式，它们共享相同的逻辑含义但语法表达不同。
本文核心创新就是固定逻辑模板而变化表面实现，测试模型能否在不同语言变体中保持一致的逻辑判断，这是论文评估的核心理念。
回译探测
回译探测是一种诊断技术，将一种语言的输入翻译回另一种语言以测试错误来源。例如将中文翻译成英语，如果模型在回译后的英语上表现提升，说明原始错误部分源于中文表面表达理解而非形式推理本身。
论文使用回译探测区分两种错误类型：中文表面规范化失败和形式推理失败，这是分析实验结果的关键方法。
逻辑谬误
逻辑谬误指看似合理但实际无效的推理模式，如肯定后件（$P \to Q, Q \therefore P$）、否定前件（$P \to Q, \neg P \therefore \neg Q$）、肯定析取（$P \lor Q, P \therefore \neg Q$）等。这些模式违反有效推理规则但容易误导直觉。
论文发现大模型在识别中文版本的逻辑谬误时特别困难，这揭示了模型在抵抗启发式但无效推理方面的弱点。
研究动机
现有大型语言模型在标准逻辑推理基准上表现优异，但这些基准存在三个局限：一是语言覆盖主要限于英语，二是依赖模板化或显式逻辑连接词的表面形式，三是缺乏对同一底层逻辑结构在不同语言表面实现下的鲁棒性测试。实际中文表达常常省略主语、使用修辞疑问、含糊量词、反讽、俗语等，这些非标准表面形式可能隐藏或扭曲逻辑关系。例如，'只要A就B'（A是B的充分条件）和'只有A才B'（A是B的必要条件）在中文中仅一字之差但逻辑方向完全相反；'不都'（not all）和'都不'（none/all not）的否定范围也不同。现有基准无法测试模型是否能从这些复杂中文表达中正确恢复逻辑结构。
本文的目标是构建一个英中对照的逻辑推理基准测试，评估模型当同一潜在逻辑结构在英语和多样化中文表面实现中表达时，能否保持一致的逻辑推理性能。基准需要控制逻辑结构，系统变化语言表达，提供可解释的诊断信息。具体目标包括：测试条件标记、否定范围、修辞疑问、省略、多义性等中文特有现象对逻辑推理的影响，区分中文表面规范化失败与形式推理失败，提供模型家族在不同语言和表达风格上的强弱点对比。
与已有工作不同的是，本文的独特切入角度是从表面实现与逻辑结构的映射鲁棒性出发，而非直接测试抽象逻辑能力。现有逻辑基准如RuleTaker、ProofWriter、FOLIO等主要关注逻辑结构本身，本文则假设模型推理需要两个阶段：首先将表面表达规范化为稳定逻辑形式，然后在其上进行推理。CHLOGIC通过固定逻辑模板而变化中文实现，将压力集中在第一阶段。这种设计将单语言鲁棒性方法（如对比集、行为测试）扩展到跨语言场景：保持逻辑标签不变而变化语言实现，诊断判断是否正确。这填补了现有基准未能测试的空白：模型是否能从省略、修辞、多义、口语化、语用间接的中文表达中恢复与英文相同的逻辑结构。
核心方法
CHLOGIC采用模板驱动的三阶段构建方法：逻辑模板设计、数据集组成、LLM辅助生成与质量控制。首先设计形式逻辑模板，确定金标签、前提和目标问题；然后使用LLM生成表面实现，对每个逻辑内容产生一个英语参考形式和五个中文变体；最后通过语义对齐和标签保存验证进行质量控制。评估阶段，在多个模型上进行零样本测试，记录不同表面实现条件下的性能，并进行中文到英语的回译探测以区分错误来源。
核心创新点是英中逻辑对照设计：固定底层逻辑模板和金标签，系统变化表面实现语言和风格。每个对照项目包含一个英语参考和五个中文变体（标准中文、自然书面中文、口语化中文、修辞疑问中文、扰动中文），所有变体保持相同逻辑结构但逐步增加语言和语用复杂性。这种设计允许在保持逻辑标签不变的情况下测试模型判断是否在中文表达变化时保持正确，提供可解释的诊断信息，因为性能下降可以归因于中文表面规范化而非推理能力变化。
方法步骤详情
方法步骤完整描述如下：第一步，设计逻辑模板。General aligned set基于60个General Propositions，涵盖9个逻辑模板族：命题逻辑（基本连接词、等价定律、推理规则、无效推理模式）和谓词逻辑（基本谓词、量词等价、谓词推理、多步推理、关系逻辑）。Difficult aligned set基于40个Difficult Problems，涵盖量词交替、无效量词交换、关系性质、唯一性、等价性、反例构造等。第二步，LLM辅助表面实现生成。给定预指定的逻辑信息，生成提示要求模型产生一个英语标准表达和五个中文表面实现，同时保持相同潜在逻辑关系和标签。第三步，质量控制。每个实现需通过语义对齐验证：检查是否添加前提、删除必要信息、改变目标问题、改变标签或引入未控制歧义。中文特定现象需验证目标现象正确实例化且答案不依赖文本外的世界知识。规则检查识别格式错误，人工审查做最终决定。第四步，实例扩展。每个General Proposition实例化为50个场景项，产生60×50=3,000个潜在对照项；每个Difficult Problem同样实例化为50项，产生40×50=2,000项。每个潜在对照项随后渲染为一个英语参考和五个中文表面实现。第五步，Chinese-only set构建。直接生成15种中文特定现象类型，每种100个例子，共1,500项，涵盖条件标记歧义、部分与全称否定、双重否定、修辞疑问、省略参数、多义性、分词歧义、模糊量词、比较结构、时序与因果混淆、让步对比、反讽、俗语、规则风格中文、品牌名/谐音概念偏移等。第六步，模型评估。对Qwen3、Ministral和GLM系列进行零样本测试，使用确定性解码，模型输出规范化为有效标签库，无法映射到有效标签的输出计为错误。按数据集、表面实现条件、逻辑模板族和现象类型报告准确率。第七步，回译探测。将标准中文字段回译为英语并用相同协议评估，测试错误是否主要由于形式推理或从中文表面表达恢复预期逻辑形式。
技术新颖性
技术新颖性体现在四个方面：一是跨语言对照基准设计，将单语言鲁棒性测试扩展到跨语言场景，保持逻辑标签固定而变化语言实现，这与现有跨语言基准如XNLI、MGSM等不同，因为后者不隔离受控英语和中文实现之间的相同潜在逻辑模板。二是中文特定现象针对性测试，设计15种直接生成于中文的现象类型，覆盖紧凑标记、词序、话语粒子、语用力等中文编码逻辑关系的方式，这不能通过翻译英语逻辑模板捕获。三是两阶段推理假设的诊断框架，通过回译探测区分中文表面规范化失败与形式推理失败，揭示许多错误发生在形式推理之前。四是模板驱动的质量控制方法，LLM协助表面生成、验证、修订和回译，但标签由人类指定，逻辑模板和标签在表面生成前确定且不被模型修改，结合了规模效率和语义保真。
实验结果
实验结果揭示了三个主要发现。第一，强英语逻辑表现不保证中文理解鲁棒。Qwen3-32B在General aligned set英语条件下达到99.07%，但在修辞疑问中文上降至93.53%，GLM-5.1从98.30%降至78.89%。Difficult aligned set放大此模式：Qwen3-32B在困难英语上达到96.05%，但在困难修辞疑问中文上仅为69.35%。由于对照变体共享相同结构和金标签，这些下降与从中文表面实现恢复预期逻辑形式的困难一致。第二，规模有帮助但差距依然存在。在Qwen3内，五个中文变体平均准确率从Qwen3-8B的79.61%升至Qwen3-14B的85.28%和Qwen3-32B的95.06%，修辞疑问中文从68.69%升至93.53%，扰动中文从77.99%升至97.00%。但Qwen3-32B仍显示困难英语（96.05%）与困难修辞疑问中文（69.35%）之间的大差距。较大模型实质性减少但不消除中文表面规范化错误。第三，模型家族在不同语言和表面实现上强弱点不同。Ministral-8B在一般英语分数（92.03%）落后于更强Qwen3模型和GLM-5.1，但在几个困难中文变体上具有竞争力。Ministral-3B行为异常：其一般英语分数仅59.27%，但Difficult aligned set英语条件升至73.30%，比其一般英语结果高14.03个百分点。这最好理解为标签偏倚和答案分布伪影而非真正的困难逻辑优势。表13显示在General aligned set上，回译常将性能带至接近原始英语参考水平：Qwen3-8B从90.53%升至99.10%，Qwen3-14B从93.60%升至98.90%，Qwen3-32B从95.73%升至99.30%，Ministral-8B从79.83%升至91.20%，GLM-5.1从92.60%升至97.73%。这些BT-En分数也接近对应英语参考分数：98.40%、99.13%、99.07%、92.03%和98.30%。因此，一旦标准中文表面实现转换回英语，相同逻辑内容对模型变得容易得多。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| General aligned set - English | Accuracy | 99.07% | - | - |
| General aligned set - Rhetorical Chinese | Accuracy | 93.53% | 99.07% (English) | -5.54% |
| Difficult aligned set - English | Accuracy | 96.05% | - | - |
| Difficult aligned set - Rhetorical Chinese | Accuracy | 69.35% | 96.05% (English) | -26.70% |
| Chinese-only set - Average | Accuracy | 76.27% | - | - |
| Chinese-only set - Polysemy and homographs | Accuracy | 99% | - | - |
| Chinese-only set - Segmentation ambiguity | Accuracy | 100% | - | - |
| Chinese-only set - Fuzzy quantifiers | Accuracy | 91% | - | - |
| Chinese-only set - Temporal order vs. causality | Accuracy | 18% | - | - |
局限与改进
作者承认的局限性包括：CHLOGIC是诊断基准而非中文推理能力的完整测量，其对照项是模板驱动的，可能不覆盖所有形式的话语级推理；模型集限于七个当代系统，结果可能随模型家族更新而改变；尽管标签在表面生成前指定且项经人工检查，生成中文变体可能仍包含伪影；回译本身是模型介导的转换，可能移除中文线索或引入英语侧歧义。我自己观察到：实验模型有限，未包含如GPT-4、Claude等更强模型，结果可能不适用于当前最强模型；数据规模相对较小（6,500项），可能不足以训练或微调模型；中文变体的人工审查过程可能存在主观性，不同注释者可能对某些表达是否保持逻辑一致性有不同判断；回译作为诊断技术本身可能引入翻译伪影，难以完全分离中文理解问题与翻译质量问题；评估仅使用准确率等粗粒度指标，缺乏对错误类型的细粒度分析和错误原因的深入挖掘。
独立分析的弱点
独立分析的弱点包括：首先，基准覆盖的逻辑模板有限，主要集中在命题逻辑和基础谓词逻辑，未覆盖模态逻辑、时态逻辑、认知逻辑等更复杂的逻辑系统，这些系统在自然语言中也常见。其次，中文变体设计可能不够全面，五个中文变体虽然覆盖标准、自然、口语、修辞、扰动，但可能遗漏如正式公文、网络用语、古文风格等其他重要中文表达风格。第三，评估方法相对简单，仅使用准确率等指标，未考虑模型置信度、推理过程、错误类型分布等更细粒度的评估维度。第四，回译探测虽然有用，但可能存在翻译质量不一致的问题，不同现象类型的翻译难度和保真度可能不同，影响诊断结果的可靠性。第五，数据集规模可能不足以支持大规模模型训练或微调，限制了基准在改进模型方面的实用价值。改进方向包括：扩展逻辑模板覆盖更多逻辑系统，增加中文变体类型覆盖更多表达风格，引入更细粒度的评估指标如错误类型分析、置信度校准、推理链质量，使用多种翻译方法进行回译以提高诊断可靠性，扩大数据集规模以支持模型训练。
未来方向
作者提出的未来研究方向包括：扩展基准覆盖更多语言对的逻辑推理评估，不仅限于英中对照；增加更复杂的逻辑模板如高阶量词、嵌套模态、认知算子等；开发更细粒度的错误分类系统以分析不同类型的逻辑推理失败；探索是否可以通过在CHLOGIC等对比数据上微调来提高中文逻辑推理鲁棒性。基于成果可延伸的研究方向包括：构建其他语言的对照基准如日韩逻辑推理评估，研究不同语言家族在逻辑表达和推理模式上的差异；开发自动化的中文表面规范化工具，将复杂中文表达转换为显式逻辑形式；探索多语言推理的训练方法，如对比学习、跨语言对齐、逻辑一致性正则化；研究中文逻辑推理失败与语法、语用、文化因素的关系；开发针对中文逻辑推理的教学和评估材料；将CHLOGIC的诊断框架应用于其他NLP任务如问答、推理、对话等。
复现评估
复现评估方面，论文提供了相对完整的复现支持：基准已发布为仅测试的诊断基准，包含6,500项，分为三个子集；生成和评估提示在附录J中公开，使生成和评估协议更加可复现；逻辑模板、前提、目标问题和标签在表面生成前固定且不被任何构建模型修改；质量控制过程记录了责任矩阵和构建统计，包括300个候选实现被标记为修订，随后使用DeepSeek-V3修订或重新生成，100项在最终人工审查期间手动修订；评估使用零样本设置和确定性解码，模型输出规范化为相关子集的有效标签库，无法映射到有效标签的输出计为错误；完整提示、解析协议和分数在附录中提供。然而，论文未公开源代码和模型检查点，完全复现需要重新实现生成、验证和评估流程；LLM辅助生成依赖DeepSeek-V3和Yi-1.5-34B-Chat，这些模型可能需要API访问或本地部署，增加复现成本；人工审查过程依赖注释者判断，完全复现可能难以获得相同质量；回译使用DeepSeek-V3，不同模型版本或API可能导致不同翻译结果。总体而言，复现难度中等到较高，需要一定的NLP和LLM编程经验以及可能的API成本。
论文图表
