DiagnosticIQ：面向符号规则到工业维护行动推荐的 LLM 基准测试

工业维护 MCQA 基准，揭示 LLM 在规则触发后更像模板匹配而非逻辑推理

前置知识

析取范式（DNF）

析取范式是把任意布尔表达式改写为若干合取子句的析取的形式，即 $\bigvee_k \bigwedge_j c_{kj}$。每个合取子句对应一个独立的触发场景，可以独立地被规则引擎求值。

本文把每条规则的复合条件树归一化为 DNF，从而让一条规则派生出多个合法的触发场景，是数据集规模从 118 扩张到 6690 题的关键。

MCQA 干扰项采样

多选题的难度来自干扰项（distractor）的质量。优质干扰项要"看起来对"——来自同一领域、相似但语义不正确答案——而不是完全随机的错误选项。

DiagnosticIQ Pro 把选项从 4 个扩到 10 个，需要从操作相邻的规则中嵌入采样干扰项才能构造真正困难的题目，否则题目太简单。

Bradley-Terry Elo 评分

Bradley-Terry 模型把模型两两比较结果转化为统一的评分（类似国际象棋 Elo），通过 $\Pr(i>j) = \frac{e^{r_i}}{e^{r_i}+e^{r_j}}$ 估计每个模型的潜在能力分。

当多个模型准确率差距极小时（前三名聚集在 1 个百分点内），Elo 提供更细粒度的排序依据，本文借此判定 opus-4-6 比次优高 30 分。

PertEval 鲁棒性扰动

PertEval 是一种对 MCQA 进行表面形式扰动的方法，保持语义不变但改变选项顺序、措辞等，用于探测模型对格式而非内容的敏感性（position bias）。

作者用 PertEval 构造 DiagnosticIQ Pert 变体，发现没有模型能在原版与扰动版上同时答对超过 51.5% 的题目，揭示格式敏感性。

研究动机

现代数据中心、医院等关键设施中，IoT 传感器持续监控风冷机组、空气处理单元、冷水机组等复杂工业资产。运维流程是"传感器读数 → 符号规则触发 → 维护动作"三段式：前两段已由可靠性工程师使用 ASHRAE 标准规则成熟实现，但第三段——当某条规则触发后，技术员具体该执行什么检查或维修——才是真正的瓶颈。这一步需要识别设备特定的故障模式，依赖多年现场经验。新人 Bob 能用 ASHRAE 写规则，但当多条规则同时报警时不知道该先查阀门还是先查皮带对齐；老手 Alice 才是判断该执行哪个动作的人。LLM 在该决策支持场景的潜力已被讨论，但缺乏真实、标准化的基准——既有的 GPQA、MMLU-Pro 等通用基准不能反映工业资产特异性，PHM-BBench、CAMB、FailureSensorIQ 等工业基准也只覆盖故障识别和传感器-故障关联，没有触及"规则触发后该做什么"的下游问题。

本文的目标是本文构建 DiagnosticIQ 基准，把专家编写的 118 条工业维护规则转化为 6690 道多选题，覆盖 16 种资产类型、5 个针对性变体（Pro、Pert、Verbose、Aug、Rationale），并系统评估 29 个 LLM 与 4 个嵌入基线在"规则到行动"这一具体推理步骤上的真实能力。作者同时引入 Bradley-Terry Elo 评分打破精度平局，并通过反事实变体把模型的能力与鲁棒性、模式匹配与逻辑推理区分开来，目标是把 LLM 的工业部署决策从"凭印象"变为"可量化、可比较"的工程实践。

与已有工作不同的是，本文的独特切入角度是把符号规则到维护行动这一原本由人工经验主导的下游步骤，转化为可控、可扰动、可量化的 MCQA 任务。作者不只关心模型答对了多少，更关心它在五个反事实变体（选项扩展、措辞改写、条件反转、扰动一致性、推理链评估）下能否保持稳定——这把 LLM 评估从"单点精度"推进到"结构敏感性"维度，并首次在工业维护领域系统化了"模式匹配 vs 逻辑推理"的区分。这与单纯测精度上限的 GPQA、与单纯测扰动鲁棒性的 TruthfulQA 路径完全不同。

核心方法

作者从 IBM Smarter Buildings 项目的 118 条专家编写的工业维护规则出发，构建了一套确定性的"符号条件到 MCQA"转换流水线。直觉上，一条规则其实内含多个独立的触发场景，而人类技术员看到某条规则报警后，会基于设备背景在多个"看似相关"的维护动作中挑出最对的那一项——流水线就是把这种人类判断过程编码为可批量生成的题目，再用嵌入模型构造逼真的干扰项。技术上流水线分四步：解析规则为条件树、归一化为 DNF、用规则-规则语义相似度（RRSim）从操作相邻但语义不同的规则中采样干扰项、组装为选择题或排除题两种题型。

与已有 MCQA 基准（如 MMLU-Pro、FailureSensorIQ）相比，本文的本质区别有三点：（1）以 DNF 展开把单条规则扩展为多个独立触发场景，使每条规则成为多道题目的来源；（2）干扰项不是随机也不是来自同一资产类型随机规则，而是用 all-mpnet-base-v2 嵌入条件树后，按"最不相似但属于同一操作邻域"的原则采样，确保干扰项对专家也具迷惑性；（3）首次同时构造"选择"和"排除"两种互补题型，分别测试模型能否挑对与能否识别不属于规则的动作。这种"条件树 + DNF + 嵌入采样 + 双向题型"的组合是首个面向工业维护规则到行动步骤的标准化管线。

方法步骤详情

完整流水线分四步：（1）解析输入——读入规则文档 $R_i = (\text{rule\_id}, \text{asset\_type}, T_{R_i}, O_i, C_i, t_i)$，其中 $T_{R_i}$ 是布尔条件树（叶子为原子谓词如 $\text{Temperature} > 80°F$），$O_i$ 是候选维护动作集合，$t_i$ 是触发持续时间；（2）DNF 归一化——把 $T_{R_i}$ 转写为 $\bigvee_k \bigwedge_j c_{kj}$ 形式，每条合取子句即一个独立触发场景，作为独立题目 $Q_C$；（3）预计算 RRSim 与 UO——用 all-mpnet-base-v2 嵌入条件树计算余弦相似度，并人工整理 193 个唯一观测词表；（4）题目组装——选择题从 $O_i$ 取正确答案并从 RRSim 最不相似规则的 $O_j$ 中采样 $\alpha=10$ 个干扰项，排除题反之；最终从 118 条规则生成 6690 题（77.4% 选择 + 22.6% 排除）。

技术新颖性

技术新颖性体现在三层。第一层是 DNF 触发场景展开——单规则多题目，把规则覆盖率与题目数量解耦。第二层是基于嵌入的 RRSim 干扰项采样，使干扰项与正确答案同属一个操作故障族（如冷却塔的"结垢"和"水流不足"），但语义上仍为错误，这把通用 MCQA 的随机干扰项升级为"操作相邻干扰项"。第三层是"选择+排除"双向题型设计：选择题测正向归纳、排除题测反向识别，两者共享结构但使用相反的采样极性，形成对模型推理能力的互补压力。配套还提出 5 个针对性变体（Pro 增加干扰项、Pert 做格式扰动、Verbose 做符号到自然语言改写、Aug 反转时序比较符、Rationale 收集 CoT 推理），用反事实实验把 LLM 的模式匹配与真推理区分开。

**Figure 3**: 符号条件到 MCQA 流水线（"持续 2 小时"应用于任意条件）

**Figure 4**: DiagnosticIQ Pro 按资产类型、选项数、题型组成的复合饼图

实验结果

评估 29 个 LLM 与 4 个嵌入基线，得出四点核心发现。第一，前沿模型收敛——claude-opus-4-6 以 73.59% Macro 领跑 DiagnosticIQ、59.81% 领跑 Pro，gpt-5.4（73.27%）与 gemini-3.1-pro-preview（72.74%）紧随，Wilson 区间重叠但 Bradley-Terry Elo 显示 opus-4-6 比次优高 30 分。第二，Pro 暴露脆性——所有模型相对精度下降 13–60%，仅 5/29 模型超 50%，mpnet 在 Pro 上反超 14 个 LLM。第三，Aug 暴露模式匹配——反转时序运算符后，opus-4-6、gpt-5.4、gemini-3.1-pro-preview 仍以 63.4%、55.0%、48.8% 选原答案，能力越强越"自信地错"。第四，微调分叉——非推理基座 GRPO 优于 SFT（Llama Macro +12.84），推理基座 Qwen3 上 SFT 反超 +10.5；gemini-3.1-pro-preview 正确回答对应 3.13–4.82M USD 节省。

**Table 2**: 29 个 LLM 与 4 个嵌入基线在 DiagnosticIQ 和 DiagnosticIQ Pro 上的 leaderboard

**Table 3**: 左：PertEval 在 DiagnosticIQ Pert 上的鲁棒性；右：AHU→Other 跨资产泛化实验

**Figure 5**: GPQA Diamond、DiagnosticIQ、DiagnosticIQ Pro 三条赛道的厂商前沿进展

**Figure 6**: opus-4-6 在答对、答错、底部 10% 题目上的特征均值

查看结构化数据

任务	指标	本文	基线	提升
DiagnosticIQ（4 选项主基准）	Macro Accuracy	73.59%（claude-opus-4-6）	52.73%（all-mpnet-base-v2 嵌入基线）	+20.86 个百分点
DiagnosticIQ Pro（10 选项）	Macro Accuracy	59.81%（claude-opus-4-6）	38.89%（mpnet 嵌入基线）	+20.92 个百分点；嵌入基线超过 14/29 LLM
DiagnosticIQ Aug（条件反转）	选"以上皆非"的比例	15.5–16.6%	随机猜 0%（10 选项中"以上皆非"是新选项）	约 15 个百分点的逻辑评估能力，但 48.8–63.4% 仍选原答案
DiagnosticIQ Pert（格式扰动）	Acc@Pert（与原版一致正确）	59.90%（opus-4-6）	15.17%（granite-4-h-small 最低）	无模型超过 51.5% 一致性，最高也仅 59.9%
DiagnosticIQ Verbose（符号→自然语言）	Macro Accuracy 下降	平均 −4.2 点（17 个模型）	DiagnosticIQ 主基准	小模型最差 −9.6 点，揭示符号到语言鸿沟

局限与改进

作者承认三点局限：仅覆盖英语规则、未涉及多语言；评估局限于零样本设置，未考察智能体或多轮交互；仅覆盖 16 种资产类型，未达工业资产全谱 800+ 分类。此外，规则源自 IBM Smarter Buildings 这一单一项目，资产分布严重倾斜——AHU 占 58%、Chiller 7%、Boiler 6%，作者刻意保留这种操作现实的失衡，但代价是模型在尾部资产类型（泵、冷却塔）上的统计可靠性不足。个人观察还有：$5000$ 月度算力预算限制了前沿闭源模型的完整覆盖，所有变体评估覆盖范围有限；人类评估仅 9 名从业者、45.0% 均值，统计功效不足以支撑"模型不显著超越最佳人类"的强结论；研究刻意将 LLM 与"符号规则触发"解耦（即假设规则已正确触发），未考察更上游的时序推理能力，因此对 LLM 在端到端故障诊断中的角色仍是偏下游的局部判断。

独立分析的弱点

独立分析暴露三个核心弱点。第一，模式匹配主导而非真推理——Aug 变体中越强的模型越"自信地错"（opus-4-6 63.4% 选原答案），说明当前 LLM 把结构化规则当作模板来识别而非条件来求值；改进方向应在训练阶段引入逻辑一致性损失或在推理阶段加入自洽性校验。第二，符号-语言鸿沟严重——Verbose 变体平均掉 4.2 点（最差 −9.6），说明模型对符号结构过度依赖；改进方向是把维护知识库编码为图结构或符号-神经混合系统。第三，操作影响与精度排行脱节——gemini-3.1-pro-preview 在节省美元上击败 opus-4-6，提示当前 leaderboard 鼓励"在简单高频规则上刷分"；改进方向是引入按运营价值加权的指标，把决策对齐到部署价值。

未来方向

作者明确给出的未来方向包括：覆盖多语言规则（当前仅英文）、智能体设置下与 IoT 流式数据交互、全工业资产分类覆盖（800+）。基于成果可延伸的方向有四点：（1）把 DNF 展开与程序辅助推理结合，让 LLM 输出可验证的逻辑步骤而非端到端答案；（2）针对 49–63%"坚持原答案"现象设计干预实验，看 CoT 自检或对抗提示能否把 Aug 准确率从 15% 提升到 50% 以上；（3）把 DiagnosticIQ 的反事实变体范式推广到医疗、法律等其他高风险领域，构建跨领域"模式匹配 vs 推理"评估协议；（4）结合 LLM 的概率输出与符号引擎做"LLM-as-decider"部署——只让 LLM 在符号引擎置信度低时介入，规避模式匹配风险。

复现评估

可复现性中等偏弱。118 条专家规则源自 IBM Smarter Buildings 多年迭代的内部资产，受商业机密保护，短期内很可能不开源完整规则原文，但作者在附录承诺公开 RRSim 矩阵与 Unique Observations 词表。代码方面，符号-到-MCQA 流水线用 Python 实现、DNF 归一化和嵌入采样都是确定性步骤，理论上可复现。算力上，$5000$ 月度算力预算限制了前沿闭源模型的完整覆盖范围，且不同变体（Aug、Pert、Verbose）只跑了 3–17 个模型而非全部 29 个，第三方复现全部实验需要类似预算。评估难度：附录 A.16 列出了推理参数，Prompt 模板在 Appendix Figure 15 给出，整体复现门槛中等，主要难点是获取原始规则语料。

DiagnosticIQ：面向符号规则到工业维护行动推荐的 LLM 基准测试 DiagnosticIQ: A Benchmark for LLM-Based Industrial Maintenance Action Recommendation from Symbolic Rules