DeonticBench：面向规则推理的大模型基准 DeonticBench: A Benchmark for Reasoning over Rules
6,232 道法规义务推理任务，含 Prolog 参考程序，覆盖税/航空/移民/住房四域。
前置知识
义务论推理 (Deontic Reasoning)
义务论逻辑处理三类规范模态：义务 (obligation)、许可 (permission)、禁止 (prohibition)，即「在规则 R 下，行为 A 是被要求的/允许的/被禁止的」。形式上由 von Wright 奠基，区别于真值取向的经典逻辑，专用于法律、政策、伦理等显式规则系统。
本文整个基准围绕 deontic reasoning 展开——所有任务都需要在显式法条下判断是否承责/被豁免/是否合规，不理解 deontic 模态就读不懂任务设定和失败模式。
Prolog 与 SWI-Prolog 求解器
Prolog 是基于一阶谓词逻辑的声明式语言，程序由事实 (fact) 与规则 (clause) 组成，求解通过 SLD 归结回溯完成。SWI-Prolog 是工业级开源实现，支持外部谓词、模块化与执行追踪。
DeonticBench 的核心符号工作流就是把自然语言法条+事实翻译成 Prolog，再由 SWI-Prolog 执行得到答案，Prolog 是论文评测引擎的物理基础。
链式思考 (Chain-of-Thought, CoT) 提示
Wei 等人 2022 年提出的提示范式：让 LLM 在给出最终答案前生成中间推理步骤。后续扩展包括 Zero-Shot CoT、Few-Shot CoT、Self-Consistency 等。
本文三种提示策略 (Direct / Zero-Shot / Few-Shot) 都建立在 CoT 框架上，但用 Prolog 程序代替自然语言推理链，是论文方法学的关键对照点。
监督微调 (SFT) 与 RLHF 类算法 (DPO/GRPO)
SFT 用 (输入, 输出) 对训练模型；DPO 把偏好对齐写成对数似然差损失；GRPO 是组内相对优势估计的 PPO 变体，Dr. GRPO 引入谓词感知奖励。
论文在 Qwen2.5-32B 上同时跑 SFT、DPO+SFT、GRPO+SFT、GRPO+DPO+SFT 四种后训练方案，结果证明这些 RLHF 方法在 Prolog 规则生成上只能带来有限端到端增益。
Macro-F1 与 Bootstrap 置信区间
Macro-F1 是各类别 F1 的算术平均，能避免类别不均时大类主导评分。Bootstrap 通过有放回重采样估计指标的 95% 区间 (本文取 2.5/97.5 百分位)。
SARA Binary、USCIS-AAO、Housing 三个二元任务用 Macro-F1，主结果中所有数字都附带 Bootstrap ± 区间，不理解它就读不懂 GPT-5.1 在 71.5±16.6 这种数字的含义。
研究动机
现有推理基准集中于短上下文数学或代码任务（如 GSM8K、MATH、HumanEval），而高风险、长上下文的规则推理——即在显式法条下判断义务、许可与禁止——长期缺乏系统评测。具体地，已有的 FOLIO、LogicBench、ProofWriter 强调形式逻辑结构与自然语言对齐，RuleArena 仅 816 道任务且未覆盖法律域；CL-bench 引入 context learning 概念但规模有限。当 LLM 被部署到医疗、法律等场景时（如 2026 年纽约州 S7263 法案规定 AI 冒充专业人员的责任），仅做对短答题并不足以衡量其对显式规则的忠实度。更棘手的是，CoT 推理在高风险场景中会出现 harder-to-detect hallucination、且对简单案例也会出错（Shojaee et al., 2025），这就要求评测必须区分「执行错误的推理」与「忠实于规则的推理」两类失败。
本文的目标是本文的具体目标是构建一个覆盖真实高风险领域、显式提供成文法规、支持符号化 (Prolog) 与非符号化 (Direct) 两种评测协议的大模型规则推理基准。具体指标上要在四大领域合计 6,232 道任务上系统比较前沿 LLM，并进一步抽出 hard 子集用于精细化对比——目标是让现有最强模型在 hard 子集上明显「吃力」 (SARA Numeric hard 仅 35 题、最强仅 44.4%)，从而证明该基准尚未饱和、仍有诊断价值。
与已有工作不同的是，与 RuleArena (816 题) 相比，本文规模提升约 7.6 倍且新增了美国州级住房法 (Housing, 5,314 题) 和 USCIS-AAO 移民上诉 (242 题) 两个原创法律子集；与 SARA 原版相比，本文去除了「假设法规已预编码为 Prolog 库」的不现实设定，强制模型在每道题上从自然语言法条即时生成 Prolog，更贴近真实部署场景；与 CL-bench 相比，本文开放了所有 6,232 题的参考 Prolog 程序作为可审计 artifact，并提供 hard 子集来避免「千题均分掩盖差异」的评估陷阱。这是第一个同时具备「长上下文法规 + 即时 Prolog 生成 + 高风险法律域 + 可审计 trace」的端到端基准。
核心方法
DeonticBench 的方法学可以从两个层面理解：数据构建层与评测协议层。直觉上，研究者先把四个真实领域的成文法规与情境事实打包成「(法规, 事实, 问题, 答案)」四元组，再为每条实例人工或半自动编写参考 Prolog 程序——这一程序既充当可审计推理 artifact，又充当符号化评测的真值。评测时，每个模型在三种提示策略 (Direct 直接答、Zero-Shot 直接生成 Prolog、Few-Shot 带样例生成 Prolog) 下输出答案或 Prolog，符号化协议把 Prolog 跑在 SWI-Prolog 上得到数字答案。整体技术路线强调「以 Prolog 为统一中间表示」：自然语言 Prolog 自然语言，使得忠实性可以被外部求解器强制检验。
核心创新点在于把 deontic reasoning 的评测从「自然语言答案匹配」升级为「Prolog 程序可执行性 + 答案正确性」双重检验，并把法规显式作为输入而非隐式参数。本质区别在于：(i) 与 SARA 原始版本相比，强制模型从自然语言法条即时生成 Prolog，不再依赖预编码法规库；(ii) 与 RuleArena 相比，所有实例都附参考 Prolog 程序作为可审计 trace，研究者可对比模型与参考程序的中间状态；(iii) 提出「hard 子集」评测协议——通过两阶段 (自动过滤 + 人工校验) 筛选 250 题左右的小子集，让前沿模型分数明显低 (SARA Numeric hard 仅 35 题)，避免均值饱和。
方法步骤详情
方法分四步。(1) 数据收集与统一化：从 SARA (联邦税)、RuleArena-Airline (航空行李)、Zheng et al. 2025 Housing Statute QA (州住房法) 三个现有数据集抽取并统一 schema；USCIS-AAO 是新构建的 242 题移民上诉数据集，原始 6,483 例经分层采样保留 121 接受 + 121 驳回。(2) 参考 Prolog 编写：每条实例由作者团队人工/半自动编写对应 Prolog 程序，编码法条+事实+问题，USCIS-AAO 额外加 prompt 约束以减少语法错误。(3) Hard 子集构建：先用模型表现做自动筛候选，再做人工多轮校验，最终 SARA Num 35、SARA Bin 30、Airline 80、Housing 78、USCIS-AAO 28 题。(4) 评测执行：每题 K 次采样 (SARA 与 USCIS K=4，Airline 与 Housing K=3)，Prolog 跑 SWI-Prolog，最多 2 次重试，统计 Macro-F1 或 $1 容差 accuracy。
技术新颖性
技术新颖性体现在三点。第一是「Prolog 即真理」的设计：把每个 deontic 实例都配上可执行的 Prolog 参考程序，使忠实性可被外部求解器机械验证，这是 DeonticBench 与所有纯 NL 基准的本质差别。第二是 Hard 子集协议：作者在 6,232 题中精选 251 题作为聚焦评测点 (例如 SARA Numeric hard 仅 35 题)，并故意不进入训练池，使 SFT/RL 评估干净——这种「hard-first」评估是缓解 LLM 基准饱和的关键设计。第三是错误归因分析框架：表 4 把 Prolog 失败归到 Wrong Rule / Entity-Fact / Numerical / Impl. Bugs 四类，给出可操作的改进线索——例如 Housing 96.8% 是 Wrong Rule (规则选择错误)，SARA Numeric Zero-Shot 52% 是 Entity/Fact 错误，Airline Few-Shot 100% 是 Numerical 错误。这种按域拆解的失败画像在以往规则推理基准中并未给出。
实验结果
Table 2 主结果显示 hard 子集「全模型挣扎」。SARA Numeric 准确率最高 O3 Zero-Shot 44.4% (±15.6)、GPT-5.1 44.0%；Airline O3 Few-Shot 90.8%、Claude Sonnet 4.5 Few-Shot 85.8%；SARA Binary Claude Direct 70.0；USCIS-AAO GPT-5.1 Direct 71.5；Housing GPT-4.1 Few-Shot 46.6。Table 4 失败归因：Housing 96.8% Wrong Rule、USCIS-AAO 77.3% Wrong Rule、SARA Numeric 52% Entity/Fact、Airline 100% Numerical。Table 3 本地训练 Qwen2.5-32B：USCIS-AAO Few-Shot Macro-F1 从 10.3 升到 46.4，SARA Binary 从 29.1 升到 54.0；SARA Numeric 全程 ≤ 9.9，RLHF 对精确数值推理几乎无效。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SARA Numeric (hard, 35题) | Accuracy ± Bootstrap (%) | O3 Zero-Shot 44.4 (+15.6/-15.8)；GPT-5.1 Zero-Shot 44.0 (+15.9/-15.5) | GPT-4.1 Few-Shot 23.7；Claude Sonnet 4.5 Direct 41.2 | 相对 GPT-4.1 提升 +20.7，相对 Claude Direct 提升 +3.2 |
| Airline (hard, 80题) | Accuracy (%) | O3 Few-Shot 90.8；Claude Sonnet 4.5 Few-Shot 85.8 | GPT-5.1 Few-Shot 52.3；Kimi K2 Few-Shot 42.6 | O3 拉开 GPT-5.1 38.5 个百分点，绝对峰值仍未饱和且方差大 |
| SARA Binary (hard, 30题) | Macro-F1 (%) | Claude Sonnet 4.5 Direct 70.0；Kimi K2 Direct 68.4 | Qwen3-235B Direct 66.5；GPT-5.1 Direct 54.0 | Claude vs Qwen3 仅 +3.5；直接提示对此域反超 few-shot |
| USCIS-AAO (hard, 28题) | Macro-F1 (%) | GPT-5.1 Direct 71.5；GPT-4.1 Zero-Shot 55.5 | Kimi K2 Few-Shot 48.5；O3 Few-Shot 49.4 | GPT-5.1 相对 O3 +22.1；Direct 普遍优于 Few-Shot |
| Housing (hard, 78题) | Macro-F1 (%) | GPT-4.1 Few-Shot 46.6；Gemini 2.5 Flash Zero-Shot 46.0 | Qwen3-235B Zero-Shot 43.5；O3 Few-Shot 43.0 | 最强仅 46.6，跨模型差距 ≤3.6，几乎饱和在随机+小胜区间 |
| 本地训练 SFT/RL 后 SARA Binary Few-Shot | Macro-F1 (%) | GRPO+DPO+SFT 54.0；GRPO+SFT 44.0 | Qwen2.5-32B base 29.1；仅 SFT 41.6 | GRPO+DPO+SFT 相对 base +24.9，相对 SFT +12.4 |
局限与改进
作者明确承认的局限包括：(i) 所有 hard 子集都很小 (SARA Numeric 35、Housing 78)，bootstrap 区间宽 (e.g. 46.6 ±11.6)，单次排名不稳定；(ii) 整体 6,232 任务中 Housing 占 5,314 (85%)，其他四域合计不到 1000，分布极不均衡；(iii) Prolog 生成存在高 abstention 率 (图 2)，尤其 Zero-Shot 下大量输出无法编译；(iv) Direct vs Zero-Shot 之间的优劣高度依赖域，没有统一赢家。我的额外观察：USCIS-AAO 用 GPT-5-mini 做事实抽取、辅以人工修订，但事实生成模型本身未做版本冻结，未来重测可能漂移；GPT-5.1 / 5.2 / Claude 4.5 等模型名时间戳模糊 (2026 年 4 月论文)，第三方复现会因模型版本不同而无法对齐；Prolog 重试上限硬编码 2 次，对 LLM 自身修复能力敏感。
独立分析的弱点
独立分析的弱点集中在四类具体场景。(1) 法规忠实度问题：Housing Zero-Shot 93.5% 失败源自 Wrong Rule，模型在多州法律体系下无法稳定锚定正确条款——改进方向是引入 RAG 检索候选法条 + verifier 拒答低置信条款。(2) 事实抽取问题：SARA Numeric Zero-Shot 52% 失败源自 Entity/Fact，模型把婚姻状态、收入、依赖关系等结构化字段错编为 Prolog 事实——改进方向是在 prompt 中强制结构化 JSON 中间表示再翻译为 Prolog。(3) 数值精度问题：Airline 100% 失败源自 Numerical (行李费分阶段/重复计费)，Prolog 求解链长且涉及整除与上限——改进方向是引入外部计算谓词而非让 LLM 写递归算术。(4) 后训练瓶颈：Qwen2.5-32B 在 GRPO+DPO+SFT 下 SARA Numeric 仍 < 10，说明 RL 难以跨符号鸿沟——改进方向是用 process reward (谓词匹配 + 编译奖励) 而非仅 outcome reward。
未来方向
作者在 §4.1 末尾明确提出 future work：构建置信度感知 (confidence-aware) 推理——让小模型处理高置信 case、不确定 case 转给强模型，目标是降低高风险部署成本与风险。其他可延伸方向：(a) 探索 Process Reward Model：对 Prolog 中间谓词打分而非只看最终答案，缓解 RL 稀疏奖励问题；(b) 跨域迁移：在 SARA 训练 Prolog 技能后，测试其在 Housing / USCIS 的零样本迁移效果；(c) 神经-符号混合：把 Prolog 模块作为可微 layer 与 transformer 联合训练，让 LLM 直接学会约束；(d) 多语言扩展：把 deontic 任务扩展到中国/欧盟法律，测试跨法系 deontic 能力；(e) 把 hard 子集作为 Prolog RL 训练场：251 题 + 显式可验证奖励天然适合 GRPO/RLVR。
复现评估
复现性方面本文提供较好条件：作者在脚注 1 声明 code 与 data 已发布到 guangyaodou/DeonticBench 仓库 (HuggingFace/GitHub)，包含 6,232 题原始数据、所有参考 Prolog 程序、提示模板与 SWI-Prolog 执行脚本。但需注意三方面风险：(i) 主要实验 (Table 2) 闭源 API 模型 GPT-4.1/5.1/5.2/O3/Claude 4.5/Gemini 2.5 Flash 随时间可能停服或行为漂移；(ii) 开源模型 (Qwen3-235B、Kimi K2) 需自备 GPU，Qwen2.5-32B 后训练需多卡 H100/A100，本地训练结果在表 3 中给出 (SFT/DPO/GRPO 全套超参) 但完整训练脚本与种子未在主文披露；(iii) USCIS-AAO 抽取用了 GPT-5-mini，第三方若用 GPT-5/GPT-5.1 重做事实抽取可能产生分布偏移。整体复现难度为「中高」——评测协议可复现，但闭源模型得分会被 API 版本影响。
论文图表
