DAR：基于智能体框架的义务论推理 DAR: Deontic Reasoning with Agentic Harnesses
把法典放进沙箱，让模型按需检索，揭示harness是能力放大器而非通用解药
前置知识
Deontic Reasoning（义务论推理）
把显式规则与策略套用到案件事实上回答问题的任务，如算税额、判移民上诉。难点是法规冗长且高度交叉引用，关键义务常被散落他处的定义与例外限定。
理解本文的前提是先明白 deontic reasoning 与普通 QA 的本质区别：前者要『先定位规则再逐层套用』，而后者多为事实检索。DAR 的所有设计动机都建立在『规则套用比检索更难』这一观察上。
Agentic Harness（智能体框架）
让大模型在沙箱中自主操作工具的脚手架。Terminus-2 通过 tmux 让模型用 sed/grep/cat/python 读写文件与计算，每次工具输出追加为下轮上下文，模型在多轮中累积观察。
本文的核心贡献就是把 harness 引入 deontic reasoning，并与直接提示对比。不懂 harness 的运行机制就无法理解为什么同样脚手架对前沿模型是助力、对弱模型是毒药。
DeonticBench
Dou et al. 2026a 提出的义务论推理基准，每任务含法规、案件事实、问题，覆盖 SARA(税法)、USCIS-AAO(移民)、Airline(行李)三域，含 SARA-Numeric/Binary 等数值与分类子集。
这是本文唯一的评测平台，所有 15–30% 提升和 11–23% 退化结论都来自其 hard subset。理解每个子集的指标含义才能正确解读实验表。
研究动机
传统 deontic reasoning 评测把整条法规、案件事实和问题塞进单一 prompt，要求模型一次性定位并套用相关条款（Dou et al. 2026a；Jurayj et al. 2026；Zhou et al. 2025）。但法规本身冗长且高度交叉引用，绝大部分条款对具体案件无关，关键义务还被散落他处的定义和例外限定，模型在单 pass 中难以稳定定位所需条款。与此同时，agentic search 领域已有证据：在事实检索任务上，模型用通用工具（grep、文件读取、shell）搜索长语料比直接把语料当静态上下文更有效（Li et al. 2026b；Sen et al. 2026）。然而，对于本质是『规则套用』而非『事实检索』的 deontic reasoning，让模型把法规当作可按需查询的资源是否同样奏效，一直是个开放问题。
本文的目标是作者提出 Deontic Agentic Reasoning（DAR）这一全新设定来回答上述开放问题：法规不再进入 prompt，而是作为 statute.txt 文件放进 harness 沙箱，模型只接收案件事实、问题和工具说明，然后通过 sed/grep/cat/python 等工具按需读取法规片段来推理。论文目标有三：一是系统比较 DAR 与直接提示在 DeonticBench hard subset 上的表现，二是横跨 9 个前沿与开源模型（Qwen3.5 三个尺寸、Qwen3-Coder-480B、Qwen3-235B、Kimi-K2、GPT-5.1/5.2、Claude Sonnet 4.5）考察模型能力对 harness 效果的影响，三是揭示 harness 的成本与可靠性代价，量化每个 (模型, 框架) 组合的 token 消耗与失败模式。
与已有工作不同的是，本文的独特切入点在于把 deontic reasoning 从『单 pass 规则套用』改造成『模型与法规的按需交互』，并把研究焦点从『harness 是否提升均值』转向『harness 在不同能力模型上的差异化效应』。作者发现 harness 并非通用解药：对前沿模型它是自我引导检索和中间错误恢复的脚手架，对弱模型则变成放大错误答案的『自信放大器』。这一『Mismanaged Geniuses Hypothesis』式的发现填补了既有工作只关注 frontier 提升的空白，直接指向推理成本与答案质量的权衡难题。
核心方法
直觉上，法规像一座巨大的图书馆，让模型一次读完再答题容易迷失；不如让它带着具体问题去按章节检索。DAR 正是基于此：法规以 statute.txt 形式放入 harness 沙箱，模型只拿到案件事实与问题，通过工具按需打开法规。技术路线分两层——外层是 Harbor 框架编排的 harness 执行（每个任务 10 分钟预算），内层是模型驱动的多轮工具调用循环。每次工具调用产生 observation 追加到上下文，模型逐步累积观察直到产出最终答案，超时、解析失败或运行时错误都计为错误。论文对比两种范式：Direct reasoning（法规全量进 prompt，单 pass 出答案）与 DAR（法规按需查询，多轮交互）。
核心创新在于把『检索长上下文』的 agentic 范式迁移到『规则套用』任务，并系统证明该迁移的效果强依赖模型基础能力。与已有 deontic reasoning 工作把法规当静态上下文的本质区别是：DAR 让模型把法规视为可查询资源而非背景知识，模型自主决定何时读、读哪段、用 grep 定位还是用 python 计算。与已有 agentic search 工作（Search-R1、DCI）的区别是：那些任务本质是检索，而 DAR 的任务本质是推理，必须先定位规则再逐层套用义务与例外，对模型的判断力要求更高。这正是 harness 成了能力放大器而非通用提升的根本原因。
方法步骤详情
完整流程为：第一步，准备 statute.txt 文件放入 harness 环境，文件内容是某条法规全文。第二步，构造 prompt，仅包含案件事实、问题以及对 harness 工具与规则的说明（不含法规正文）。第三步，模型进入工具调用循环：可发 sed -n '1,200p' statute.txt 读取片段、grep -n "§63" statute.txt 定位条款、grep -n "Standard deduction" 查定义，也可调 python3 计算数值税额。第四步，每次工具输出作为 observation 追加到下一轮上下文，模型累积观察并修正计划。第五步，模型产出最终答案（如 $5{,}459.98$），harness 校验格式并对照 DeonticBench ground truth。整个过程在 Terminus-2、Terminus-KIRA、Claude Code、Codex CLI 四种 harness 上执行，超 10 分钟或解析失败计错。
技术新颖性
技术新颖性有三：一是首次把 deontic reasoning 重构为 agentic 任务，证明『把法规当文件而非上下文』是可行且有潜力的范式。二是首次系统量化 harness 的能力依赖性——GPT-5.2 在 SARA-Numeric 从直接提示的 0.303 跃升至 Terminus-KIRA 的 0.600，而 Qwen3.5-35B 反而从 0.340 崩到 0.114，揭示 harness 是能力放大器。三是引入 token 经济学视角（Figure 3）：弱模型在 Terminus-2 下平均每试验消耗 401k tokens（Qwen3.5-122B）和 303k（Qwen3-235B），约为前沿模型的 4 倍，并配合 Table 3 的错误分析证明开源模型 12.1% 的错误率几乎全是超时（10.6%）。这种『效果+成本+可靠性』的三维分析是既有 deontic reasoning 工作所没有的。
实验结果
Figure 2 与 Table 1 给出核心发现。第一，前沿模型普遍受益：GPT-5.2 在 SARA-Numeric 从直接提示 0.303 升至 Terminus-KIRA 0.600（+29.7 点），Claude Sonnet 4.5 从 0.367 升至 0.543，GPT-5.1 在 Airline 维持 0.86–0.89。第二，弱开源模型反而退化：Qwen3.5-35B 从 0.340 崩到 0.114（−22.6），所有开源模型在 Airline 上近乎清零。第三，分类任务（SARA-Binary、USCIS-AAO）退化较小，无一致开源增益。第四，token 成本极端分化（Figure 3）：Qwen3.5-122B 平均 401k tokens/试验、Qwen3-235B 303k，约为 GPT-5.1（55.7k）的 4 倍。第五，Table 3 显示开源模型总错误率 12.1%（其中 10.6% 超时），闭源仅 0.7%。第六，Claude Code 是开源 Qwen 的强 scaffold，唯一让开源模型在 Airline 上恢复非平凡精度。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SARA-Numeric（数值税额计算） | Exact-match Accuracy | GPT-5.2 在 Terminus-KIRA 下达到 0.600 | GPT-5.2 直接提示 0.303 | +29.7 个百分点；同期 Qwen3.5-35B 从 0.340 退化到 0.114（−22.6） |
| SARA-Numeric（Claude Sonnet 4.5） | Exact-match Accuracy | Terminus-KIRA 下 0.543 | 直接提示 0.367 | +17.6 个百分点 |
| Airline（行李费应用） | Accuracy | GPT-5.1 在 Terminus-KIRA 下 0.889 | GPT-5.1 直接提示 0.863 | 前沿模型维持高位 +2.6 点；开源模型全面崩至近零 |
| SARA-Binary（法规蕴含二分类） | Macro-F1 | Qwen3.5-397B 在 Terminus-KIRA 下 0.906 | Qwen3.5-397B 直接提示 0.782 | +12.4 个百分点，分类任务上 harness 退化更小 |
| USCIS-AAO（移民上诉结果预测） | Macro-F1 | GPT-5.1 直接提示 0.779，Claude Code 下 0.755 | 各 harness 互有胜负 | harness 无一致开源增益，前沿模型在至少一种 harness 下达到或超过直接基线 |
局限与改进
作者明确承认三点局限。一是 DAR 的可扩展性：当前把整条法规作为单文件依赖 grep/sed 导航，对 DeonticBench 尚可，但面对完整美国税法或多司法管辖法规，即便前沿模型也要通读大量片段、消耗巨量 token，需要层级化条款检索或学习式段落级检索。二是基准与领域覆盖：所有结论仅来自 DeonticBench 的税法、移民、航空三域，未覆盖医疗、金融合规等其他 deontic 场景，泛化性存疑。三是 harness 覆盖：仅测 Terminus-2、Terminus-KIRA、Claude Code、Codex CLI 四种，未触及专为法规推理设计的带交叉引用工具的 harness，也未结合 Meta-Harness 这类外层搜索自动发现 harness 的方法。四是推理努力设置：GPT-5.1/5.2 均用 reasoning effort=none，更高设置可能显著改变结果。我个人补充：论文未给出 token 成本与准确率增益的帕累托分析，也未报告统计学显著性或多次运行方差，单次试验下几个百分点的差异可能在噪声范围内。
独立分析的弱点
第一个弱点是单文件导航的天花板：法规越长，grep 越无力，改进方向是引入层级化条款索引与交叉引用图，甚至把法规解析成结构化 AST 让模型按节点遍历。第二个弱点是弱模型『自信放大器』效应无缓解机制：Qwen3.5-122B 在 Terminus-2 下每试验烧 401k tokens 却得错答案，改进方向是给 harness 加自适应停止策略或置信度门控，例如结合 Conformal Thinking（Wang et al. 2026）做风险控制。第三个弱点是 10 分钟固定预算对慢速开源模型不公：Table 3 显示开源模型 10.6% 错误全是超时，改进方向是按模型推理速度动态分配预算或引入检查点续算。第四个弱点是只测 reasoning effort=none，未探索高推理预算是否会缩小强弱模型差距。第五个弱点是缺乏统计显著性报告，关键提升点应给 95% 置信区间或多次种子方差。
未来方向
作者明示的未来方向有三：一是用 Meta-Harness 这类外层搜索自动发现针对法规推理的 harness 原语（如条款感知导航），二是把 DAR 与高效检索系统结合实现可扩展的长法规处理，三是扩大到更多 deontic 领域验证泛化。基于本成果我延伸出几条：一是研究『harness 收益预测器』——在部署前用少量样本预测某模型在某 harness 上会涨还是崩，避免盲目上 agentic。二是把 Conformal Thinking 的风险控制嵌入 harness，当弱模型 token 烧到阈值仍未收敛时强制停止。三是探索专门为数值推理服务的 python-in-the-loop 机制，缓解 SARA-Numeric 上弱模型的崩塌。四是研究 RLM（递归语言模型）与 DAR 的正交组合，因为 Table 2 显示 DSPy RLM 全面更差，但混合策略可能互补。五是把 harness 改造成可解释工具调用日志，服务于高风险法律场景的审计需求。
复现评估
复现评估整体中等偏上。作者声明代码可获取，DeonticBench 及 SARA、USCIS、Airline 子集均为公开基准。开源模型可通过 vLLM 或 OpenRouter 复现，闭源模型需商业 API 但可访问。harness 框架（Terminus-2、Terminus-KIRA、Claude Code、Codex CLI）与 Harbor 框架均公开。难点在于：一是算力门槛高，开源模型每试验烧 300–400k tokens，全量跑 DeonticBench 成本不小；二是 Terminus-KIRA 的 harness 级差异（部分提交抑制、完成验证）附录仅文字描述，精确复现需其源码；三是 reasoning effort=none 等设置需对齐；四是未报告种子方差，建议复现者至少跑 3 次取均值以确认 1–5 点差异是否显著。
论文图表