RuleTrek：复杂场景下的智能体规则推理基准 RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios
11个前沿大模型在多文件复杂场景中规则推理全面吃紧，最佳端到端得分仅55.29%
前置知识
规则图（Rule Graph）
把非结构化的规则文档转成有向图结构 $\Gamma_d=(V_d,E_d)$：每个节点 $R_i \in V_d$ 是一条带原文出处的规则（记录源文件路径、精确定位符、原文锚点、适用范围、版本、适用条件与后果），边集 $E_d$ 刻画规则间关系，包括依赖（applicability dependency）、资格条件、聚合、例外、覆盖（override）、优先级（precedence）和时间约束。它是本文构建和评测的核心中介结构。
RuleTrek 的整个构建流水线以验证过的规则图为骨架：子场景逐规则生成、场景按依赖组合、RI 任务要求智能体重建这张图、RD 任务直接提供这张图。不理解规则图，就无法理解'规则识别'与'规则应用'如何被分开计分。
交互式智能体工作区（Agentic Workspace）
一种智能体评测范式：模型不再是接收一段 prompt 的'问答者'，而是在一个隔离的文件系统工作区内自主行动，可以搜索文件、读取表格/配置/代码、执行 shell 命令，在步数与时间预算内（本文为 200 步、30 分钟）迭代探索后提交结构化 JSON 答案。本文用 pi CLI 搭建此类环境且断开外网。
RuleTrek 的场景信息刻意分散在多个异构文件（xlsx 档案、docx 规则、日志、配置）中，只有理解工作区设定，才能明白为什么'检索+整合分布式信息'本身就是任务难度的主要来源之一。
LLM-as-a-Judge 自动评分
用强模型按固定评分标准给被评模型的输出打分。本文 RI 任务由 judge 对'规则识别'与'关系正确性'两个维度各打 0–100 分取均值；RD/E2E 任务先由确定性代码核对答案对错（0/1），再由 judge 按事实落地、规则应用、计算、证据支撑四个维度打推理分，最终得分为二元正确性与推理分的乘积。
RuleTrek 的分数含义完全由这套评分协议定义；论文还专门用人类标注一致性与跨家族 judge 复评（Spearman 0.822–0.857 / 排名相关 0.955–0.991）验证其可靠性，读结果表前必须理解计分方式。
Cohen's Kappa 一致性系数
衡量两名标注者在分类/判断任务上一致程度的统计量，校正了随机一致：$\kappa = \frac{p_o - p_e}{1 - p_e}$，其中 $p_o$ 是观测一致率，$p_e$ 是随机期望一致率。$\kappa>0.8$ 通常视为高度一致。本文用它报告基准质量验证中两名领域标注者对五项准则的判定一致性。
RuleTrek 的核心卖点是'每个实例都经过严格人工验证'，Table 6 用 $\kappa$（平均 0.89）证明验证标准本身是稳定可信的，这是判断基准质量时需要读懂的关键证据。
研究动机
现有评测无法考察智能体在真实复杂场景中运用领域规则的能力，这一缺口来自两条互不衔接的基准路线。规则推理类基准（RuleTaker、ProofWriter、PolicyQA、LegalBench、RuleArena、RuleWeaver 等）通常只用几条事实性陈述表示场景，规则识别与应用被大幅简化——例如论文开头例子中，一条'年居住满183天即为税务居民'的规则只需对'Emma 居住200天'做一次判断。工作区类基准（TheAgentCompany、EnterpriseOps-Gym、AGORA、Workspace-Bench、PhantomPolicy）虽然让智能体在交互环境中检索分布式信息、使用工具、完成多步任务，却几乎不考察'从原始规则文档中找出适用规则并正确套用'这一核心能力。而真实任务恰恰卡在这里：税务评估要求智能体从监管文档中识别居住天数门槛、税率表、扣除额等规则及其相互依赖，且纳税人档案、工资记录、稿酬收入等信息分散在多个异构文件中，必须跨文件整合才能正确计税。
本文的目标是本文旨在构建一个能系统性评测'复杂场景下智能体规则推理'的多领域基准 RuleTrek。具体目标有三：其一，场景必须真实复杂——规则保持原始文档形态（文档、表格、配置文件、源代码），场景信息分散在多个文件中，智能体需在可交互工作区内迭代探索并按需执行代码；其二，必须保证每个实例都'可被给定规则库求解'且答案唯一，避免歧义和脏题目；其三，把能力拆解为三个可分别度量的维度——规则识别（RI：从原始规则文档找出适用规则及其依赖关系）、规则推演（RD：在给定验证规则图的前提下整合分布式信息推出答案）、端到端（E2E：两者联合完成），从而能诊断模型究竟败在'找规则'还是'用规则'。最终在 11 个前沿大模型上量化这些能力的真实水平。
与已有工作不同的是，本文的独特切入是'规则锚定'（rule-grounded）的场景构建范式。已有基准的做法是先编写场景、规则隐含其中，因而既无法控制场景实际触发了哪些规则，也无法证明场景可解；工作区基准则干脆不设显式规则体系。RuleTrek 反其道而行：先从真实规则库提取并人工验证一张结构化规则图 $\Gamma_d=(V_d,E_d)$ 作为不变的'骨架'，再为图上每条规则单独生成一个必须应用该规则的子场景，最后按规则依赖把子场景增量拼接成复杂场景。这样'规则是什么'与'场景有多复杂'被解耦——复杂度随组合步骤增长，而规则集保持不变，每个实例的一致性与可解性在每一步都被人工核验。凭借原生规则、分布式场景、多领域、交互工作区与规则应用五个要素同时达标（Table 1），RuleTrek 填补了两大基准路线之间的空白。
核心方法
直觉上，要让'用规则解题'可评测，前提是先有一份可信的金标准规则清单及其依赖结构，否则既无法判断智能体找的规则对不对，也无法保证场景存在唯一解。RuleTrek 的技术路线分三阶段（Figure 2）。Stage 1：从六个领域的真实规则库中用 LLM 提取结构化规则图 $\Gamma_d=(V_d,E_d)$，节点是带原文精确定位的规则，边表示依赖、例外、覆盖、优先级等关系，并经专家逐条校验修订。Stage 2：为图中每条规则 $R_i$ 生成一个'必须应用该规则才能解决'的子场景 $s_i$，用领域原生文件（电子表格、日志、表单、配置、消息、源码）承载信息。Stage 3：按规则依赖增量组合子场景，形式化为 $S_{t+1} = C_{\Gamma_d}(S_t, s_{i_{t+1}})$，其中 $C_{\Gamma_d}$ 是规则图引导的 LLM 组合操作，每步做一致性与可解性双重人工核验。最后基于最终场景 $S_T$ 与 $\Gamma_d$ 生成问题 $Q$ 与答案 $A$，并验证可答性与唯一性。全流程构建使用 GPT-6-Astra，人工专家全程把关。
核心创新是以'验证过的规则图'为不变骨架做增量场景合成，与已有工作的本质区别有两点。第一，先有规则、后造场景：RuleTrek 先锁定金标准规则结构，再逐规则生成子场景，因此能精确控制'这道题考哪些规则'，并把'找出规则'（RI）与'应用规则'（RD）拆成可独立计分的任务——先前基准的场景无法支持这种能力分解。第二，增量组合而非一次性生成：直接让 LLM 生成复杂场景，无法控制其中哪些规则被触发、也无法保证跨文件自洽；RuleTrek 通过 $S_{t+1} = C_{\Gamma_d}(S_t, s_{i_{t+1}})$ 一步步合并子场景，每步修订实体、时间戳、状态、版本、单位与跨文件引用，并对中间场景做一致性与可解性双检查，失败即由 LLM 修订后再验。由于 $\Gamma_d$ 全程不变，场景可以持续变复杂而不破坏题目的有效性，还能在规则依赖处天然制造'多条规则相互作用'的难点。
方法步骤详情
完整流程分五步。①收集规则库：六个领域（税务、PostgreSQL、网络安全、软件策略、采购、游戏规则）各收集真实规则文件并保留原始组织与格式，来源包括 NIST OSCAL 安全控制目录、Falco 策略、D&D 5e SRD、OpenTTD wiki、PostgreSQL 18.6 文档、pgBackRest、OCDS 采购标准、Kyverno 与 OPA Gatekeeper 策略库、GitHub 站点政策、IRS 及 PSLmodels 税务计算器等。②提取并验证规则图：LLM 为每条规则记录稳定 ID、源路径、定位符、原文锚点、范围、版本、适用条件与后果，边类型覆盖依赖、资格、聚合、例外、覆盖、优先级、时间约束；专家逐条核对正确性并补漏。③生成子场景：对每条 $R_i$ 生成以原生文件承载的子场景 $s_i$，人工审查规则一致性、可解性与信息充分性，专家删除冗余实例并做多样性去重。④依赖感知组合：按 $\Gamma_d$ 逐个并入子场景，修订跨文件引用后由专家验证中间场景的一致性与可解性，未通过则修订重验，直到得到最终场景 $S_T$。⑤问题实例化：基于 $S_T$ 与 $\Gamma_d$ 生成问题与答案，两名领域标注者独立求解，验证可答性、答案唯一性与规则对齐。评测时三种设定共享同一 $(R_d, S_T, Q)$ 工作区：RI 给原始规则库，要求输出估计规则图 $\hat{\Gamma}$（不需作答）；RD 给验证过的 $\Gamma_d$，要求整合分布式信息推出答案 $\hat{A}$；E2E 只给原始文档，需同时完成识别与应用。
技术新颖性
技术新颖性体现在四个层面。①结构中介：规则图把非结构化法规文本转成可校验、可引用（带 source path 与 locator）的图结构，使'识别规则'有了可判分的对象，这是对 RuleArena、RuleWeaver 等只给规则文本做法的实质升级。②可控复杂度：平均每实例 9.05 个规则节点、8.69 条边、深度 2.69（Table 3），且复杂度可通过继续组合子场景平滑提升而不改动规则集，为'难度—性能'曲线分析（Figure 3）提供了干净的自变量。③能力分解的评测设计：同一场景派生 RI/RD/E2E 三种设定，RD 与 E2E 的分差（3.79–8.15 分）直接量化'规则识别'环节造成的性能损失，诊断价值远超单一总分。④严格的质量保障流程：五准则人工验证（Cohen's $\kappa$ 平均 0.89，Table 6），经三轮修订使 240/240 实例全部通过（Table 7），并补充了人—机评分一致性与跨家族 judge 稳健性检验（Table 5），在基准论文中属于少见的完整度。
实验结果
11 个前沿模型的结果显示任务远未解决。①规则识别难：最高 RI 仅 GPT-6.1-Sol 62.47%，其后 Grok-4.7 61.86%、GPT-5.5 60.20%，Gemini-2.5-Flash 只有 33.35%；常见错误包括漏掉细粒度防火墙/远程访问控制、漏掉数据装载与税务年度初始化等前置规则、把不同行进速度的游戏规则混为一谈（Table 4）。②规则应用也难：即使给定验证过的规则图，RD 最高也只有 60.43%（GPT-6.1-Sol），DeepSeek-V4.1-Flash 56.39%、Grok-4.7 56.12%。③端到端最难：E2E 得分从 26.97%（Gemini-2.5-Flash）到 55.29%（GPT-6.1-Sol）。④分域看，GPT-6.1-Sol 在税务上 RD 高达 86.42%，但 PostgreSQL RD 仅 25.17%、采购 E2E 仅 26.92%，说明有状态运维与层级化字段规则最难。⑤性能随复杂度单调下降：规则节点从 ≤3 增至 ≥14，11 模型平均 E2E 从 76.5 跌至 23.6；图深度从 ≤1 到 ≥5，从 62.3 跌至 26.4（Figure 3）。⑥RD 系统性高于 E2E 3.79–8.15 分（Figure 4），证明规则识别是独立瓶颈；对 GPT-6.1-Sol 失败轨迹的归类显示 54.9% 源于规则选择错误，是最大失败类别。⑦行为分析：GPT-6.1-Sol 用较少步数（如 game-025 仅 34 步）拿最高分，GLM-5.3-Flash 步数少却只有 47.16%，Qwen3.8-Flash 步数多反而 44.59%，输出 token 数与成绩无一致相关（Figure 5、6）——成功取决于信息检索与规则应用的有效性而非交互量。⑧案例剖析：game-025 中 Qwen3.8-Flash 检索到了保护规则但未更新'守护已消耗'的状态，57 步得 0 分，而 GPT-6.1-Sol 正确传播状态变化 34 步得满分；tax-003 中 Qwen3.8-Flash 在 E2E 漏掉 CapGainsLoss 中的 netting 前置规则，把短期亏损单独当净收益，最终税额错算为 $16,564（正确为 $15,644），同一模型在 RD 下拿到该规则后 6 步即得 97.75 分。⑨评分可靠：人—机 Spearman 0.822–0.857（人—人为 0.933–0.951），GLM-5 与 Gemini-2.5-Pro 复评的模型排名相关达 0.955–0.991（Table 5）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 规则识别（RI） | 平均得分（0–100，11 模型 × 240 实例 × 3 次运行） | 最佳模型 GPT-6.1-Sol 62.47% | 次优 Grok-4.7 61.86%；最弱 Gemini-2.5-Flash 33.35% | 较次优 +0.61 分；但绝对水平低，说明从原始文档识别规则及依赖远未解决 |
| 规则推演（RD，提供验证规则图） | 二元答案正确性 × 四维推理分（0–100） | 最佳 GPT-6.1-Sol 60.43% | DeepSeek-V4.1-Flash 56.39%、Grok-4.7 56.12% | 较次优 +4.04 分；即使规则齐备，应用与整合仍是短板 |
| 端到端规则推理（E2E） | 二元答案正确性 × 四维推理分（0–100） | 最佳 GPT-6.1-Sol 55.29% | Grok-4.7 51.34%；最弱 Gemini-2.5-Flash 26.97% | 较次优 +3.95 分；整体区间 26.97%–55.29%，为三个任务中最难 |
| 规则识别难度分解（RD − E2E） | 平均分差（7 个模型） | 3.79–8.15 分 | 同一模型 RD 与 E2E 得分对比 | 首次量化'从原始文档找规则'独立贡献的性能损失 |
| 规则图复杂度敏感性（E2E） | 按金标准图节点数/深度分箱的 11 模型平均分 | 节点 ≤3→≥14：76.5→23.6；深度 ≤1→≥5：62.3→26.4 | 低复杂度分箱作为参照 | 性能随复杂度单调下降最多约 53 分，验证复杂度是核心难度来源 |
| 基准质量验证 | 五准则人工审查（Cohen's κ / 最终通过率） | κ 平均 0.89；三轮后 240/240 全部通过 | 首轮通过率仅 76.7%（184/240） | 多轮修订+重审把通过率从 76.7% 提升至 100% |
局限与改进
作者承认两点局限：RuleTrek 仅覆盖英文规则库与场景；采用预定义的静态规则与场景库以保证可控可复现，未涉及规则随时间演化的动态环境。我的补充观察：其一，构建与评分深度依赖强 LLM——构建用 GPT-6-Astra、评分主判为 gpt-5.6-luna，虽然人—机一致性达 0.822–0.857，但仍低于人—人的 0.933–0.951，边缘实例可能存在系统性偏置；其二，平均规则图仅 9.05 个节点、深度 2.69，与真实法规体系（动辄数千条款）相比仍属小图，'复杂度崩溃'曲线外推到大图时未必保持；其三，每域仅 30–48 个实例、每模型 3 次运行，头部模型间 1 分左右的差距（RI 62.47 对 61.86）可能落在噪声范围内；其四，RD/E2E 得分为二元答案正确性与推理分的乘积，答案错误即清零，会系统性低估'推理链基本正确但最后算错'的能力；其五，游戏领域部分规则来自 D&D 5e 等虚构体系，与专业领域规则的分布特性不完全等同。
独立分析的弱点
独立分析的弱点与改进方向：①静态快照问题——真实合规场景中规则会修订、废止、新增，模型需要追踪版本与生效期，而 RuleTrek 完全静态；可引入带时间戳的规则修订事件流，考察'规则变更后结论如何更新'。②环境反馈单一——智能体只能读文件和执行代码，没有可交互的活系统（不能真的连数据库执行 SQL、不能真的提交税表），无法考察'规则指导下的行动后果'；可为 PostgreSQL、税务等领域嵌入可执行沙盒。③规则库规模小——平均 9 节点的图远小于真实法规体系，检索难度被低估；可构建千节点级规则库并配合分层检索评测。④乘积计分偏严——答案错即 0 分，无法区分'差一步'与'全错'，建议同时报告推理分分布与部分得分。⑤实例量有限——240 题难以支撑模型间细微差异的统计检验，可扩充规模并报告置信区间。⑥失败类型学较粗——仅四个类别，且细粒度统计只针对 GPT-6.1-Sol（规则选择错误占 54.9%），缺少跨模型的失败模式对比。
未来方向
作者提出的方向：扩展到多语言规则体系（如非英语法规与合同）；构建规则与场景随时间演化的动态环境。基于本文成果可延伸的研究：①把规则图用作训练信号——以 RI 的金标准图做过程监督或强化学习奖励，专门提升'找规则与依赖'的能力，因为 RD−E2E 3.79–8.15 分的差距证明这是当前最大短板；②检索增强的规则推理——结合分层检索、规则压缩与依赖感知重排，把方法推广到更大规模规则库；③可执行规则环境——把 PostgreSQL、税务计算器等域改造成结果可自动验证的沙盒，从'给答案'升级为'做对事'；④规则冲突与优先级推理——多条规则给出矛盾结论时的 override/precedence 处理值得单列维度；⑤跨域迁移研究——分析在税务上学到的'前置规则检索'策略能否迁移到网络安全或采购；⑥把 RuleTrek 演化为持续更新的 living benchmark，随模型能力提升追加更深的依赖链与更多领域。
复现评估
复现条件总体良好。开源情况：代码与数据集已通过公开链接（RuleTrek）发布；规则库全部选自允许学术复现、修改与再分发的许可来源（NIST OSCAL、D&D 5e SRD、OpenTTD wiki、PostgreSQL 文档、pgBackRest、OCDS、Kyverno、OPA Gatekeeper、GitHub 站点政策、IRS、PSLmodels 等）；附录 D 完整公开了场景构建、智能体任务指令、人工校验与自动评分（RI judge 与 derivation judge）的全部 prompt。评测协议明确：pi CLI、隔离工作区、有文件与 shell 权限、无外网，单次运行 30 分钟 / 200 步上限，温度 1 跑 3 次取均值，judge 为 gpt-5.6-luna 温度 0，答案对错由确定性代码核对。算力方面：主要成本是 API 调用（11 模型 × 240 实例 × 3 次，每次最长 30 分钟），普通实验室复现单个或少数模型的子集完全可行，全量复现需要可观预算。真正的瓶颈在人工环节：构建需要领域专家逐条验证规则图与中间场景，质量验证需两名标注者多轮独立评审（三轮才使 240 题全部通过），复刻同等质量的新实例需要相当人力。综合评估：中等难度——协议透明、材料齐全，认真跟进可在数周内复跑评测，但复刻完整构建流水线的人力成本较高。
论文图表
上半部分展示先前基准的形态：一条税务居住规则配一句'Emma 居住 200 天'的事实，模型做一次 CoT 判断即可。下半部分展示 RuleTrek：税务政策文档（docx）与纳税人档案、工资、稿酬、社保、公积金等场景文件（xlsx）分离，智能体需依次完成任务 1 规则识别（从 $R_d$ 与 $D_s$ 找出规则图 $\Gamma_d$）、任务 2 规则推演（用 $\Gamma_d$ 与 $D_s$ 推出答案）、任务 3 端到端（只用 $R_d$ 与 $D_s$ 完成全部过程），每个任务都有 judge 评分。
一张图说清了本文的动机与评测结构：把'简单规则+单事实'与'真实规则库+多文件场景'的差距可视化，并同时呈现 RI/RD/E2E 三任务的信息暴露差异，是理解全文设计的入口。
同一个六病人救援交接任务的完整案例：任务需要应用守护（首次降至 0 HP 变为 1 HP 并消耗）、死亡豁免、复活（Revivify 限 60 秒内、需 300+ GP 钻石）、防腐（Gentle Repose 10 天且期间不计入复活窗口）、法术位资源、长休恢复六类规则。GPT-6.1-Sol 用 34 步正确维护状态序列（0 秒触发守护后 7 秒降至 0 HP 昏迷……60 秒死亡 45 秒后被复活）得 100 分；Qwen3.8-Flash 错误地保留已消耗的守护，后续死亡豁免与复活全部连锁出错，57 步得 0 分。
最具直观冲击力的失败案例：证明'检索到规则'与'正确应用规则并传播状态变化'是两种能力，解释了为什么 RD 高分不能保证 E2E 成功。
展示 RI 任务的盲评 judge 提示词：输入金标准图与提交的规则/关系，按'规则识别'与'关系正确性'两个维度各打 0–100 分，附 100/75/50/25/0 五档评分锚点，要求以源路径、定位符与原文匹配规则身份而非名称，明确禁止计算 precision/recall/F1。
评分协议是基准可信度的基础；这张图让读者能准确理解 RI 分数的含义与判定标准，也是复现评测的必要材料。
展示 RD/E2E 共用的推导评审提示词：对每个金标准答案组件，从事实落地（fact grounding）、规则应用（rule application）、计算（computation）、证据支撑（support）四个维度各打 0–100 分，答案对错由确定性代码单独核对，最终得分为二元正确性与四维均分的乘积。
定义了 RD/E2E 分数的精确语义——为什么答案错就整体清零、推理分考察什么——不读懂它就无法正确解读主结果表。