RuleChef：将大语言模型任务知识转化为可人工编辑规则 RuleChef: Grounding LLM Task Knowledge in Human-Editable Rules
利用LLM生成可执行规则，实现高精度、可解释的NLP任务系统
前置知识
正则表达式（Regex）
一种用于模式匹配的文本处理工具，使用特殊字符和语法定义复杂的字符串匹配模式。例如，模式 `\d{4}/\d{2}` 可以匹配类似 '2024/07' 格式的日期字符串。正则表达式支持字符类（如 `[A-Z]`）、量词（如 `{n,m}`）、分组（如 `(?:...)`）和断言（如 `\b` 词边界）等高级特性。
RuleChef生成的核心规则就是正则表达式，理解其语法和匹配原理是读懂本文的前提。
知识蒸馏（Knowledge Distillation）
模型压缩技术，将大型教师模型的知识转移到轻量级学生模型中。传统蒸馏通过最小化学生模型与教师模型在训练数据上的输出分布差异来实现，而RuleChef采取的是符号蒸馏方式，将LLM的隐式知识显式化为可执行的符号规则。
RuleChef本质上是一种新型的知识蒸馏方法，将LLM的推理能力转化为可解释的规则系统。
弱监督（Weak Supervision）
利用不精确、可能有噪声的标注信号（如标注函数、远程监督、启发式规则等）来训练机器学习模型的技术。Snorkel是该领域的代表系统，它通过将多个弱标注器的结果加权组合来生成训练标签。
RuleChef与弱监督系统有相似之处，但区别在于RuleChef直接将规则作为最终模型而非标签来源。
研究动机
在医疗、法律、金融等高度监管领域的NLP应用中，神经网络模型的黑箱特性成为重大障碍。当预测结果无法追溯到明确的模式时，就无法通过审计或合规检查。例如，一个医疗文本分类系统如果无法解释为什么将某份病历归类为'高风险'，就很难获得监管机构的批准。现有的人工规则系统虽然可解释，但编写和维护需要大量领域专业知识，劳动密集度高。例如，为一个法律文档NER系统手动编写规则需要识别各种实体模式、处理边界情况并持续更新以覆盖新案例。
本文的目标是本文提出RuleChef框架，旨在将大语言模型的强大推理能力与规则系统的透明性和确定性结合起来。具体目标包括：从任务描述和少量标注示例自动生成可执行的符号规则；通过迭代改进机制提升规则质量；支持人类专家的直接反馈和修正；最终产出快速（推理延迟约1毫秒）、可检查、可编辑的规则系统，用于文本分类、命名实体识别、关系抽取等NLP任务。
与已有工作不同的是，与现有方法相比，RuleChef的独特之处在于：它将LLM仅用于学习阶段的规则生成和修补，推理阶段完全依赖符号规则执行，实现了学习时LLM使用与推理时确定性执行的分离；与直接提示LLM进行推理相比，RuleChef生成的规则系统推理成本几乎为零，且决策过程完全透明可查；与传统弱监督系统不同，RuleChef不生成训练标签供下游分类器使用，而是直接将规则作为最终模型；与需要大量人工的交互式规则系统相比，RuleChef大幅降低了人工编写规则的工作量。
核心方法
RuleChef的整体思路是将大语言模型转化为规则引擎的'编写者'而非'执行者'。系统接受任务定义（输入输出模式、任务类型）和监督信号（标注示例、人工修正、反馈文本）作为输入，经过合成、评估、聚类、修补、接受等步骤，最终输出一个由多个高精度规则组成的规则集合。关键设计是将数据分为训练集和开发集，只有在新规则能提升开发集性能时才接受，防止过拟合。每个规则都记录其在开发集上的精确度，推理时通过优先级和精确度解决冲突。
核心创新点在于将LLM的推理能力蒸馏为可执行的符号规则，同时保持规则的精确度和可解释性。与神经模型的端到端学习不同，RuleChef采用显式的验证循环：每轮修补后，新规则必须在开发集上通过F1不下降或精确度提升的检验。这种约束确保生成的规则具有泛化能力而非记忆训练数据。另一个关键创新是'观察模式'，可以从现有LLM的输入输出对中自动学习规则，无需预先标注数据，实现了从黑箱模型到透明规则的无缝迁移。
方法步骤详情
RuleChef的完整流程包括以下步骤：（1）规则合成：根据任务描述、标注示例和可选的regex提示（由grex工具从示例字符串推导），使用合成提示请求LLM生成初始规则集。对于多类任务，为每个类别单独生成规则，避免类别间干扰。（2）规则评估：将规则在开发集上运行，记录每个规则的精确度、召回率和匹配数。（3）失败聚类：对于NER类任务，失败模式包括漏匹配（missed span）、误匹配（spurious span）、错误类型等。将失败样本按签名聚类，提取每种失败模式的代表性样本。（4）规则修补：将当前规则集、失败样本和人工反馈组合成修补提示，请求LLM生成新的或修改后的规则来修复失败。（5）接受过滤：新规则只在开发集上通过性能检验时才被接受。修补规则只能访问训练数据，开发集仅用于决定是否接受。（6）冲突解决：当多个规则重叠或冲突时，执行器保留高优先级规则的匹配结果，平局时根据开发集精确度决定。（7）剪枝：通过留一法测量每个规则的边际贡献，移除不影响整体F1的低效规则。对于智能协调模式，额外的协调器代理会分析性能指标、批评规则质量并决定是否继续迭代。
技术新颖性
RuleChef的技术新颖性体现在多个方面：首先，它提出了'学习时LLM使用与推理时确定性执行分离'的范式，这与传统的LLM推理或神经模型微调有本质区别；其次，引入了基于开发集精确度的冲突解决机制，用威尔逊下界（Wilson lower bound）调整低样本规则的精确度估计，避免偶然正确的低质量规则；第三，设计了完整的智能协调架构，包括细化协调器、规则批评者、规则审计和学习触发决策等多个专用代理，每个代理有专门的提示模板；第四，提出了观察模式，可以从生产环境中LLM的输入输出对自动学习规则，支持任务发现和增量学习。
实验结果
在TAB数据集的600个测试块上，RuleChef在格式类型（CODE、DATETIME、QUANTITY）上达到78.7 F1，语义类型（PERSON、ORG、LOC、DEM、MISC）上达到47.8 F1。与直接LLM提示（1500毫秒/文档）相比，RuleChef推理延迟仅0.6毫秒/文档，精确度在所有系统中最高（格式类型89.1，语义类型75.7）。在官方TAB测试集（127个完整文档）上，RuleChef的token级精确度0.738、直接标识符召回率0.830，优于RoBERTa baseline（精确度0.441），虽低于fine-tuned Longformer（精确度0.836、召回率0.919），但在可解释性方面有根本优势。Banking77数据集上，RuleChef在25类意图的200个查询上达到75.1 F1，精确度97.6，仅使用少量标注示例。观察模式实验显示，从10个LLM观察样本开始，精确度0.93、召回率0.19；50个样本后精确度0.96、召回率0.50，展示了无需标注即可迁移能力的潜力。人工反馈修复实验中，对QUANTITY类的一条反馈句子（'不要匹配类似1432/03的数字/数字模式——那些是案件编号，不是数量'）使F1从5.7提升到35.6，提升了29.8个百分点，证明人类专家知识可以有效融入规则系统。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TAB数据集NER（格式类型） | F1分数 | 78.7 | GLiNER2 71.8 | +6.9 |
| TAB数据集NER（语义类型） | F1分数 | 47.8 | GLiNER2 37.6 | +10.2 |
| TAB数据集NER（精确度） | token级精确度 | 0.738 | RoBERTa 0.441 | +0.297 |
| Banking77意图分类 | F1分数 | 75.1 | DeBERTa-v3 96.5 | -21.4 |
| TAB人工反馈修复 | F1提升（QUANTITY类） | +29.8 | 无基线 | N/A |
局限与改进
作者承认的主要限制包括：定量结果基于单次运行和固定划分，重复实验显示F1性能有约±3个百分点的波动，报告的是代表性实验而非多次运行平均值；所有实验使用英文文本和单一LLM家族（Kimi-K2）；对于格式类型实体，单次LLM调用就能生成接近最佳水平的规则集，但对于语义类型实体，初始规则系统几乎无用，需要大量迭代改进；智能协调的效果因迭代次数而异，3次迭代导致性能下降，8次迭代产生更优系统但无法恢复格式类型的原始最佳性能；系统存在固有的非确定性，这是由LLM的迭代提示特性决定的；规则系统对训练分块和采样策略敏感，接受标准也影响最终质量。
独立分析的弱点
RuleChef在召回率方面表现较弱，尤其是在语义类型实体上（TAB语义类型召回率仅34.9），这限制了其在需要高覆盖场景的应用。系统的非确定性导致每次运行结果可能不同，缺乏可复现性保证，这对于生产环境部署是个问题。对于复杂语义模式，规则表达力有限，LLM生成的规则往往过于依赖训练数据的表面特征，难以泛化到未见过的语言现象。开发集依赖意味着需要留出部分数据用于验证，在数据稀缺场景下可能影响最终规则质量。智能协调的多代理架构复杂，增加了系统调试和优化的难度。改进方向可以包括：引入更复杂的规则表达语言（如支持上下文依赖的文法规则）；开发更稳定的规则生成策略，减少对LLM随机性的依赖；探索主动学习策略，更智能地选择需要人工标注的样本。
未来方向
作者提出的未来研究方向包括：深入评估RuleChef各种方法在不同领域、体裁和数据集上的效用差异；系统评估LLM选择和提示设计对规则学习过程的影响，以及模型偏见如何影响最终规则系统；探索不同分块和采样策略对迭代改进的影响；研究在约束条件下（如输入格式、内容限制）的人类反馈形式和内容；评估智能协调在不同任务类型中的适用性，开发更独立的规则评估和批评模型。基于论文成果可延伸的方向包括：将RuleChef扩展到更多NLP任务类型，如关系抽取、事件抽取、情感分析等；探索规则与神经模型的混合架构，让规则系统处理高置信度案例，LLM处理复杂案例；研究规则的迁移学习和领域适应能力；开发规则的可视化和调试工具，降低人类专家理解和修改规则的门槛。
复现评估
RuleChef以Apache 2.0许可证开源，包含复现实验结果所需的所有代码。论文中详细描述了数据集划分、模型配置和评估指标。TAB数据集和Banking77数据集均为公开可用的基准数据集。算力需求主要来自LLM调用，TAB实验使用了约20次LLM调用，耗时约12分钟。对于复现者，主要挑战在于LLM API的成本和访问限制，以及非确定性导致的结果波动。代码和提示模板的完整发布（附录中展示了所有11个提示模板）有助于复现和扩展研究。但需要注意的是，由于LLM服务本身可能随时间变化，完全复现实验结果可能存在挑战。
论文图表
展示了Banking77数据集200个开发集查询上的结果。LLM prompting精确度98.0、召回率98.0、F1 98.0；Zero-shot NLI（DeBERTa-v3）F1 96.5；LogReg（MiniLM emb.）F1 95.0；RuleChef（few-shot）覆盖62.5%、精确度97.6、召回率61.0、F1 75.1。观察模式下，10次调用后覆盖20.5%、精确度92.7、召回率19.0、F1 31.5；25次调用后覆盖42.5%、精确度95.3、召回率40.5、F1 56.8；50次调用后覆盖49.5%、精确度96.0、召回率49.5、F1 63.6。
这个表格展示了RuleChef在分类任务和观察模式上的性能，证明了其在无需标注数据的情况下从现有模型学习规则的能力，以及对推理成本的显著降低。