← 返回 2026-06-19

使用 LOCUS 解放法律：美国地方法规语料库 Freeing the Law with LOCUS: A Local Ordinance Corpus for the United States

Denis Peskoff, Joe Barrow, Christopher Vu, Diag Davenport 📅 2026-06-17 👍 8 2026-07-13 08:37

OCR 法律 AI 法律 NLP 联邦学习语料库构建

arXiv HuggingFace PDF

构建首个美国地方法规大规模机器可读语料库，覆盖94%人口

前置知识

Local Ordinances（地方法规）

地方法规是市县级政府制定的具体规则和条例，涵盖分区规划、住房许可、商业许可、公共卫生、噪音控制、动物监管等日常监管领域。它们不同于州法律和联邦法律，是最贴近居民日常生活的法律层面，通常由市政厅或县议会通过。

理解地方法规是本文的核心，因为论文解决的关键问题就是将这些分散、难以获取的规则系统化整理成机器可读的语料库。不掌握地方法规的特点和层级关系，就无法理解为什么要构建 LOCUS 以及其技术路线。

TrueSkill 贝叶斯技能评分系统

TrueSkill 是微软开发的贝叶斯推理系统，用于衡量玩家在竞技游戏中的相对技能水平。系统使用配对比较的结果来计算每个参与者的技能分数 mu 和不确定性 sigma，通过贝叶斯更新不断修正估计。它的核心思想是避免直接数值打分，而是通过相对比较构建全局排序。

本文用 TrueSkill 来为法律条文的四个维度（不透明度、父权主义、执行自由裁量权、问题显著性）建立评分体系。通过 200,000 次 LLM 配对比较计算每个条文的潜在分数，这比直接让 LLM 打分更符合人类判断习惯，也是论文方法的关键创新。

County-Harmonized Access Layer（县级统一访问层）

这是本文提出的数据表示抽象，为美国每个县选择一个代表性地方代码作为该县的法律代表。选择算法是透明的：如果同时存在县级法规和该县最大城市的法规，选择文档长度较长的。这样将复杂的多层法律系统简化为互斥且完备的县级地理单元，便于检索、比较和连接人口、地理、普查数据。

理解这个概念是理解论文设计意图的关键。统一访问层不是要解决法律权威层级问题，而是提供一个可复制的地理基础，使法律文本能够在大范围内被搜索、比较和分析。这种设计权衡了简洁性和法律准确性，是项目架构的核心决策。

Vision-Language Model (VLM, 视觉语言模型)

VLM 是同时处理图像和文本的多模态模型，能够理解视觉内容并生成对应的文本表示。本文使用的 LightOnOCR-2-1B 是基于 Qwen-3 的 1B 参数开源 VLM，专门在 16M PDF 页面上进行微调。它将页面图像转换为 Markdown 格式文本，正确识别单栏、双栏、扫描、导出等各种文档布局。

OCR 是构建语料库的第一步也是最关键的一步。地方法规格式极其多样，传统 OCR 工具难以处理。VLM 的使用使项目能够统一处理约 7M 页面的 9,000+ PDF，成本仅约每 1,000 页 0.30 美元，这是规模化构建语料库的技术基础。

研究动机

现有法律 AI 系统缺乏对地方法规的系统性访问，尽管这是美国法律中最具影响力的层级之一。地方法规分散在商业供应商平台上，这些平台的设计目的是供人类浏览而非批量研究访问。没有中央注册表将每个县或市映射到其托管平台，也没有供应商提供其托管的所有司法管辖区的完整机器可读索引。例如乔治城法学院图书馆评论说不幸的是，没有一个单一来源可以找到所有市政法规的全面集合。构建国家语料库需要发现每个代码的位置，通过平台特定的工作流程提取，验证生成的工件，并将它们协调到公共分析单元。

本文的目标是本文的目标是创建 LOCUS-v1，一个大规模的美国地方法规语料库和县级统一访问层，使法律研究人员能够第一次在国家范围内系统地搜索、比较和分析地方规则。语料库的原始版本包含来自 9,239 个市和县的法规，县级统一访问层为美国 3,144 个县中最大的 2,309 个县提供覆盖，代表绝大多数人口。除了文本本身，项目还提供功能、主题和四个规范维度（不透明度、父权主义、执行自由裁量权、问题显著性）的结构化元数据，支持下游法律 AI 研究和实证法律研究。

与已有工作不同的是，本文的独特切入角度是认识到地方法规不仅是另一套法规集合，而是一个分层法律权威系统。州法规、县级法规、市级法规、自治条款、章程、优先权学说和特定事项的授权都可能相互作用。对于特定问题是由州规则、县规则还是市级规则控制，在抽象层面往往不明确，可能取决于法律领域。这种理解使 LOCUS 不同于其他法律语料库项目——它不是简单地收集文本，而是创建一个基础设施，用于检索、比较和基准测试构建，为未来评估州-县-市多层法律推理的任务奠定基础。

核心方法

本文的方法是一个端到端的流水线，从数据收集到标注和发布。首先使用浏览器自动化和供应商特定的下载逻辑从主要托管平台收集市政和县级法规 PDF，原始语料库包含 9,239 个有效 PDF，总计约 80GB。然后使用 LightOnOCR-2-1B VLM 对每个页面图像运行 OCR，转换为 Markdown 格式文本。后处理流水线去除重复的页眉、页脚和页码，合并跨页的段落和表格，并将内容分割为单独的法律条文。最后使用 ModernBERT 分类器对每个提取的法律进行实质性和功能主题分类，使用 ModernBERT 回归模型为四个维度（执行自由裁量权、不透明度、父权主义、问题显著性）打分。

核心创新点是将地方法规从分散、不可机器访问的状态转化为国家规模的研究基础设施。与以往只关注案例法、合同或州法规的法律语料库不同，LOCUS 专注于地方法规这一被忽视但极其重要的法律层级。技术上的本质区别在于采用了统一的 Markdown 表示将所有格式多样化（单栏双栏、原生扫描、导出生成）的文档标准化，以及使用 LLM-as-a-Judge 配对比较结合 TrueSkill 来为法律条文建立连续的维度评分，而不是简单的分类标签。另一个本质区别是透明简化的县级统一访问层设计，不试图解决每个法律问题的权威层级，而是提供可复制的地理基础。

方法步骤详情

数据收集步骤使用浏览器自动化从主要托管平台收集 PDF，遇到服务器端 PDF 组装限制、文件名冲突、隐藏界面阈值、15 秒爬虫延迟、反机器人措施和多县合并城市等故障模式，通过针对性恢复技术处理。OCR 步骤使用 LightOnOCR-2-1B VLM（基于 Qwen-3 的 1B 参数模型）将每个页面图像转换为 Markdown，在 Modal 上批量推理运行，成本约每 1,000 页 0.30 美元。后处理步骤去除工件（重复的页眉、页脚、页码），合并跨页内容，并分割为单独的法律条文。分类步骤使用 GPT-5.4-nano 对 100,000 个法律样本进行标注，训练 ModernBERT-base 分类器（100M 参数）对每个法律进行实质性、功能（规则执行结构上下文流程）和主题（建筑商业分区滋扰其他）分类。维度评分步骤使用 GPT-5.4-nano 进行 200,000 次配对比较，使用 TrueSkill 计算每个法律的潜在分数，然后训练 ModernBERT 回归模型预测标准化的 TrueSkill 分数，使用均方误差作为损失函数。

技术新颖性

技术新颖性体现在多个方面。首先是大规模法律语料的自动化收集和标准化，将 9,000+ 格式高度多样化的 PDF 转换为统一的 Markdown 表示，这在几年前是不可行的。其次是 LLM-as-a-Judge 配对结合 TrueSkill 的维度评分方法，与直接数值打分相比更符合人类判断习惯，避免了顺序偏差问题（每个 AB 比较对也会以相反顺序 BA 判断）。第三是发现的法律法规的结构性规律：当法规按其在代码中的位置排序时，主题倾向于以稳定的序列出现：一般规定和政府结构在前面，然后是商业监管、滋扰和公共秩序规则、分区和建筑监管。这表明地方法律不是简单的规则包，而是通过循环的文档形式组织的。第四是揭示了地区差异：在全国大部分地区，县和市遵循上述功能模式，但在东北部，关系发生变化——县较少涉及分区，更多涉及执行导向，这与不同的制度历史一致。

**Figure 1**: LOCUS represents the longest digitally available code—city or county—for each county.

实验结果

实验结果显示 LOCUS 原始语料库包含来自 9,239 个市和县的代码，县级统一访问层为美国 3,144 个县中最大的 2,309 个县提供覆盖，代表美国 94% 的人口。处理后的语料库包含 2,211,516 个文本块，其中大多数被判定为实质性法律。实质性法律主要涉及四个主要类别：建筑、商业许可、分区和滋扰，其余约三分之一的法律以近 90% 的精度归类为其他。四个维度的 TrueSkill-BERT 相关性分析显示，执行自由裁量权的相关性为 r=0.872，不透明度为 r=0.909，父权主义为 r=0.822，问题显著性为 r=0.936，表明基于 BERT 的评分器在很大程度上捕获了 TrueSkill 模型的动态。维度分析揭示了有趣的宏观趋势：县平均比市更不透明，佛罗里达州的不透明度是任何其他州的两倍多。同时研究多个维度可以解锁对独特法律的新见解：不透明度和父权主义在章节之间仅弱相关（r=0.11）。包含 possession 和 alcoholic 的标题与父权主义法律相关，而 definitions 和 variances 与不透明法律相关。

**Figure 2**: Two example ordinances with predicted scores (in standard units) on four axes (opacity, enforcement discretion, paternalism, and salience.) produced by ModernBERT regressors (section 5) and function/topic labels produced by ModernBERT classifiers (section 4.4).

**Figure 3**: We annotate our corpus at the chunk level along its Function, and the substantive laws {Rules and Enforcement} according to the Topic referenced. Table 1 provides example texts.

**Figure 5**: The opacity and paternalism of laws varies across the country. LOCUS facilitates studying the laws for macro trends such as discovering that Florida law is opaque but not paternalistic.

**Figure 6**: The Pearson correlation between the predicted BERT scores and the normalized TrueSkill scores on 4 distinct test sets (1,000 ordinances per dimension).

查看结构化数据

任务	指标	本文	基线	提升
法律条文实质性和功能分类	分类精度	约 90% 精度（其他类别）	无（零基线）	首次建立地方法律分类基准
维度评分预测	Pearson 相关系数	0.822-0.936（四个维度）	无（零基线）	首次建立地方法律维度评分基准
地理覆盖	人口覆盖率	94% 美国人口（2,309/3,144 县）	无同类语料库	首个国家规模地方法规语料库
OCR 处理效率	成本	0.30 美元/1,000 页	传统 OCR 成本通常更高	规模化 VLM OCR 的成本效益证明
LLM 标注一致性	GPT-5.4-mini 与 GPT-5.4-nano 一致性	64,977/108,889 预测一致（59.7%）	无同类对比	验证了 LLM-as-a-Judge 方法可行性

局限与改进

作者承认 LOCUS-v1 被设计为访问层，而不是地方法律权威的最终理论。其县级统一版本采用透明简化：为每个县选择县级法规和该县最大城市法规中最 substantial 的可用地方代码。这种设计使地方法律可以在国家地理基质上搜索和比较，但不决定哪个规则控制特定人员、地块、企业或法律问题。在地方法律中，权威是分层的。州法规、自治条款、县级法规、市级法规、章程、优先权学说和特定事项的授权可能都重要。语料库本身显示为什么这种区别很重要：城市和县代码不是可互换的法律对象。在原始语料库中，县代码包含更多分区材料，而城市代码包含更多滋扰和公共秩序监管。这意味着管辖类型不仅仅是来源元数据，它是地方法律实质表示的一部分。此外，标注完全依赖 AI 模型而无需人工验证，可能引入系统性不准确。

独立分析的弱点

一个独立分析的弱点是文档长度作为法律覆盖率的代理存在偏差。虽然作者指出代码长度和人口相关，但法律质量和数量不是线性关系，一个县可能有很多但低质量的法规，而另一个县可能有少量但关键性的法规。另一个弱点是统一访问层忽略了县级和市县级之外的权威层级，如特别行政区、学区、交通管理局等，这些机构也具有重要的监管权力。改进方向是开发更复杂的多层表示，同时保留多个来源而不是选择一个，或者根据法律领域动态选择适当的权威层级。第三个弱点是分类器和评分器的训练完全依赖 LLM 标注，没有法律专业人士的验证，这可能在法律上重要的细微差别上引入偏差。改进方向是引入律师和法官的人工标注作为黄金标准，用于验证和改进 LLM 标注。

未来方向

作者提出的未来工作方向包括建立地方法律推理的基准测试，测试系统是否能导航多层法律、识别相关管辖权威并推理州-县或市-县重叠。另一个方向是开发专门针对地方法律的嵌入模型和信息提取系统，从法规中提取受监管活动、许可证、费用、处罚、生效日期和交叉引用的结构化信息。基于成果可延伸的方向包括扩展到其他国家的地方法律系统，如加拿大、澳大利亚、英国等，比较不同联邦制下的地方监管模式。还可以探索将语料库与人口普查数据、选举数据、经济数据等连接，研究地方法律与社会经济变量的因果关系。此外，可以开发交互式工具，使居民、企业和地方政府更容易理解和遵守地方法律，以及法律专业人士能够比较和分析不同司法管辖区的监管方法。

复现评估

LOCUS-v1 及其衍生模型已在 Hugging Face 上开源（https://huggingface.co/datasets/LocalLaws/LOCUS-v1），语料库包含覆盖元数据以支持可重复性。处理流水线使用 Modal 的分布式计算，使整个流水线能够在所有格式上高效运行。成本方面，处理约 7M 页面的 9,000+ PDF 成本约每 1,000 页 0.30 美元，总计约 2,100 美元。模型训练方面，ModernBERT-base 是 100M 参数模型，推理效率高，适合大规模应用。复现难度中等到困难，主要挑战在于需要浏览器自动化技能来处理不同供应商平台的技术障碍，以及需要 Modal 账户或类似分布式计算资源来规模化处理。文档提供了详细的处理流水线描述和分类器训练细节，但没有提供完整的爬虫代码，这可能增加了完全复现的难度。然而，作者表示打算向研究人员提供额外的 7,000 个其他城市和县的文档，需要签署发布协议类似 MIMIC 数据集，这考虑了当前 LLM 摄取政策。

论文图表

Figure 4: Processing pipeline. A corpus of more than 9,000 PDFs (7M pages total) is OCR'd into Markdown, cleaned, and segmented into individual laws. Each segment is then independently classified for function, topic, and substance and scored on four normative dimensions.

这张流程图展示了 LOCUS 的完整处理流水线，从左到右分为五个主要阶段：首先是大于 9k PDF（7M 页面总计）经过 OCR 转换为 Markdown；然后是后处理，包括连接、去除工件；接着是分割为单独的法律；然后是分类步骤，包括实质性、功能、主题分类；最后是评分步骤，包括不透明度、父权主义、执行自由裁量权、问题显著性四个维度的评分。

这张图对理解论文的方法论至关重要。它清晰地展示了从原始 PDF 到标注语料库的完整技术路线，让读者快速理解项目的复杂性和每个阶段的输入输出。这对于评估方法的可扩展性、技术挑战（如处理 7M 页面的 OCR）和工程实现（使用 Modal 进行批量推理）具有重要意义。

Table 1: Representative examples for the five Function labels and the five merged Topic labels in LOCUS. All items in the topic group are annotated as Rules or Enforcement in their function.

这个表格提供了 LOCUS 中五个功能标签（规则、执行、结构、上下文、流程）和五个合并主题标签（建筑、商业、分区、滋扰、其他）的代表性示例。每个示例都是实际的法律条文，例如规则功能示例是关于直接销售许可的规定，执行功能示例是关于代码执行官员权力的规定，建筑主题示例是关于注册设计专业人员提交技术数据的规定，商业主题示例是关于直接销售许可的规定。

这个表格对理解论文的标注方案至关重要。它提供了每个分类标签的具体文本示例，让读者直观理解功能和主题类别的语义差异。这对于评估分类器的合理性和潜在偏差，以及理解地方法律的语言特征和规范内容具有重要意义。这也展示了法律文本的多样性和复杂性，为后续的维度分析提供了基础。