ScheMatiQ：通过交互式模式发现从研究问题到结构化数据 ScheMatiQ: From Research Question to Structured Data through Interactive Schema Discovery
面向研究问题的LLM驱动结构化数据自动提取框架
前置知识
观察单元（Observation Unit）
研究问题所指的核心实体类型，决定数据表的行粒度。如法律问题指向'最高法院大法官'，生物学问题指向'单个蛋白质'，不同问题在同一语料上会得到完全不同的行结构。
ScheMatiQ 三阶段流水线的第一步就是识别观察单元，它决定了后续模式生长方向与最终表格形状，是本文最核心的建模对象。
模式发现（Schema Discovery）
由 LLM 在文档集合上自动归纳出能回答研究问题的字段集合，替代传统专家手工设计标注模式的工作流；输出每个字段含定义、加入理由与取值类型。
是 ScheMatiQ 的第二阶段，模式质量直接决定抽取表能否支持下游统计分析，也是本文与人工标注 baseline 对齐的关键评估对象。
人在回路（Human-in-the-Loop）
系统在观察单元、模式与抽取值三个阶段均提供可编辑接口，领域专家可对 LLM 提议进行增删改，形成'AI 提议—专家审核—回流迭代'的协作闭环。
是 ScheMatiQ 区别于端到端 LLM 系统的核心设计原则，确保学术场景下输出可被审稿、可被修改、可被回溯。
证据约束抽取（Evidence-grounded Extraction）
模型抽取每个字段值时必须给出原文支撑片段，无明确证据则弃抽（abstain），每个输出单元格附原文引用，保证结果可追溯可验证。
是 ScheMatiQ 在严肃学术场景下区别于普通 LLM 信息抽取的关键约束，使每个值都可被人工核查证据。
研究动机
现有方法在跨学科研究问题驱动的结构化数据构建中存在严重瓶颈：研究者通常需要先从上百篇文档中手工设计标注模式（schema），再由研究助理大规模逐篇标注，整个流程耗时数人年且容易引入人为错误。以法律学者研究'不同美国总统任命的法官在移民禁制令案件上的裁决倾向'为例，需要先定义'任命总统''裁决结果'等字段并穷举标注 89 份判决书；计算生物学家判定'蛋白质是否含核输出信号'则需手工标注 96 篇论文中的蛋白质与受体。当前的 LLM '深度研究'系统主要服务检索而非穷尽式结构化处理，输出难以交互、修改并回溯到原文，无法满足学术研究对可验证结构化数据的需求。
本文的目标是本文目标是把'从研究问题到结构化数据库'的传统人工两步流程合并为一个端到端、人机协作的 LLM 流水线。具体而言，系统在给定自然语言研究问题与文档集合后，应自动识别观察单元类型、自动归纳与问题相关的字段模式、对每篇文档抽取模式字段对应的值与原文证据，并在每一步都让领域专家可以介入修改。最终交付一个开源框架 ScheMatiQ 与公开 Web 界面，使法律、生物等不同学科专家都能用自己的问题与语料运行该工具，NLP 研究者也能把它作为长上下文处理、效率优化与交互界面设计的研究测试床。
与已有工作不同的是，已有工作各有侧重但都存在缺口：早期 text-to-table 方法需要大量监督对且不结合用户查询；文献综述类工作（Newman et al., 2024；Padmakumar et al., 2025）行粒度停留在论文层面，无法回答'跨文档实体级'问题；查询驱动的 Jiao et al. (2023)、SCIDASYNTH (Wang et al., 2025)、SCHEMA-MINER (Sadruddin et al., 2025) 要么仅处理单文档、要么依赖领域规约而非具体研究问题、要么只产出可复用本体而非针对具体问题的模式。ScheMatiQ 的独特切入点是同时以'自然语言研究问题'和'完整文档集合'为输入，由 LLM 自动发现观察单元并生成查询相关模式，再以'严格证据约束 + 人在回路'保证学术可验证性，从而填补'面向具体研究问题、可交互、可追溯'的空白。
核心方法
ScheMatiQ 的整体思路是让 LLM 扮演'研究助理'角色，把传统由专家手工完成的模式设计与数据标注拆成三个可验证的阶段，并用 Web 界面让专家在每一步都能介入。技术上用 Gemini-2.5-flash 负责观察单元与模式发现，Gemini-2.5-flash-lite 负责大规模结构化抽取，整体成本约 1 美元/100 篇文档；通过分层 prompt 把'识别行级实体 → 归纳字段 → 单次填表 + 缺失字段定向追问'的子任务串联起来，每个填出的单元格都附带原文证据片段作为 evidence，形成可直接做统计分析的表格输出。
ScheMatiQ 与已有方法最本质的区别在于'问题—文档—行级单元'三者的紧密耦合：传统工作流中专家先拍脑袋定模式再标注，ScheMatiQ 则是先用 LLM 从问题中推导出观察单元类型（如'最高法院大法官'还是'案件'），再让模式围绕该单元去生长；模式发现阶段以'分批喂入文档—询问是否需要新增/修改字段'为迭代核心，每字段输出定义、加入理由与取值类型三类元信息，使专家可低门槛审核；抽取阶段引入'严格证据约束'（无原文支撑即弃抽）并要求每个单元格附原文片段作为 evidence，把'猜'与'查'明确分离，配合交互界面把'AI 提议—专家审—回流'循环做实。
方法步骤详情
ScheMatiQ 流水线共三步。第一步是观察单元发现：把专家的研究问题与一批文档拼成 prompt，调用 Gemini-2.5-flash 让模型回答'问题要求以什么类型的实体为一行'，输出包含单元类型、文本中的呈现方式与若干示例，Web 界面允许专家直接改写或手动指定。第二步是模式发现：迭代式地逐批把文档喂入 LLM，反复询问'是否需要新增/精化字段'，每轮返回每个候选字段的自由文本定义、为何能回答研究问题的 rationale、以及是否数值/枚举/自由文本的取值约束；迭代直到没有新字段或文档耗尽，专家可执行字段增删合并与'增量发现'——追加新文档后再触发一轮。第三步是结构化抽取：对每篇文档先识别该文档涉及的全部观察单元实例，再对每个实例一次性尝试填齐所有模式字段，对未填出的字段做针对性追问；任何字段只有当文本中存在明确支撑时才输出值，否则留空，每个输出单元格都附 evidence 原文片段。
技术新颖性
技术上的新颖性集中在三点：（1）把'观察单元发现'显式建模为流水线的第一阶段，使不同研究问题在同一语料上自然产生不同粒度的表格（法官级 vs 案件级），这一思想在 text-to-table 与文献综述类工作中均未被显式建模；（2）模式归纳采用'按批喂入文档—询问是否新增字段'的多轮迭代框架，输出每个字段的三元组（定义 / rationale / 取值类型）作为审阅友好的中间表示，比 LLM 直接吐表格更可解释；（3）抽取阶段在'单次填表 + 缺失字段定向追问'上分两步走，并以'严格证据约束'（无原文支撑则 abstain）保障学术可追溯性，每单元格附 evidence 的设计让 ScheMatiQ 不是'在猜而是在查'。
实验结果
作者在两个真实领域对 ScheMatiQ 进行端到端评估。法律域基于 Klerman (2025) 的 89 份美国移民禁制令判决书、研究问题'不同总统任命的法官裁决倾向是否不同'：法官识别召回 97.5%、精确率 82%，模式几乎覆盖人工 schema 中除两个笼统字段外的所有字段，并新增'判决法律依据''禁制令范围''被挑战的总统政策'等被专家评 3.6/5 相关度的新字段。生物域基于 NESdb 96 篇论文、问题'蛋白质是否含核输出信号及证据强度'：识别出 87% 蛋白质，模式字段被评 4.2/5 相关度。值抽取精度（Table 1）方面，生物域'输出受体' $P=97.4\%$、$R=90.7\%$，'检测方法' $P=98.4\%$、$R=75.9\%$，'源生物' $P=70.9\%$、$R=64.8\%$；法律域'法院级别' $P=100\%$、$R=100\%$，'判决日期' $P=97.2\%$、$R=97.0\%$，'判决/投票' $P=99.2\%$、$R=91.6\%$。错误集中在多实体文档漏检与'命名粒度不归一'。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 生物域：输出受体字段值抽取 | Precision / Recall | P=97.4%, R=90.7% | 人工标注 NESdb | 全自动流水线精度近 98%，相对纯人工节省数人月 |
| 生物域：检测方法字段值抽取 | Precision / Recall | P=98.4%, R=75.9% | 人工标注 NESdb | 高精度低召回，证据缺失时主动弃抽 |
| 生物域：源生物字段值抽取 | Precision / Recall | P=70.9%, R=64.8% | 人工标注 NESdb | 受表面形式 vs 归一化名差异影响最严重 |
| 法律域：法院级别字段值抽取 | Precision / Recall | P=100.0%, R=100.0% | 人工标注 Klerman 2025 | 对结构化字段达到 100% 一致 |
| 法律域：判决日期字段值抽取 | Precision / Recall | P=97.2%, R=97.0% | 人工标注 Klerman 2025 | 少量分歧来自人工标注中的拼写错误 |
| 法律域：判决/投票字段值抽取 | Precision / Recall | P=99.2%, R=91.6% | 人工标注 Klerman 2025 | 标签需法官立场解读，宁弃抽也不错判 |
| 观察单元识别（法律） | Recall / Precision | R=97.5%, P=82% | 人工标注法官集合 | 覆盖几乎全部法官，未提及时主动弃抽 |
| 观察单元识别（生物） | Recall | 87% | 人工标注蛋白集合 | 论文最长文档中漏检仍存在 |
局限与改进
作者在 §7 明示两条局限：一是依赖闭源 LLM（Gemini-2.5-flash/-lite），跨次运行存在小幅度随机性，无法完全复现，论文虽支持切换为本地开源模型但未在文中给出对比；二是数据隐私边界——只有用户主动 opt-in 时 ScheMatiQ 才会保存会话数据用于研究，否则不存储。从结果观察还可补充：高密度文档（提及多个观察单元的文本）漏检是召回主要瓶颈；模式归纳在仅 query 或仅 doc 输入时明显退化（Figure 6 揭示 query-only 倾向给高层泛化字段、doc-only 倾向给与问题不对齐的字段）；且文章自己也承认'人类标注 schema 受可行性约束、并非纯金标准'，部分差异并非错误而是专家未及标注。
独立分析的弱点
基于论文结果我观察到几处可改进点：（1）观察单元发现对单实体文档几近完美，但一篇文档含多个同类实体时漏检严重，可考虑增加'先列后判'或 self-consistency 投票机制；（2）模式归纳的'按批喂入—询问是否新增'仍可能过早收敛或重复，建议引入跨批去重与相似字段聚类，并显式控制字段粒度；（3）值抽取对表面形式与归一化名（如 'HPV-11' vs 'Human papillomavirus type 11'）的差异无显式处理，引入字典/本体后处理或枚举-别名字典能显著降低'源生物'这类字段的归一化误差；（4）模式评估仅给出相关性打分与图示，缺少与 baseline（如 LLM 直接生成表、固定 schema 抽取）在端到端数值上的对比，削弱了说服力。
未来方向
作者在结论与相关工作中指出未来可针对'高密度文档'专门优化模式与抽取策略，并鼓励 NLP 研究者把 ScheMatiQ 作为长上下文处理、效率、UI 设计的测试床。延伸方向上，可考虑：（a）支持多模态输入（论文 PDF + 图表），把 PDF/图像版协议纳入观察单元识别；（b）引入'专家主动反馈微调'——把专家对字段与单元的修改回流为后续文档的 in-context 演示；（c）拓展到增量场景下'模式漂移'追踪，对比不同时间切片模式稳定性；（d）把 abstention 阈值与'补证问题生成'结合，对无明确证据的字段让系统自动反问'请提供更多上下文'；（e）将模式归纳形式化为带先验的贝叶斯选择问题，引入 $\Pr(\text{new field} \mid \text{docs, query})$ 的显式评分以控制字段增长。
复现评估
ScheMatiQ 已开源并提供公共 Web 界面（论文 §1 注明 www.ScheMatiQ-ai.com），承诺开放源码、演示视频与 Web 入口；论文 §4.1 给出明确实验配置：观察单元与模式发现使用 Gemini-2.5-flash，结构化抽取使用 Gemini-2.5-flash-lite，全部依赖 together.ai 提供的 API，用户可替换为任意兼容模型并提供密钥。语料方面，法律域使用 Klerman (2025) 公开的 89 份判决与人工标注，生物域使用公开的 NESdb 数据集。复现难度集中在闭源 API 的随机性与算力依赖上（每次实验约 1 美元/100 篇），整体可在单 GPU/CPU 笔记本上完成 prompt 与界面交互的复现；但端到端数值结果会因 API 版本更新而出现小幅度漂移。
论文图表
同一份判决书集合在两个不同问题下分别被结构化为法官级行（每行一位大法官）与案件级行（每行一个法庭裁决），生成截然不同的 schema 与表结构。
直观论证'观察单元'这一概念为什么必须是显式建模的阶段，是论文 motivation 部分最关键的示例图。