EvoOntology：面向数据智能体的自演化本体层

把本体做成可按需查询的MCP工具，经归因-补丁-配对验证闭环自演化，弥合智能体与异构数据的鸿沟

前置知识

语义层与本体的区别与联系

本体显式表示领域概念及其关系；语义层是把业务概念落地到物理数据的元数据层。语义层定义实体、指标、口径等，供BI工具统一取数。传统语义层多为静态提示时元数据，而本文的本体是运行时可交互、可被工具访问、可自我修订的版本化状态。

本文的核心贡献就是把静态语义层升级为可交互、自演化的本体层，理解两者的差异是理解全文动机的前提。

MCP（Model Context Protocol）

MCP是一种让LLM智能体在运行时发现并调用外部工具/资源的标准协议。服务端把能力封装成一组工具（含名称、参数、返回格式），智能体在会话中按需发起调用并拿到结构化结果，而不是把所有信息一次性塞进提示词。

EvoOntology把整个本体封装为MCP server，只暴露browse和resolve两个工具加一个会话清单，这是它区别于'整层注入提示'的关键工程形态。

ReAct智能体框架

ReAct让LLM在'思考-行动-观察'的循环中交替进行推理和工具调用：模型先写出当前推理，再发起一次工具调用，观察返回结果后继续，直到给出最终答案。它是目前数据智能体评测中最常用的统一骨架。

论文所有实验都用相同的ReAct脚手架、原始数据工具和解码配置，以保证性能差异完全来自本体层而非框架差异。

Text-to-SQL与EX/VES指标

Text-to-SQL是把自然语言问题翻译成可执行SQL的任务。EX（Execution Accuracy）比较执行结果与金标准答案是否一致；VES（Valid Efficiency Score）在正确性基础上奖励更高效的查询。BIRD是该方向最常用的真实数据库基准。

BIRD是论文三大评测之一，EX/VES两个指标的分离恰好揭示了静态语义层'提升SQL合法性却伤害正确性'的现象。

双折互惠评估（split-and-swap）

把数据集切成互斥的A、B两折：A→B方向用A的70%做本体构建与演化、30%做配对验证，本体冻结后在B上测试；再反向做B→A，最终报告两次得分的均值。这是Dietterich(1998)提出的经典统计检验设计。

论文把本体构建与演化视为'训练时工作负载适配'，该协议保证测试折的答案与评估反馈从未泄露进本体，防止自演化变成对评测集的过拟合。

轨迹归因（Trajectory Attribution）

从智能体执行历史中提取反复出现的'签名'（失败模式）：每个签名概括一种交互模式、涉及的本体对象和观察到的结果，再判断该缺陷应归因于内容层（缺概念/映射）、工具层（清单/接口问题）还是模式层（对象模型不足）。

归因是自演化循环的引擎：它决定了补丁打在哪一层、实现何种假设，消融显示去掉归因会损失6.3分。

研究动机

数据智能体要在表格、CSV、文档、数据库、图表、日志等异构数据上完成自然语言任务，但数据物理上位于智能体外部，智能体只能通过SQL接口、文件读取器等通用工具访问，且数据的结构与内容都先验未知。于是智能体只能'盲探'：反复发出探测性查询、猜测目标概念位于哪张表哪个字段、翻看可能毫不相关的内容。现有两条路线各有硬伤：raw-querying路线（DIN-SQL、MAC-SQL、CHESS等text-to-SQL智能体）在小型简单数据源上有效，但面对宽表和跨数据库/表格/文件异构场景容易陷入重复低效探索，一次轨迹中发现的落点信息也被丢弃而非留存；语义层路线（OWL、dbt metric layer、knowledge card等）提供人工维护的元数据，但把整个层注入上下文在大型数据源下受上下文长度限制不可行，且语义层预定义、静态，构建成本高，无法随新数据源、新任务和新智能体行为适配。论文实验直接量化了后者的问题：把builder生成的语义层作为静态提示注入（Baseline+SL），在DDR-Bench上Claude-Sonnet-5的Trajectory-Wise准确率反而从72.5%跌到57.5%（-15.0分），因为静态提示会与智能体的其他指令互相竞争且无法按回合裁剪。

本文的目标是本文要在智能体与异构数据之间建立一个新的中间层：一个自动构造、无需人工维护、自演化的交互式本体层。它要同时满足四点：其一，显式表示领域概念（Terms）、概念到物理字段与连接路径的映射（Mappings）、约束使用条件的业务规则（Constraints）以及支撑语义主张的数据证据（Evidence）；其二，不只作为提示元数据被动注入，而是封装成MCP server，让智能体在运行时用browse/resolve主动查询、按需取用相关语义；其三，能从智能体的历史交互轨迹中学习——成功轨迹揭示有效的语义结构与访问模式，失败轨迹暴露缺失、误导或暴露不当的组件，并据此自动修订本体；其四，每一步修订都要经过严格的配对验证门控，保证演化只接受被验证有益的局部改动，从机制上弥合'智能体-数据鸿沟'（agent-data gap）。

与已有工作不同的是，本文的独特之处在于三个视角转换。第一，把'语义层'从静态提示时元数据变成运行时可交互对象：已有语义层无论人工编写还是自动归纳，都与下游轨迹脱节，全量注入不可扩展，粗粒度更新也无法定位是哪条语义条目影响了下游决策；EvoOntology则让本体以两个MCP工具暴露，智能体每步只检索当前相关的术语和映射。第二，把智能体交互轨迹当作'行为证据'而非一次性垃圾：跨任务反复出现的失败签名被归因到内容、工具或模式三个可编辑层级之一，再做只改动单层的类型化局部补丁——这不同于自由重写整个语义层或简单把历史存进记忆库。第三，把本体构建与演化当作训练时工作负载适配问题，借用了提示优化领域的held-out协议：候选补丁必须在与父版本完全相同的解码与交互预算下、在同一验证集上取得不小于margin $\tau$ 的提升才被接受，且每个LLM骨干独立演化出自己的本体。

核心方法

直觉上，EvoOntology给智能体的不是'堆满书的仓库'，而是'带卡片目录、且目录会根据读者借阅记录自我修订的图书馆'。技术路线分三块。首先，本体状态被建模为版本化三元组 $L_t = (S_t, \Gamma_t, R_t)$：内容层 $S_t$ 是带类型的语义图，含四类节点（Terms、Mappings、Constraints、Evidence）和两类边（Semantic Relations关联/层次/组成/等价/派生，Structural References把Term挂到Mapping并把Constraint、Evidence附着到其治理对象上）；模式层 $\Gamma_t$ 定义节点字段、合法的语义关系类型和引用模式，更新它可以扩展本体的表达能力而不动实例内容；工具层 $R_t$ 通过 $f_{\text{browse}}(q,k,n)$ 返回查询q在类型k下的前n个语义匹配、$f_{\text{resolve}}(I,c)$ 返回指定记录及其关联对象，外加一份会话初始化时注入的紧凑manifest——这是唯一进入提示词的本体内容。其次，builder agent在不看金标准答案的前提下，从训练工作负载和原始数据源出发，通过探针查询构建证据落地的初始本体。最后，evolution agent对部署轨迹做归因分析，提出仅改动单层的候选补丁，经骨干条件配对验证门控后才合入，形成持续自我演化的闭环。

核心创新是与已有方法的三个本质区别。一是'主动查询而非被动注入'：静态语义层（Baseline+SL）作为提示片段与智能体其他指令竞争、无法按回合裁剪，而EvoOntology把同样的内容通过MCP工具暴露，智能体每回合只取回当前步骤相关的术语、映射和约束，这解释了为何在Claude-Sonnet-5上静态注入掉15.0分而交互式本体涨8.8分。二是'轨迹摊销'：raw-querying智能体在一条轨迹里发现的schema落点通常被丢弃，EvoOntology通过归因把失败经验转化为持久的类型化语义结构，这是它比ReAct+Memory（只重放已发生的事件、不暴露可组合的类型化结构）在DDR-Bench上高出13.7分的根本原因。三是'选择性而非单纯迭代式'的演化：每轮候选只基于一个归因假设、只改动一个层级，且必须通过公式 $L_{t+1} = L'_t$ 当且仅当 $\phi(L'_t, V; m) - \phi(L_t, V; m) \geq \tau$ 的配对门控，否则回滚；被拒补丁连同其签名与干预记录在案以防重复无效更新。消融证明门控是最承重的部件（去掉掉11.2分），远超'多迭代几轮'的价值。

方法步骤详情

整个流程分初始化与演化两个阶段。初始化：输入训练工作负载 $W$ 和原始数据源 $D$，builder先提出候选概念集 $C = \text{propose}(W)$（来自反复出现的实体、指标、操作和分析条件）；对每个 $c \in C$ 发出探针 $\text{probe}(c, D)$ 识别候选字段和连接路径并检查类型、取值和语义一致性；只有通过 $\text{verify}(\cdot)$（检查声明类型、过滤条件和值分布）的候选被提交，即 $C^+ = \{c \in C \mid \text{verify}(\text{probe}(c, D)) = 1\}$，实例化为 $S_0$ 并保留支撑记录作Evidence，加上默认工具层形成 $L_0$。演化阶段循环四步：第一步诊断，演化agent从历史轨迹 $T_t$ 提取反复出现的签名 $\Sigma_t = \text{analyze}(T_t, L_t)$，每个签名概括交互模式、涉及对象与结果；第二步归因，通过 $\alpha: \Sigma_t \to \{C, T, S\}$ 给签名标注应修复的层级并陈述期望的行为效果；第三步局部干预，生成 $L'_t = \text{patch}(L_t, \sigma, \alpha(\sigma))$，内容级增删改语义对象、工具级修改或增删工具、模式级修订对象模型，允许多个相关内容对象一起实现同一假设；第四步门控，候选与父版本在同一验证集 $V$、相同解码与交互预算下评估，达标则接受、否则回滚并记录。每个骨干从同一 $L_0$ 独立演化，使接受的模式反映骨干特定的交互习惯。

技术新颖性

技术新颖性体现在五点。其一，据作者称这是首个自主的交互式本体层：此前OWL/dbt/knowledge-card等语义表示都是静态的、提示时的，从没有过让智能体用工具在运行时查询并反过来由使用行为驱动其演化的本体。其二，演化被形式化为'归因引导的类型化编辑'而非整体重写：三层（Content/Tool/Schema）分别承载语义知识、暴露方式和对象模型，单层干预把因果假设与修改解耦，消融显示三层互补不可替代（仅工具+13.2、仅内容+8.7、仅模式+3.6，全部+20.0）。其三，证据落地是硬性要求：每个提交的条目必须锚定在探针查询的观测上而非自然语言描述，去掉Evidence节点族损失8.7分，因为智能体无法据其校验SQL片段与底层值分布。其四，骨干条件门控产生'每个模型自己的本体'：不同骨干接受的Term标识符Jaccard重叠不超过0.62，跨骨干迁移至少掉6.6分，说明演化确实捕获了骨干特异行为而非通用语义。其五，成本上呈现'用少换多'：每回合上下文从3.2K涨到4.6K token，但每任务回合数从14.6降到8.4，总token从52.6K降到42.0K（约省20%），同时性能从69.5升到89.5。

**Figure 2**: Overview of EvoOntology. It comprises a typed content graph, its object schema, and a runtime tool interface. The builder constructs an evidence-grounded initial state, while the evolution agent refines it from historical interaction trajectories.

**Figure 8**: Evolution of the ontology for a card-legality task.

实验结果

论文在DDR-Bench（10-K场景，报告Message-Wise与Trajectory-Wise准确率）、InsightBench（Insight与Summary分）和BIRD（Oracle Knowledge设定下的EX与VES）上，用六个骨干（GPT-5.5、GPT-5.6-sol、Claude-Sonnet-5、Claude-Opus-4.8、DeepSeek-V4-Flash、Qwen3.5-Flash）做了评测。表1：DDR-Bench上EvoOntology在全部六个骨干提升Traj-Wise，平均+17.8分，从GPT-5.5的+26.7（64.2→90.9）到Qwen3.5-Flash的+4.8（14.3→19.1）不等；GPT-5.6-sol 68.5→93.5、Claude-Opus-4.8 73.0→92.3、DeepSeek-V4-Flash 30.3→52.3；而Baseline+SL不稳定，Claude-Sonnet-5上暴跌15.0分。表2：ReAct+Memory仅把69.5提到75.8（+6.3），比EvoOntology的89.5低13.7分，说明情景记忆只重放历史、不提供类型化可组合结构。表3：InsightBench平均Overall增益1.9分，DeepSeek-V4-Flash最大+6.1（39.8→45.9）；静态SL在Claude-Sonnet-5的Summary上掉3.3分，EvoOntology则在四个骨干上Insight与Summary双双提升。表4：BIRD上EX平均+7.4、VES平均+8.6，Claude-Opus-4.8达78.3/80.5；静态SL的EX最多掉5.6（GPT-5.5 61.5→55.9）而VES全升，说明静态层改善SQL合法性却干扰正确性。图3分解Baseline→Initial→Evolved：DDR上先+12.3再+7.7，BIRD先+5.1再+3.7，Insight先+0.8再+0.2。图4显示各骨干随接受轮次单调上升（GPT-5.6-sol五轮到93.5）并在后两轮趋平。表5-7的消融与图5-7的分析进一步定位了机制（见下）。表8显示演化把每任务总token从52.6K降到42.0K。

**Table 1**: Main results on the DDR-Bench 10-K scenario. Parentheses report the gain over the Baseline result.

**Table 2**: Comparison against a memory-based persistence baseline on DDR-Bench, averaged across the four backbones.

**Table 3**: Main results on InsightBench. Parentheses report the gain over the corresponding Baseline result.

**Table 4**: Main results on BIRD under Oracle Knowledge. VES is reported on a 0-100 scale. Parentheses report the gain over the corresponding Baseline result.

**Table 5**: Ablation on the four steps of the evolution loop, averaged across four backbones.

**Table 6**: Ablation on the three editable levels of the evolution loop on DDR-Bench, averaged across four backbones.

**Table 7**: Ablation on the five object families of the ontology content layer on DDR-Bench, averaged across four backbones.

**Table 8**: Cost of the ontology layer on DDR-Bench, averaged across the four-backbone analysis subset.

**Figure 3**: Primary metric on the three benchmarks under three conditions: Baseline, Initial, and Evolved (EvoOntology).

**Figure 4**: Primary metric across accepted evolution rounds on the three benchmarks: Traj-Wise on DDR-Bench, Insight on InsightBench, and EX on BIRD.

**Figure 5**: Generalization of the evolved ontology store across backbones on DDR-Bench.

**Figure 6**: Content-Layer Growth across Evolution Rounds

**Figure 7**: Distribution of the accepted evolution gain across Content, Tool, and Schema edits on DDR-Bench.

查看结构化数据

任务	指标	本文	基线	提升
DDR-Bench 10-K 深度数据研究（多源异构数据研究）	Trajectory-Wise 准确率 (%)	平均 +17.8；最好 GPT-5.5 90.9（+26.7）、GPT-5.6-sol 93.5（+25.0）、DeepSeek-V4-Flash 52.3（+22.0）	ReAct 无本体：GPT-5.5 64.2、GPT-5.6-sol 68.5、DeepSeek-V4-Flash 30.3；静态语义层在 Claude-Sonnet-5 上反而 57.5（-15.0）	六骨干全部提升，平均 +17.8 分，比 ReAct+Memory（75.8）高 13.7 分
InsightBench 商业洞察挖掘	Overall (Insight/Summary 均值, %)	平均 +1.9；DeepSeek-V4-Flash 45.9（+6.1）、Claude-Opus-4.8 53.2（+0.8），四骨干 Insight 与 Summary 双升	ReAct 无本体：DeepSeek-V4-Flash 39.8、Claude-Opus-4.8 52.4；静态SL在 Claude-Sonnet-5 Summary 上 -3.3	提升较小（Insight 按短参考式发现打分易饱和），但方向一致且无回退
BIRD Text-to-SQL（Oracle Knowledge 设定）	Execution Accuracy EX (%) 与 Valid Efficiency Score VES	EX 平均 +7.4、VES 平均 +8.6；Claude-Opus-4.8 EX 78.3（+10.8）/VES 80.5（+10.9），Qwen3.5-Flash VES 55.2（+7.3）	ReAct 无本体：Claude-Opus-4.8 EX 67.5/VES 69.6；静态SL EX 最多 -5.6（GPT-5.5）但 VES 全升	正确性与执行效率同步提升，并超过 DIN-SQL、MAC-SQL、CHESS 等既有 text-to-SQL 系统

局限与改进

作者承认的局限：InsightBench上增益明显小于DDR-Bench（平均仅+1.9），因为Insight按短参考式发现打分、答案对齐参考后即饱和，说明评测器粒度限制了可度量收益；成本与增益分布分析（图6-8、表8）只在四骨干分析子集上进行，未覆盖DeepSeek-V4-Flash和Qwen3.5-Flash；初始本体使每回合输入token从3.2K升到4.6K，manifest对弱模型可能构成额外负担。我自己的观察：其一，配对门控依赖held-out验证折上的任务得分 $\phi$，生产环境中往往没有金标准答案，如何定义验证信号（自一致性？执行成功率？LLM裁判？）论文未讨论，这是落地的最大缺口；其二，70/30双折划分在高方差的小样本任务上统计功效存疑，固定margin $\tau$ 也未报告敏感性分析；其三，本体在测试时冻结，无法应对测试时的数据漂移，Evidence记录的值分布会随数据更新过时；其四，Qwen3.5-Flash绝对成绩仍只有19.1，表明弱模型即使有本体也难以充分利用，本体收益与骨干能力强耦合；其五，演化只利用任务成败签名，忽略轨迹中的人类修正、偏好与安全约束等更丰富的信号。

独立分析的弱点

第一，验证信号依赖标注答案：门控公式 $\phi(L'_t, V; m) - \phi(L_t, V; m) \geq \tau$ 需要在30%验证折上跑成对评估，而真实企业场景很少有每任务金标准；改进方向是引入无监督代理指标（执行错误率、自一致性、答案熵）或廉价的LLM-as-judge，并研究代理信号与真实分数的相关性阈值。第二，单层编辑假设过强：归因 $\alpha: \Sigma_t \to \{C, T, S\}$ 强制每个候选只改一层，但真实故障常是跨层复合的（例如缺概念Term且manifest排序不当）；可允许多层复合补丁但要求假设绑定与分层验证，代价是搜索空间变大。第三，演化在测试时冻结：面对流式或持续更新的数据，Evidence记录的值分布和Mapping可能失效（如新增渠道字段）；应加入数据血缘追踪与失效检测，触发局部再演化。第四，工具层仅两个MCP工具加manifest，粒度较粗：图7显示工具级编辑贡献了57%的累计增益，说明'如何暴露'比'有什么'更关键，细化工具接口（如按角色/任务类型的视图）可能是下一个大杠杆。第五，跨骨干演化重复劳动：六个骨干各自独立演化成本高且互不共享；虽然图5b显示直接迁移平均掉6.6-10.9分，但可探索本体蒸馏或以合并后的超集做冷启动再微调。

未来方向

作者方向上，论文把本体构建与演化纳入held-out优化协议的框架已经打通，自然的延伸包括：把演化信号从任务分数扩展到效率、成本、安全等多目标门控；在Spider 2.0等真实企业级多模式工作流上验证扩展性。基于成果可延伸的方向：其一，本体与记忆的混合架构——表2显示类型化结构比情景记忆高13.7分，但两者正交，可用记忆承载事件历史、本体承载结构化语义，研究二者的接口；其二，多智能体共享本体与权限治理：当多个不同骨干的智能体共用一个数据资产时，如何合并、版本化与审计各自演化出的本体分支；其三，把Schema层演化与自动化数据建模、数据血缘工具（dbt、数据目录）对接，让Constraint自动继承业务口径文档；其四，理论侧分析门控循环的收敛性与验证折大小、margin $\tau$ 的样本复杂度；其五，把'骨干条件演化'思想推广到其他智能体资产（提示、工具库、检索索引）的按模型自适应维护，构建通用的agent-facing接口演化框架。

复现评估

代码已在GitHub开源（ruc-datalab/EvoOntology），三个评测基准（DDR-Bench、InsightBench、BIRD）均为公开学术基准，且论文严格遵循各基准官方评测协议与双折划分，这对复现非常友好。算力方面无模型训练，主要开销是LLM API调用：六个骨干中GPT-5.5、GPT-5.6-sol、Claude-Sonnet-5、Claude-Opus-4.8为闭源旗舰API（成本不低），DeepSeek-V4-Flash与Qwen3.5-Flash较便宜；演化阶段每轮候选都要在30%验证折上与父版本做成对评估，调用量约为基础评测的数倍，但表8显示单任务总token约42K-53K，总体属于中小规模实验。复现难点有三：MCP server与版本化本体存储的工程实现、归因签名的聚类质量（论文未给签名提取的prompt细节，需看开源代码）、以及双折协议的严格实施。综合评估：对有LLM API预算和一定工程能力的团队，复现主结果难度中等，预计一到两名工程师数周可完成；在自建私有数据上落地则需自行解决验证信号问题，难度较高。

EvoOntology：面向数据智能体的自演化本体层 EvoOntology: A Self-Evolving Ontology Layer for Data Agents