面向结构化知识检索的协同自适应规则路由与规则约束框架

无需查询-规则标注，用强化学习路由器与对比学习检索器交替协同适应，实现规则约束的结构化知识检索

前置知识

结构化知识检索（STaRK-QA 设定）

在由实体和关系构成的知识库（学术图谱、生物医学图谱、商品图谱）中，根据自然语言查询检索支撑下游任务的证据。实体和关系附带丰富文本（如论文摘要、蛋白质相互作用描述），因此检索既要满足图结构约束又要做语义匹配。STaRK-QA 是覆盖电商 AMAZON、学术 MAG、生物医学 PRIME 的公开基准，指标为 Hits@1/5、Recall@20、MRR。

本文全部实验在此基准上进行，理解「文本丰富的图」这一数据形态，才能明白为什么单纯的文本匹配不够、规则约束有效。

推理规则（元路径式约束）

规则 $K$ 是在 schema 层面定义的实体类型遍历序列，如 $\text{Anatomy}\to\text{Disease}\to\text{Drug}$ 或 $\text{Paper}\to\text{Author}\to\text{Paper}$。检索时按该序列做受限深度优先遍历（DFS），把候选证据限制在规则可达的子空间内，相当于给检索注入领域推理先验。

这是全文的核心对象：路由器负责选规则、检索器负责在规则约束下检索，所有设计与实验都围绕「规则」展开。

交替/双层优化

当两个模块互相依赖（A 的输出是 B 的训练数据，B 的性能又是 A 的奖励）时，无法一次性联合优化，只能固定一方、优化另一方再交替：$\Theta_{\mathrm{RET}}^{t+1}=\arg\max\ \mathcal{L}_{\mathrm{RET}}(\cdot;\Theta_{\mathrm{RULE}}^{t})$，$\Theta_{\mathrm{RULE}}^{t+1}=\arg\max\ \mathcal{L}_{\mathrm{RULE}}(\cdot;\Theta_{\mathrm{RET}}^{t+1})$。

CoRE 的整个训练流程（式 5）就是这种交替优化的实例，先掌握它才能读懂第 4.3 节的闭环设计。

GRPO（组相对策略优化）

面向 LLM 的强化学习算法：对每个输入采样一组 rollout，用组内相对优势（减去组均值）代替价值网络估计基线，配合 PPO 式 clip 目标 $\min(r_i A_i,\ \mathrm{clip}(r_i,1-\epsilon,1+\epsilon)A_i)$ 更新策略，省去 critic，类似 DeepSeek-R1 的训练方式。

LLM-G 生成式路由器正是用 GRPO 从检索反馈学习，文中 8 条 rollout、clip、KL 系数 0.01 等细节均来自该算法。

倒数排名 RR 与 MRR

Reciprocal Rank 是正确答案在候选列表中排名位置的倒数 $R=1/\mathrm{rank}$，MRR 是其均值。排名越靠前奖励越高，是信息检索最常用的离线指标之一。本文直接把 RR 当作路由器的强化学习奖励：某规则约束下的检索器把正确证据排得越靠前，该规则获得的奖励越高。

路由器的一切学习信号都由 RR 奖励导出，不理解它就无法理解路由器如何在没有规则标注的情况下从检索结果中学习。

研究动机

结构化知识检索常常必须遵守显式推理约束：临床医生按 $\text{Symptom}\to\text{Diagnosis}\to\text{Treatment}$ 从症状推断治疗方案，研究者按 $\text{Paper}\to\text{Author}\to\text{Paper}$ 追溯学术脉络，安全分析师按 $\text{Alert}\to\text{Host}\to\text{Process}\to\text{Vulnerability}$ 定位攻击根源。现有方法分三类，各有短板：结构化查询/表示学习类（SQL 连接、图遍历、知识图谱嵌入）用固定查询或单次打分，不能自适应地决定下一步该取什么证据；智能体探索类（RoG、ToG、RoE、GraphDancer）让 LLM 逐步探索图谱，但难以严格遵守领域规则约束，且推理与工具调用反复交替导致开销大；推理约束类用预定义元路径或形式逻辑指导检索，可每条查询背后真正的推理规则在实践中是隐含的、没有标注，于是已有工作（RoG、MoR、Lei et al.）只能靠启发式或 LLM 先验去构造「查询-规则对」当监督。论文用案例证明这种伪标签有系统性偏差：在 MAG 上，GPT-5 按语义选出的规则与「哪条规则检索效果最好」的 oracle 大量错位，仅 iapf→iap 一种错位就涉及 190 条查询；对明确提及 Seiberg–Witten theory 的查询，GPT-5 把它当普通文本选了 p 规则，正确论文被埋到第 110 名，而结构化的 fp 规则能把它提到第 7 名。语义上合理与检索上有效是两回事，这正是现有方法的关键缺陷。

本文的目标是本文要把「该走哪条推理规则」建模为隐变量，在只有可观测的查询-证据对（$\mathcal{P}_{Q\times S,\mathrm{Train}}$）、完全不假设存在查询-规则联合分布 $\mathcal{P}_{Q\times K}$ 的前提下，同时学会两件事：对每条查询判断该用哪条模式级推理规则（规则路由），以及在该规则约束下如何给可达证据排序（规则约束检索）。形式化上，把检索似然分解为路由策略 $P_{\Theta_{\mathrm{RULE}}}(K\mid Q)$ 与条件检索器 $P_{\Theta_{\mathrm{RET}\text{-}K}}(S\mid Q,K,G)$ 的乘积并对规则空间 $\mathcal{K}$ 求和（式 2），再通过交替双层优化最大化证据似然。可量化目标是在 STaRK-QA 三个数据集（AMAZON 6 条规则、MAG 8 条、PRIME 65 条）上，用 Hits@1、Hits@5、Recall@20、MRR 全面超越文本（BM25、Ada、DPR）、图（QAGNN、ToG）、混合（AvaTaR、KAR、MFAR、HybGRAG、MoR）与智能体（RoG、RoE、GraphDancer）共 14 个基线，并让路由与检索在闭环中互相适应直至收敛。

与已有工作不同的是，本文的独特切入是把规则选择当作「潜在智能体路由问题」，直接从下游检索执行的反馈中学习，而不是从查询语义推断。与三条已有路线的本质差异：（1）相比 RoG/MoR 用 LLM 知识先生成推理计划或结构约束、再独立训练或执行检索，本文让规则选择与检索器互相耦合——路由器学的是「哪条规则在当前检索器下检索效果好」，而非「哪条规则听起来合理」；附录 C 的案例说明语义更细的 iapf 规则反而因 field 分支无法落地而丢失全部正确答案，粗粒度的 iap 却能把正确论文排到第 2、4 名，这种错配只有执行反馈才能暴露。（2）相比智能体逐步探索，本文把高层决策（选一条模式合法的规则）与低层执行（专用检索器遍历排序）解耦，一次路由决策替代多步 LLM 交互。（3）相比 CoEvolve、WebEvolver、Tool-R0 等通用自进化智能体框架，本文把「智能体-工具共同适应」具体落到结构化检索场景：检索器是工具，检索性能是路由奖励，二者形成互为因果的闭环。

核心方法

直觉上这像医院分诊：分诊台（路由器）不亲自看病，只判断该把病人分给哪个专科（推理规则），专科医生（规则约束检索器）再按该科室的规范流程完成检查。CoRE 由两个模块组成。规则路由 agent 建模 $P_{\Theta_{\mathrm{RULE}}}(K\mid Q,\mathcal{K})$，采用编码器-解码器形式：编码器取 BERT 的 [CLS] 隐状态或 LLM 末 token 隐状态；解码器是 softmax 分类头（输出 $\mathrm{Softmax}(Wh+b)$）或自回归 token 生成（按 / 格式生成规则标识）。规则约束检索器为每条规则配一个轻量打分器：按规则做受限 DFS 得到候选集 $\mathcal{C}(Q,K)$（每查询最多 200 个候选），对候选 $S_i$ 取其遍历路径 $(v_{i,1},\ldots,v_{i,L})$ 上各节点与查询的 BM25 相似度 $x_i=[\mathrm{BM25}(Q,v_{i,1}),\ldots,\mathrm{BM25}(Q,v_{i,L})]$，再与 384 维规则嵌入 $f_{\mathrm{embed}}(K)$ 一起送入打分函数 $\Phi(Q,S_i,K)=f_{\mathrm{score}}(x_i,f_{\mathrm{embed}}(K))$。训练是四阶段闭环（Figure 2）：从均匀的查询-规则分配出发，①用当前分配训练各规则对应的检索器；②用训练好的检索器执行候选规则，以正确证据的排名构造规则级奖励；③用奖励强化更新路由策略；④更新后的路由器重新分配查询，为下一轮检索器训练提供新监督。整个流程交替进行三轮，两个组件从均匀分布逐渐分化出稳定分工。

核心创新是把缺失的查询-规则监督转化为「隐变量 + 闭环反馈」，让路由器从检索结果中反推每条查询的真实推理规则。与已有方法最本质的区别在于打破了两步范式：RoG/MoR 等先用 LLM 生成规则/路径再训练或执行检索，规则选择与检索效果之间没有任何学习回路；本文用互逆的训练信号把两者绑死——路由器的输出（查询-规则分配）决定了各检索器的训练数据来源，而检索器对正确证据的倒数排名 $R(q,k)=1/\mathrm{rank}(S^*\mid q,k)$ 又构成路由器的 RL 奖励。论文证明语义合理 ≠ 检索有效：GPT-5 这个强语义路由器在固定已训练检索器的条件下，平均 H@1 只有 44.78，全面低于从检索反馈学出来的 CoRE-LLM-G 的 48.31。此外两个模块需要的学习信号本质不同——路由器要区分「哪条规则成功率高」（策略梯度式期望优势或 GRPO），检索器要学「1 个正例对至多 200 个负例的排序」（对比式 pairwise ranking）——CoRE 用交替双层优化（式 5）把这两种异质信号统一调度，实现无需规则标注的共同适应。

方法步骤详情

第一步，构建规则空间：从每个数据集的 schema 采样所有关系方向允许的有序实体类型序列，得到 AMAZON 6 条、MAG 8 条、PRIME 65 条规则（如 AMAZON 的 Brand→Product、MAG 的 Institution→Author→Paper←Field of Study），每条规则用 384 维嵌入表示。第二步，规则约束检索器训练（固定路由器）：按当前路由器 $\arg\max_K P_{\Theta_{\mathrm{RULE}}}(K\mid Q)$ 把查询分配到规则，受限 DFS 生成候选集（≤200），抽取路径级 BM25 特征并与规则嵌入一起送入 256 维隐层的打分网络，用 pairwise ranking（1 个正例 + 至多 200 个负例）训练，AdamW、学习率 $5\times10^{-5}$、batch 512、至多 50 epoch，按验证 Hit@1 保留 checkpoint。第三步，路由器训练（固定检索器）：对每条查询让各规则下的检索器执行检索，奖励为 $R=1/\mathrm{rank}(S^*\mid Q,K)$（多正确实体取最好排名）；分类器版计算规则级优势 $A(Q,S,K)=R-\frac{1}{|\mathcal{K}|}\sum_{K'}R(Q,S,K')$ 并最大化期望优势（RLFT，Figure 8 显示优于 hard/soft-label SFT）；LLM-C 版用奖励加权的 $-\log p_\theta(k\mid q)(R-\bar{R})$ 加熵正则；生成版（LLM-G，Qwen2.5-3B + LoRA r32/α64）用 GRPO，每查询采 8 条 rollout，奖励 $0.2\times$格式分 + 检索 RR，KL 系数 0.01，PRIME 因 65 规则空间大还需先用过滤后的教师示范做 SFT 预热。第四步，更新后的路由器重新分配查询，参数热启动进入下一轮，共 3 轮。推理时选概率最大的规则 $K^*=\arg\max_K P_{\Theta_{\mathrm{RULE}}}(K\mid Q)$，对应检索器在 $\mathcal{C}(Q,K^*)$ 内按 $\Phi$ 排序输出 TopK 证据。

技术新颖性

新颖性体现在四点。（1）问题形式化：首次把规则约束结构化检索中的规则选择定义为潜在路由问题，优化因子化似然（式 2），无需 $\mathcal{P}_{Q\times K}$ 监督——此前的推理约束检索都要人工或 LLM 构造查询-规则对。（2）异构信号耦合：同一框架里路由器用 RL（期望优势/GRPO）、检索器用对比式排序学习，靠交替双层优化衔接；附录 D 系统比较了 hard-label SFT → soft-label SFT → RLFT 的递进关系，证明保留完整奖励地形优于坍缩成单一伪标签，这一训练策略分析本身就有独立参考价值。（3）高层/低层解耦的智能体架构：路由器只做一次模式级决策，低层遍历交给专用检索器，推理成本比逐步探索低约两个数量级（MAG 上 GraphDancer 每题约 23.3 秒 vs CoRE 分类器版约 0.25 秒）。（4）把 agent-tool 共适应（CoEvolve、WebEvolver、Tool-R0）的思想具体化为「路由器-检索器」闭环，并用路由分布的边际化分析（Figure 5、6）为自动规则挖掘提供了可操作信号。

**Figure 2**: Overview of the CoRE framework. CoRE alternates between optimizing rule-constraining retrievers and the rule-routing agent.

**Figure 8**: Comparison of training strategies for the BERT-C router, averaged over AMAZON, MAG, and PRIME. RLFT consistently outperforms hard-label and soft-label SFT across all retrieval metrics.

实验结果

主实验（Table 1）：CoRE-BERT-C 在三数据集平均上达到 H@1 54.47、H@5 80.12、R@20 75.24、MRR 65.97，四项平均指标全部第一；最强基线 MoR 为 48.93/71.00/66.14/58.77，提升 +5.54/+9.12/+9.10/+7.20。分数据集看：PRIME（65 规则）优势最大，H@1 49.34 vs 最佳基线 MFAR 40.90（+8.44），R@20 80.81 vs 68.30（+12.51），MRR 61.27 vs 51.20（+10.07）；MAG 上 H@5 87.78、R@20 83.51、MRR 74.17 均为最佳（R@20 比 MoR 高 8.50），但 H@1 63.37 略低于 HybGRAG 的 65.40；AMAZON 上 H@1 50.71 略低于 MoR 的 52.19，R@20 61.39 低于 GraphDancer 的 65.91，但 MRR 62.46 仍是最高。消融（Table 2）：去掉路由器适应（换成未适应 BERT 或零样本 GPT-5-mini）平均 H@1 暴跌至 16.00/19.69；去掉检索器适应（改用固定 BM25-traversal 打分）平均 H@1 降至 48.08，其中 PRIME 掉得最狠（49.34→38.86），说明多跳规则空间更需要学习跨步骤信号的组合。迁移实验（Figure 3）：CoRE-LLM-G 路由器跨数据集迁移全部胜过零样本 Qwen，如 Prime 路由器迁到 Prime +17.41、MAG 路由器留用 +16.01，说明学到的是查询语义到推理模式的可迁移映射。多域预训练（Figure 4）：用 Qwen2.5-32B-Instruct，多域联合预训练后再目标域微调（Pre-FT）取得生成式路由整体最佳，呈现清晰的先通用后特化范式。优化动态（Figure 5）：MAG 上第一轮路由器训练把 H@1 从约 21% 拉到 58%，随后的检索器更新突破 62%，三轮内收敛；路由分布从均匀逐渐集中到 IAP/PAP/PP 等有效规则，基本消除 IAPF/PAPF。训练策略（Figure 8）：RLFT 全面优于 hard/soft-label SFT。效率（Figure 11）：MAG 每题平均耗时，CoRE 分类器版约 12-32ms 路由 + 约 233ms 检索，GraphDancer 需约 19.63s LLM 生成 + 3.71s 工具执行（合计约 23.3s），差距近两个数量级。

**Table 1**: Retrieval performance on AMAZON, MAG, and PRIME, comparing baselines with CORE-BERT-C, CORE-LLM-C, and CORE-LLM-G.

**Table 2**: Ablation of routing agent and retriever adaptation.

**Table 3**: Statistics of the STaRK datasets, and generation-based routing configuration.

**Table 4**: Candidate retrieval rules for Amazon.

**Table 5**: Candidate retrieval rules for MAG.

**Table 6**: Candidate retrieval rules for PRIME.

**Figure 3**: Cross-dataset H@1 of CoRE-LLM-G. Parentheses show gains over zero-shot Qwen with trained retrievers.

**Figure 4**: H@1 of CoRE-LLM-G under different training using Qwen2.5-32B-Instruct as the base router. Multi-domain pretraining followed by target-specific fine-tuning performs best.

**Figure 5**: Optimization dynamics of CoRE-BERT-C on MAG. Each round alternates between retriever and router adaptation; the insets show the routing distributions before training and after Rounds 1 and 3.

**Figure 6**: Rule-wise fractional oracle frequency across MAG, Amazon, and PRIME. Each stacked bar decomposes a rule's oracle credit into uniquely optimal (Unique) and tied-optimal (Tied) cases.

**Figure 9**: Performance with a fixed trained retriever and different routers, averaged over AMAZON, MAG, and PRIME. Stronger zero-shot LLM routers improve retrieval, but CoRE-LLM-G remains best across all metrics.

**Figure 10**: Average Hit@1 across datasets under different router–retriever combinations. Rule-constraining retrieval consistently improves over unconstrained BM25, while stronger retrievers provide additional gains within the selected rule space.

**Figure 11**: Efficiency comparison on MAG in terms of mean inference time per question. We decompose the cost into routing/LLM generation and retrieval/tool execution. CoRE substantially reduces inference cost compared with step-wise agentic graph exploration.

查看结构化数据

任务	指标	本文	基线	提升
结构化知识检索（AMAZON/MAG/PRIME 平均）	Hits@1	54.47（CoRE-BERT-C）	48.93（MoR，最强平均基线）	+5.54
结构化知识检索（平均）	MRR	65.97（CoRE-BERT-C）	58.77（MoR）	+7.20
生物医学知识检索 PRIME（65 条规则）	Hits@1	49.34（CoRE-BERT-C）	40.90（MFAR）	+8.44
生物医学知识检索 PRIME	Recall@20	80.81（CoRE-BERT-C）	68.30（MFAR）	+12.51
生物医学知识检索 PRIME	MRR	61.27（CoRE-BERT-C）	51.20（MFAR）	+10.07
学术图检索 MAG	Recall@20	83.51（CoRE-BERT-C）	75.01（MoR）	+8.50
学术图检索 MAG	MRR	74.17（CoRE-BERT-C）	69.80（HybGRAG）	+4.37
消融：去掉路由器适应	平均 Hits@1	16.00（未适应 BERT 路由）	54.47（完整 CoRE-BERT-C）	-38.47（凸显路由适应关键性）
消融：去掉检索器适应	PRIME Hits@1	38.86（固定 BM25-traversal）	49.34（完整 CoRE-BERT-C）	-10.48（凸显检索器适应关键性）
推理效率（MAG，每题平均）	推理时延	约 0.25 s（CoRE-BERT-C：约 12 ms 路由 + 233 ms 检索）	约 23.3 s（GraphDancer：19.63 s LLM 生成 + 3.71 s 工具执行）	快约两个数量级

局限与改进

作者承认/展示的局限：数据集内最强的是 BERT-C，但它绑定数据集专属分类头，无法跨库迁移（迁移实验只能用 LLM-G）；生成式路由域内性能偏弱（平均 MRR 57.61 vs BERT-C 的 65.97），且在 PRIME 的 65 规则空间下每查询 8 条 rollout 覆盖率低、梯度方差大，需额外 SFT 预热；部分单点指标不敌专精基线（MAG H@1 63.37 < HybGRAG 65.40；AMAZON H@1 50.71 < MoR 52.19；AMAZON R@20 61.39 < GraphDancer 65.91）。我观察到的额外局限：（1）规则空间仍需人工从 schema 枚举，只是免掉了查询级标注，规则组合爆炸时（PRIME 已 65 条）分类与奖励评估成本线性增长；（2）检索器打分特征仅为路径 BM25 相似度加规则嵌入，没有稠密语义或图神经结构信息，表达能力有限；（3）推理时硬性选择单一规则，路由错了没有回退或多规则融合机制；（4）训练路由器的奖励依赖标注的正确证据，无标注查询的冷启动场景无法直接闭环；（5）评测停留在检索层面，未验证对下游生成式 QA 的端到端收益；（6）三轮交替的收敛只有经验观察，没有针对本问题的理论保证。

独立分析的弱点

（1）规则空间靠人工 schema 枚举——在 schema 复杂、关系类型多的库里候选规则会组合爆炸，且附录 B 的 oracle 分析显示 PRIME 大量规则只以「并列最优」甚至从未独占最优的方式贡献信用，说明空间过完备。改进方向：把规则本身参数化为可生成的 token 序列，让路由器提出新规则、用高奖励信号筛选留存，形成规则空间的开放进化。（2）候选池截断为每规则 200 个——在 MAG（3980 万关系）这种大图上，正确证据若不在这 200 个里奖励记 0，路由器会误判好规则无效。改进：奖励按可达性归一化，或对「正确证据未入池」样本做置信度修正，先用轻量过滤再精排。（3）单规则硬路由无回退——路由错误的直接后果是整个可达子空间错误且无法恢复。改进：输出规则分布，对低置信查询融合 top-k 规则的检索结果，或设置 abstain 阈值触发 LLM 兜底。（4）BM25-only 路径特征限制检索器上限——短描述实体或查询与描述措辞差异大时 BM25 失配。改进：路径特征拼接稠密编码器分数，或用小型 GNN 聚合路径上下文。（5）奖励稀疏依赖标注证据——冷启动领域没有查询-证据标注时整个闭环无法启动。改进：结合远程监督/LLM 生成伪查询，或利用 Figure 4 已验证的多域预训练路由器做迁移。

未来方向

作者明确提出或暗示的方向：自动规则细化与发现——对每数据集边际化路由分布（Figure 5）与 oracle 频率分析（Figure 6）表明，高奖励规则可指导规则扩展、长期未被选中的规则可剪枝或合并，形成规则空间自动精炼；多域预训练-目标微调范式（Figure 4 用 Qwen2.5-32B-Instruct 证实 Pre-FT 整体最佳）可推广为通用的「路由基础模型」；路由分布天然可解释，可用于向用户解释检索依据。基于成果可延伸的方向：把奖励从检索 RR 换成/叠加下游 RAG 答案质量，做端到端 RL；扩展到多规则组合检索（规则并集、序列拼接）与动态 schema 演化；在论文动机里提到的真实场景（临床 Symptom→Diagnosis→Treatment、网络安全 Alert→Host→Process→Vulnerability）上做领域验证；对交替双层优化给出针对「路由-检索」耦合结构的收敛性分析与稳定性条件。

复现评估

论文声明代码、数据预处理管线、训练/评测脚本、实验配置与超参数全部在 GitHub 开源，可复现 Table 1、2 与 Figure 3、4、5 的全部结果；数据基于公开的 STaRK-QA 基准（AMAZON/MAG/PRIME 共约 3.4 万条查询，规模从 12.9 万到 187 万实体），无需私有数据。算力需求分层清晰：规则约束检索器与 BERT-C 路由器单卡即可（检索器 AdamW batch 512、≤50 epoch；BERT-base batch 256、lr $10^{-5}$）；LLM-C/LLM-G 是 Qwen2.5-3B 的 LoRA（r32/α64），GRPO 阶段用 4×H200 + BF16；32B 骨干的多域预训练实验明显更贵。超参数披露完整（lr、KL 系数 0.01、8 rollouts、3 轮交替、温度 0.9 等），整体复现难度中等：想验证核心思想的用户先复现单卡 BERT-C 即可，完整复现 LLM-G 需要 RL 训练基础设施。风险点：正文与可复现性声明中的 GitHub 链接在提取文本里是「here/link」占位符，需确认仓库实际完整性；PRIME 上生成式路由依赖过滤教师示范的 SFT 预热，教师模型与过滤阈值的细节若披露不足会引入不确定性。

面向结构化知识检索的协同自适应规则路由与规则约束框架 Co-adaptive Rule Routing and Constraining for Structured Knowledge Retrieval