DeepRefine：通过强化学习实现智能体编译知识库的精炼 DeepRefine: Agent-Compiled Knowledge Refinement via Reinforcement Learning

整个方法由三个紧密耦合的推理步骤组成。第一步是 Answerability Judgement Loop：对 query $q$ 先做稠密 top-$N$ 检索得到 0-hop 子图 $G^{(0)}_q=\text{Top-}k(q,G_f,N)$，再用 LLM 判断可回答性；若不可回答则沿子图中实体做 1-hop 扩展，得到候选集 $G^{(i)}_{\text{cand}}=\{(h,r,t)\in G_f \mid h\text{ or }t\in E^{(i-1)}_q\}$，剪枝 $G^{(i)}_{\text{pruned}}=\text{Top-}k(q,G^{(i)}_{\text{cand}},M)$，并入历史 $G^{(i)}_q=G^{(i-1)}_q\cup G^{(i)}_{\text{pruned}}$；只保留最近 $L_h$ 步的交互历史 $H_q[-L_h:]$ 以满足上下文限制。第二步是 Error Abduction：基于 $H_q[-L_h:]$，模型从 incompleteness / incorrectness / redundancy 三个视角归纳潜在缺陷 $I_q$，输出被 $\langle\text{abduction}\rangle\cdots\langle/\text{abduction}\rangle$ 包裹。第三步是 Refinement Actions Generation：在 $\langle\text{refinement}\rangle$ 标签内生成代码式动作序列 $A_q=\arg\max_{A\in\mathcal{A}} p_\theta(A\mid G^{(L)}_q,I_q)$，三类算子分别对应补全缺失边、删除错误/冗余边、替换歧义节点，可直接对接 NetworkX 等图数据库接口。训练阶段把这些推理轨迹作为 GRPO rollout，按公式 $\text{GBD}(q)=\text{ACC}(A_{\text{refined}},A)-\text{ACC}(A_{\text{draft}},A)$ 计算奖励，并以简化版目标（去掉 KL 项） $J_{\text{GRPO}}(\theta)=\mathbb{E}[\frac{1}{G}\sum_{i=1}^G\frac{1}{|o_i|}\sum_{t=1}^{|o_i|}\min(r_{i,t}(\theta)\hat{A}_{i,t},\text{clip}(r_{i,t}(\theta),1-\epsilon,1+\epsilon)\hat{A}_{i,t})]$ 更新策略 $\pi_\theta$。推理时 DeepRefine 冻结，可异步挂在用户 query 流与 KB 演化流之上，不引入在线服务延迟。

技术新颖性体现在三方面：其一，**精炼算子抽象**——首次把后精炼操作收敛到与图数据库原语对齐的三种接口，兼顾通用性与可执行性；其二，**无参考学习范式**——GBD 奖励巧妙地把"知识库质量"映射到"下游 RAG 准确率差值"，回避了对 gold refinement 轨迹的需求，填补 TRAIL 等方法只做无奖励探索的空白；其三，**交互式缺陷定位**——用多轮子图扩展代替全图遍历，将搜索复杂度限制在与 query 相关的邻域，且通过 $L_h$ 滚动窗口维持上下文可行。整体上把"构造端 RL"（AutoGraph-R1）与"使用端补全"（KGRefiner）的能力合二为一。

独立审视的弱点与改进方向：(1) **缺陷定位的粒度仍偏粗**：当前只在 query-conditioned 子图上做修补，对跨 query 的全局冗余（如全图多处重复实体）识别困难，可考虑引入全局聚类或周期性 schema audit 步骤。(2) **GBD 奖励的方差问题**：单条 query 的下游 ACC 波动可能让 GRPO advantage 估计不稳定，建议加入批量 baseline 或使用更长 horizon 的 discounted reward 来平滑信号。(3) **动作空间有限**：仅 insert_edge/delete_edge/replace_node 三类，无法表达属性修改或条件删除，可扩展为类 Cypher 的受限 DSL 或引入 Program-of-Thought 风格的复合算子。(4) **冷启动依赖**：训练数据仅来自 HotpotQA，迁移到 GraphRAG、LightRAG 等不同 schema 的知识库时可能效果下降，可通过 prompt-level schema conditioning 或继续预训练缓解。(5) **缺乏人工审计接口**：尽管动作以代码形式产出，但未提供回滚与 diff 可视化工具，部署时若产生级联错误难以及时修复；建议结合 DBMS 事务或 git 式版本管理。

作者在结论与附录中暗示的方向包括：(a) 把精炼范式推广到多模态 KB（含图像、表格、公式节点），并对非文本三元组重新设计 embedding；(b) 引入人类反馈（RLHF / RLAIF）做精炼动作的偏好对齐，缓解 GBD 奖励的过优化风险；(c) 把 DeepRefine 与 AutoGraph-R1 等构造函数联合训练，做"构建+精炼"端到端优化。基于结果可进一步延伸的方向：(d) **在线持续学习**——把每天新增的用户 query 流作为增量训练集，使策略随真实使用模式演化；(e) **跨域迁移**——评估在医疗、法律等结构化 KB 上 zero-shot 与 few-shot 精炼效果；(f) **反事实精炼评估**——构建包含可控缺陷注入的合成 KB（如随机删边 / 注入冲突断言），定量衡量 recall @ fix；(g) **与图数据库事务结合**——把每次精炼视为一次 ACID 事务，支持回放与冲突检测；(h) **压缩友好推理**——探索 4B 模型 + 知识蒸馏 / Q-LoRA 路径，降低部署门槛。

复现性总体可控但门槛较高：作者使用 Qwen3-8B 与 Qwen3-4B-Instruct-2507en 作为 backbone（公开可下载），Qwen3-Embedding-0.6B 作 embedding、Qwen2.5-7B-Instruct 作冻结 reader，工具链与权重均可获取。训练数据是从 HotpotQA 训练集随机抽样 5000 条按 8:2 划分得到，但论文未直接公布此子集与具体的 prompt 模板（仅在 Appendix E 给出部分 tag 格式示例），需读者自行复现数据切分。GRPO 超参明确：8B 模型 batch size 64、mini-batch 16、group size 6、30 步、lr $1\times10^{-7}$；4B 模型 batch size 32、mini-batch 16、group size 6、60 步、lr $5\times10^{-7}$。最关键的复现成本是算力：8× NVIDIA A100-SXM4-80GB GPU，完整训练涉及多轮 LLM rollout 与下游 RAG 评估，单次实验耗资较高。代码与模型权重在论文首页给出的 Project / Models 链接中（未在文本中展开），但未声明开源许可证；评测涉及 5 个英文 OOD 数据集（NQ、PopQA、2WikiMultihopQA、Musique、LOCOMO），均可公开下载，整体复现难度为中等偏高。