SkinMind：用类人知识图谱探测武装智能体RAG的可靠皮肤科AI框架 SkinMind: Equipping Agentic RAG with Human-Inspired Graph Probing for Reliable Dermatology AI
让智能体交互探索皮肤科知识图谱，8种图探测工具按需检索多模态证据，六项VQA平均提升8.7分以上
前置知识
RAG（检索增强生成）
在模型生成答案前，先从外部语料检索相关内容拼入上下文，让回答基于可追溯的外部证据而非参数记忆，从而缓解幻觉、支持知识更新。标准流程是 query 到向量检索取 top-k，再拼进 prompt 生成。传统 RAG 一次性检索扁平文本块（flat chunks），检索什么、检索多少都固定。
本文的动机、全部基线（Naive RAG 等）和效率分析都围绕 RAG 的检什么、检多少展开，不理解传统 RAG 的一次性检索局限，就看不出 SkinMind 的改进点在哪里。
Agentic RAG（智能体检索增强）
让 LLM 作为策略模型在推理、调用检索工具、观察结果、再推理的循环中自主决定何时检索、检索什么、何时停止，而非一次性检索。动作-观察轨迹构成多轮交互，通常受最大轮数和上下文预算约束。本文将该循环形式化为 $a_t \sim \pi_\theta(\cdot \mid s_t)$，$o_t = \mathcal{E}(a_t)$。
SkinMind 本身就是一个 Agentic RAG 系统，其核心循环（编排器、工具、图环境、上下文管理器四组件）和消融实验的设计都建立在这一范式上。
知识图谱与本体 Schema
用实体（节点）和关系（边）组织知识，例如黑色素瘤通过 HAS_MORPHOLOGY 边连接到丘疹节点。本体是预先定义的实体类型与关系类型清单（本文定义 23 类实体、25 类关系，并预载 PanDerm 本体的 127 个疾病概念作为分类骨架），用于约束信息抽取并保证图结构一致。
SkinMind-KG 的构建管线、8 个探测工具（尤其按关系类型过滤展开邻居的 probe_neighbors/probe_relations）以及编排器提示词全部围绕这套 schema 设计，是理解方法的前提。
图文对比检索（双塔模型，如 CLIP/DermLIP）
用两个编码器分别把图像和文本映射到同一向量空间，训练时拉近配对样本的距离，推理时用余弦相似度做跨模态检索。DermLIP 是皮肤科领域的此类模型，本文用它把查询图像或文字编码到 512 维空间，在图像节点索引上做 text-to-image 和 image-to-image 检索。
SkinMind 的 search_image 工具、423K 图像与疾病节点的对齐、以及基准防泄漏过滤（对余弦相似度大于 0.98 的图像直接剔除）全部建立在 DermLIP 嵌入之上。
渐进式披露（Progressive Disclosure）
源自人机交互的设计原则：先用轻量的结构线索引导导航，详细内容只在需要时加载。本文把它移植到检索接口设计：find_node/read_node 只返回节点 ID、类型和简述，probe_relations 只返回关系类型计数分布，最昂贵的源文本读取 read_chunks 留到节点级信息确实不足时才调用。
这是 SkinMind 区别于一次性检索的关键机制，消融实验单独验证了它（去掉后在 SNU134-4 上掉 4.17 分），也是其证据 token 效率达到 LightRAG 五倍以上的根本原因。
LLM-as-a-Judge 评测协议
用更强的 LLM 按评分标准对生成答案打分或与参考答案比对，替代人工评估，广泛用于开放式问答。本文 Morph-R 开放式基准使用 Gemini-2.5-Pro 作为评审，按照官方 DermoGPT 评测协议（评审看不到输入图像），综合评估临床推理、最终诊断和封闭集形态学输出后给出分数。
六个基准中 Morph-R 的分数由 LLM 评审产生，了解该协议才能正确解读 Morph-R 分数的含义，并意识到其无法评估视觉描述细节的局限。
研究动机
多模态大模型（MLLM）在皮肤科应用上前景可观：许多皮肤病变肉眼可见，患者通过在线问诊获取专业指导的需求旺盛，视觉问答、诊断决策、治疗推荐等任务都有医疗专用 MLLM 涌现。但直接部署在安全攸关的医疗场景有三个硬伤。第一，模型会生成流畅但事实错误的陈述，可能直接导致有害的临床决策（幻觉）；第二，参数化知识来自静态训练语料，临床证据和指南持续演进，模型知识无法随之更新；第三，回答往往缺乏可核验的医学证据引用，可靠性与可解释性不足。检索增强生成（RAG）虽然能 grounding 到外部权威证据，但传统系统是一次性检索扁平 chunk 库，对复杂医学推理有两点不适配：其一，检索只依赖初始 query，无法适应多步推理中涌现的信息需求——皮肤科诊断常需要先确认形态学特征、再沿鉴别诊断链条追查，一步检索给不全；其二，扁平 chunk 返回碎片化文本，缺少实体间关系上下文，还常混入无关信息，对需要症状-形态-鉴别-治疗链式推理的临床问题尤其不利。
本文的目标是本文的目标是为皮肤科构建一个可靠、可追溯、多模态的临床辅助系统。具体拆成三件事：(1) 把外部医学知识组织成结构化知识图谱 SkinMind-KG 而非扁平 chunk 库——基于约 62M token 的语料（227 份临床指南加 542 本教科书，均为 2015 年后版本）和 423,016 张 Derm1M 图像，由资深皮肤科医生参与定义 23 类实体、25 类关系的 schema，并配备检测-消解冲突机制保证多源知识一致性；(2) 让策略模型像人类医生查资料那样与图谱交互：从相关概念入手、查看关系、沿信息量大的路径行走、按需读取节点描述、源文段落和临床图像，逐步构建查询专属的证据子图，为此设计 8 个分层图探测工具；(3) 在六个皮肤科 VQA 基准（覆盖形态识别、疾病诊断、临床推理，含封闭与开放式）和两种策略模型设定下系统验证，要求一致超越直接回答和现有 RAG 方法，同时把检索上下文规模控制在合理水平。
与已有工作不同的是，已有工作分两条线，各有缺口。Agentic RAG（如 A-RAG、RAGentA）通过推理与检索交替解决了检索时机自适应问题，但操作对象仍是孤立文本块，扁平检索固有的碎片化和关系上下文丢失没有被解决。Graph RAG（GraphRAG、LightRAG、HippoRAG）把知识组织成实体-关系图，但图大多只是检索索引——通过 embedding 相似度或预定义扩展规则挑选实体或子图，图本身从未暴露给模型做交互式探索。这与人类查证据的过程形成对照：推理者从一个相关概念开始，检查它的关系，沿信息量大的路径行走，并随新信息出现调整探索方向——这遵循渐进式披露原则，轻量结构线索引导导航，详细描述或源内容只在需要时访问。SkinMind 的独特切入正在于此：把这张异构多模态图整个开放为可交互环境，让检索的模态、方向、粒度随推理过程在线演化，既构建查询专属证据子图又压掉无关上下文，同时用统一的 ILLUSTRATED_BY 机制把 30 万张临床图像挂进图里，实现文本、关系、视觉证据的联合调度。
核心方法
直觉上 SkinMind 模拟医生查资料的快慢两步走：简单问题凭经验直接答，复杂问题才系统查证。技术上分四块：第一，慢-快路由 $r = \pi_{\text{route}}(Q, I) \in \{\text{FAST}, \text{SLOW}\}$，能凭内部知识可靠回答的走快路径，需要外部证据、多模态检索或多步推理的进入慢路径。第二，Agentic RAG 循环：第 $t$ 步编排器状态为 $s_t = (Q, I, H_t)$，$H_t$ 为历史动作-观察对 $(a_i, o_i)$；动作 $a_t \sim \pi_\theta(\cdot \mid s_t)$，要么调用 8 个图探测工具之一（带参数 $\phi_t$），要么 FINISH 终止；图环境返回观察 $o_t = \mathcal{E}(a_t)$。第三，上下文管理器控制膨胀：单条观察超 4,096 token 即压缩，累计超 16,384 token 则摘要早期交互，同时保留查询相关证据与检索溯源。循环直到 FINISH 或达到最大预算 $L_{\max}=20$ 轮，最终输出带证据引用的回答。检索模态、探索方向与证据粒度全部由策略模型在线决定。
核心创新是把知识图谱从静态检索索引变成可交互探索的环境，本质区别有三层。(1) 检索决策权交给策略模型：不用相似度一次性选 top-k，而是模型在循环中自主决定查什么节点、沿哪条关系、读多深的证据，模拟人类先定位概念、再看关系分布、再决定是否读原文。(2) 渐进式披露的分层工具设计：find_node/read_node 只返回轻量元数据；probe_relations 先返回关系类型到边数的分布，避免盲目展开 hub 节点——图中最大度高达 64,345，直接列全部邻居会撑爆上下文；read_chunks 是最昂贵工具，提示词明确要求仅在节点级信息不足时调用，在证据深度与上下文成本间自适应平衡。(3) 文本与视觉证据统一在一张图：301,561 张图像经 ILLUSTRATED_BY 挂到疾病节点，search_image 支持 text-to-image 与 image-to-image（DermLIP 编码、余弦相似度≥0.8），使「看起来像什么」与「教科书怎么说」被同一推理过程联合调度；检索命中的诊断标签只作候选线索，由编排器结合自身视觉判断权衡。
方法步骤详情
分构建期与推理期。构建期五步：(1) 用 MinerU 解析 769 份文档（227 份指南 + 542 本教科书，均 2015 年后），过滤图片表格、合并残段，抽取文档级元数据；(2) 切成 1,200 token 块（100 重叠），GPT-5.4-mini 按预定义 schema 抽取实体、关系与描述，仅限源文本明确支持的陈述，保留临床限定词与否定极性，每条记录带 source_id 溯源；(3) 预载 PanDerm 本体 127 个疾病概念作 IS_SUBTYPE_OF 分类骨架；(4) 合并与冲突消解：同名实体分组去重，仅当主体、属性、临床范围、指标单位全部一致才判冲突，跨语境主张保留为上下文相关证据；Gemini-3.1-Pro 生成定向查询、经 Google Search 取证自动裁决，1,375 条冲突解决 1,366 条（99.3%），9 条交专家；(5) 视觉整合：423,016 张 Derm1M 图像建为 Image 节点，经三阶段对齐（精确匹配 → Qwen3-Embedding-4B 取 top-10 候选 → GPT-5.4-mini 消歧）后以 ILLUSTRATED_BY 连接 Disease 节点，成功链接 301,561 张（71.3%）。最终图 1,006,079 节点、2,038,419 边。推理期：路由后进入循环，典型链路 find_node → read_node → probe_relations → probe_neighbors（按需加 probe_path / read_chunks），图像侧 search_image → describe_image；FINISH 输出证据列表与带内联节点引用的回答。
技术新颖性
技术新颖性可从三点评估。第一，图即环境的范式：与 Think-on-Graph 2.0 的图-文档交替检索、Medical Graph RAG 的受控词表整合不同，SkinMind 把节点、关系、路径、源文本、图像全部做成模型可调用的原子操作，检索路径、范围、粒度完全由策略在线决定，这使它成为首个面向皮肤科的异构多模态 agentic 图探索框架。第二，构建侧的冲突消解管线是可复用的工程贡献：仅在主体、属性、临床范围、指标单位全部匹配时判冲突，跨语境主张保留为上下文相关证据而非误杀，配合 LLM 生成定向查询加搜索引擎取证的自动裁决，达到 99.3% 的自动解决率，为多源医学知识融合提供了模板。第三，渐进式披露被量化验证有效：消融显示去掉该设计在 SNU134-4 上损失 4.17 分，且 SkinMind 每题平均只检索 1,380 个证据 token，是 LightRAG（7,901）的约五分之一，证明性能收益来自更精准的证据选择而非更大的检索上下文。诚实地说，LLM 抽取建图、agent 工具循环、双塔检索等单个组件均非首创，本文的新意在于面向医疗可信场景的系统性整合、多模态统一建图与严格的实证验证。
实验结果
主实验（Table 3）覆盖六个基准：五个多选（SkinCon、25Cls、Derm-Edu、DDI、SNU134-4，报 accuracy）加开放式 Morph-R（Gemini-2.5-Pro 按 DermoGPT 官方协议做 LLM-as-judge）。GPT-5.4-mini 策略下 SkinMind 平均 67.90，比 Direct Answer 59.20 高 8.70 分，比最强基线 LightRAG 62.15 高 5.75 分；逐列增益 SkinCon +1.59、25Cls +3.65、Derm-Edu +1.75、DDI +6.71、SNU134-4 +11.67、Morph-R +1.34。Gemini-2.5-Flash 下平均 69.42 对 60.53（+8.89），比 LightRAG 65.82 高 3.60，逐基准增益 4.1–19.7 分，SNU134-4 达 85.11（最强基线 76.67）。亮点有二：一是 SkinMind+GPT-5.4-mini（67.90）追平独立运行的 GPT-5.5（68.08），超皮肤科专用 DermoGPT-RL 1.36、SkinVL-PubMM 16.35、Lingshu-32B 26.00 分，说明检索框架能弥补底座差距；二是消融（Table 4）证明组件各有贡献：去图探索 DDI −2.44 / SNU134-4 −2.50，去图像检索 −1.83 / −5.83，去渐进披露 −0.61 / −4.17。效率上（Figure 5）SkinMind 每题仅检 1,380 个证据 token，LightRAG 需 7,901（5.7 倍）；总开销 26.1k 对 12.1k token，SkinMind 把 21%（5,576）花在输出（含工具决策），LightRAG 仅 2%（291）。案例研究（Figure 4）中 SkinMind 逐步比对支持与矛盾证据，正确诊断 lichen amyloidosis，同底座直接回答与 LightRAG 均答错。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 六个皮肤科 VQA 基准平均（策略模型 GPT-5.4-mini） | accuracy / LLM-as-judge 平均分 | 67.90 | Direct Answer 59.20；最强 RAG 基线 LightRAG 62.15 | 比直接回答 +8.70，比 LightRAG +5.75 |
| 六个皮肤科 VQA 基准平均（策略模型 Gemini-2.5-Flash） | accuracy / LLM-as-judge 平均分 | 69.42 | Direct Answer 60.53；LightRAG 65.82 | 比直接回答 +8.89，比 LightRAG +3.60（逐基准增益 4.1–19.7） |
| SNU134-4（多选疾病诊断，GPT-5.4-mini） | accuracy | 85.00 | 最强基线 Direct Answer 73.33；LightRAG 72.50 | +11.67 |
| SNU134-4（多选疾病诊断，Gemini-2.5-Flash） | accuracy | 85.11 | 最强基线 A-RAG 76.67；LightRAG 75.00 | +8.44 |
| DDI（多选疾病诊断，GPT-5.4-mini） | accuracy | 65.09 | LightRAG 58.38；GraphRAG 54.12 | +6.71（对最强基线） |
| Morph-R（开放式形态识别，Gemini-2.5-Flash） | LLM-as-a-judge（Gemini-2.5-Pro，DermoGPT 协议） | 62.58 | A-RAG 62.14；LightRAG 60.62 | +0.44（开放式任务增益最小） |
| 证据检索效率（Morph-R，Gemini-2.5-Flash） | 每题平均检索证据 token 数 | 1,380 | LightRAG 7,901 | 减少约 4.7 倍用量（基线为本文的 5.7 倍），且性能更强 |
| 对比独立强模型参考（GPT-5.4-mini 策略，六基准平均） | accuracy / LLM-as-judge 平均分 | 67.90 | GPT-5.5 68.08；DermoGPT-RL 66.54；SkinVL-PubMM 51.55；Lingshu-32B 41.90 | 追平 GPT-5.5，超 DermoGPT-RL +1.36、SkinVL-PubMM +16.35、Lingshu-32B +26.00 |
局限与改进
作者承认的局限集中在附录 C 的失败案例分析：一例基底细胞癌（BCC）被误判为角化棘皮瘤（KA），回顾发现生长历史和中央角质栓两条鉴别要点虽被检索到但未获独立验证；一例 pilomatricoma 被误判为 cellular neurothekeoma，因探索集中在先验偏好的候选上，未对其他选项做对比验证。我自己的观察还有六点：(1) 依赖闭源托管模型（GPT-5.4-mini、Gemini-2.5-Flash，冲突消解用 Gemini-3.1-Pro 加 Google Search），每题约 26.1k token 的多轮开销在真实问诊场景延迟与成本不容忽视；(2) 图覆盖不均：28.7% 图像未链接、18.5% 节点孤立、非孤立节点中 52.7% 度数为 1，长尾罕见病证据链稀疏；(3) 语料仅限英文皮肤科指南与教科书，跨专科、跨语言迁移未验证；(4) Morph-R 的 judge 看不到输入图像，多模态回答的视觉质量可能被低估；(5) 防泄漏仅对图像做 MD5 去重加 DermLIP 相似度>0.98 过滤，指南文本可能已在策略模型预训练数据中；(6) 全部评测为基准分数，无真人临床评估或证据引用正确率审计，医疗可靠性主张仍停留在间接证据层面。
独立分析的弱点
独立分析出五个弱点，各配改进方向。(1) 确认偏误式探索：失败案例显示模型倾向深挖第一候选而非横向比对（pilomatricoma 案例中形态与颜色探测全部集中在被偏好的 cellular neurothekeoma 上），改进方向是强制对 top-2/3 候选各收集支持与反驳证据的对比探索协议，或在 finish_answer 前加入未验证鉴别要点检查。(2) 成本与延迟：每题 26.1k token、最多 20 轮调用，线上问诊偏重；可对编排器做工具调用轨迹蒸馏或强化学习（把正确率、token 成本、引用精度纳入奖励），压缩为少而准的调用。(3) 知识覆盖不均：最大度 64,345 的 hub 节点与 52.7% 度 1 节点并存，罕见病证据链稀疏时 agent 易空转；可引入语料主动补充或与 UMLS/SNOMED 对齐补链。(4) 图像-疾病对齐质量未人工抽检：301,561 条 ILLUSTRATED_BY 链接若含错标会直接污染视觉证据，应设对齐置信度阈值加专家复核，并在 describe_image 中暴露置信度。(5) 评测维度单一：只看 VQA 准确率，未度量引用证据是否真的支持结论；应增加 faithfulness 与 citation-precision 评测。
未来方向
作者明确提出要对 agentic RAG 做工具使用训练，鼓励更有针对性的工具选择和对比式探索——这是最直接的延伸。在此基础上有多个自然方向：(1) 用强化学习优化探测策略，把答案正确率、token 成本、引用精度纳入奖励函数，甚至把能力蒸馏到小参数本地模型上以降低部署成本；(2) 把框架推广到其他影像密集型专科（病理、眼科、皮肤镜之外的内镜等），复用本体预载加 LLM 抽取加冲突消解的建图管线；(3) 引入时序知识管理——临床指南持续更新，图中应支持陈述的版本化与证据有效期标注，冲突消解从一次性构建升级为持续运维流程；(4) 与患者个体数据（病史、用药、既往影像）结合，把静态疾病知识图升级为支持个性化诊疗推理的环境；(5) 让 probe_path 直接服务于可解释的临床推理链，把图路径与鉴别诊断决策树结合，产出结构化、可审计的诊断依据；(6) 扩展评测维度到证据引用正确率与临床安全性，向真实部署标准靠拢。
复现评估
复现友好度中等偏上，但依赖商业 API。有利因素：附录 D 完整给出知识抽取系统/用户提示词、冲突检测与合并提示词、全部 8 个工具的接口说明（含参数与错误码）及编排器系统提示词；附录 A 给出实体/关系 schema（Table S1、S2）与图统计（Table 2），附录 B 给出各方法检索配置（Table S3），并用官方 DermoGPT 评测代码保证可比性。不利因素：论文未提供代码或 SkinMind-KG 开源链接；建图依赖 GPT-5.4-mini（抽取）、Gemini-3.1-Pro + Google Search（冲突消解）等闭源服务；62M token 语料为受版权保护的指南与教科书，难以再分发，第三方只能用自有语料重建。算力方面，实验用 8 张 NVIDIA A800-SXM4 80GB GPU（主要为本地 vLLM 部署参照模型 DermoGPT-RL），托管策略模型经 OpenAI 兼容接口访问。存储栈全开源：GraphML 存拓扑、键值库存文本块、Qdrant v1.17 存嵌入，Qwen3-Embedding-4B 与 DermLIP 为公开模型。从零重建全图的主要成本是抽取 62M token 的 API 费用；仅复现推理管线则一个中等规模皮肤科 KG 加 API 预算即可，整体难度中等。
论文图表
以 Gemini-2.5-Flash 为策略模型，在六个皮肤科 VQA 基准上的柱状对比图：SkinMind 在全部六个基准上同时高于直接回答（Direct Answer）和 LightRAG，增益区间为 4.1–19.7 分。
这是全文的引子图（出现在引言部分），一眼展示核心结论：在所有基准上一致取胜，且没有明显短板，为方法的有效性提供第一手直观证据。
25Cls 上的失败案例：真值是基底细胞癌（BCC），SkinMind 检索到 BCC 与角化棘皮瘤（KA）的知识并比较了鳞状细胞癌，但生长速率问题和中央角质栓未获独立验证，最终误答 KA；LightRAG 则误答化脓性肉芽肿。红色文字为回顾性分析标注。
作者主动披露的第一类失败模式：鉴别要点检索到了但没有被充分验证，直指工具使用策略的改进空间，是理解论文局限性的关键材料。
第二个失败案例：真值是 pilomatricoma，SkinMind 的形态与颜色探测全部集中在被偏好的候选 cellular neurothekeoma 上（探索覆盖不足），未探查列表中的 pilomatricoma 选项，最终误答；LightRAG 误答痣/黑色素细胞痣。
揭示确认偏误式探索这一具体失败机理——探索集中于单一候选而缺乏横向对比，直接支撑了作者提出的对比式探索与工具使用训练的未来方向。