当文档彼此矛盾：用检索增强语言模型量化移植指导中的机构差异 When Documents Disagree: Measuring Institutional Variation in Transplant Guidance with Retrieval-Augmented Language Models

完整流程可分四步。第一步是文档抽取，用 LlamaParse 把 102 份 PDF 手册转为结构化 JSON，保留章节标题、段落边界、页码，从而支持按章节切块的下游检索；解析结果幂等存盘，方便增量更新。第二步是索引与混合检索，每本手册被切到段级（>512 token 的段落再按句切，子块继承父章节标题作为前缀以保留上下文），同时建 BM25 倒排索引和 FAISS+BGE-large-en-v1.5 向量索引；查询时两路并行检索，用 RRF（$k_{RRF}=60$）融合，再用交叉编码器重排取 top-5 段落。第三步是答案生成，把 top-5 段落+原始问题交给 Qwen3-14B（temperature 0），要求模型严格基于上下文作答，若手册无相关信息则返回标准化的 `NOT ADDRESSED`，避免幻觉；接着用同一个模型做缺席检测（先做字符串前缀匹配，未匹配的用结构化 YES/NO prompt 二分类判断是否实质未覆盖）并把 (handbook, question) 对的缺席状态缓存。第四步是异质性分析，对所有非缺席答案对，逐对交给 LLM judge 按 ABSENT / CONSISTENT / COMPLEMENTARY / DIVERGENT / CONTRADICTORY 五标签分类（temperature 0 保可复现），返回标签 + 2-3 句临床理由 +（若适用）分歧子主题 + 临床显著性等级；最终把 $N=1{,}772{,}261$ 对比较在问题、主题、器官、中心四个层级用均值公式 $R_{div}(g) = \frac{1}{|Q_g|} \sum_{q \in Q_g} r_{div}(q)$ 聚合。所有中间结果都按 (q, i, j) 落盘为独立 JSON，整体支持断点续跑。

从纯技术角度看，本文没有发明新的检索算法、新的 LLM、新的评测指标；它新颖的地方在于把已有工具（LlamaParse、BM25、BGE、cross-encoder、Qwen3-14B、RRF）以非常工程化 + 可复现的方式组装起来，并提出了一套面向跨机构医疗文档的标准化比较协议：先看缺席率（coverage gap），再看两两答案的一致性类别，最后按四层粒度聚合——这套协议本身才是可被其他领域（肿瘤指南、慢性病管理、出院须知等）直接迁移的方法学贡献。

独立观察到的弱点及改进方向：(1) 同源裁判偏置——generator 与 judge 都是 Qwen3-14B，存在自我欣赏风险，应至少用一个不同家族（如 Llama 或 GPT-4o）做平行 judge，比较一致性；改进方向是用多模型 ensemble 取众数，并加入基于嵌入相似度的客观指标作为软证据。(2) COMPLEMENTARY 的边界模糊——互补但不一致与轻度 DIVERGENT 在临床医生眼里很难划清，且 LLM 倾向把保守/激进的不同都标成 DIVERGENT；改进方向是引入临床医生小规模打分作为锚点，校准 prompt 中定义并加上 few-shot 例子。(3) 缺位估计偏大——手册中可能用一段讨论避孕、一个图示展示随访时间表，但被纯文本 RAG 当成未覆盖，多模态抽取（图表 OCR、布局感知解析）能挽救这些伪缺位；改进方向是引入 layout-aware 模型（如 DocLayout-YOLO）或现成的多模态 LLM 重做缺席检测。(4) 跨中心 ID 完全匿名——虽然保护隐私，但让结果对质量改进行动无法落地；改进方向是保留 hashed 可逆映射，仅对真正公开的人匿名。(5) 未做时间快照——手册版本会随指南更新而变，本文是单时间点切片；改进方向是建立版本时间戳，定期复跑以追踪异质性变化趋势。(6) 样本偏差——23 家中心偏向美国大型学术医疗中心（占全国前 20 大项目中的 16 家），社区型中心被低估；改进方向是联合 UNOS 或 SRTR 主动补充社区中心样本。

作者提出的方向：把同样框架迁移到肿瘤治疗方案、慢性病管理、出院须知等同样具有多机构、多文档的领域；继续开发多模态抽取以减少伪缺位；扩展到非英语与国际系统。本论文自然延伸出的方向还有：(a) 个性化病人映射——根据病人具体特征（如性别、年龄、合并症）匹配最相似的中心手册，给你在这个中心会得到什么的预测；(b) 基于异质性的内容推荐——把高缺席话题作为必补内容候选清单喂给中心内容团队；(c) LLM 训练中的文档审计——把多中心答案直接喂给医疗 LLM，让模型学会医生共识+少数派意见的不确定性表达；(d) 因果归因——把中心层级 $R_{div}$ 与中心公开数据（病人数、移植量、地理、种族构成、保险分布）做回归，找到异质性的真正解释变量；(e) 动态监测仪表盘——把 1,772,261 对做成可交互可视化，让政策制定者像读医院感染率那样读病人教育一致性。

可复现性中等偏上。积极面：方法学步骤（LlamaParse、BM25、BGE-large-en-v1.5、cross-encoder、Qwen3-14B、RRF $k=60$、temperature=0）全部公开生态，且作者把每对比较都独立持久化为 JSON，支持断点续跑，便于他人增量复现或修改 prompt 后重跑。消极面：(1) 102 本手册来自非营利组织 Transplants.org 慷慨分享且需签协议，第三方难以直接拿到原文 PDF；(2) 中心被匿名为 center-024 等，无法直接定位机构；(3) Qwen3-14B 的具体推理超参数（max tokens、top-p、prompt 模板）论文未完全公开；(4) LlamaParse 是付费 SaaS，商业依赖性高；(5) LLM judge 评估本身没公开 prompt 全文与抽样核查结果。综合看，工程细节大致可重建，但完整再现出 1,772,261 对比较需要数千美元级 API 费用 + 多块 GPU 的 Qwen3-14B 部署 + 与 Transplants.org 的合作关系——中小实验室门槛中等。