sebis at ArchEHR-QA 2026：单笔记本上能做多少？评估单个笔记本上的EHR问答系统 sebis at ArchEHR-QA 2026: How Much Can You Do Locally? Evaluating Grounded EHR QA on a Single Notebook

对于Question Interpretation子任务，作者使用三个模型：Qwen3-4B、Qwen2.5-14B和gpt-oss-120b。他们评估了不同的few-shot prompting设置，使用开发集的前3或5个案例作为示例。具体测试了Qwen3-4B的2种3-shot prompts、Qwen2.5-14B的3种3-shot prompts，以及gpt-oss-120b的3种3-shot和4种5-shot prompts。此外，作者还实验了两步方法：先用Qwen2.5-14B提供初始答案，再用Qwen3-4B修订得到最终答案。对于Evidence Identification子任务，作者探索了基于检索的方法和监督分类方法。为缓解开发集规模有限的问题，作者使用本地部署的Llama3.1-70B生成了合成数据：为每个原始开发案例生成10个新合成案例，共200个新案例，包含1,818个句子并标注了三类相关性标签。使用这个合成数据集训练cross-encoder证据分类器，采用BERT风格架构，特征是共享表示层同时输入到两个不同的任务头：3-way细粒度分类头和2-way二分类头。为防止合成案例主导训练信号，将真实案例上采样和合成数据下采样，实现严格的1:1比例。对于检索方法，使用Qwen3-Embedding-8B和MedCPT-Cross-Encoder两个模型计算q_{clin}与每个s_i的相似度分数，然后基于开发集上严格micro F1分数确定决策阈值t，将E = { s_i ∈ D | score(q_{clin}, s_i) > t }定义为相关句子集合。对于Answer Generation子任务，作者实验了两种设置：包含患者问题q、医生解释问题q_{clin}和临床记录片段D的0-shot prompt（使用gpt-oss-120b）；以及使用q和D的两步0-shot方法（使用Qwen3-4B）。对于Evidence Alignment子任务，作者探索了基于嵌入和生成模型的out-of-the-box方法，以及监督分类方法。fine-tuning alignment cross-encoder时，使用BERT风格架构建模查询（q和q_{clin}）、生成答案A和源证据D之间的成对关系。具体在每个a_i ∈ A和s_j ∈ D之间进行分类，输出相关决策。不同于Subtask 2的多头设置，这里采用标准二分类头。作者还通过重用Subtask 2生成的合成数据作为pseudo-alignments来扩展训练语料，保持真实和合成数据1:1比例。对于out-of-the-box模型，考虑四种方法：使用Qwen3-Embedding-8B的阈值方法（类似于Subtask 2）；使用Qwen3-4B的两步prompting list-wise对齐；使用Qwen3.5-35B-A3B的0-shot prompt作为二分类器的pair-wise对齐；使用Qwen3.5-35B-A3B的1-shot list-wise对齐（类似于第二种方法但没有reformatting步骤）。对于生成推理实验，作者使用默认解码参数，温度为0.7，top-p值为0.9，没有进行额外的调优。对于Subtask 2和Subtask 4的分类器fine-tuning，作者进行网格搜索识别最优超参数，搜索空间包括学习率{1 × 10^{-5}, 2 × 10^{-5}, 3 × 10^{-5}, 5 × 10^{-5}}、训练轮次{1, 2}和dropout概率{0.10, 0.20}。最优参数通过在开发集上进行5-fold交叉验证的性能评估来确定。

本文的技术新颖性体现在三个方面。首先，系统性评估了grounded EHR问答在全本地部署约束下的性能，填补了临床NLP领域的一个重要研究空白。大多数现有工作关注模型本身的性能提升，而本文关注的是部署约束下的性能权衡，这在真实临床场景中同样重要。其次，发现了out-of-the-box dense embedding模型在证据提取和对齐任务上超越fine-tuned cross-encoder的反直觉现象。这个发现表明在某些低资源临床场景下，简单的方法可能比复杂的fine-tuning更鲁棒，这对未来的研究方向有重要启示。第三，提出了使用本地大模型生成合成数据来稳定BERT风格分类器训练的pipeline，并且通过平衡真实和合成数据比例来防止合成数据主导训练信号，这是一个实用的数据增强策略。此外，本文还展示了量化和小型语言模型在本地执行生成任务上的高度能力，证明了适当的配置和训练策略可以让小模型达到接近大模型的性能，这对资源受限环境具有重要的实践意义。

本文独立分析的第一个弱点是合成数据生成策略虽然创新，但完全依赖LLaMA-3-70B模型的质量，且生成过程的质量阈值（句子长度10-500字符、相关性标签比例约束等）是人工设定的，可能无法完全捕捉真实临床数据的细微差别。合成数据在Subtask 2中帮助了通用模型但未帮助biomedical模型，在Subtask 4中甚至出现了相反的效果，这表明合成数据的策略需要针对不同模型和任务进行更精细的调整。改进方向可以是探索更先进的合成数据生成方法，如结合大型代理数据集或使用更复杂的质量控制机制。第二个弱点是对于Subtask 2，所有方法都难以显著优于所有句子相关的基线，这表明该任务的定义可能存在问题。基线实现完美召回和竞争性F1性能，说明数据集可能隐式地奖励高召回，而真正不相关上下文的可靠识别仍然具有挑战性。改进方向可以重新思考任务定义，例如增加负样本的权重或设计更精确的评估指标。第三个弱点是fine-tuned模型在测试集上出现严重退化（如Subtask 4中Bio_ClinicalBERT从开发集的21.47降至测试集的8.33），这表明模型过拟合了开发分布，而开发分布可能不能完全反映测试集的特征。改进方向可以包括更robust的正则化技术、domain adaptation方法，或者使用更多样化的训练数据。第四个弱点是实验硬件仍然偏向高端（Apple M4 Pro with 48GB），这限制了在更受限环境中的应用。改进方向可以探索更小、高度优化的语言模型，能够在高度受限的边缘设备（如手机或临床平板）上执行，进一步降低入门门槛。

作者提出的未来工作方向包括探索更小、高度优化的语言模型，能够在高度受限的边缘设备（如移动设备或临床平板）上执行，进一步降低入门门槛。此外，由于这个共享任务在低资源数据下运行，这可能导致了fine-tuned cross-encoders的一般化挑战，未来研究应该探索集成来自相关临床领域的大规模代理数据集以及更先进的合成数据生成方法，以更好地稳定模型fine-tuning并提高对分布偏移的鲁棒性。基于本文成果可以延伸的方向包括：研究在更多样化的临床场景和多语言环境中的本地EHR问答性能；探索更高效的模型架构和量化技术，使大模型能够在更受限的硬件上运行；研究human-in-the-loop的机制，结合临床医生的专业知识来提高答案的准确性和可靠性；探索更robust的grounding机制，能够处理更复杂的推理和跨多个临床记录的信息综合；研究模型的持续学习和适应能力，使其能够随着新数据的积累而不断改进，而不需要重新训练整个模型。

本文的复现评估情况如下。代码已开源在https://github.com/ibrahimey/ArchEHR-QA-2026.Mar，这为复现提供了基础。使用的ArchEHR-QA 2026数据集是公开的，包含开发集20个案例、测试集100个案例和test-2026集47个案例，每个案例包括患者问题、医生解释问题、临床记录片段、医生答案、证据链接和临床专科等多层专家标注。硬件要求相对较高：大多数实验在Apple MacBook M4 Pro with 48GB unified memory上进行，这足以训练分类器模型并运行大多数推理实验；对于gpt-oss-120B模型的实验，使用了Apple Mac Studio M3 Max with 96GB内存。所有模型都从Hugging Face获取，包括量化的MLX版本和标准版本。复现难度中等偏上，主要挑战在于硬件要求和本地部署大模型的技术细节。不过，由于所有实验都在本地进行且没有使用外部API，一旦硬件准备就绪，复现过程应该是确定性的。作者严格遵循了共享任务的官方评估脚本，确保了结果的可靠性。