Baichuan-M3：建模临床问诊以实现可靠的医疗决策支持 Baichuan-M3: Modeling Clinical Inquiry for Reliable Medical Decision-Making
百川医疗大模型通过三阶段训练统一对话问诊与可靠诊断，在多个基准上超越GPT-5.2
前置知识
强化学习从人类反馈（RLHF）
RLHF是一种训练范式，先用人类偏好数据训练奖励模型，再用强化学习（如PPO、GRPO）优化语言模型策略，使其输出符合人类期望。在医疗场景中，奖励信号来自临床规范（rubric）和事实验证，而非简单的偏好排序。奖励函数的设计直接影响模型行为——不当的奖励会导致奖励黑客（reward hacking），即模型学会表面迎合评分规则而非真正提升能力。
本文的核心训练框架基于RL，但引入了分段奖励、步骤惩罚和动态评估等创新机制，理解RLHF基础才能看清这些改进的本质。
策略蒸馏（Policy Distillation）
策略蒸馏是将一个或多个「教师」模型的行为知识迁移到一个「学生」模型的技术。与知识蒸馏（KD）不同，策略蒸馏关注的是动作分布而非单纯的输出概率。在本文中，作者先独立训练多个领域专家（问诊专家、健康咨询专家、通用推理专家），再通过离线蒸馏和在线蒸馏两个阶段将这些能力融合到单一学生模型中。
本文的三阶段训练架构以策略蒸馏为核心，理解离线蒸馏（Forward KL）和在线蒸馏（Reverse KL）的区别是理解方法论的关键。
KL散度的Mode-Covering与Mode-Seeking
前向KL散度 $D_{KL}(\pi_\theta \\| \pi_t)$ 是mode-covering的，倾向于让学习者覆盖教师分布的所有高概率区域，适合广度学习；反向KL散度 $D_{KL}(\pi_t \\| \pi_\theta)$ 是mode-seeking的，倾向于让学习者集中在教师分布的某个最优模式上，适合深度优化。本文在离线蒸馏阶段用前向KL实现能力覆盖，在线蒸馏阶段用反向KL实现模式选择。
理解这两种KL散度的性质是理解本文Stage 2和Stage 3设计理念差异的关键。
OSCE临床问诊评估
OSCE（Objective Structured Clinical Examination，客观结构化临床考试）是医学教育中的标准化考核方式，模拟真实临床场景评估医学生的问诊、检查和诊断能力。本文提出的ScanBench就是基于OSCE范式设计的AI评估基准，包含从问诊到检查到诊断的完整临床流程。
ScanBench是本文的核心评估基准之一，理解OSCE的评估逻辑有助于理解实验设计的合理性。
投机解码（Speculative Decoding）
投机解码是一种自回归推理加速技术：用轻量级草稿模型快速生成多个候选token，再由目标模型并行验证。如果草稿模型的预测被接受，就可以一次推进多个token，显著提升吞吐量。Eagle-3框架进一步利用目标模型的隐藏状态来提升草稿质量，但高维隐藏信息可能压倒轻量草稿模型。
本文提出了Gated Eagle-3改进，通过门控机制调节信息流，是工程优化的重要创新。
研究动机
当前医疗大语言模型面临一个根本性的范式断裂：事实性评估和交互式问诊评估是两个相互割裂的维度。一方面，HealthBench、Med-HALT等静态基准评估模型的事实一致性和幻觉率，但在需要复杂多约束推理的困难案例上，模型容易产生无依据的声明；另一方面，AMIE等系统在OSCE式模拟问诊中展现出良好的沟通质量，但往往牺牲诊断深度，优先追求对话流畅性而非严谨的鉴别推理。这种割裂导致了两类典型失败：知识中心模型表现出「问诊惰性」，缺乏主动获取缺失证据的能力，在开放式临床交互中容易通过假设产生幻觉；而交互导向模型则缺乏深层诊断逻辑，无法将零散证据整合为连贯的诊断推理链。此外，在长程交互场景中，强化学习面临三大技术瓶颈：异构训练环境导致多任务融合不稳定、信用分配困难（终端结果主导的监督信号难以定位哪些对话轮次对诊断成功有因果贡献）、以及推理深度增加时的奖励饱和问题。
本文的目标是本文的目标是构建一个统一临床问诊与可靠决策的医疗大语言模型Baichuan-M3，实现三个具体能力：（1）主动信息获取——模型能像真实医生一样主动询问缺失信息，消除症状描述中的歧义；（2）长程推理——将分散在多轮对话中的证据整合为连贯的诊断推理轨迹；（3）自适应幻觉抑制——在保持信息丰富性的同时，将幻觉率控制在临床安全水平。最终在HealthBench-Hard上超越GPT-5.2，在OSCE式问诊基准上超越人类医生基线。
与已有工作不同的是，本文的独特视角在于将临床问诊视为一个完整的决策过程而非孤立的问答任务。现有方法将对话交互和临床推理视为正交目标分别优化，而本文抓住了「问诊-检查-诊断」这一临床工作流的内在结构，提出按照这个流程的三个阶段分别训练专家再融合的策略。更重要的是，本文认识到简单的全局奖励在长程医疗问诊中会导致奖励黑客（如通过冗余问题膨胀召回率）和逻辑碎片化，因此引入了步骤级惩罚和相对基线的精细信用分配机制。这种「模拟医学专业培训」的训练范式是与已有方法的本质区别。
核心方法
Baichuan-M3的方法可以类比为医学教育的三个阶段：第一阶段像是专科住院医师培训，让不同模型在各自领域（临床问诊、健康咨询、通用推理）充分探索，形成领域专家；第二阶段像是集中授课，将多位专家的知识压缩到一个学生模型中；第三阶段像是临床实习，学生模型在真实环境中与多位导师互动，在实战中学会在冲突建议间做出最优决策。技术路线上，这个三阶段框架（Task RL → Offline Policy Distillation → MOPD）的核心设计哲学是「分化而非统一」——先隔离各任务的梯度干扰，再通过渐进式融合实现能力统一。在此基础上，针对临床问诊的特殊性，本文提出了分段流水线强化学习（Segmented Pipeline RL）将复杂任务分解为问诊、鉴别诊断、检查、诊断四个阶段分别优化，以及事实感知强化学习（Fact-Aware RL）通过动态门控机制在能力保护和幻觉抑制之间取得平衡。
本文最核心的创新是「临床流程对齐的优化范式」，即让模型的训练结构镜像真实临床决策流程。与已有方法的本质区别体现在三个层面：首先，在多任务融合上，本文不是简单地混合不同任务的数据进行联合训练，而是先独立训练领域专家再通过蒸馏融合，避免了早期多任务混合训练中的优化冲突。其次，在长程交互的信用分配上，本文提出了SPAR（Step-Penalized Advantage with Relative baseline）算法，将全局奖励分解为步骤级惩罚，通过将惩罚后的回报与未惩罚的组均值进行对比来计算优势函数，实现了对具体违规步骤的精确归因。第三，在幻觉抑制上，本文没有采用简单的计数惩罚（这会导致模型通过生成冗余正确陈述来稀释幻觉率，或因惩罚过重而变得保守），而是提出了基于语义密度的加权评估和基于模型能力的动态门控机制——只有当模型展现出足够的推理能力后，才逐步施加严格的安全约束。
方法步骤详情
整个训练流程分为三个阶段，每个阶段有明确的输入输出。Stage 1（任务RL）：从共享初始化出发，部署三条独立的RL流水线，分别针对临床问诊（训练模型主动获取信息的能力）、健康咨询（训练模型提供可靠医学建议的能力）、通用推理（训练基础指令遵循和推理能力）。每条流水线使用各自的验证器提供奖励信号，产出领域专家模型。Stage 2（离线策略蒸馏）：冻结所有教师模型，在各自领域进行rollout构建离线轨迹数据集D，学生模型通过Clip-Forward-KL损失函数从这个数据集中学习。Clip-Forward-KL的关键设计是只在学生概率低于教师概率时施加更新（$L_{clip-FKL} = \mathbb{E}[\mathbb{I}(\log \pi_\theta < \log \pi_t) \cdot (-\log \pi_\theta)]$），避免了单样本情况下概率过度放大，保留了探索空间。Stage 3（多教师在线策略蒸馏，MOPD）：学生模型重新进入在线交互环境，在混合领域分布上进行rollout，同时受到真实奖励信号和多个教师先验的约束，使用反向KL正则化实现模式选择。训练流程还支持循环迭代：MOPD产出的统一模型可以作为Stage 1的新初始化，进行下一轮领域增强和蒸馏。
技术新颖性
本文的技术新颖性主要体现在以下几个方面：第一，分段流水线RL（Segmented Pipeline RL）将临床问诊建模为四阶段生成过程（问诊、鉴别诊断、检查、诊断），每个阶段有独立的奖励函数，并通过质量门控转换机制（Quality-Gated Transition）确保只有临床有效的逻辑链才能延伸到下一阶段，这与传统的端到端训练有本质区别。第二，SPAR算法通过将步骤级惩罚与未惩罚的组基线对比来计算优势函数（$\hat{A}_j = \frac{\gamma_j R_{global} - \mu_{raw}}{\sigma_{raw} + \epsilon}$），实现了隐式课程学习——严重错误优先被纠正，细微瑕疵在后期精炼。第三，动态规范演化（Dynamic Rubric Evolution）机制将模型的历史响应纳入评估标准的生成过程，通过「问题驱动」的准入退出规则防止规则爆炸和奖励信号稀释。第四，事实感知RL的动态多目标聚合通过Sigmoid门控函数 $\lambda(R_{task}) = \sigma(\kappa \cdot \frac{R_{task} - \mu}{\Delta})$ 根据模型的当前能力水平调节幻觉惩罚强度，实现了「先建立能力，再施加约束」的训练策略。
实验结果
Baichuan-M3在三个权威基准上均达到最先进的性能水平。在ScanBench（OSCE式临床工作流评估）上，Baichuan-M3在三个站点全面领先：临床问诊得分74.9，超越第二名GPT-5.2-High（62.5）12.4分，超越人类医生基线（54.3）超过20分；实验室检查得分72.1；最终诊断得分74.4。通过SCAN框架的细粒度分解，Baichuan-M3在安全分诊（75.8，是人类基线40.1的近两倍）、关联问诊（72.6，超越GPT-5.2-High的54.5）、清晰度（84.5）和规范性（59.9）四个维度均展现出主导性优势。在HealthBench上，Baichuan-M3总分65.1，超越GPT-5.2-High的63.3；在困难子集HealthBench-Hard上得分44.4，显著超越GPT-5.2-High的42.0和AntAngelMed的39.6。最关键的是幻觉控制：Baichuan-M3的幻觉率仅为3.5%，在所有对比模型中最低。在HealthBench-Hallu评估中，Baichuan-M3的反驳率2.45%、不确定率2.07%，均显著优于未使用Fact-Aware RL的变体（反驳率4.68%、不确定率3.64%）。知识边界对齐分析显示，Fact-Aware RL使模型在正确输出上保持88.3%的认知一致性，在错误输出上将一致性从39.7%提升至44.9%，表明幻觉抑制的机制主要是调节生成策略使其严格收敛于模型的真实知识边界，而非注入新知识。SPAR消融实验表明，相比GRPO全局奖励（会导致冗余询问增加）和全局惩罚（会导致逻辑碎片化），SPAR在降低重复和保持逻辑连贯之间取得了最佳平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScanBench 临床问诊 | Inquiry Score | 74.9 | GPT-5.2-High 62.5 | +12.4 |
| ScanBench 实验室检查 | Lab Testing Score | 72.1 | GPT-5.2-High 66.2 | +5.9 |
| ScanBench 最终诊断 | Diagnosis Score | 74.4 | GPT-5.2-High 68.1 | +6.3 |
| HealthBench 总分 | Total Score | 65.1 | GPT-5.2-High 63.3 | +1.8 |
| HealthBench 困难子集 | Hard Score | 44.4 | GPT-5.2-High 42.0 | +2.4 |
| HealthBench-Hallu 幻觉率 | Hallucination Rate | 3.5% | GPT-5.2-High 5.15% | -1.65pp |
| ScanBench 安全分诊 | Safety Stratification | 75.8 | Human 40.1 | +35.7 |
局限与改进
作者在论文第7节坦诚承认了Baichuan-M3的多项局限性。首先，模型目前仅限于片段式、文本化的临床场景，无法完全捕捉纵向疾病管理（longitudinal disease management）——即跨越患者完整病程的长期推理。其次，模型缺乏多模态临床信号的处理能力，无法整合影像、实验室数值等非文本信息。第三，虽然幻觉控制得到了显著改善，但罕见的高风险错误仍然是开放性挑战，且模型对循证医学来源的显式接地（explicit grounding）能力有限。从我自己的观察来看，实验评估主要在模拟环境中进行，缺乏真实临床部署的验证；ScanBench虽然设计精巧，但303个病例的规模相对有限，且仅覆盖12个科室，对长尾罕见病的覆盖不足；此外，模型的参数规模（235B）和训练成本（涉及多轮RL和多教师蒸馏）使得复现门槛较高，可能限制其在资源受限场景下的应用。
独立分析的弱点
从独立分析的角度，Baichuan-M3存在几个值得关注的弱点。第一，分段流水线RL的质量门控机制（Quality-Gated Transition）虽然能修剪错误路径，但也可能导致有价值的「纠错」学习信号被丢弃——当模型在早期阶段犯错但后续阶段能自我修正时，这种轨迹会被完全丢弃，而实际上这类「错误-修正」模式对提升模型鲁棒性可能很有价值。改进方向可以是引入软门控机制，对质量较低但仍包含有效信息的轨迹给予较低权重而非完全丢弃。第二，动态规范演化中的人工专家介入环节（Human Experts validate candidates）是流程中的瓶颈——这要求持续的人力投入，且专家的判断标准可能随时间漂移。可以探索用更强的AI模型进行自动验证，建立元规则的自动演化机制。第三，事实感知RL的语义缓存系统虽然将缓存命中率提升到80%，但论文承认存在系统性偏差风险（如剂量差异被误判为等价语义），这种偏差可能在长尾医疗知识中累积放大，需要更精细的语义相似度阈值和领域自适应校准。
未来方向
作者在论文中提出，未来工作将聚焦于三个方向：（1）扩展模型到全路径临床推理，整合多模态输入（如影像、实验室数值、可穿戴设备数据）；（2）长上下文优化，支持跨越患者完整病程的超长程推理；（3）更紧密地整合证据检索、安全约束和基于环境的强化学习。基于本文的成果，我认为还有几个值得延伸的方向：首先，可以探索将分段流水线RL的思想应用于其他需要多阶段决策的领域（如法律推理、科研实验设计）；其次，SPAR算法的隐式课程学习机制可以与显式课程学习结合，进一步提升训练效率；第三，ScanBench的构建方法可以推广为一个标准化的医疗AI评估框架，支持社区共建和持续扩展；最后，三阶段训练框架的循环迭代特性（MOPD模型可作为下一轮Stage 1的初始化）为持续学习提供了天然的架构支持，值得深入探索增量学习和知识更新的机制。
复现评估
从复现角度来看，Baichuan-M3的复现面临较高门槛。有利因素包括：模型权重已在HuggingFace公开发布（baichuan-inc/baichuan-m3集合），ScanBench数据集计划开源，论文提供了相对详细的训练框架描述和关键超参数。不利因素包括：（1）基础模型参数量达235B，需要大规模GPU集群进行训练；（2）三阶段训练涉及多轮RL和多教师蒸馏，训练流程复杂，仅Stage 1就需要部署三条独立的RL流水线；（3）事实感知RL依赖外部搜索引擎和权威医学来源的实时验证，增加了工程复杂度；（4）训练中的验证系统（Rubric Verifier和Fact Verifier）使用了GPT-5作为提取器和评判器，这本身就是昂贵的API依赖。对于资源受限的研究者，可以考虑基于公开的小型医疗模型（如8B版本）进行单阶段的SPAR训练或Fact-Aware RL微调，验证核心算法思想的有效性。
论文图表