知识增强数据合成激发医疗推理：一种半监督强化学习方法 Eliciting Medical Reasoning with Knowledge-enhanced Data Synthesis: A Semi-Supervised Reinforcement Learning Approach

具体流程可拆为四步。第一步，筛选与构造 seed：从 MedMCQA、MedQA、BioASQ、HeadQA、PubMedQA 中以 prompt F.3 筛出「推理型」样本（22% 子集），再用 GPT-4.1/4o 等配合 prompt F.1/F.2 生成 novel 问题。第二步，问题合成：对每对种子掷 $\rho$，若 $\rho<\alpha$ 则从 $E_{rare}$ 采样实体 $e$，用 MedCPT 编码后与知识库 $P$ 中所有文档 $p$ 做点积相似度 $\text{Sim}(e,p)$ 取 top-4 作为上下文 $C(e)$，把 $C(e)$ 拼到 prompt F.2 里交 GPT-4.1 生成 $x^{syn}=\text{LLM}_{gen}(x_1^s, x_2^s, C(e))$；若 $\rho\geq\alpha$ 则按 prompt F.1 不注入知识。$\alpha=0.25$ 时罕见病占比可由自然 13% 抬到 25%。第三步，自标注：策略模型 $\pi_\theta$ 对每个 $x^{syn}$ 采样 $G=8$ 个 answer $a_i^{syn}=\text{ans}(y_i^{syn})$，offline 多数投票 $y^{majority}=\arg\max_a \sum_{i=1}^G \mathbb{I}[a_i^{syn}=a]$，组成 $D_{syn}=\{(x^{syn}, y^{majority})\}$。第四步，两阶段 RL：阶段 I 在 $D_{syn}$ 上用 GRPO 优化 $J_{self}(\theta)$，reward $r(y^{majority}, y_i^{syn})=\mathbb{I}[\text{ans}(y_i^{syn})=y^{majority}]$，组内 advantage $\hat{A}_i^{syn}=(r-\mu^{syn})/\sigma^{syn}$；阶段 II 在真实 43K 样本 $\mathcal{D}$ 上把 reward 替换为 $r(y,y_i)=\mathbb{I}[\text{ans}(y_i)=y]$ 继续 GRPO。Qwen 用 lr=2e-6、KL 系数 1e-3，Llama 用 lr=3e-7、关 KL 避免塌缩。

技术新颖性集中在三个层面。第一，问题合成层面把「种子 → 主题 → 检索 → LLM」做成可调比例的 pipeline：把 $\alpha$ 当作稀有度旋钮，把 12,445 个罕见病实体当开放词典，把 MedCPT 当医学领域 encoder，这种「可控分布合成」在医疗领域尚属首次系统化提出。第二，self-labeling 策略层面提出 offline voting 替代 online voting：解耦了 label 生成与策略更新，巧妙地利用了 GRPO 的 group-wise normalization，使伪标签噪声被组内统计自动平滑。第三，训练范式层面首次把「intrinsic-to-extrinsic」两阶段 curriculum 落到医疗 RL：用合成数据先学「能做的事」再在真实数据上学「该做的事」，Table 3 显示相比 one-stage 混合训练（65.10）可拿到 67.03，相比反向两阶段（64.96）也明显更优，说明顺序选择不是随意的——先 self 后 supervised 让模型「先信自己、再被纠正」是必要的设计。综合看，新颖性更多体现在「系统层面的工程化与编排」而非单一数学 trick，但每一步都有具体实验数据（Figure 5/6/7/8、Table 3/12/13）支撑。

独立分析可识别的弱点有以下几项。第一，稀有度旋钮 $\alpha=0.25$ 是经验最优，但 13%/25%/33% 之间的差异在某些子类上小于 1%（如 Table 11 的 MMLU 从 87.21 掉到 86.64），说明该参数对分布很敏感，部署到不同医院或语种时需要重新扫描，建议改进方向是把 $\alpha$ 改成「按真实验证集反馈的在线调节器」或换成多目标 Pareto 优化。第二，self-supervised 阶段严重依赖基模型的初始能力——若基模型在罕见病上的 prior 极弱（比如 1.7B 仅有 37.84），多数投票的伪标签噪声会显著放大，Table 13 显示 1.7B 的 Symptoms 子类虽然 +12.36% 但绝对值只有 49.71，说明「先自后监」只能部分弥补基模型盲区，改进方向是给基模型一个罕见病微调的 warm start 或在 self-labeling 时加入外部知识约束。第三，offline voting 一次性固化伪标签后无法随训练演化，理论上会偏离阶段 II 之后的最优决策面，可改进为周期性重新投票（每隔 N 步重抽）并对伪标签加置信度加权。第四，方法对 GPT-4.1 作为出题器有强依赖，没有 ablate prompt 稳定性或不同出题器对结果的影响，改进方向是加入开源替代品的横向对比，或对 prompt 做对抗扰动测试。第五，5 个 seed 数据集 + 1 个 GPT-4.1 出题器 + 1 个策略模型 + 1 个 MedCPT 检索器的整条 pipeline 失败模式传播链较长，端到端的可调试性较差，需要更细粒度的中间监控指标。

作者明确提到的未来方向是「把 MedSSR 扩到 >14B 模型上验证可扩展性」以及「做全量医学专家验证」。基于成果可延伸的研究还包括：把 $\alpha$ 做成多维向量，按疾病器官系统、年龄分布、人群等同时控制多个长尾；将 self-labeling 扩展为「检索增强的 self-consistency」（对每题采样不同检索上下文再投票）；把 offline voting 与 RLAIF 风格的偏好对齐结合，用 DPO 替代阶段 II 的 GRPO；用 MedSSR 训练出的中间 checkpoint 做测试时 RL（TTRL）以进一步挖掘能力；以及把该框架迁移到其它长尾医学场景（儿科、热带病、精神病）。另一个有意思的方向是探究 MedSSR 学到的「self-distilled knowledge」是否可被 extraction 出新的罕见病知识图谱，反哺合成 pipeline。

复现评估整体友好但有一定门槛。代码已开源在 https://github.com/tdlhl/MedSSR，论文附录给出了完整的 prompt（F.1-F.4）、超参表（Table 8：Qwen lr=2e-6、KL=1e-3、Llama lr=3e-7、关 KL，rollouts=8、max_response_len=4096、top-k 检索=4）、数据统计（Table 7：194,496 训练样本、9,977 测试样本、2,122 罕见病）、4 轮平均的协议。训练框架基于 VeRL（HybridFlow），评估用 vLLM + logit bias 二次解码。算力上，Qwen3-8B 的 GRPO 训练是主要开销，根据 VeRL 典型设置 8 卡 A100 80G 跑完全部 1+2 阶段需要 2-4 天级别；Llama 收敛更慢且需要谨慎调 KL；GPT-4.1 合成 43K 题的 API 成本按 350 token × $0.01/1k 估算约 $150-300 区间，比 HuatuoGPT-o1 的 20K CoT 蒸馏（约 $5k 量级）便宜一个数量级。数据集全部公开（MedMCQA、MedQA、BioASQ、PubMedQA、HeadQA、ReDis-QA、MedXpertqa、Medbullets、NEJM、Lancet、MMLU-Med）。难点在于：12,445 个罕见病实体列表需要从 Orphanet/OMIM/NORD/中国罕见病手册自己爬合并；MedCPT 的 embedding 需自部署；以及复现 Llama 上关 KL 后的「稳定 1000 步」对随机种子敏感。