CURE-Med：基于课程学习的多语言医疗推理强化学习框架 CURE-Med: Curriculum-Informed Reinforcement Learning for Multilingual Medical Reasoning
提出课程引导的强化学习框架，联合优化多语言医疗推理的逻辑正确性与语言一致性
前置知识
Chain-of-Thought (CoT) 推理
链式思维推理是一种让大语言模型在生成最终答案前先产生中间推理步骤的技术。模型通过逐步分析问题、分解复杂任务、进行逻辑推导，最终得出结论。在医疗场景中，CoT允许模型先进行症状分析、鉴别诊断、排除干扰项，再给出最终诊断。本文中的代码切换CoT允许中间步骤混合使用英语临床术语和目标语言，以提高推理的精确性。
本文的SFT阶段基于多步推理轨迹训练，理解CoT是理解整个训练流程的基础
Group Relative Policy Optimization (GRPO)
GRPO是一种强化学习算法，源自DeepSeek-Math项目，通过组内相对比较来优化策略。与传统PPO不同，GRPO不需要训练单独的价值模型，而是对同一提示生成多个候选回答，然后根据奖励信号计算组内相对优势。这使得训练更加稳定高效，特别适合多语言设置下的策略优化。
GRPO是本文强化学习阶段的核心算法，理解其原理对把握课程学习设计至关重要
代码切换 (Code-Switching)
代码切换是指在同一对话或文本中交替使用两种或多种语言的现象。在本文的医疗推理场景中，中间推理步骤允许混合使用英语临床术语和目标语言表达，而最终答案必须使用目标语言。这种设计既保证了医学推理的准确性（利用英语丰富的医学语料），又保持了输出的语言一致性。
代码切换是本文冷启动SFT阶段的核心技术，是解决多语言医疗推理语言漂移问题的关键
课程学习 (Curriculum Learning)
课程学习是一种模仿人类学习过程的训练策略，按照从易到难的顺序组织训练数据。本文创新性地以语言资源水平（而非问题复杂度）作为难度维度：先在高资源语言（法语、日语、西班牙语、越南语）上训练，再逐步引入中资源语言（韩语、泰语、土耳其语、孟加拉语），最后训练低资源语言（阿姆哈拉语、约鲁巴语、豪萨语、印地语、斯瓦希里语）。这种设计基于模型在高资源语言上能获得更稳定奖励信号的观察。
课程设计是本文的核心创新点之一，直接决定了多语言推理能力的迁移效果
语言一致性奖励 (Language Consistency Reward)
语言一致性奖励是一种强化学习中的信号，用于惩罚模型输出语言与查询语言不匹配的情况。当模型输出完全使用目标语言时获得奖励1.0，否则为0.0。这种二元奖励与准确性奖励和格式奖励加权组合，形成最终的复合奖励函数，确保模型在提高推理准确性的同时不发生语言漂移。
语言一致性奖励是解决多语言LLM输出语言漂移问题的核心机制
研究动机
尽管大语言模型在单语数学推理和常识推理上表现出色，但在多语言医疗推理场景中仍然不可靠，这严重阻碍了其在多语言医疗环境中的部署。具体而言，现有方法面临两个核心问题：第一，逻辑准确性不足——模型倾向于生成流畅但临床不合理的解释，例如将轻微病毒感染误判为早期肺部感染，这种行为在MedAlpaca-7B上表现为仅2.47%的逻辑准确率和3.50%的语言一致性。第二，语言漂移严重——模型经常在回答时切换到英语或产生混合语言输出，OpenBioLLM-Llama3-8B虽然达到36.62%的逻辑准确率，但语言一致性仅有1.47%。这些问题在低资源语言中尤为突出：Qwen2.5-7B-Instruct在阿姆哈拉语、豪萨语、斯瓦希里语和约鲁巴语上的语言一致性和逻辑准确率均接近0%，而在法语和日语上分别达到71.43%和60.00%的语言一致性。
本文的目标是本文旨在解决多语言医疗推理中的逻辑正确性和语言一致性问题，具体目标包括：（1）构建一个覆盖13种语言的开放性医疗推理基准数据集CUREMED-BENCH，包含15,774个具有单一可验证答案的实例；（2）提出一个两阶段训练框架CURE-MED，通过代码切换感知的监督微调和课程引导的强化学习，联合优化逻辑准确性和语言保真度；（3）在多个模型规模（1.5B到32B）上实现一致的性能提升，并在分布外泛化测试中展现鲁棒性。
与已有工作不同的是，本文的独特切入角度体现在三个方面。首先，在评估维度上，现有医疗基准主要采用选择题形式，隐藏了中间推理过程，而CUREMED-BENCH采用开放性问答格式，能够独立评估推理质量和语言保真度。其次，在训练策略上，不同于以往以问题复杂度组织课程的做法，本文创新性地以语言资源水平作为课程维度，基于模型在高资源语言上能获得更稳定奖励信号的观察，设计从高到低资源语言的渐进式训练。第三，在优化目标上，不同于分别优化推理能力或语言能力的做法，本文通过复合奖励函数（0.65乘以准确性加0.30乘以语言一致性加0.05乘以格式）联合优化两个目标，实现了推理准确性和语言保真度的协同提升。
核心方法
CURE-MED采用三阶段流水线架构，整体思路是先构建高质量多语言医疗数据，然后通过监督微调进行冷启动初始化，最后通过课程引导的强化学习精细优化。直觉上，这个框架模仿了人类医学生的学习过程：先通过大量阅读建立基础知识（SFT阶段），然后在指导下逐步处理从简单到复杂的病例（课程RL阶段）。技术路线上，第一阶段从MedlinePlus等临床验证来源收集数据，经多阶段过滤后转换为开放性问答格式；第二阶段在代码切换的长链式推理轨迹上进行监督微调，使模型学会在中间步骤使用最有效的语言进行推理，同时在最终答案中保持目标语言；第三阶段使用GRPO算法进行课程引导的强化学习，按照语言资源水平从高到低的顺序组织训练，同时保留85%的前序数据以防止灾难性遗忘。
本文的核心创新点在于将语言资源水平作为课程学习的难度维度，这与以往以问题复杂度组织课程的做法有本质区别。这种设计基于一个关键观察：模型在高资源语言上能获得更稳定、更高质量的奖励信号，因此适合作为强化学习的起点。另一个关键创新是代码切换感知的监督微调——允许中间推理步骤混合使用英语临床术语和目标语言，这种设计既利用了英语丰富的医学语料保证推理准确性，又通过在最终答案中强制使用目标语言来维持语言一致性。与已有方法的本质区别在于，传统方法要么分别优化推理能力或语言能力，要么仅在有限的双语设置中研究语言混合，而CURE-MED通过复合奖励函数和课程设计实现了两个目标的协同优化，覆盖了从高到低资源的13种语言。
方法步骤详情
CURE-MED的方法包含三个主要阶段。阶段0（数据构建）：使用GPT-4o从MedlinePlus检索内容，为13种目标语言独立生成选择题，然后进行多阶段过滤——首先移除被三个小型LLM（Qwen2.5-3B/7B、LLaMA-3.1-8B）全部答对的简单题目，再使用GPT-4o排除存在多个有效答案或跨语言不一致的样本，最后将保留的题目转换为开放性问答格式，生成显式推理链和自由形式的参考答案。阶段1（冷启动SFT）：在代码切换的多步推理轨迹上进行监督微调，每个轨迹包含推理步骤r={r1,...,rT}，其中步骤rt可以使用语言lt属于L，但最终答案y*必须使用目标语言l。优化目标为最大化推理轨迹和答案的似然：LSFT = -log p_theta(r, y* | x)。阶段2（课程引导GRPO）：设计三级课程——高资源（法语、日语、西班牙语、越南语）、中资源（韩语、泰语、土耳其语、孟加拉语）、低资源（阿姆哈拉语、约鲁巴语、豪萨语、印地语、斯瓦希里语）。训练从高资源开始，当奖励改进达到平台期时扩展到下一级，同时混合保留前序阶段85%的数据：Di = alpha * Di-1 + (1-alpha) * DLi，其中alpha=0.85控制保留比例。每阶段使用16个候选响应计算组内相对优势进行策略更新。
技术新颖性
本文的技术新颖性体现在多个层面。首先，CUREMED-BENCH是首个覆盖13种语言（包括低资源非洲语言如阿姆哈拉语、约鲁巴语、斯瓦希里语）的开放性医疗推理基准，填补了现有基准在多语言开放性评估方面的空白。其次，语言资源感知的课程学习设计是全新的——不同于以往以问题难度组织课程的做法，本文基于模型在不同语言上的基线表现来定义难度等级，这种设计使得强化学习能够在最稳定的奖励信号下启动，然后逐步迁移到更具挑战性的低资源语言。第三，代码切换感知的SFT允许中间推理步骤灵活混合语言，这与以往要求全程使用单一语言或仅在有限双语设置中研究语言混合的做法形成鲜明对比。第四，复合奖励函数将准确性奖励（0.65）、语言一致性奖励（0.30）和格式奖励（0.05）整合为统一的优化目标，其中准确性奖励使用连续的[0,1]评分而非二元判定，为模型提供更平滑的学习信号。
实验结果
本文的核心发现可以归纳为四个方面。首先，在主实验中（RQ1），CURE-MED在所有模型规模上都显著优于基线模型：在3B规模下，CURE-MED达到42.93%逻辑准确率和74.28%语言一致性，而Qwen2.5-Instruct-3B基线仅为10.83%和8.39%；在7B规模下，CURE-MED达到54.35%逻辑准确率和85.21%语言一致性，超过了HuatuoGPT-o1-8B的46.86%和67.30%；在32B规模下，CURE-MED达到70.04%逻辑准确率和94.96%语言一致性，超越了所有28个基线模型。其次，在语言-推理权衡分析中（RQ2），CURE-MED将性能推向右上角，表明可以在不牺牲语言保真度的情况下提高推理准确性。第三，在缩放趋势中（RQ3），CURE-MED展现出平滑的缩放曲线：语言一致性从1.5B的57.6%增长到32B的95.0%，逻辑准确性从28.3%增长到70.0%，而基线模型仅显示适度改善。第四，在分布外泛化测试中（RQ4），CURE-MED在MMedBench、MedExpQA和MedQA上都显示出显著改进，特别是小模型：在MMedBench上，1.5B模型从6.00提升到24.00（法语）和从20.00提升到57.50（俄语）；在MedExpQA上，1.5B模型从1.40提升到44.80（英语）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CUREMED-BENCH（13语言平均） | 语言一致性 (%) | 94.96（32B） | 41.51（Qwen2.5-Instruct-32B） | +53.45 |
| CUREMED-BENCH（13语言平均） | 逻辑准确率 (%) | 70.04（32B） | 49.69（Qwen2.5-Instruct-32B） | +20.35 |
| CUREMED-BENCH（13语言平均） | 语言一致性 (%) | 85.21（7B） | 25.44（Qwen2.5-Instruct-7B） | +59.77 |
| CUREMED-BENCH（13语言平均） | 逻辑准确率 (%) | 54.35（7B） | 29.56（Qwen2.5-Instruct-7B） | +24.79 |
| MMedBench（法语） | 准确率 (%) | 24.00（1.5B） | 6.00（Qwen2.5-1.5B） | +18.00 |
| MMedBench（俄语） | 准确率 (%) | 57.50（1.5B） | 20.00（Qwen2.5-1.5B） | +37.50 |
| MedExpQA（英语） | 准确率 (%) | 44.80（1.5B） | 1.40（Qwen2.5-1.5B） | +43.40 |
| MedQA（简体中文） | 准确率 (%) | 59.50（1.5B） | 21.00（Qwen2.5-1.5B） | +38.50 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，CUREMED-BENCH受限于跨语言临床可靠来源的可用性，这限制了数据集的覆盖范围，并可能在高资源和低资源设置之间造成不均匀的难度差异。其次，基准仅针对具有单一可验证答案的开放性问题，因此无法捕获纵向护理轨迹、多次就诊决策或多模态临床证据。第三，流水线的部分组件依赖API模型（如GPT-4o用于生成和验证），这可能成本高昂且阻碍部分研究者的复现；实际方向是用为相同角色训练的小型开源模型替换这些组件。从个人观察来看，13种语言的覆盖虽然多样，但仍缺少许多重要的医疗语言如阿拉伯语、葡萄牙语、俄语等；此外，代码切换策略可能不适用于所有语言对，特别是在语言距离较远的语言之间；最后，课程学习的语言分层是基于Qwen2.5-14B-Instruct的基线表现，这种分层可能对其他模型家族不适用。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，代码切换策略的适用性存在局限——当前设计允许中间推理步骤混合使用英语和目标语言，但这种假设在英语能力有限的用户群体中可能不适用，改进方向是探索更多语言对之间的代码切换模式，或者开发自适应的代码切换策略。其次，课程学习的语言分层是静态的——使用Qwen2.5-14B-Instruct的基线表现来划分高、中、低资源等级，但不同模型家族可能有不同的语言能力分布，改进方向是动态课程设计，根据训练过程中的实际表现调整语言顺序。第三，奖励函数的权重设置（0.65/0.30/0.05）是固定的，没有根据训练阶段或语言资源水平进行自适应调整，改进方向是探索动态权重调整策略。第四，16个候选响应的采样计算成本较高，在大规模应用时可能不实用，改进方向是研究更高效的奖励估计方法。第五，当前框架仅处理文本模态，无法处理医学影像、心电图等多模态临床证据。
未来方向
本文作者提出的未来工作方向包括：扩展语言覆盖范围，纳入更多低资源语言如阿拉伯语、斯瓦希里语变体等；扩展临床场景和模态，从纯文本问答扩展到包含医学影像的多模态推理；进一步减少对专有API的依赖，用开源模型替代GPT-4o进行数据生成和验证。基于本文成果可延伸的研究方向包括：（1）将课程学习框架应用到其他需要跨语言迁移的任务，如多语言法律推理或多语言教育问答；（2）探索更细粒度的课程设计，不仅按语言资源水平分层，还可以按医学专科（如内科、外科、儿科）或问题类型（诊断、治疗、预防）组织课程；（3）研究代码切换模式的自动发现，让模型自主学习何时以及如何切换语言以获得最佳推理效果；（4）将CURE-MED与检索增强生成（RAG）结合，利用多语言医学知识库进一步提升低资源语言的推理能力；（5）开发更高效的强化学习算法，减少候选响应采样数量，降低计算成本。
复现评估
本文的复现性评估如下。开源情况：作者声明代码和数据集在cure_med仓库公开可用，这有助于社区复现和扩展。数据方面：CUREMED-BENCH基于MedlinePlus等公开临床来源构建，经过人工验证（平均评分4.89/5），数据质量有保障；但SFT数据的构建依赖GPT-4o，这可能引入API成本和版本依赖。算力要求：所有实验在单节点8块NVIDIA A100 GPU（80GB显存）上进行，SFT阶段约6-12小时，GRPO阶段约10-20小时，总计约130-250 GPU小时，这对大多数研究机构是可承受的。训练细节：作者提供了详细的超参数配置（AdamW优化器、学习率、批大小等）、DeepSpeed ZeRO-3分布式训练设置、以及16个候选响应的采样策略，这些都有助于复现。潜在挑战：奖励模型使用闭源的多语言奖励模型，验证器使用GPT-4.1，这些API依赖可能增加复现成本；此外，课程学习的语言分层基于特定模型（Qwen2.5-14B-Instruct），其他研究者可能需要重新计算分层。总体而言，复现难度中等，主要障碍在于API成本和多语言数据质量保证。
论文图表
