ClinAlign：基于临床医生偏好扩展医疗领域对齐

通过医生验证的rubric和可复用临床原则实现医疗LLM精细对齐

前置知识

RLHF (Reinforcement Learning from Human Feedback)

RLHF是一种训练大语言模型的方法，通过人类反馈来指导模型的优化过程。通常分为三个步骤：首先用人类标注的偏好数据训练一个奖励模型，然后用强化学习算法（如PPO或GRPO）使用这个奖励模型来优化策略模型，使模型生成的输出更符合人类偏好。在医疗领域，RLHF可以帮助模型学习临床医生的专业判断标准，使回答更符合医疗规范和实际临床需求。

本文的核心方法建立在RLHF框架之上，使用rubric-based reward替代传统的整体评分，理解RLHF是理解本文如何实现医疗对齐的基础。

Rubric (评估标准)

Rubric是一种结构化的评估工具，将复杂的评估目标分解为多个可验证的具体标准。在本文中，rubric包含7-20个独立的、可检查的评分项目，每个项目描述了期望模型在某个维度上应该展现的行为。例如，'明确回答的局限性，避免给出确定性诊断'就是一个rubric item。相比整体的好/坏评分，rubric提供更细粒度的反馈，帮助模型理解在哪里改进，也减少了reward hacking的风险。

本文的创新点在于使用医生验证的rubric作为RLHF的奖励信号，理解rubric的概念是理解方法为何有效以及相比传统方法有何优势的关键。

GRPO (Group Relative Policy Optimization)

GRPO是一种相对策略优化算法，是PPO的改进版本。它通过采样多个输出并计算它们相对于组内的相对奖励来更新策略，而不是像PPO那样使用价值函数估计优势。GRPO通常在计算上更高效，因为它不需要训练额外的价值网络。本文使用GRPO作为RLHF的核心算法，在4个H200节点上进行训练，学习率设为$10^{-6}$，批次大小为64。

本文使用GRPO实现rubric-based RLHF，理解GRPO的工作原理有助于理解训练配置和模型优化的具体实现方式。

研究动机

现有医疗大语言模型面临的核心问题是难以将开放式的输出与临床医生精细的偏好和专业标准对齐。虽然通过扩大模型规模和医疗语料在知识密集型的考试基准测试（如USMLE）上取得了巨大进步，但真正的临床咨询中需要的不仅仅是知识，还需要根据紧急程度、不确定性和用户专业水平动态调整回答风格和内容。通用的RLHF目标如'有帮助、诚实、无害'在医疗领域过于粗糙，无法捕捉临床场景中关键的细微差别，例如：哪些信息必须立即寻求紧急护理、哪些不确定性需要说明局限性、何时应该使用专业术语而非通俗语言。此外，现有的自动评估器（如LLM-as-a-judge）往往缺乏基于专业指南的基础，评估可靠性难以保证，导致训练信号质量受限。

本文的目标是本文的目标是建立一个可扩展的医疗对齐框架，使医疗语言模型能够在多样化的临床场景中产生符合医生偏好和专业标准的回答。具体来说，希望实现三个层面：一是构建高质量的医生验证监督数据，捕捉临床专家的判断标准；二是设计可复用、可组合的原则系统，将医生专业知识抽象成可以应用到新场景的监督信号；三是开发推理时工具，使模型能够在生成过程中自我检查和改进，最终在不超过模型规模的前提下，在HealthBench-Hard等医疗评估基准上超越更大的商业模型。

与已有工作不同的是，本文的独特切入点在于从'per-instance rubric'（每个例子一个rubric）到'reusable principles'（可复用原则）的蒸馏。现有的rubric-based RL方法（如RaR-Medicine、InfiMed）主要关注考试风格的问答，或者为每个评估实例单独生成rubric，这两种方式都难以扩展到真实世界的长尾临床场景。InfiMed从基准测试种子自动派生评估rubric，容易过拟合到特定基准且跨场景泛化能力有限。本文的创新在于：首先通过医生验证高质量rubric，然后将重复出现的rubric模式提炼成按临床维度组织的可复用原则库，这些原则既可以为新查询生成合成rubric实现可扩展的离线监督，也可以作为推理时的自我修正参考。这种方法弥合了per-instance标注的高质量和可扩展性之间的差距。

核心方法

ClinAlign采用两阶段框架。第一阶段构建HealthRubrics数据集：从Chatbot Arena、HelpSteer3-Preference等真实用户对话数据中筛选医疗查询，用GPT-5.1为每个查询生成初始rubric，然后让医生进行两轮修订和审核，最终产生7,034个医生验证的偏好监督例子。第二阶段构建HealthPrinciples：设计包含紧急程度、不确定性、用户专业水平和任务类型四个维度的分类体系，将所有rubric映射到相应子类别，在每个子类别内通过语义聚类将重复的rubric模式提炼成可复用的原则，最终形成119个原则。这些原则用于两个目的：一是为新查询生成rubric实现可扩展的离线训练监督（从UltraMedical-Preference额外收集16,872个医疗查询），二是打包为推理时工具，为自我修正提供rubric参考。训练时使用GRPO算法，rubric-based scoring使用固定的Qwen3-32B作为评分器。

核心创新在于将per-instance的医生验证rubric蒸馏成按临床场景组织的可复用原则。这实现了三个关键突破：首先，原则捕捉了不同临床场景中通用的评估结构而非数据集特定的伪影，因此可以从有限的医生标注中扩展到更多新查询；其次，原则库是composable（可组合）的，可以根据查询的分类标签动态检索匹配的原则组合，覆盖更全面的评估维度；最后，原则不仅可以用于训练，还可以作为推理时的检查清单，实现场景感知的自我修正，无需额外的训练或在线评分成本。这种从具体到抽象的蒸馏过程，使得医生专业知识可以以较低成本应用到长尾场景，解决了医疗对齐中数据稀缺和成本高昂的核心挑战。

方法步骤详情

方法分为四个主要步骤。第一步是医疗子集筛选：从Chatbot Arena (human-140k, human-55k, expert-5k) 和HelpSteer3-Preference中聚合103,575个带候选响应的查询，使用GPT-5.1在固定分类体系下区分医疗与非医疗查询，筛选出7,034个医疗偏好实例。第二步是医生偏好共识和rubric精炼：原始数据集有用户偏好标签，但医生重新标注后发现临床偏好与用户偏好存在系统性差异（医生一致性kappa=0.47，与用户标签匹配率0.60-0.64）。每个实例由三位医生独立标注，取多数投票作为共识，然后GPT-5.1基于共识和成对响应生成per-instance rubric items（使用Figure 4的prompt）。第三步是迭代rubric精炼：分配的医生首先审查并修订草案，独立的第二位医生审核提议的变更和更新后的rubric，只有两位医生同意才接受，否则返回另一轮修订，平均1.34轮达成共识，最大3轮（Table 1显示75.3%只需1轮，9.3%需要3轮）。精炼后GPT-5.1按照Figure 5的prompt将rubric重写为标准化JSON格式。第四步是原则提炼：首先设计四维度分类体系（紧急程度3类、不确定性3类、用户专业水平2类、任务类型21类，共29个子类别），然后将每个rubric集合映射到一个或多个子类别，在每个子类别内用Qwen3-Embedding-8B计算rubric items的L2归一化嵌入，用MiniBatchKMeans聚类，选择每个聚类中心的代表性项，再用GPT-5.1总结成单个代表性句子，迭代压缩（压缩比60:1，最多3轮）产生候选原则供医生精炼，最终形成119个原则（每个子类别1-5个）。

技术新颖性

技术新颖性体现在三个方面。首先，这是首个大规模医生验证的rubric数据集，涉及111位医生、632.2人时、总成本$15,172.80，覆盖外科、内科等多个专科，既有主治医师也有主任医师，确保了rubric反映不同临床场景的实际期望而非单一专科视角。其次，原则蒸馏方法与现有rubric RL本质不同：RaR-Medicine关注考试式问答，InfiMed从基准种子自动生成rubric容易过拟合，而本文的原则源自真实医生验证的rubric，捕获跨场景可迁移的评估结构，Qwen3-4B-Instruct在仅7,034个问题上训练，Principle Rubrics已经与Doctor Rubrics相当甚至略好（HealthBench-Hard: 24.4% vs 22.9%），说明原则确实提取了可泛化的模式。第三，推理时工具设计新颖：给定查询（可选对话上下文或草稿答案），工具先分类场景、提取匹配原则、生成情境特定的rubric items，这些rubric参考可以指导自我修正，无需训练或在线评分就能实现场景感知改进，Figure 8显示即使未经训练，多次工具调用也能持续提升HealthBench-Hard性能。

**Figure 2**: Method overview. (Top) HealthRubrics: we draft rubrics with GPT-5.1 for real-world medical queries and multi-model responses, then have physicians refine them into validated preference supervision. (Bottom) HealthPrinciples: we distill recurring rubric patterns into reusable, scenario-specific principles, used to (i) scale rubric-grounded supervision to new questions and (ii) provide rubric references for inference-time self-revision.

实验结果

实验结果验证了ClinAlign框架的有效性，在三个互补基准上展现出强大性能。在HealthBench-Hard上，Qwen3-4B-Instruct基线只有5.2%，加上Draft Rubrics提升到21.2%（+16.0%），加上Doctor Rubrics进一步达到22.9%（+17.7%），Principle Rubrics达到24.4%（+19.2%），通过More Query Rubrics扩展到16,872个查询后提升到27.2%（+22.0%）。更大的Qwen3-30B-A3B-Instruct基线15.0%，加上More Query Rubrics达到33.4%（+18.4%），超越了显著更大的商业和开源模型：Deepseek-R1 (15.1%)、Qwen3-235B-Instruct (16.2%)、o3 (31.6%)、Baichuan-M2-32B (34.7%)，建立了资源高效的医疗对齐基线。在LLMEval-Med上，Qwen3-4B-Instruct从基线的39.2%提升到Draft Rubrics的39.2%（不变），Doctor Rubrics 46.1%（+6.9%），Principle Rubrics 42.2%（+3.0%），More Query Rubrics 44.7%（+5.5%），这表明rubric-based RLHF主要改进有用性和安全而非深度推理。在Arena-Hard-v2上，Qwen3-4B-Instruct从13.2%大幅提升到Draft Rubrics 50.5%（+37.3%），Doctor Rubrics 55.3%（+42.1%），Principle Rubrics 51.0%（+37.8%），More Query Rubrics 61.3%（+48.1%），Qwen3-30B-A3B-Instruct从34.9%提升到79.4%（+44.5%），说明医疗rubric监督可以迁移到通用指令遵循行为如追踪用户意图、组织可操作指导、恰当传达局限性。Figure 9显示在固定FLOPs预算下，从1k到20k问题数单调改进，最大收益在1k到5k，达到20k仍有正向收益但边际收益递减，说明rubric-based RLHF从监督多样性比从狭窄提示集上的额外训练轮次中受益更多，更广泛的覆盖更好地跨越临床意图、风险概况和失败模式。Figure 8显示允许推理时多次调用rubric指导工具能持续改进HealthBench-Hard性能，即使没有特定训练，说明提取的原则和生成的rubric在测试时提供可操作的修正信号，但性能在几次调用后逐渐饱和，边际收益递减。rubric评分模型选择方面，在1,000个HealthBench问题上随机采样模型答案，产生11,446个rubric判断，以GPT-4.1作为参考，Qwen3评分准确率随模型规模增加：Qwen3-4B (76.4%)、Qwen3-14B (80.2%)、Qwen3-32B (87.6%)、Qwen3-235B (87.9%)，考虑到32B到235B的增益可忽略，使用Qwen3-32B作为默认评分器以平衡准确性和效率。Pilot Study显示naive SFT训练性能从41.3%上升到约52%并在第一个epoch后基本饱和，而held-out性能波动且无持续改进，表明naive SFT快速饱和且不能可靠泛化到未见问题，这激发了更可泛化的监督，特别是使用实例条件、场景感知的标准提供必要的细粒度奖励。Figure 1的散点图显示本文模型在HealthBench-hard和Arena-Hard-v2上都表现良好，无需要增加模型大小就实现了强跨基准性能。

**Table 1**: Distribution of physician revision loops required to finalize each rubric set (total N = 7,034).

**Table 2**: Summary of the principle taxonomy with four parallel dimensions: Urgency, Uncertainty, Expertise, and Task Type. #Sub / #P denotes the number of subcategories and principles, respectively, and one illustrative principle is shown per category.

**Table 3**: Model results on HealthBench, LLMEval-Med, and Arena-Hard-v2. Draft Rubrics are auto-generated rubrics; Doctor Rubrics are physician-revised; Principle Rubrics are derived from matched HealthPrinciples; More Query Rubrics scales supervision with additional medical queries.

**Figure 1**: Scatter plot of performance where the x-axis shows the HealthBench-hard score and the y-axis shows the Arena-Hard-v2 Creative Writing score. Marker size is proportional to the model parameter count.

**Figure 8**: Tool-call Scaling on HealthBench-hard.

**Figure 9**: Question scaling on HealthBench-hard under a fixed training-FLOPs budget with Qwen3-4B-Instruct.

查看结构化数据

任务	指标	本文	基线	提升
HealthBench-Hard	准确率(%)	33.4% (Qwen3-30B-A3B + More Query Rubrics)	o3 (31.6%), Baichuan-M2-32B (34.7%)	相对o3提升5.7%，与Baichuan-M2-32B相当但模型参数显著更少
HealthBench-Overall	准确率(%)	59.5% (Qwen3-30B-A3B + More Query Rubrics)	o3 (59.8%), Baichuan-M2-32B (60.1%)	与最先进的医疗模型相当，但无需专业架构
LLMEval-Med-Safety & Ethics	准确率(%)	57.8% (Qwen3-30B-A3B + More Query Rubrics)	Qwen3-4B-Instruct基线 (49.8%)	绝对提升8.0%，说明rubric监督显著改善安全性
Arena-Hard-v2-Creative Writing	准确率(%)	79.4% (Qwen3-30B-A3B + More Query Rubrics)	Qwen3-4B-Instruct基线 (13.2%)	绝对提升66.2%，表明医疗rubric监督可迁移到通用指令遵循

局限与改进

作者承认了两个主要局限性。首先，提出的方法在内在推理能力方面没有带来实质性改进。虽然它帮助模型在某些情况下产生更好的答案，但在多步推理任务上的提升并不始终显著。这表明该方法主要通过更有效地利用外部信号来提高响应质量，而不是从根本上加强内部推理能力，为通过更有针对性的监督和推理与工具使用的更紧密集成留下了改进空间。其次，作为推理时扩展策略，收益迅速饱和。超过某一点增加工具使用或采样会产生边际收益递减，表明简单地扩展推理时工具调用不太可能产生持续改进。一个有前景的方向是训练更具agent性的模型，能够规划、决定何时调用工具，并更有效地协调工具使用，从而实现更好的信用分配和更高效的推理时计算。此外，从技术角度观察，原则依赖GPT-5.1生成的初始rubric，虽然医生精炼修正了大多数问题，但如果GPT-5.1在某个领域生成系统性错误，可能影响原则质量。医生一致性kappa=0.47处于中等水平，不同医生之间仍存在偏好差异，多数投票可能平滑掉一些重要的个人临床经验。原则库固定为119个，对于高度专业化的罕见临床场景可能覆盖不足，需要持续扩展。

独立分析的弱点

独立分析的弱点包括：一是内在推理能力提升有限，在LLMEval-Med Reasoning等明确推理任务上改进较小，说明rubric-based RLHF主要优化有用性和安全而非问题解决深度。这可能是因为rubric items主要是可观察行为而非推理过程，未来可以结合Chain-of-Thought等推理密集型训练方法，让rubric不仅评估最终答案质量，还评估推理轨迹的合理性和完整性。二是推理时工具收益饱和，Figure 8显示多次调用后边际收益递减，这是因为rubric只能修正表面问题如格式、安全警告、可操作性指导，但对于需要深入临床推理或专业知识整合的问题，单纯自我修正无法根本改进。未来可以训练模型主动识别何时需要检索外部医疗知识、何时需要分步推理、何时需要请求更多信息，将rubric指导与更复杂的agent能力结合。三是医生标注成本虽已尽力降低但仍显著，632.2人时、$15,172.80对许多研究团队是沉重负担，未来可以探索半监督学习方法，从少量高质量医生标注中学习，然后用弱监督信号如用户反馈、指南文本、病例报告扩展。四是原则库静态维护，医疗指南和实践在持续更新，119个原则可能过时，需要建立原则版本管理和持续更新机制，定期与最新指南对齐。五是主要评估在HealthBench等公开基准上，真实临床部署涉及多轮对话、跨会话上下文、多模态输入等更复杂场景，当前方法在这些场景中的有效性尚待验证。

未来方向

未来研究方向包括：作者提出的一个有前景方向是将rubric-based RL与更直接训练多步推理的目标结合，目标是同时改进对齐和推理。这可能包括Chain-of-Thought rubric评估推理链的逻辑连贯性、证据充分性和结论合理性，而不仅仅是最终答案。另一个方向是训练更具agent性的模型，能够规划、决定何时调用工具，并更有效地协调工具使用。当前的推理时工具是固定的两步骤流程（场景分类→rubric生成），未来可以学习何时调用、调用几次、如何整合反馈。从成果可延伸的方向包括：将原则框架扩展到其他高风险专业领域如法律、金融、教育，这些领域同样有强烈的情境依赖性和专业标准；探索多语言医疗对齐，当前工作主要在英语，但医疗咨询在不同语言文化中可能有不同的沟通偏好和风险阈值；整合多模态输入如医学图像、实验室报告，让rubric涵盖多模态信息的整合和解释；研究长期会话中对齐的维护，当前方法主要处理单轮查询，真实临床咨询需要跨会话保持一致性和连续性；开发自动原则更新机制，从新的指南、研究和医生反馈中学习，无需大量人工干预就能更新原则库；探索更高效的监督学习范式，如从原则直接生成偏好对而非rubric，减少对在线RL的依赖；研究如何更好地平衡不同rubric items之间的潜在冲突，例如紧急情况下的清晰性可能需要牺牲一些细节完整性。

复现评估

复现性评估如下：论文承诺HealthRubrics数据集在论文接受后公开发布，HealthPrinciples原则库和推理时工具也将开放。代码在https://github.com/AQ-MedAI/ClinAlign，提供了主要实验的复现脚本。训练使用4个H200节点，GRPO学习率$10^{-6}$、批次大小64、8 rollouts每个prompt，典型的训练在20步内饱和，计算成本相对可控。数据来源明确：Chatbot Arena的human-140k、human-55k、expert-5k数据集，HelpSteer3-Preference数据集，UltraMedical-Preference的ChatDoctor和MedQuAD子集，都是公开可用的。医生标注过程详细描述：111位医生、632.2人时、每人$24/小时、总成本$15,172.80，医生分布和专科构成在Figure 6展示。评估基准HealthBench、LLMEval-Med、Arena-Hard-v2都是开源的，有官方评估脚本。prompt设计在附录中完整提供（Figure 4, 5, 7, 10, 11, 12, 13, 14, 15, 16, 17），包括rubric起草、重写、分类、聚类、生成等所有步骤。分类体系和原则定义在附录C和D中详细给出。主要超参数明确：GRPO配置、聚类压缩比60:1、最多3轮压缩迭代、学习率$10^{-6}$、批次大小64等。不足之处是GPT-5.1作为核心生成模型的具体配置和版本未详细说明，不同研究团队可能使用不同API导致结果难以完全复现。Qwen3系列模型作为基线和评分器，但Qwen3的公开可用性和具体版本需要确认。整体而言，论文提供了足够的技术细节和数据源，复现难度中等，主要挑战是获取足够的医生标注资源和计算资源。

ClinAlign：基于临床医生偏好扩展医疗领域对齐 ClinAlign: Scaling Healthcare Alignment from Clinician Preference