MedSAM-Agent：基于多轮智能体强化学习的交互式医学图像分割框架

通过多轮强化学习训练MLLM自主调用分割工具，实现超越人工提示的医学图像分割

前置知识

Segment Anything Model (SAM)

SAM是由Meta提出的通用图像分割基础模型，能够通过用户提供的提示（点、边界框或掩码）对任意物体进行分割。其核心架构包含图像编码器、提示编码器和掩码解码器三部分，通过在超过10亿个掩码的大规模数据集上训练，实现了强大的零样本泛化能力。在医学领域，MedSAM等衍生模型通过对医学图像的微调，将SAM应用于临床分割任务，但仍需依赖人工提供初始提示。

本文的核心创新在于让MLLM自主决定何时以及如何调用SAM工具，而非依赖人工提示。理解SAM的交互机制是理解MedSAM-Agent如何将其作为'工具'使用的基础。

强化学习从可验证奖励 (RLVR)

RLVR是DeepSeek-R1等模型采用的训练范式，通过设计可验证的奖励信号（如数学问题的正确性、代码的执行结果）来训练大语言模型的推理能力。与传统RLHF依赖人类偏好的奖励模型不同，RLVR使用基于规则的、可客观验证的奖励函数，避免了奖励模型的偏差问题。这种方法已被证明能有效提升模型的结构化推理和泛化能力。

本文将RLVR范式应用于医学图像分割，设计了针对分割任务的多维度奖励函数（包括格式奖励、质量奖励、进度奖励、超调惩罚和工具成本惩罚），这是实现智能体自主决策优化的关键。

多模态大语言模型 (MLLM)

MLLM是能够同时处理文本、图像等多种模态信息的大语言模型，如Qwen3-VL、GPT-4V等。在医学领域，MLLM展现出卓越的感知和推理能力，可用于视觉问答、报告生成等任务。然而，MLLM在细粒度像素级理解方面存在固有局限，难以直接进行精确的医学图像分割。

本文将MLLM作为策略网络，负责理解医学图像语义并决策下一步交互动作，将高层次的语言推理能力与低层次的像素级分割工具相结合，这是框架的核心架构设计。

Group Relative Policy Optimization (GRPO)

GRPO是DeepSeek提出的强化学习优化算法，通过采样一组rollout并计算组内相对优势来更新策略。与PPO需要额外的价值网络不同，GRPO直接利用同一组采样的奖励差异来估计优势函数，简化了训练流程。具体而言，对每个查询采样G个输出，通过归一化组内奖励来计算每个输出的优势值，实现更稳定的策略优化。

本文采用GRPO作为RL阶段的优化算法，通过多轮rollout采样和相对优势计算，训练智能体学会在不同医学场景下做出最优的交互决策。

研究动机

医学图像分割正从专用模型向通用框架演进，但现有方法存在两大核心瓶颈。首先，交互策略单一且低效：基于SAM的模型（如SAM、MedSAM）完全依赖人工提供点或边界框提示，无法实现自主分割；而近期尝试将MLLM与SAM结合的方法（如Seg-R1、SegAgent）要么采用单轮交互将SAM视为静态分割器，要么仅支持单调的点击策略，缺乏空间灵活性。在处理体积庞大或边界模糊的病例时，这些方法无法利用边界框作为全局上下文锚点，导致逐步细化效果不佳。其次，强化学习过程缺乏过程级监督：现有RLVR框架主要关注终端结果（如最终Dice或IoU），忽略了中间动作的效率和逻辑连贯性。没有针对动作精简和每步有效性的特定奖励，智能体可能采取不必要的步骤，最终损害训练收敛效率和推理性能。

本文的目标是本文旨在构建一个能够自主执行多轮交互分割的智能体框架，使MLLM能够像专业医学标注人员一样工作：先用边界框定位目标区域，再通过正负点击逐步精细化掩码，并在达到足够精度时自动停止。具体目标包括：（1）实现超越单轮人工提示的分割精度；（2）确保交互过程的效率，避免冗余动作；（3）实现跨分割工具的零样本泛化能力。

与已有工作不同的是，本文的独特切入角度是将医学图像分割重新定义为多步自主决策过程，而非传统的像素级分类问题。与现有方法的本质区别在于：（1）采用混合提示策略同时支持边界框和点击两种交互范式，更好地模拟人类标注专家的工作流程；（2）设计了包含进度奖励、超调惩罚和工具成本惩罚的过程级监督信号，而非仅依赖最终分割精度；（3）通过两阶段训练（SFT冷启动+RL优化）让智能体既掌握基础解剖定位能力，又学会跨工具的通用交互策略。

核心方法

MedSAM-Agent的整体思路可以类比为培养一名医学影像标注专家的过程。首先，通过混合提示策略生成高质量的专家交互轨迹，就像收集资深标注人员的工作录像；然后，通过监督微调让模型'模仿'这些专家行为，建立基础的解剖定位能力；最后，通过强化学习让模型在实践中自主优化交互策略，学会何时使用边界框、何时使用点击、以及何时停止。技术路线为：给定医学图像I和分割目标提示P，策略模型πθ迭代生成动作at（边界框、点击或停止），与分割工具交互获得新观察ot（更新后的掩码），并将其反馈到模型作为下一步输入，直到生成停止动作或达到最大交互轮次。

核心创新点在于混合提示策略和临床保真度过程奖励的结合设计。与已有方法的本质区别体现在三个方面：第一，混合提示策略突破了现有方法仅支持单一点击的限制，同时引入'Box-to-Point'和'Sequential-Click'两种交互范式。Box-to-Point先用边界框建立全局空间约束，再用点击进行局部细化；Sequential-Click则从目标质心开始逐步点击。第二，过程奖励设计创新性地引入了三个维度的监督信号：Progressive Improvement Bonus（Rimp）奖励每轮交互的IoU增量，激励单调质量提升；Overshoot Penalty（Rover）惩罚峰值IoU后的质量下降，训练最优停止策略；Tool-cost Penalty（Rcost）对序列长度施加线性惩罚，鼓励最短路径达到高保真分割。第三，两阶段训练pipeline中SFT阶段仅需449K样本即可建立基础能力，RL阶段仅需9K高质量困难样本即可实现策略优化。

方法步骤详情

方法分为四个关键步骤。第一步，混合提示策略轨迹生成：对每个图像-掩码对，随机选择Box-to-Point或Sequential-Click范式。Box-to-Point先提取目标掩码的轴对齐边界框并加入随机抖动模拟人工不精确性，后续步骤通过距离变换识别假阴性（FN）和假阳性（FP）区域的最大误差簇质心进行纠正点击。Sequential-Click则从目标质心开始。每个动作必须满足增量IoU增益阈值τ=0.04，不满足则重采样最多N=5次。第二步，SFT冷启动：将轨迹数据格式化为结构化工具调用schema（包含标签），构建449K样本的SFT数据集，使用负对数似然损失训练模型自回归预测下一个token，学习率1e-5，batch size 64。第三步，临床保真度过程奖励设计：设计五维奖励函数Rtotal = w1·Rfmt + w2·clip(Rqual + λ1Rimp - λ2Rover - λ3Rcost, 0, 1)，其中Rfmt奖励正确的工具使用和停止行为（各0.5分），Rqual = wiou·IoUfinal + wdice·Dicefinal结合IoU和Dice系数评估最终质量。第四步，GRPO优化：采样G=8个rollout，计算组内相对优势Ai进行策略更新，学习率1e-5，batch size 8，最大交互轮次5。

技术新颖性

技术新颖性体现在三个层面。首先，在问题建模层面，本文首次将医学图像分割形式化为马尔可夫决策过程（MDP），状态st定义为历史动作-观察对序列{(a0,o0),...,(at-1,ot-1)}，动作空间包含边界框、正负点击和停止信号，这种建模方式比传统的单次前向推理更适合交互式分割的本质。其次，在训练范式层面，本文提出了'专家轨迹生成+冷启动+强化优化'的三段式pipeline，其中混合提示策略生成的轨迹质量远超纯点击策略（IoU从0.623提升至0.686），且RL阶段仅需9K困难样本即可实现显著性能提升。第三，在奖励设计层面，本文提出的五维奖励框架首次将交互效率纳入医学分割的优化目标，其中Rover通过惩罚峰值后的质量退化训练智能体识别收益递减点，Rcost鼓励最短路径达到目标精度，这种过程级监督比纯结果监督更能引导智能体学习临床专家的决策逻辑。

实验结果

本文在6种医学成像模态（CT、MRI、X-Ray、超声、眼底、内窥镜）的21个数据集上进行了全面评估，核心发现如下：第一，MedSAM-Agent在整体性能上达到SOTA，使用MedSAM2作为分割工具时平均Dice达0.794、IoU达0.705，显著超越所有基线方法。与最佳MLLM基线UniBiomed（Dice 0.776、IoU 0.681）相比，绝对提升分别为1.8%和2.4%。第二，多轮交互策略的有效性得到验证：在FH-PS-AOP和Radiography数据集上，智能体的最终平均IoU超越了基于ground-truth的单轮Box和Point提示的理论上限，证明智能体内化了超越简单工具调用的精细细化逻辑。堆叠条形图显示绿色段（IoU提升样本）占主导地位，且随着轮次递减的样本数表明智能体能自适应选择最优交互深度。第三，零样本工具无关泛化能力显著：用MedSAM2训练的智能体在推理时切换到IMISNet或SAM2，性能下降可忽略不计（Table 2），这表明RL策略成功将高层决策逻辑与底层掩码生成机制解耦。第四，混合提示策略优于单一策略：与纯Sequential-Click相比，混合策略将IoU从0.623提升至0.686，同时将平均交互轮次从2.94降至2.35。

查看结构化数据

任务	指标	本文	基线	提升
CT分割（6个数据集平均）	Dice/IoU	0.732/0.654 (IMISNet), 0.720/0.633 (MedSAM2)	UniBiomed: 0.724/0.634, Seg-R1: 0.099/0.064	超越UniBiomed 0.8%/2.0%（IMISNet版本），超越Seg-R1 63.3%/59.0%
MRI分割（3个数据集平均）	Dice/IoU	0.783/0.685 (IMISNet), 0.793/0.701 (MedSAM2)	UniBiomed: 0.807/0.716, Citrus-V: 0.326/0.258	与UniBiomed相当（-1.4%/-1.5%），大幅超越Citrus-V 46.7%/44.3%
X-Ray分割（6个数据集平均）	Dice/IoU	0.798/0.723 (IMISNet), 0.833/0.775 (MedSAM2)	UniBiomed: 0.817/0.748, MedSAM2-Box: 0.897/0.836	超越UniBiomed 1.6%/2.7%（MedSAM2版本）
超声分割（3个数据集平均）	Dice/IoU	0.658/0.547 (IMISNet), 0.793/0.685 (MedSAM2)	UniBiomed: 0.736/0.618, MedSAM2-Box: 0.890/0.806	超越UniBiomed 5.7%/6.7%（MedSAM2版本）
眼底分割（REFUGE数据集）	Dice/IoU	0.803/0.678 (IMISNet), 0.813/0.692 (MedSAM2)	UniBiomed: 0.794/0.668, Citrus-V: 0.782/0.655	超越UniBiomed 1.9%/2.4%
内窥镜分割（2个数据集平均）	Dice/IoU	0.803/0.736 (IMISNet), 0.811/0.744 (MedSAM2)	UniBiomed: 0.778/0.704, MedSAM2-Box: 0.925/0.872	超越UniBiomed 3.3%/4.0%
工具无关泛化（BTCV数据集）	Dice/IoU	0.769/0.687 (IMIS训练/测试), 0.773/0.690 (MedSAM2训练/测试)	GPT-4o: 0.122/0.104, Qwen3-VL-8B base: 0.130/0.113	超越基础模型63.9%/57.4%，跨工具性能下降<1%

局限与改进

尽管MedSAM-Agent取得了显著成果，仍存在以下局限性：第一，计算效率方面，多轮交互范式相比单次推理增加了累积延迟。每轮交互需要重新编码图像和掩码，最大5轮交互意味着推理时间可能增加数倍，这对实时临床应用构成挑战。作者承认这是潜在限制，并计划探索早退机制和推测解码优化。第二，仅支持2D图像切片，尚未扩展到临床常用的3D体积数据（如CT、MRI扫描）。跨切片解剖连续性的捕获需要重新设计动作空间和RL环境。第三，分割工具依赖性：虽然展示了跨工具泛化能力，但智能体性能仍受底层分割工具能力的约束。在LIDC-IDRI等挑战性数据集上，IMISNet基础性能较差（IoU 0.443），即使经过多轮优化仍难以达到临床标准。第四，RL训练数据选择策略偏向3-5轮交互的困难样本，可能在简单场景下引入不必要的交互开销。第五，缺乏与临床专家的直接对比评估，无法量化智能体在真实标注工作流中的实际效率提升。

独立分析的弱点

独立分析发现以下弱点及改进方向：第一，动作空间设计仍有限制。当前仅支持2D点和边界框，缺乏对多边形、涂鸦等更灵活提示的支持。改进方向是扩展动作空间以包含更丰富的交互原语，并设计相应的轨迹生成算法。第二，停止策略的学习依赖于超调惩罚Rover，但在某些边界模糊的场景中，智能体可能过早停止导致欠分割。可考虑引入自适应停止阈值，根据图像内容动态调整停止条件。第三，过程奖励中的权重参数（w1=0.2, w2=0.8, λ1=0.1, λ2=1.0, λ3=0.01）通过经验设定，缺乏理论指导。可探索自动权重调整或课程学习策略，让奖励权重随训练阶段动态变化。第四，当前框架将分割工具视为黑盒，无法利用工具内部的不确定性信息。改进方向是设计工具感知的智能体，能够解析分割模型的置信度图来指导下一步动作。

未来方向

作者提出三个战略扩展方向：第一，扩展到体积模态。将智能体的动作空间和RL环境扩展到3D空间上下文，捕获跨切片解剖连续性，提供更一致的临床准确体积分割。这需要设计3D边界框和体积点击操作，以及相应的轨迹生成策略。第二，开发统一的多模态智能体。将MedSAM-Agent进化为统一的医学AI助手，在单一架构内执行多种医学影像任务（如医学VQA、病灶分类、自动报告生成），将这些不同任务视为专门的工具使用动作，无需改变核心智能体框架即可集成新能力。第三，提升计算效率。探索更高效的架构和采样策略来缓解多轮迭代的累积延迟，包括集成早退机制在达到高置信度掩码时终止冗余计算，以及利用推测解码或针对多模态智能体优化的KV缓存技术。基于当前成果可延伸的方向还包括：将框架应用于病理学、皮肤病学等其他医学领域；引入主动学习让智能体选择最有信息量的样本进行标注；以及探索人机协作模式，让智能体在不确定时请求人类专家介入。

复现评估

复现评估显示本文具有较高的可复现性。代码已开源，训练框架使用公开的Llama-Factory（SFT阶段）和Verl（RL阶段），这两个框架均有良好的文档和社区支持。数据方面，使用的21个数据集均为公开可用的医学影像基准，数据格式已标准化。算力需求方面，所有实验在8×NVIDIA H20（96GB显存）GPU上完成，这是当前主流的研究级硬件配置。训练细节充分公开：SFT阶段学习率1e-5、batch size 64、训练4个epoch；RL阶段学习率1e-5、batch size 8、采样数8、最大交互轮次5。超参数设置（wiou=0.5, wdice=0.5, w1=0.2, w2=0.8等）均已明确给出。轨迹生成算法以伪代码形式提供，阈值参数（τ=0.04, N=5, K=5）清晰定义。主要复现难点在于RL阶段需要异步多轮采样机制，这需要一定的工程实现能力，但Verl框架已提供相关支持。

MedSAM-Agent：基于多轮智能体强化学习的交互式医学图像分割框架 MedSAM-Agent: Empowering Interactive Medical Image Segmentation with Multi-turn Agentic Reinforcement Learning