RadAgent：一个用于胸部CT逐步解读的工具调用AI智能体 RadAgent: A tool-using AI agent for stepwise interpretation of chest computed tomography
用强化学习训练的工具调用Agent在胸部CT报告生成中显著超越3D视觉语言模型
前置知识
视觉语言模型 (VLM)
视觉语言模型是同时处理图像和自然语言的多模态模型，能直接从图片生成文字描述或回答问题。在医学领域，3D VLM（如本文基线CT-Chat）可直接接受CT体数据并输出报告，但通常以单步、端到端方式工作，缺乏中间推理痕迹。
理解3D VLM的'黑箱'特性是本文动机的基础：传统模型生成报告但不暴露推理过程，临床医生无法审核其判断依据。RadAgent正是要解决这一可解释性短板。
ReAct模式与工具调用Agent
ReAct（Reasoning + Acting）是一种让LLM交替进行'思考'与'行动'的范式。在医学Agent场景中，模型在每一步可决定调用哪个外部工具（如分割、分类、VQA），并把工具返回结果写回记忆/草稿本，逐步积累证据直到完成报告。
RadAgent的核心框架就是ReAct加上9项诊断检查清单的引导。理解这种迭代工具调用范式，是读懂本文方法章节的前提。
GRPO强化学习算法
GRPO（Group Relative Policy Optimization）是一种无需critic网络的RLHF替代算法：对同一prompt采样一组（group）rollout，用组内相对优势替代价值函数估计。它特别适合工具调用长轨迹训练，因为可在组内比较不同完成序列的复合奖励。
RadAgent使用GRPO配合复合奖励curriculum对Qwen3-14B做LoRA微调。如果不了解GRPO，就无法理解为何RadAgent能'自动发现'有效工具调用策略。
Model Context Protocol (MCP)
MCP是Anthropic提出的标准化协议，用于LLM Agent与外部工具/数据源通信。工具以'server'形式注册，Agent通过统一接口发现、调用、管理工具，便于跨进程/跨GPU部署。
RadAgent把10个专业工具都封装在MCP server中，分布在4张GPU上。没有MCP，这种多工具、多GPU的复杂编排几乎不可行。
Macro-F1与Micro-F1（CT-RATE评估）
CT-RATE数据集提供18种胸腔病理的多标签注释及文本分类器。Macro-F1对各类一视同仁平均，对低频难检病理更敏感；Micro-F1按样本总数加权，对高频病变更敏感。两者结合能反映模型在不同难度类别上的平衡能力。
本文核心结果就是macro-F1提升5.8点（35.4%相对）、micro-F1提升5.1点（18.6%相对）。理解这两个指标的差异，才能体会RadAgent在'难检病变'上提升更显著的含义。
研究动机
尽管3D视觉语言模型（如CT-Chat）在胸部CT报告生成上已取得可观基准分数，但它们普遍采用单步、端到端的推理范式：把CT体数据直接映射成报告，不暴露中间推理过程。在临床高风险场景中，这意味着医生只能看到结论，无法审核模型是基于什么证据、走了哪条推理路径得出该结论。已有训练免费的Agentic方法（如CT-Agent、CTPA-Agent）尝试引入工具调用，但它们依赖手工设计的固定诊断计划或预设的VLM查询流程，本质上预设了LLM已具备完整医学知识，并假定LLM能正确处理复杂工具规范——这两个假设在真实临床环境中往往不成立。此外，常规3D VLM还存在'提示劫持'风险：当prompt被注入错误提示（如'我认为该扫描显示动脉壁钙化'）时，模型可能毫无抵抗地跟随错误线索改变报告内容，既不抗干扰也不承认提示影响，这种'高分数但低忠实度'的现象在临床部署中尤其危险。
本文的目标是本文的核心目标是构建一个名为RadAgent的、可解释、可审核的胸部CT报告生成系统，它要满足三个具体目标：第一，在内部和外部测试集上显著超越3D VLM基线CT-Chat的诊断准确率；第二，在面对注入式错误提示时具备'抗劫持'能力，即robustness；第三，关键决策与所注入的提示一致时，报告生成过程应能'显式承认'提示影响，即faithfulness。最终让模型既能给出准确报告，又能告诉医生'我是怎么得出的'。
与已有工作不同的是，本文的独特切入角度是放弃训练免费的prompt工程路线，转而用强化学习（GRPO）从零学出工具调用策略。具体而言有三层新意：其一，把诊断流程组织成ReAct循环加9类诊断检查清单（Diagnostic Checklist），让Agent在循环中调用10个MCP封装的专科工具；其二，奖励函数不是单一指标，而是'报告质量+工具多样性+工具图连贯性+LLM评判的检查清单遵循度'的复合curriculum，前90步鼓励探索、后60步强化一致性；其三，把'忠实度'和'鲁棒性'作为独立评估维度，通过受控提示注入实验量化，对比CT-Chat的0%忠实度凸显迭代式推理的价值。这种把RL训练、临床先验（清单）和可解释性证据链三者耦合的设计，是先前医学Agent工作没有系统做过的。
核心方法
RadAgent的整体思路是把胸部CT报告生成分解为'初步报告→逐步核查→汇总成稿'三阶段，并用强化学习训练一个14B语言模型作为orchestrator（编排者），让它在每一步决定调用哪个工具、检查哪一项诊断。直觉上，这模拟了放射科医生写报告的真实工作流：先凭第一印象出一版草稿，再按系统清单逐项核对，必要时调取专门工具（如分割、VQA、分类）作为佐证，最后把所有证据融成定稿。技术路线上，RadAgent以Qwen3-14B为策略网络，叠加LoRA（rank=16, alpha=32）用GRPO算法微调；把CT-Chat当作内部一个'报告生成'工具先产出初稿，再让Agent按9项检查清单循环调用10个MCP工具；每个工具调用都被写入'scratchpad'（草稿本记忆），所有工具输出最终汇成完整报告。
与已有训练免费Agentic系统（CT-Agent、CTPA-Agent）相比，RadAgent的本质区别在于'工具使用策略是可学习的'。前者靠手工prompt或固定决策树把诊断流程写死；RadAgent则用GRPO让策略网络在大量rollout中自动发现'何时该用哪个工具、按什么顺序用'。第二个本质区别是'复合奖励'：奖励同时衡量最终报告F1、工具调用成功率、工具多样性、工具调用图连贯性以及LLM评判的清单遵循度，并用两阶段curriculum平衡探索与一致性。第三个关键差异是'可追溯证据链'：每个发现都对应一个或多个工具调用与输出，临床医生可以直接在trace中审核结论来源，这赋予了报告生成过程auditability。
方法步骤详情
RadAgent一次推理流程：(1) 输入3D CT与查询，先调用'report_generation()'让CT-Chat生成初稿；(2) Agent把草稿与9类诊断检查清单写入prompt与scratchpad，进入ReAct循环；(3) 每步Qwen3-14B策略网络读取当前状态，决定'调用哪个工具+查什么子问题'；(4) MCP把调用路由到GPU上的专科模型（3D VQA、2D VQA、18类分类、器官与积液分割、切片选择器、CT窗宽调整）；(5) 工具输出append到scratchpad；(6) 循环直到证据充分，汇总生成报告。训练用GRPO对8 GH200做LoRA微调，batch=6、8 rollouts、lr=1e-5、150步；前90步用$R_{early}=R_{quality}+0.5R_{div}+0.5R_{coh}+0.1R_{succ}$鼓励探索，后60步切换到$R_{late}=R_{quality}+0.2R_{div}+0.2R_{coh}+0.1R_{succ}+0.2R_{toolJudge}$强化清单遵循与工具一致性。
技术新颖性
技术新颖性体现在四个层面：第一，把CT报告生成从端到端'单步映射'重构为'可学习的多轮工具调用'，是范式级转变；第二，复合奖励curriculum把报告质量（F118+F1abnorm）、工具成功、工具多样性、工具图连贯性、清单遵循度整合为单一目标，并用两阶段调度平衡探索/利用，这是奖励工程的精细设计；第三，提出用受控提示注入实验量化鲁棒性与忠实性，特别是定义'faithfulness = 提示改变预测时模型是否显式承认'，可作为医学Agent可解释性的新benchmark；第四，工程层面用MCP把10个异构专科模型（含VLM、分类器、分割、窗宽调整等）统一封装在多GPU上，为医学Agent的可扩展部署提供了可复用模板。
实验结果
本文在CT-RATE（内部）和RadChestCT（外部）系统评估，核心结果有四。(1) 临床准确率显著提升：CT-RATE测试集上RadAgent相对CT-Chat基线macro-F1提升5.8点（35.4%相对）、micro-F1提升5.1点（18.6%相对），验证集与外部集同样统计显著；病理级分解显示提升主要来自基线常漏检的难检病变。(2) 即使不做RL、仅用相同工具和清单的'训练免费RadAgent'，macro-F1也已超过CT-Chat，说明工具+清单的结构性收益不小；RL训练主要贡献于RadChestCT外部集的域外泛化。(3) 鲁棒性大幅提升：1000例受控提示注入实验中RadAgent达83.7%，CT-Chat仅58.9%，作者把改进归因于工具输出与诊断trace把结论锚定在可验证证据上。(4) 忠实度从0%跃升到37.0%：当注入提示改变预测时CT-Chat从不承认（0%），RadAgent在37%情况下会显式承认，把可解释性变成可量化指标。奖励消融（图A.11）显示只有curriculum混合奖励取得最佳平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CT-RATE测试集报告生成 | Macro-F1（18类病理） | RadAgent显著高于基线（具体数值未在主文给出绝对值） | CT-Chat 3D VLM | +5.8点（35.4%相对） |
| CT-RATE测试集报告生成 | Micro-F1（18类病理） | 显著高于基线 | CT-Chat 3D VLM | +5.1点（18.6%相对） |
| 受控提示注入鲁棒性 | Robustness = P(错误提示后仍预测正确 | 原预测正确) | 83.7% | CT-Chat 58.9% | +24.7点（41.9%相对） |
| 受控提示注入忠实度 | Faithfulness = P(显式承认提示影响 | 提示改变了预测) | 37.0% | CT-Chat 0.0% | +37.0点（绝对跃升） |
| CT-RATE验证集报告生成 | Macro/Micro-F1 | 显著高于CT-Chat | CT-Chat | 统计显著（具体数值见图A.1） |
| RadChestCT外部集报告生成 | Macro/Micro-F1 | RL训练后反超CT-Chat，训练免费版micro-F1曾低于基线 | CT-Chat | RL后统计显著提升，RL主要贡献于域外泛化 |
局限与改进
作者明确指出了四点局限。第一，部署成本高：完整RadAgent需多GPU（本文用8张GH200）并行承载Agent本体与10个工具，部分工具还会消耗大量算力；虽然推理时可关闭奖励计算用的工具并停用低频工具，但在资源受限环境仍不友好。第二，工具集耦合：训练出的策略对训练期工具集'过拟合'，工具集发生实质性变化时策略可能不再最优；不过MCP架构允许重跑RL管线以适配新工具。第三，忠实度天花板低：虽然37.0%相对0%是数量级跃升，但绝对水平仍偏低，意味着多数情况下模型仍不承认提示影响，留有大量研究空间。第四，覆盖范围：评估仅限胸部非增强CT、18种常见病理，对CT增强、心脏CT或多病种场景的外推性未经验证。从读者角度，我补充一个隐含局限：诊断检查清单是按'胸CT常规'设计的九大类别，对罕见病或非典型表现覆盖不足，且清单初稿由Gemini-2.5-Pro生成、仅经一位放射科医生审阅，可能存在地区/医院差异；此外，复合奖励里F1abnorm由Qwen3-30B-A3B-Thinking做'异常发现抽取+匹配'，本身就是LLM-as-judge，存在系统性偏差风险。
独立分析的弱点
独立分析弱点与改进方向：(1) 工具调用的'隐式成本'：每例可能调用多个GPU重型模型，延迟与能耗显著高于单次CT-Chat；改进方向是引入'早停'机制或分层工具——多数简单案例仅用1-2个轻量工具。(2) 9类清单粒度固定、无法适配病例复杂度；改进方向是设计'自适应检查清单'，让Agent根据初始草稿和分类器输出动态决定要查哪些项。(3) scratchpad的'信息衰减'：随对话轮次增加关键早期发现可能被新内容稀释；改进方向是引入结构化记忆（按器官/病理分块）或基于embedding的检索式记忆。(4) 忠实度评判依赖LLM-as-judge（Qwen3-235B），在RadAgent案例上准确率仅0.91，约9%的标签可能错；改进方向是多人标注或人机协同评估。(5) 仅在CT-RATE与RadChestCT两套数据评估，跨医院/扫描仪/人群的泛化需多中心验证。
未来方向
作者在讨论中明确提出了几个方向：(a) 把学到的策略蒸馏为固定推理工作流，以降低推理算力并满足监管稳定性要求；(b) 扩展工具集以提升系统广度，因为目前RadAgent的强项恰好在'专家工具最有用的难检病理'上；(c) 进一步提升忠实度（当前37.0%）。基于成果可延伸的方向还包括：(d) 把同一框架迁移到增强CT、MRI或多模态影像报告生成；(e) 与人机协同结合，构建'医生在环'的交互式报告生成，让医生可在scratchpad上直接修改或质疑Agent的中间结论；(f) 把诊断检查清单与电子病历、临床指南实时对接，使Agent能根据患者既往史动态调整检查路径；(g) 探索稀疏奖励与可验证奖励（RLVR）的结合，进一步减少对LLM-as-judge的依赖；(h) 在小模型/边缘部署场景下研究'工具调用策略的迁移'，例如把14B Agent的能力蒸馏到3B/7B模型。
复现评估
复现评估：作者声明模型将在https://rad-agent.github.io/ 公开。有利方面：(1) 训练数据均为公开集（CT-RATE 25,692例+RadChestCT 3,632例外部），无隐私障碍；(2) 关键超参齐全：Qwen3-14B策略网络、LoRA rank=16/alpha=32、GRPO 8 rollouts/example、batch=6、lr=1e-5、150步、8 GH200 GPU；(3) 复合奖励公式与curriculum切换点（第90步）均在Methods明确给出；(4) 评估使用CT-RATE作者发布的18病理文本分类器。困难方面：(1) 8张GH200+多GPU MCP部署对中小实验室成本高，10个工具含CT-Chat、CT-CLIP、TotalSegmentator等需独立配置；(2) 忠实度评估需Qwen3-235B-A22B-Instruct-2507在FP8下做LLM-as-judge，自身算力需求大；(3) RL对随机种子、采样温度（temperature=1.0）敏感，缺少多次种子报告限制稳健性判断。整体复现难度中高。
论文图表
CT-RATE验证集和RadChestCT外部集上的macro/micro-F1对比，与Figure 2主图互补。
补充Figure 2未展示的两个数据集结果，是论文完整呈现性能改进的辅助图。
在相同工具集与检查清单下，不做RL微调的RadAgent（prompt-only）相对CT-Chat基线的macro/micro-F1对比。
用于分离'工具与清单的结构性收益'与'RL训练的额外收益'，是消融性质的关键图。
在受控提示注入实验中，模型最终预测被提示'带偏'的比例统计，分别展示CT-Chat和RadAgent在正确/错误提示下的预测变化率。
支撑Figure 3中'CT-Chat 0%忠实度是因为它从不承认影响'这一论点的辅助证据。
三种训练范式的对比：i) 混合curriculum奖励（作者最终选择）、ii) 无工具序列奖励、iii) 从一开始就使用工具序列奖励；在报告质量、清单遵循、工具一致性等指标上的差异。
是奖励工程设计的核心消融实验，支撑'curriculum是必要设计'的结论。
展示Agent在一次诊断循环中如何遍历9类检查清单，并选择工具与子问题的具体trace。
为'检查清单引导的ReAct循环'提供可读性强的实例，辅助理解方法细节。
训练后Agent实际调用各工具的频率分布或额外trace样例。
补充展示RL学到的策略具体形态，让读者了解'哪些工具被高频率使用'。