X-Ragent：面向证据支撑胸片推理的工具增强强化学习后训练框架 X-Ragent: Tool-Augmented Reinforcement Learning for Evidence-Grounded Chest X-Ray Reasoning

第一步，数据构建。筛选 MIMIC-CXR-JPG 中有图像且参考发现非平凡的 PA 研究，分层抽取约 6000 例候选；本地 Qwen3.5-122B-A10B-FP8 以『图像+参考发现』为条件生成诊断理由（答案条件化生成，参考发现保留为监督目标以防目标漂移）；过滤掉提示泄漏、畸形或异常长度、与参考发现相似度超过 0.82 的理由（保留 40-900 词的最长有效段），得到 4000 条报告式 CoT；另构造 1995 道多选题、720 道封闭式 VQA、1000 道二选一 VQA 的两轮工具轨迹（共 3715 条），合计 7715 条，并用 CheXbert 校验 14 类标签覆盖。第二步，agentic SFT：最小化 $\mathcal{L}_{\mathrm{SFT}}=-\mathbb{E}_\mathcal{T}[\sum_t \log p_\theta(s_t|X,I,s_{<t})]$，仅覆盖策略 token，观测 span 掩码；学习率 $1\times10^{-5}$、有效批 16、序列上限 8192、1 epoch。第三步，GRPO：4715 条 prompt（3715 条复用 SFT 两轮题 + 1000 道新多选题），300 步，$G=4$，学习率 $2\times10^{-6}$，clip $\epsilon=0.2$，KL 系数 $\beta=0.01$；$R_{\mathrm{CXR}}=\max(1,\sum_k a_k s_k/\sum_k a_k)$ 只对与问题相关（$r_k$）且被门控暴露（$b_k$）、即 $a_k=r_k b_k$ 的测量计分，$R_{\mathrm{tool}}$ 统计策略生成的可选调用次数（重复调用分别计数）。第四步，推理：第一轮输出思维与工具计划；region_parse 用 CXAS/BiomedParse 返回掩膜与边界框，roi_crop 按框 $I_{\mathrm{crop}}=I[y_1:y_2,x_1:x_2]$ 放大区域，evidence_lookup 从本地 Qwen3.5-27B 检索候选疾病的影像学特征；门 $g(I)$ 通过时附上测量包；第二轮整合后输出 $\langle R,A\rangle$。

技术新颖性体现在三处。其一，相对通用工具学习范式（Toolformer、ReAct、HuggingGPT），本文引入临床采集有效性这一被长期忽视的维度：确定性测量只在特定投照条件下成立。论文用反事实案例（图 4）展示一个不适定的肺野不对称测量 $\ln(A_R/A_L)=-1.01$（$R/L=0.36$）如何把正确答案 C 翻成错误答案 A，而门控扣留后模型保持正确——『证据本身也可能有毒』这一视角在医疗智能体文献中少见。其二，奖励工程上，把过程项乘进 $R_{\mathrm{acc}}$ 的门控形式比常见的线性加权更稳健：表 3 显示无门组合（ChestA 69.8%）反而低于单项（70.1%/70.6%），门控组合达 71.7%，提供了一个可直接复用的奖励设计模式。其三，训练数据上，Rad-CoT 的两轮因果有序构造加观测掩码，把『学会调用』与『学会模仿工具输出』分开监督；配合答案条件化蒸馏（教师只生成推理过程、参考发现保留为答案）降低目标漂移，加上相似度阈值、词数范围、CheXbert 分布校验与评测图零重叠检查，构成合成轨迹质量控制的较完整范式。

独立分析的弱点及改进方向：第一，教师偏置——Rad-CoT 由 Qwen3.5-122B 生成，其诊断风格与知识边界会成为策略先验，而基于形式的过滤（词数、相似度、畸形）无法验证医学正确性，改进方向是放射科医生抽检或多教师交叉验证。第二，evidence_lookup 调用一个 27B 通用 LLM 获取『疾病的典型影像表现』，这类教科书知识可能过时、与具体病例不符且无引用溯源，可改为检索结构化临床指南或带出处的影像图谱库。第三，view_check 用 OpenCXR 把图像分为 PA/AP/侧位/非胸片四类并只对 PA 放行测量，体位分类错误会级联为错误暴露或错误扣留，可在边界样本上引入不确定性估计、拒绝测量并显式告知模型原因。第四，SLAKE 仅 114 题（单题值 0.88%），部分结论（如工具仅 +0.9）统计功效不足，应报告置信区间或换用更大评测集。第五，奖励权重 $\lambda_m=0.5$、$\lambda_t=0.05$ 为手工设定且只在 8B 基座上调过，跨规模与跨基座的敏感性未知。第六，『缺失=不可用』的语义约定目前只有案例级证据（图 6），缺少系统量化：可构造含缺失测量的对照集，统计模型把缺失误读为正常的比例。第七，两轮协议意味着测量包在第一轮就已注入，策略无法基于第一轮读片结果再决定是否需要测量（表 11 显示交给策略又会漏调），这说明门控与路由的折中尚未最优。

作者方向上，论文暗示但未展开的有：把有效性门控推广到更多确定性测量与更多投照条件（AP、侧位、卧位片）及更细的掩膜质量控制；把 Rad-CoT 数据管线扩展到其他影像模态或报告生成任务。基于成果可自然延伸的方向：其一，把规则门控升级为可学习的不确定性感知门控，对每个测量输出置信度并让策略以『证据可信度』为条件推理，同时保留缺失语义；其二，打破两轮固定结构，做多轮 ReAct 式交互的 GRPO，允许策略在观测后追加调用（需重新设计信用分配与工具成本归账）；其三，与测量幻觉检测（如 FactChecker）闭环，把 $R_{\mathrm{CXR}}$ 从三个指标扩展到报告级声明验证，实现生成报告的定量事实核查；其四，把『准确性门控过程奖励』迁移到其他工具增强 RL 任务——论文引用的 FactGuard（视频取证）、IndusAgent（门控 RL 工具调用）表明该设计模式正在成形，值得系统化；其五，前瞻性临床验证：在有金标准的多读者研究中量化门控对诊断安全性的净效应，这是走向医疗器械级系统的必经之路；其六，探索测量缺失时的主动澄清行为，让模型学会在证据不可用时输出不确定性而非强行作答。

复现条件总体友好但有关卡。数据方面：MIMIC-CXR-JPG 与 LLaVA-Rad 标注需 PhysioNet 凭证协议，Rad-CoT 承诺仅通过 PhysioNet 发布（截至论文尚无明确时间表），SLAKE、OpenI、Rad-ReStruct 需分别申请；论文的评测切分工作较细（OpenI 评测 452 张唯一图像与训练集零重叠、报告级兄弟图像泄漏为零），可直接沿用其协议。代码方面：论文未给出开源链接，但工具栈全部可用开源件复刻——CXAS、BiomedParse、OpenCXR、Qwen3-VL-8B-Instruct 均公开，evidence_lookup 需本地部署 Qwen3.5-27B 的 OpenAI 兼容 API，测量后端为 CXAS 掩膜加确定性规则（CTR、$\ln(A_R/A_L)$、胸廓偏移的公式完整给出）。算力方面：SFT 冻结视觉编码器、序列 8192、有效批 16、仅 1 epoch（7.7K 样本），单节点 8×A100/H100 一天内可完成；GRPO 300 步、每步 16 prompt × 4 rollout、每条轨迹至多 5 次工具调用加一次外部 LLM 查询，配合测量预计算缓存约数天量级；最重的是数据生成：Qwen3.5-122B-A10B-FP8 本地推理约 6000 例候选（FP8 量化，2×H100 起步可行）。超参（表 7）与全部提示词（附录 E）已完整公开，主要工程量在数据管线与两轮交互编排，总体复现难度中等。