OpenTumorBoard：真实世界多学科肿瘤会诊讨论轨迹基准 OpenTumorBoard: A Real-World Benchmark of Multidisciplinary Tumor Board Discussion Trajectories
用611例真实肿瘤会诊录像构建双任务基准，揭示最强LLM与真实专家决策仍有显著差距
前置知识
肿瘤多学科会诊（Tumor Board / MDT）
由外科、肿瘤内科、放疗科、影像科、病理科等不同科室专家共同审阅一位患者的多模态病历（影像、病理、分子检测等），经过逐科发言与来回辩论后形成统一治疗共识的会议。它是癌症诊疗流程中的关键决策节点，尤其在标准治疗方案耗尽时常是患者最后的希望。
本文的全部数据和两个评测任务都构建在真实会诊记录之上，只有理解会诊的典型流程（病例汇报、逐科质询、来回讨论、达成共识），才能理解 SPECIALIST TURN 和 BOARD SIMULATION 各自在考察什么能力。
LLM-as-Judge（大模型裁判）
用一个独立的 LLM 按照冻结的评分细则对候选模型输出打分，以替代昂贵的人工评估。本文使用本地 vLLM 部署的 Qwen3.8-27B 作裁判，固定 temperature 0、top-p 1、seed 0，用 xgrammar 约束输出 JSON，核心量纲是 1–5 分的临床等价性量表，并附加关键错误与无依据断言两个布尔标志位。
本文所有核心分数（3.43、2.78 等）都由该裁判按 1–5 量表产生，理解其评分机制和量纲是读懂全部实验结果与局限性的前提。
语音转写与说话人分离（ASR + Diarization）
把会议录音转成带时间戳的文字，并把每句话归属到具体说话人。典型做法是用 ASR 模型（如 Whisper）转写，再用说话人日志系统（如 pyannote）对声纹聚类，区分会议室里的多位发言人。本文用 WhisperX（Whisper large-v2）加 pyannote，每段录像说话人数约束在 1 到 10 人。
会诊视频的音频轨处理完全依赖这一技术，它是整条自动化数据构建流水线的第一环，决定了"谁在什么时候说了什么"这一监督信号的准确性，进而决定讨论轨迹数据的质量。
监督微调与强化学习后训练（SFT + RL）
SFT 用（输入、目标输出）成对数据直接训练模型模仿目标分布；RL 则让模型对同一输入采样多个回答，用奖励函数比较优劣来更新策略，无需新增标注。本文 RL 采用 Dr.GRPO（GRPO 的改进版，不对组内标准差归一、按常数缩放逐 token 损失），奖励由 LLM 裁判分数与程序化格式项组合而成。
论文第 3.3 节用 SFT 加 RL 把 Qwen2.5-VL-3B 的结论一致性从 1.58 提升到 1.86，是"基准可兼作训练场"这一核心主张的证据，理解后训练范式才能读懂这部分贡献。
数据去泄漏（De-leaking）
指从评测输入中剔除可能直接或间接泄露答案的信息。本文采用因果判据：凡在会诊决策点之后才可能知晓的信息（术后病理、疗效反应、随访影像、生存结局）一律删除，且只删不改，保留的文字必须逐字来自原始输入；问题若依赖被删事实且属于决策后观察则被丢弃。
去泄漏决定了基准是在考"推理"还是在考"背诵"。本文的去泄漏协议是数据可信度的关键设计，也是其与合成病例基准的本质区别之一。
研究动机
肿瘤多学科会诊是癌症诊疗的关键决策点，但专科医生资源有限常常导致会诊和治疗方案被拖延，即使患者病情危急也是如此（Pishvaian et al. 2019、VanderWalde et al. 2020 记录了这一瓶颈）。用 LLM 智能体模拟虚拟会诊是极具前景的解法，但其发展被缺乏真实可信评测严重阻碍。论文在 Table 1 中系统指出四个维度的缺口：(1) 真实病例缺失——现有测试题主要是医学考试题（MedQA）或针对病例描述人工编写的问题（CRAFT-MD、MediQ），无法反映会诊中专家真正提出的问题分布；(2) 缺乏多学科团队——交互式基准止步于模型与患者或病历的单线对话（AgentClinic、MedAgentBench、MedAgentGym），没有多专科互相纠错并达成共识的机制；(3) 缺乏真实讨论金标准——MDAgents 等多智能体系统评分的对象是没有任何真实团队讨论过的任务，整场会议模拟因没有真实讨论记录而根本无法评测；(4) 缺乏多模态纵向数据——真实病例天然多模态（CT/PET/MRI、病理图像、分子报告）且随时间演变，高质量整理极为稀缺（MC-BEC 仅限急诊）。最接近的 MTBBench 也只有 66 例患者，且同样没有真实会诊讨论记录。
本文的目标是本文的目标是构建前所未有的真实世界肿瘤会诊基准 OpenTumorBoard：从 YouTube 公开会诊录像中整理出 611 例患者病例，覆盖 219 场会议、总计 12,534 分钟视频、19,157 轮跨 10 个专科角色的讨论、11 种输入模态和 17 个癌种。具体目标有四：(1) 建立一条九步自动化流水线，完成转写、切分、多模态对齐与临床信息抽取，使新发布的会诊视频能被快速、可扩展地纳入基准，形成随模型能力增长而自我进化的评测；(2) 设计两个评测任务——SPECIALIST TURN 考察模型作为虚拟专科回答会诊中真实抛给该专科的问题（测试集 4,844 题、共 16,215 个自然问题），BOARD SIMULATION 考察端到端模拟整场多专科讨论并达成治疗建议、手术方案、下一步行动、临床试验匹配四类共识；(3) 招募三位肿瘤学背景 M.D. 专家审核数据质量；(4) 证明基准可兼作训练场，用讨论轨迹与共识作监督，通过 SFT 与 RL 实质提升模型。
与已有工作不同的是，本文最独特的切入是把评测锚定在"真实发生的讨论与共识"上：参考答案不是事后从病例描述反推的合成答案，而是会诊中专科医生的真实回答和会议最终达成的真实结论，这使 BOARD SIMULATION 这种整场会议模拟评测第一次成为可能——此前所有多智能体医疗基准都缺少这一地面真值。第二个独特角度是把 YouTube 公开会诊录像视为可规模化的数据源：作者发现数百场完整录像几乎捕捉了整个决策过程，并配以自动化流水线持续消化新视频，而非依赖昂贵的人工标注。第三个角度是评测点本身：16,215 个从会议中自然捕捉的问题（再过滤掉纯知识性提问并改写为统一格式），首次刻画了肿瘤会诊对 LLM 的真实需求分布；配合按"决策点因果判据"执行的去泄漏，保证每道题在会诊时刻确实是尚未有答案的开放问题，从源头上杜绝了模型靠背诵后验信息得分的可能。
核心方法
直觉上，论文把一场肿瘤会诊完整拆解为三份监督信号——会前证据（病例摘要加幻灯片）、会中轨迹（谁问了什么、谁答了什么）、会后共识（最终决定），然后分别考察模型掌握前两份的能力。技术路线分四层：第一层是数据获取，检索标题含 tumor board 且时长超过 12 分钟的 YouTube 录像，用 LLM 阅读转录文本过滤掉不讨论具体病例的授课讲座；第二层是双轨处理，音频轨用 WhisperX（Whisper large-v2）转写并用 pyannote 做说话人分离（每段录像 1 至 10 人），视觉轨按 5 秒间隔抽帧，经 CLIP ViT-B/32 零样本预筛出投影画面、Grounding DINO（Swin-T）定位投影幕（box 阈值 0.3、最小框面积 10%）、SAM2.1（Hiera-L）分割出干净的幻灯片裁剪，并在 CLIP 余弦相似度大于 0.85 时去除近重复帧；第三层是语义整理，GPT-5.4 完成角色推断（映射到 10 个命名专科角色或 other）、病例切分、幻灯片核验与逐张一行配文、按时间戳的多模态对齐（把屏幕上展示的证据与当时提出的问题绑定）、病例摘要与共识结论抽取、以及把自然问题改写为统一的第三人称主观格式；第四层是去泄漏，按决策点因果判据删除后知信息并做二次读查修复。评测时用本地 vLLM 部署的 Qwen3.8-27B 按冻结量表打分。
核心创新是"以真实会议记录为地面真值的两级评测"。SPECIALIST TURN 把模型放在真实会诊的某个专科席位上，回答当时真实抛给该席位的问题，参考答案是真实专家的原始回答；BOARD SIMULATION 则让模型仅凭病例摘要和幻灯片重演整场多专科来回讨论并收敛到共识，参考结论是真实会议达成的决定。与已有工作的本质区别有三点。其一，MTBBench 等 66 例级别的基准没有真实讨论记录，多智能体系统只能在没有任何真实团队讨论过的任务上自说自话，而本文 611 例全部配对真实轨迹与观察到的共识，使整场会诊模拟首次可评。其二，评测问题是从会议中自然捕捉的（共 16,215 个），而非考试题或合成题，其难度分布（临床试验建议、证据讨论最难）本身就反映了真实临床需求。其三，去泄漏采用因果判据而非文本匹配——判断每条信息在决策点是否可知，且坚持只删不改，保证输入仍是会诊时刻医生真正能看到的信息。此外，训练实验证明真实讨论轨迹可以直接作为 SFT 目标和 RL 奖励的参照，把基准同时变成训练场。
方法步骤详情
九步流水线可归纳为：第一步视频检索与过滤，条件为标题含 tumor board、时长超 12 分钟，GPT-5.4 读转录文本剔除无具体病例的讲座；第二步音频轨，WhisperX 转写加 pyannote 分离，产出带时间戳的逐句转录；第三步角色推断，GPT-5.4 把每个声纹映射到 10 个专科角色（主持人、肿瘤内科、外科、放疗科、影像科、病理科、分子病理、遗传咨询师、临床试验专员、护士导航员）或 other；第四步病例切分，一场会议通常含多个独立病例，GPT-5.4 按转录内容切分；第五步视觉轨，5 秒抽帧、CLIP ViT-B/32 预筛、Grounding DINO 定位幕布、SAM2.1 分割、相似度大于 0.85 去重、GPT-5.4 视觉核验并逐张一行配文；第六步多模态时间对齐，按时间戳把发言与幻灯片绑定；第七步 GPT-5.4 汇总会前证据为病例摘要、抽取最终共识结论、抽取自然问题并改写为第三人称格式，同时过滤纯知识性问题；第八步因果去泄漏，删除决策点后才能知晓的信息并二次读查修复（只删不改、问题存活筛选、跨字段交叉核验）；第九步按 60/10/30 划分训练、验证、测试集。评测协议上，裁判按 1–5 量表输出临床等价性或结论一致性分数并附关键错误、无依据断言标志位。训练上，SFT 冻结 Qwen2.5-VL-3B 的视觉塔与投影层、以讨论轨迹加结论为目标训练 50 个 epoch（学习率 $10^{-5}$、批 8、上下文 128k）；RL 从第 10 epoch 检查点出发用 Dr.GRPO 训练（每步 4 病例、每病例采样 16 个回答、学习率 $10^{-6}$、无 KL 项），奖励为 $\text{reward} = 0.40\,c_a + 0.35\,\text{support} + 0.25\,\text{decisions} + 0.10\,\text{format}$，其中 $\text{support} = \text{decisions} \times \text{consistency}$。
技术新颖性
技术新颖性体现在四个方面。(1) 数据构建范式：用"双轨处理加多模态时间对齐加 LLM 抽取"的自动化流水线替代人工整理，且管线本身经过 15 段录像的人工审计——病例边界准确率 98.1%（104/106）、幻灯片抽取精确率 93.0%（去重后 99.7%）、召回率 93.6%（291/311）、角色推断准确率 96.3%（131/136），证明纯自动化产出已达到可用质量，这是对"基准必须靠医学专家逐例标注"这一默认假设的挑战。(2) 去泄漏协议：因果判据、只删不改、问题存活筛选、二次读查修复的四层机制在作者知识范围内是首个面向会诊决策点的系统化泄漏清理，且三类审计样本（全量编辑、可疑清单、随机抽样）分开统计以给出背景错误率。(3) 评测体系：临床等价性量表附带"关键错误率"与"无依据断言率"两个安全标志位，把"答得像"与"答得安全"分开计量，揭示 HuatuoGPT-3-32B 这类无依据断言率 74.5% 的失败模式。(4) RL 奖励设计：将裁判分数（结论一致性 $c_a$、四决策加权分 $\text{decisions}$、讨论-结论一致性项 $\text{consistency}$）与程序化格式项组合，四个决策维度权重不同（临床试验 2.00、手术 1.25、下一步行动 1.15、治疗 1.00），且讨论轨迹仅通过一致性项影响奖励，鼓励"结论有讨论支撑"而非单纯复述答案。
实验结果
SPECIALIST TURN（4,844 道测试题、9 个开源模型）：最强的 DeepSeek-V4-Pro（推理模式）临床等价性仅 3.43/5（关键错误率 5.6%、无依据断言率 11.8%），DeepSeek-V4-Flash 3.33、Gemma 4 31B 3.08，4/9 模型低于 3 分；全部模型关键错误率介于 5.6% 到 43.5%、无依据断言率介于 10.0% 到 74.5%。四个医学专用模型中三个垫底：HuatuoGPT-3-32B 仅 2.67 且无依据断言率高达 74.5%，MedReason-8B 2.09 且关键错误率 43.5%，最强的 Meditron3-70B（3.01）也只与通用模型 Ministral 3 14B 持平，说明通用推理能力并不自动转化为临床推理。分题型看，澄清类问题最容易（9 模型均值 3.30），治疗建议（1,139 题）均值 2.75，临床试验建议（73 题）与证据讨论（677 题）最难（均 2.69），最强模型的无依据断言率在临床试验题上从总体 11.8% 飙升至 31.5%、证据讨论题升至 23.5%。BOARD SIMULATION（184 个测试病例、14 个模型）：最佳 Gemini 3.7 Flash 结论一致性仅 2.78/5，闭源前沿模型（Grok 4.6 2.58、Qwen3.8-Max 2.57、GPT-5.6 Sol 与 Claude Opus 5 各 2.53）整体领先开源（开源最佳 Gemma 4 31B 2.52，MedReason-8B 仅 1.43 且 9 例畸形输出），没有任何模型可靠复原真实会议结论；讨论越长结论一致性越高（14 模型 Spearman $\rho = 0.63$）。后训练：Qwen2.5-VL-3B 基线 1.58 到 SFT 1.67（约 +5.7%），再到 SFT+RL 1.86（相对基线约 +18%，四决策分从 1.78 升至 2.23，畸形输出从 22 例降至 4 例），RL 增益经配对检验确认，并追近了与 MedGemma 27B（2.15）约一半的差距。质量审核：三位 M.D. 专家审计 447 个问答对、15 份病例摘要与 15 份共识结论，病例覆盖、病例事实性、共识保真度均 100% 获高评级，专家回答正确性 92.6%、讨论支持度 94.4%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SPECIALIST TURN：单轮专科问答 | 临床等价性（1–5，LLM 裁判量表） | 3.43（DeepSeek-V4-Pro 推理模式，4,844 题平均） | 次优 DeepSeek-V4-Flash 3.33；最弱 MedReason-8B 2.09 | 最强模型也只达到满分的 68.6%，4/9 模型低于 3 分，且医学专用模型整体不敌通用模型 |
| BOARD SIMULATION：端到端会议模拟 | 结论一致性（1–5，LLM 裁判量表） | 2.78（Gemini 3.7 Flash 推理模式，184 病例平均） | 开源最佳 Gemma 4 31B 2.52；最弱 MedReason-8B 1.43 | 闭源前沿模型领先但均未超过 2.8 分，与真实会诊结论存在实质性偏差 |
| Qwen2.5-VL-3B 监督微调 | 结论一致性（1–5） | 1.67（较基线 1.58 提升约 5.7%） | 未训练基线 1.58 | +0.09，四决策分从 1.78 升至 2.11，畸形输出从 22 例降至 3 例 |
| Qwen2.5-VL-3B SFT+RL（Dr.GRPO） | 结论一致性（1–5） | 1.86 | 仅 SFT 1.67 | 相对原始基线提升约 18%，四决策分升至 2.23，追近 MedGemma 27B（2.15）约一半差距，增益经配对检验确认 |
| 基准规模对比（与 MTBBench） | 真实会诊患者病例数 | 611 例（219 场会议、12,534 分钟、19,157 轮讨论） | MTBBench 66 例，且无真实讨论记录 | 规模扩大约 9.3 倍，并首次提供完整真实讨论轨迹配对真实共识 |
| 自动化流水线质量审计（15 段录像） | 病例边界 / 幻灯片精确率 / 幻灯片召回率 / 角色推断准确率 | 98.1% / 93.0%（去重后 99.7%）/ 93.6% / 96.3% | 无自动化先例可比，作为首个人工审计基线 | 证明纯自动化整理达到可用质量，支撑基准可扩展扩张 |
局限与改进
作者明确承认的局限有二：其一，受限于基准规模，全部评测采用基于冻结量表的 LLM 裁判（Qwen3.8-27B），其与临床医生评分的一致性尚未验证，作者把引入医生评估校准列为最重要的后续工作；其二，数据完全来自公开 YouTube 录像，代表性受限——可能偏向英语国家、学术医疗中心以及愿意公开录像的会议，且发布物只含注释与派生数据加源链接，不再分发原始媒体。我观察到的额外局限：(1) 多模态输入的价值未被清晰分离——SPECIALIST TURN 前两名（DeepSeek-V4-Pro 与 Flash）都只使用幻灯片文字说明（caption-only）就拿下最高分，而使用真实图像输入的 Gemma 4 31B 反而更低，图像信息的边际贡献存疑；(2) 稀有题型样本过少，临床试验建议仅 73 题，其 31.5% 的无依据断言率统计置信度有限；(3) RL 提升只在 3B 小模型上验证，前沿模型能否同样受益、以及 1.86 的绝对水平仍然很低（与满分 5 相距甚远）都说明后训练远未解决问题；(4) GPT-5.4 同时承担抽取、改写、去泄漏等构建环节，虽裁判换用 Qwen3.8-27B，但单模型族贯穿数据生产仍可能引入系统性偏差；(5) 病例输入只有简短摘要加幻灯片，模型无法像真实专科那样主动调阅完整电子病历或申请补充检查，任务设定与真实会诊的信息条件仍有差距。
独立分析的弱点
第一，裁判效度风险：临床等价性由单个 LLM 裁判判定，而真实临床中同一病例常存在多个合理方案，单一参考答案可能系统性低估备选合理方案——量表虽声明不要求措辞一致，但等价判定仍以参考答案的决策为准。改进方向：引入多裁判集成并定期用医生抽查校准，或对每个病例标注多个可接受方案。第二，构建与评测的模型同源性：数据清洗、问题改写、去泄漏都依赖 GPT-5.4，各环节错误可能相关叠加（例如改写引入的偏差恰好被裁判容忍）。改进方向：对不同环节使用异构模型并报告交叉一致率。第三，长讨论与高分的正相关（Spearman $\rho=0.63$）可能诱导长度博弈——Qwen3.8-Max 平均输出 11,276 tokens 却不及输出 2,759 tokens 的 Gemini 3.7 Flash，说明冗长并不必然有用，但 RL 奖励中的支撑项可能鼓励模型堆砌讨论轮次刷分。改进方向：评测中加入效率指标或长度惩罚。第四，去泄漏对时序不确定的语句按保留处理，可能残留微泄漏；且判定本身是模型判断，没有大规模人工复核。改进方向：对时序敏感字段做人工抽检并公布残留率。第五，数据未做独立的患者标识筛查（依赖原始发布者的隐私处理），且仅来自公开录像，直接临床落地不可行。改进方向：与医疗机构合作构建合规的院内版本并做身份信息脱敏审计。
未来方向
作者提出的方向：(1) 引入临床医生评估来验证并校准 LLM 裁判分数，这是作者列出的首要后续工作；(2) 发布整理框架供机构在本地数据上扩展（在隐私与治理合规前提下），把基准从 YouTube 来源扩展到院内真实会诊；(3) 持续消化新发布的会诊录像，形成随模型能力进步而自我进化的基准。基于本文成果可自然延伸的方向：(1) 把 BOARD SIMULATION 从一次性生成完整轨迹升级为多智能体在线交互环境，各角色可实时互相质询、请求补充检查，研究共识收敛的动力学机制；(2) 利用 RL 奖励中的讨论-结论一致性项，系统研究"过程监督"对临床推理链的塑形作用，并扩展到更大模型和多模态图像输入；(3) 沿用九步流水线构建外科、病理、罕见病等其他多学科会议的讨论轨迹基准；(4) 针对最难的临床试验建议题型（无依据断言率 31.5%）引入检索增强（指南库、文献库、临床试验库），验证外部证据对证据讨论类推理的改善；(5) 引入同一患者多次上会的纵向多会话病例，评测治疗方案的动态调整能力，这是现有 611 例单会话快照未覆盖的临床场景。
复现评估
复现条件总体较好。开源情况：全部代码与环境配置已在匿名仓库发布，覆盖从源视频构建数据的流水线、去泄漏程序、全部生成与裁判提示词（附录 B、C）以及 SFT 与 RL 训练代码（附录 E）；基准本身通过 HuggingFace 门控访问发布，带固定的 60/10/30 训练、验证、测试划分，排行榜公开。工具链全部列明：WhisperX（Whisper large-v2）加 pyannote、CLIP ViT-B/32、Grounding DINO（Swin-T）、SAM2.1（Hiera-L）、GPT-5.4（构建环节）、本地 vLLM 部署的 Qwen3.8-27B（裁判）。算力门槛：评测主要依赖 API 模型加本地 27B 裁判；训练实验限于 3B 模型（SFT 50 epoch、上下文 128k、有效批 8；RL 用 Dr.GRPO，每步 4 病例、每病例 16 采样、响应上限 8,192 tokens、训练 5 epoch 取验证奖励最高的第 430 步检查点），单机多卡即可完成。难点在于数据端：构建新数据依赖 GPT-5.4 的 API 成本，且源视频版权不允许再分发，第三方若想扩充数据需自行回放整条抓取流水线；仅复现评测与训练则难度中等，按发布配置执行即可。
论文图表
总览图：以一个 56 岁三阴性乳腺癌复发病例为例，展示虚拟肿瘤会诊的全景——主持人组织来自肿瘤内科、外科、影像科、病理科、遗传咨询师、临床试验专员等 10 个专科角色的发言，各角色围绕 11 种模态的病例证据展开多轮讨论（如病理科报告肝转移灶活检建议、临床试验专员提出匹配试验），最终收敛到共识结论。图中同时标注了基准的核心规模数据：611 例患者、10 个专科角色、11 种模态、12,534 分钟讨论轨迹。
这张图在开篇给出了整个基准的概念框架和两个评测任务（SPECIALIST TURN 单轮回答与 BOARD SIMULATION 全程模拟）的直观定位，是理解论文研究对象和任务设定的入口。