SymptomAI:面向日常症状评估的对话式 AI 智能体 SymptomAI: Towards a Conversational AI Agent for Everyday Symptom Assessment
在 Fitbit 上对 13917 名用户的真实症状对话进行评估,发现主动式多轮问诊的 AI 鉴别诊断准确率显著优于真人医生。
前置知识
鉴别诊断 (Differential Diagnosis, DDx)
医生面对一个主诉时,列出所有可能的疾病并按概率排序的过程,通常按可能性从高到低给出 3-5 个候选诊断。本文中 AI 与真人医生都要针对同一段对话独立生成 DDx 列表,然后评估谁的前 5 个候选里包含真实诊断。
整篇论文的核心评估指标就是 Top-5 DDx 准确率,即真实诊断是否出现在候选列表的前 5 名中。
主诉采集 (History of Present Illness, HPI)
临床医生在问诊时遵循的标准结构化问诊流程,通常按 OLDCARTS 或类似模板询问起病时间 (Onset)、位置 (Location)、症状性质 (Character)、缓解/加重因素 (Alleviating/Aggravating)、放射 (Radiation)、时间模式 (Timing)、严重程度 (Severity) 等维度。本研究的 Arm 2 和 Arm 3 正是显式编码了这种思路。
理解 HPI 才能明白为什么'结构化提问'的 Arm 比'用户主导'的 Base 准确率高出 27.57%,因为前者强制 AI 去问关键信息。
表型组学关联研究 (Phenome-Wide Association Study, PheWAS)
一种'逆向'的全基因组/全表型分析方法:给定一个表型,扫一遍所有可能的关联信号。本文中把 SymptomAI 的 Top-1 诊断当作'标签',再去扫描 8 个可穿戴生理指标 (心率、HRV、睡眠呼吸率等) 在 400 多种诊断上的关联,使用多元 logistic 回归并做 Bonferroni 校正。
PheWAS 是本研究第二大贡献,使得 AI 可以替代昂贵的人工标签,把诊断规模化用于生理信号分析。
McNemar 检验
一种配对的非参数检验,用于比较两个相关样本在二分类结果上的差异,常用于同一个体接受两种诊断方法时,关注'两种方法结论不一致'的样本数。本文用中位数 OR=2.56、p<0.001 来报告 SymptomAI 优于医生的显著性。
理解这是'配对'检验才能正确解读论文里反复出现的 OR=2.56、p<0.001。
Agentic Prompting(主动式提示)
让大模型不仅被动回答问题,而是主动规划多轮交互、主动追问、主动收集中间信息并更新结论的提示策略。本研究中 Arm 2-5 都是 agentic 的,只有 Arm 1 (Base) 是被动式。
论文最大的方法论发现就是'agentic > passive',理解这一对立才能把握全文脉络。
研究动机
传统的在线症状自查工具 (symptom checkers) 准确率很低,2015 年对 23 个症状检查器的系统综述发现 Top-1 准确率只有约 34%。而新一代大语言模型虽然在 NEJM 病例报告等'精心策划'的医学基准上可以达到 80% 以上的 Top-5 准确率,但一个关键瓶颈是:这些基准大多使用合成病例或医生写的复杂病例摘要,完全没有体现'真实患者用自然语言向 AI 描述自己症状'这一最常见场景。Bean 等人 (2025) 的工作显示,同一份病例摘要由 AI 直接阅读时 Top-3 准确率 94.9%,但让普通人转述给 AI 后骤降到 34.5%,因为非专业用户提供的信息常常不完整或被错误转述。这意味着,即便 LM 在医学知识上表现优异,在 everyday symptom assessment 这一最有实际影响力的使用场景上,我们并没有真实的群体规模证据支持其准确性。更严重的是,目前主流消费级 LLM (如 Gemini、ChatGPT 的默认聊天模式) 采用的都是'用户主导'的对话方式,用户说多少 AI 就答多少,从不主动追问关键信息,这进一步加剧了信息不完整问题。
本文的目标是本文的核心目标是回答三个关键问题:(1) 一个部署在消费级可穿戴应用 (Fitbit) 上的对话式 AI 智能体,能不能在真实世界大规模人群中完成端到端的症状问诊和鉴别诊断?(2) AI 在这种自然对话场景下的 DDx 准确率是否能超过真人医生?(3) 不同的对话策略 (主动追问式 vs 用户主导式) 对准确率影响有多大?最终目标是为'日常症状评估'这一极其常见但又极度缺乏群体证据的 LM 使用场景,提供首个真实世界大规模基准。
与已有工作不同的是，已有研究的局限主要是三点:第一,数据来源局限于临床 vignettes (标准化病例摘要) 而非真实患者对话;第二,样本规模有限 (通常几十到几百例),无法支撑对罕见病和人群异质性的分析;第三,缺乏对 AI 问诊策略本身的消融实验。本文的独特切入点是:通过 Fitbit 应用招募 N=13,917 的真实美国用户,在 IRB 批准的知情同意下,让用户跟 AI 进行多轮自由对话,同时由真人医生事后基于对话记录独立生成 DDx 作为基线比较,并额外纳入 1,509 人的一般人群辅助队列来验证结论可推广性,形成了'大规模 + 真实场景 + 严格对照 + 群体验证'四要素的研究设计。
核心方法
SymptomAI 系统在 Gemini (具体为 Gemini 2.0 Flash) 之上构建,核心思路是通过 system prompt 的差异化设计,系统性地比较五种对话策略:完全不主动追问的 Base、问固定 HPI 问题列表的 Fixed Canonical、可灵活问 HPI 类问题的 Flexible Canonical、不预设问题但每轮都给中间 DDx 的 Dynamic Live,以及不预设问题且只在结尾给 DDx 的 Dynamic Final。所有臂都要保证多轮 (≤6 轮) 访谈后再给出最终 DDx。系统输出包括三部分:HPI 总结、5 个候选诊断及一句理由、必要的紧急就医建议。所有 N=13,917 个真实对话都被保存下来,作为后续 PheWAS 的标签来源。评估上采用'盲法三医生回合制' (round-robin 三位家庭医学主治医生互相审查) 加 'auto-rater' (Gemini 2.5 Pro 作为验证器,经医生标注校准, AUC=0.866, F1=0.918) 双轨验证。
与已有医学 LLM 基准不同,本文的核心创新点是'agentic vs passive'的消融:把'AI 是否主动追问'从'一个 LLM 默认行为'变成'一个可被实验操控的变量'。具体做法是把 HPI (病史采集) 这种临床教学中的成熟模板编码进 system prompt,强制 AI 按结构化维度提问,从而弥补'真实用户信息提供不完整'这一根本缺陷。这一看似简单的做法带来了 27.57% 的相对准确率提升,并在统计学上对每个主动臂都显著 (p 值 0.003 至 <0.001)。另一个关键创新是把 AI 的 Top-1 诊断作为 'silver-standard label' 用于全人群 PheWAS,绕开了昂贵的人工标签成本。
方法步骤详情
整个研究流程分为四个阶段。第一阶段为入组招募:在 Fitbit Labs 招募 N=40,000 美国用户,经 IRB 同意后,系统随机把参与者分配到五个臂之一 (每个臂的人数通过随机化保持均衡)。第二阶段为对话:用户用自然语言描述症状,AI 按对应臂的 prompt 策略回应,所有对话被完整记录 (其中 13,917 人至少完成 1 次对话,1,228 人报告了 HCP 给出的真实诊断)。第三阶段为临床专家评估:三位有 35+ 年家庭医学/急诊/学术医学经验的主治医生对 517 例 (从 1,228 例中按 ≥10 用户词 + 对话质量合格的流程筛选) 进行盲法评估,任务一是基于对话 (不含 AI 给的 DDx) 自己写 DDx,任务二是把三份 DDx (两份医生 + 一份 AI) 打乱标签后做排序和质量评估。第四阶段为全队列 PheWAS:用经过临床标注校准的 auto-rater (Gemini 2.5 Pro) 把 1,228 例的 Top-5 准确率扩展到全 13,917 例,再用 SymptomAI 的 Top-1 诊断作为标签,与 30 天前到 +7 天的 9 个可穿戴指标 (静态心率、HRV-RMSSD、睡眠呼吸率、睡眠清醒时长、总睡眠时长、非快速眼动心率、睡眠皮肤温度、活动分钟数、日步数) 做 PheWAS,Bonferroni 校正阈值 $p < 2.2 \times 10^{-4}$ 到 $2.6 \times 10^{-4}$ 之间。
技术新颖性
技术上,论文在三个层面有新颖性。第一,agentic prompting 的实证隔离:首次在真实人群规模上系统证明'主动 HPI 式问诊'比'被动回答'在自然对话场景中优势巨大 (OR 提升 ~2.56, p<0.001),且 Dynamic (72.07%) 与 Canonical (77.51%) 两类 prompt 之间无统计学差异 (p=0.235),说明 prompt 策略的选择不必拘泥于临床教学模板。第二,盲法三医生 round-robin 评估框架的设计,每位医生评估自己之外的 2/3 病例并对其他两位 + AI 的 DDx 做盲排序,这一设计可有效规避单一医生的评估偏差。第三,把 LM 作为可扩展的'标签引擎'用于 PheWAS,绕开传统医学研究需要昂贵人工标注的瓶颈,并配合 9 项可穿戴生理信号在 30 天时间窗上的 historic vs recent 双窗口设计,首次把'日常症状评估 AI'与'可穿戴纵向健康监测'两条独立技术线在同一研究中耦合起来。
实验结果
实验结果分为四个核心发现。第一,主动式问诊显著优于被动式:五个臂中 Arm 2 (Fixed Canonical)、Arm 3 (Flexible Canonical)、Arm 4 (Dynamic Live)、Arm 5 (Dynamic Final) 各自的 Top-5 准确率均显著高于 Arm 1 (Base, 用户主导),卡方检验 p 值分别为 0.003、<0.001、0.003、0.022。合并 canonical 策略准确率 77.51%,合并 dynamic 策略准确率 72.07%,两者之间无统计学显著差异 (p=0.235),说明 AI 完全可以自主学到有效的 HPI 问诊轨迹而不必依赖预设问题清单。整体相对基线的提升幅度为 27.57%。第二,医生盲评显著偏好 SymptomAI:在 517 例盲法对比中,SymptomAI DDx 被盲法临床评分者评为最佳的比例为 53.3%,而两位真人医生仅分别获得 23.5% 和 26.7% 的最佳比例,Odds Ratio=2.34 (单侧二项检验, n=517, p<0.001), Cohen's h=0.42。第三,SymptomAI DDx 比真人医生更准确:在配对的 McNemar 检验中,SymptomAI 的 Top-5 准确率显著高于基线医生,中位 OR=2.56, 95% CI Cohen's g [0.18, 0.26], p<0.001;在医生对自己 DDx 信心不足的子集中,SymptomAI 优势更明显 (图 2f, p<0.001)。第四,外部推广性:在 1,509 人的 Toluna 一般人群队列上,SymptomAI 的 Top-5 准确率为 72.6%,与在 Fitbit 队列上的 77.7% 接近,说明结果不局限于可穿戴设备用户。PheWAS 部分最显著的是流感 (Influenza, n=108),其与多项生理指标的关联 OR 超过 7,例如 HRV-RMSSD、清醒分钟数等在 SymptomAI 对话前 3 天到后 3 天的 recent 窗口都有显著偏移;急性上呼吸道感染 (n=327)、急性支气管炎 (n=90)、COVID-19 (n=39) 都有类似的生理信号关联。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SymptomAI vs 真人医生盲法排名 (Clinician Preference Ranking) | 被盲法评分者评为'1st Best'的比例 | 53.3% | 两位真人医生各 23.5% 和 26.7% | OR=2.34 (单侧二项检验, p<0.001, Cohen's h=0.42) |
| SymptomAI vs 真人医生 DDx Top-5 准确率 | 真实诊断出现在 Top-5 候选中的比例 | 约 73% (合并 5 臂) | 真人医生约 60% | McNemar 中位 OR=2.56, 95% CI Cohen's g [0.18, 0.26], p<0.001 |
| 主动式问诊 vs 被动式 (Agentic vs Base) | Top-5 准确率 | Canonical 合并 77.51%, Dynamic 合并 72.07% | Base (用户主导) | 相对提升 27.57%, 各臂 p 值 0.003 - <0.001 |
| NEJM Case Reports 鉴别诊断 | Top-5 准确率 / Top-10 准确率 | SymptomAI/Gemini 81.6% / 90.0% | 无 (curated) | 高 (在 curated 数据上),但不能直接外推到真实场景 |
| Symptom Checker Vignettes | Top-5 / Top-10 准确率 | 91.5% / 93.8% | 无 | N=50, 结构化场景, 非真实对话 |
| 外部推广:一般人群队列 (Toluna, 1,509 人) | Top-5 DDx 准确率 | 72.6% | SymptomAI 队列 77.7% | 差异 ~5pp, PheCode 分布显著不同 (V=0.39, p<0.001) 但准确率稳定 |
| PheWAS:流感 vs 可穿戴生理信号 | Odds Ratio (OR) | OR > 7 (如 HRV-RMSSD、睡眠清醒时长) | 无 | Bonferroni 校正显著 (p < 2.2 × 10^-4) |
局限与改进
作者明确承认了四点局限。第一,真实诊断标签由用户事后自报,可能存在报告错误、过时诊断或混淆 (Sec 4 Limitations),尽管进行了可信度过滤,但人群规模引入的标签噪声不可避免。第二,基线医生是基于'用户与 AI 的对话记录'生成 DDx,而不是自己亲自问诊,这是为了可比性的折中;然而这意味着真人医生并未发挥问诊中的语言/视觉/既往关系优势,可能在某些场景下低估了医生能力。第三,症状评估是时间快照,无法控制用户报告症状的频率和时机,可能存在'急性进展期才报告'或'已确诊慢性病'的选择偏差。第四,症状本身只能解决语言可及的那部分诊断,许多疾病仍需要体格检查、实验室化验、影像等手段,LLM 在这些场景下天然受限,慢性病也容易被误诊。读者还应注意:研究使用的是 Gemini 2.0 Flash,虽然 auto-rater 实验显示不同 Gemini 模型版本 (2.0 flash / 2.5 flash / 2.5 pro) 之间准确率差距较小,但研究本身只在一个模型家族上做过端到端评估,不能直接外推到其他 LM。最后,SymptomAI 是研究原型而非医疗器械,明确声明不用于临床诊断,任何结论需在监管审批后才可临床落地。
独立分析的弱点
独立分析后,本文还有几个值得注意的弱点。第一,基线医生评估的'不公平'问题:虽然作者解释了这样设计是为了可比性,但医生只看'转录的文字'这一行为本身就是基线偏低的设置;在真实临床中医生可以观察表情、语速、肢体语言,这部分信息被消去了。第二,prompt 鲁棒性未充分消融:虽然比较了 5 种 prompt,但固定温度、固定 model、固定对话轮数 ≤6 等关键参数没有做敏感性分析,实际部署到不同人群或不同 LM 时,最佳 prompt 可能需要重新调优。第三,SymptomsAI 的输出格式 (5 个候选 + 一句理由) 限制了信息密度,没有给出概率、不确定性、紧急程度等更细粒度信号,而这些对下游临床决策很关键。第四,active 的优势部分可能来自'基线太弱':Base arm 仅限制了非健康话题,没有给任何问诊激励,如果 Base 也加上'鼓励追问'这种弱引导,主动臂的优势可能会缩小。第五,PheWAS 部分 Top-1 标签的噪声很大 (每个类别至少 20 例才能进入分析,但真正稀有的疾病样本极少),且多个生理指标之间存在强共线性,可能存在虚假关联或多重共线性问题;Bonferroni 校正虽然严格,但也不能完全消除。改进方向包括:加入不确定性校准、引入视觉/语音多模态、用外部 EHR 验证基线医生评估、采用更稳健的回归 (例如 LASSO 或贝叶斯收缩) 来缓解共线性。
未来方向
作者在 Discussion 中明确指出了若干未来方向:(1) 把生理信号异常变化作为'主动触发 SymptomAI 介入'的早期预警机制,在用户尚未主动报告时由 AI 主动 check-in,从而更早发现呼吸道感染等自限性疾病 (因为非快速眼动心率和 HRV 等'用户无感知'的信号变化比用户主观感受更早);(2) 减少传染性疾病传播,通过行为引导和及时治疗中断传播链;(3) 针对特定疾病 (如早期代谢综合征、呼吸道感染起病早期) 做更细颗粒度的纵向研究。其他可延伸方向包括:把 SymptomAI 范式从症状评估扩展到慢病管理 (Tu et al. 2025 已经做了类似工作);引入多模态 (用户上传皮肤照片、咽部照片);针对少数族裔、低健康素养人群做公平性测试;与电子健康档案 (EHR) 联动形成闭环验证;把对话数据脱敏后开放给学术社区用于二次研究 (本文已部分承诺)。
复现评估
复现性方面,论文的实验设置相当详细,容易复现但门槛不低。数据上,作者承诺会'在合理申请下'向合格研究者发布去标识化的对话和医生评估数据,但出于隐私考虑不会发布原始可穿戴数据,这限制了对 PheWAS 部分的独立验证。代码上,作者表示会提供所有数据分析、绘图和补充分析的代码实现。系统上,SymptomAI 本身就是基于 Gemini 2.0 Flash 的 prompt 工程,只要有 Gemini API 访问权限,五段 prompt 在论文附录 E 中已经完整给出 (包括 Base、Fixed Canonical、Flexible Canonical、Dynamic Live、Dynamic Final 以及 Auto-rater prompt),理论上任何团队都可以在自家应用上完整复现。算力上,部署成本主要是 Gemini 2.0 Flash 的推理费用,按 13,917 次对话、平均 6 轮估算,单次对话成本约 0.01-0.05 美元区间,整体属于低门槛。复现难度上,真正难的不是系统本身,而是'真实用户招募 + IRB 同意 + 临床医生标注'这三件事,这三项都需要几个月到几年的合规、伦理和人力投入,普通研究团队难以承担。
论文图表
