审计多模态 LLM 评分者:临床有序评分中的中心化倾向偏差 Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring
前沿多模态 LLM 在 CDT 临床评分上呈现系统性的中心化偏差,零样本无法消除。
前置知识
LLM-as-a-judge 范式
指把大语言模型当作自动评分员,给开放式回答、对话或生成结果打分的做法,常见指标是相对偏好或李克特量表分数。
本文核心是把这一范式从 NLP 评估迁移到临床有序评分,读者需要先理解 LLM 评分为何会偏离人类判断。
时钟绘画测试 CDT 与 Shulman 量表
CDT 让患者画一个指定时间的钟面,Shulman 量表给出 0-5 的有序评分:0 表示完全不像钟,5 表示准确刻画,用于筛查认知障碍。
实验任务完全建立在此量表之上,且分数标签有序且两端的误判临床后果最严重,是后续偏差分析的关键背景。
中心化倾向偏差 Central Tendency Bias
评分者倾向于回避极端值、聚集到量表中段的系统倾向,导致低端被高估、高端被低估,在人类评分者中已是公认现象。
这是本文的核心发现,所有三类多模态 LLM 在 CDT 上都呈现这种偏差,且 few-shot 和去临床化提示都无法消除。
累计有序建模 Cumulative Ordinal Modeling
把 $K$ 类有序问题拆成 $K-1$ 个二分类阈值问题,每个输出 $z_k$ 表示真实分数大于等于 $k$ 的对数几率,预测分数为 $\hat{y}=\sum_{k=1}^{K-1}\mathbb{1}(\sigma(z_k)\ge 0.5)$。
这是 ViT-Ordinal 的核心结构,也是论文里监督方法相比 LLM 在端点附近无系统偏向的关键技术原因。
校准斜率分析 Calibration Slope
把每个真值分数对应的预测均值画成散点,拟合回归斜率 $\beta$,斜率显著小于 1 代表存在预测压缩,可用 bootstrap 检验差异显著性。
论文用它定量证明 LLM 的预测压缩不是噪声而是结构化偏差,ViT vs GPT-5 的 $\Delta\hat{\beta}=-0.049$,$p=0.020$ 即来自此分析。
研究动机
现有 LLM-as-a-judge 评估几乎全部依赖 MAE、within-1 准确率等聚合指标,这些指标会掩盖评分行为中的系统性偏差;在认知障碍筛查这种临床有序评分场景里,Shulman 量表两端的误判代价不对称,低端漏诊会延误干预,高端误判只是增加复核负担。当 MAE 看似可接受时,模型仍可能持续把 0 判成 1、把 5 判成 4,严重损害筛查的临床效用,而 NLP 文献中已记录的 position bias、verbosity bias、self-preference bias 在临床评分下是否仍然存在甚至被放大,完全未被研究过。
本文的目标是本文针对 CDT 评分这一具体临床有序任务,提出一套审计协议,把聚合指标、按分数拆解的误差分析、校准斜率检验和提示消融实验组合起来,用于揭示多模态 LLM 评分行为中可能存在的结构化偏差。论文希望回答:前沿 GPT-5、GPT-5.4、Gemini 2.5 Pro、Claude 4 Sonnet 在零样本 CDT 评分上能否替代监督深度模型,以及它们的偏差是否可以通过 few-shot 或提示改写来缓解。
与已有工作不同的是，已有工作要么停留在 NLP 的文本评分上,没有进入临床图像评分场景;要么只报聚合指标,不做端点级别的方向性分析;要么用单个模型做零样本打分,缺少与监督基线的同基准对比。本文首次把多模态 LLM 评判范式和临床有序评分场景结合,提出 per-score 误差分解加 prompt 消融的审计方法,并在 NHATS 内部 597 张平衡集和泰国独立 CDT 队列上同时验证,因此填补了 LLM-as-a-judge 偏差研究与真实临床评分落地之间的方法学空缺。
核心方法
整体思路是把 CDT 评分重新框定为有序临床评分任务,先用两类监督模型 CNN ResNet-101 与 Vision Transformer(ViT-Ordinal 累计阈值、ViT-Continuous 有界回归)在 NHATS 上做端到端训练,再用三类零样本多模态 LLM(GPT-5、GPT-5.4、Gemini 2.5 Pro、Claude 4 Sonnet)配同一份 Shulman 量表提示词直接打分;所有方法最终在同一份 597 张按分数层均衡的内部基准上比较,并在泰国独立 CDT 队列上做外部复现,以剥离数据偏差的干扰。
核心创新点不是新模型,而是审计协议本身:在聚合指标之外,加入按真值分数分层计算预测均值与混淆矩阵,再拟合校准斜率 $\beta$ 用 bootstrap 检验其是否显著小于 1,最后用 few-shot 视觉锚定和去临床化两种提示消融来区分偏差究竟是提示工程伪影还是模型固有行为;这套组合方法能让 within-1 准确率达到 92% 的 GPT-5 暴露出 (0→1) 与 (5→4) 的对称性端点压缩。
方法步骤详情
方法分四步执行。第一步构造基准:NHATS 第 1–13 轮共 63,351 张钟面图按参与者级别 80:20 划分,再从测试集按分数层采样得到 597 张平衡基准(每层 100 张,score 0 仅 97 张全部用上)。第二步训练监督模型:输入统一缩放到 $224\times 224$ RGB,ResNet-101 用 ImageNet 预训练配累计阈值头,ViT-Ordinal 沿用阈值头按 quadratic-weighted $\kappa$ 选模,ViT-Continuous 输出 $\tilde{y}\in[0,5]$ 按 MAE 选模,unfrozen 与 frozen 两种设定都评估。第三步零样本评 LLM:温度=0、top-p=1,提示词只含 Shulman 0–5 文字量表,GPT-5 额外跑 30 张视觉示例的 few-shot 与去临床化变体。第四步审计统计:bootstrap 2,000 次得 95% CI,两比例 $z$ 检验比较 toward-center 错误率,$\beta$ 差做 bootstrap 显著性检验。
技术新颖性
技术新颖性体现在三个层面。一是把视觉 LLM 评分偏差研究从 NLP 迁移到真实临床有序评分,且把同一基准同时跑监督和零样本两种范式;二是设计 per-score 误差分解加校准斜率的诊断工具,使得 within-1 指标无法暴露的端点结构化偏差变得可量化;三是通过 few-shot 视觉锚定和去临床化两组对照消融,把 central tendency effect 锁定为模型内在行为而非提示工程产物,这在多模态 LLM 临床评估文献中是首次系统给出。
实验结果
ViT-Ordinal unfrozen 取得 MAE 0.52、within-1 91% 的最强校准;零样本 LLM 中 GPT-5 最好,MAE 0.67、within-1 92%,其余三家 MAE 在 0.75–0.87。per-score 分析揭示所有 LLM 都呈现中心化倾向:GPT-5 的真值 0 被预测为 1 的有 57 张,接近 60% 真值 0 被上拉;真值 5 被预测为 4 的有 60 张,且真值 5 时仅 22 次给 5 分,低于真值 4 时给 5 分的 26 次,形成方向性不对称。统计上 GPT-5 校准斜率显著低于 ViT-Ordinal,$\Delta\hat{\beta}=-0.049$,$p=0.020$;toward-center 错误率 34.0% 对 25.6%,$p<0.001$。few-shot 把 GPT-5 MAE 降到 0.56、真值 5 召回从 22% 提到 52%,但真值 0 仅从 35.0% 微涨到 41.2%;去临床化反而让 MAE 升到 0.82,泰国外部队列同样复现 toward-center 结构,验证偏差跨数据集稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CDT 评分绝对校准(NHATS 597 平衡集) | MAE | GPT-5 零样本 0.67,VIT-Ordinal 0.52 | ViT-Continuous unfrozen 0.65;CNN ResNet-101 1.46 | VIT-Ordinal 比 GPT-5 MAE 低 0.15,比 CNN 低 0.94,显示端到端监督在绝对校准上仍占优 |
| CDT 评分容忍度协议(within-1) | Within-1 accuracy | GPT-5 零样本 0.92,VIT-Ordinal 0.91 | GPT-5.4 0.89,Gemini 2.5 Pro 0.82,Claude 4 Sonnet 0.81,CNN 0.61 | GPT-5 与最佳监督模型打平,但端点结构化偏差方向相反 |
| CDT 评分端点压缩 | Toward-center 错误率 | GPT-5 34.0% | ViT-Ordinal 25.6% | GPT-5 比监督基线高 8.4 个百分点,$z=3.16$,$p<0.001$,LLM 端点偏差显著更大 |
| Few-shot 提示消融 | MAE / 真值 5 召回 | GPT-5 few-shot MAE 0.56,Accy=5 0.52 | GPT-5 零样本 MAE 0.67,Accy=5 0.22 | MAE 降低 0.11,真值 5 召回提升 30 个百分点,但真值 0 仅从 0.35 升到 0.41 |
| 去临床化提示消融 | MAE / Within-1 | GPT-5 de-clinicalized MAE 0.82,Within-1 0.87 | GPT-5 clinical zero-shot MAE 0.67,Within-1 0.92 | 去除临床术语后 MAE 上升 0.15,within-1 下降 5 个百分点,排除了安全触发解释 |
| 外部队列复现(Thai CDT) | 混淆矩阵 toward-center 模式 | GPT-5 同样出现 0→1 与 5→4 的集中错误 | NHATS 内部基准的同向结构 | 定性一致,确认偏差跨数据集可复现 |
局限与改进
作者明确指出的局限包括:实验仅在 Shulman 一种 CDT 量表上完成,未验证其他临床有序评分场景(如抑郁、疼痛量表);评估对象全是开源 API 形式的现成模型,没有尝试微调或后验校准;NHATS 与泰国队列均为纸上钟面,数字化屏上绘画或不同文化背景的绘图风格未被覆盖;few-shot 仅在 GPT-5 上验证,其他模型的对齐潜力未深入对比。我观察到的额外局限是:论文没有给出 LLM 推理的 token 数与延迟,部署成本与监督 ViT 的差异未量化;平衡基准每分数 100 张相对较小,真值 0 只有 97 张,可能影响极端端点的统计稳定性;另外 few-shot 模板里是否出现同一病人的训练样本没有明确说明,若存在泄漏会让 MAE 改善被高估。
独立分析的弱点
独立分析可以看出四点主要弱点。其一,审计协议虽然暴露了偏差,但没有提供具体的修正方案,只建议用 post-hoc 校准或监督模型兜底,而读者最想看到的是 Platt scaling 或 isotonic regression 在端点处能恢复多少。其二,数据集只覆盖钟面绘画,无法判断 central tendency 是普遍临床有序评分现象还是 CDT 这一视觉任务特有的产物。其三,few-shot 实验只跑了 GPT-5 一家,缺少对 Gemini 和 Claude 的同条件对照,无法判断 few-shot 在不同模型族的修复幅度差异。其四,论文没有提供模型推理时间、单张图成本或 API 调用稳定性等部署相关指标,即使方法上识别出偏差,落地读者也难以评估工程开销。改进方向包括加入 post-hoc 校准实验、扩展到非 CDT 有序评分任务、补齐 few-shot 全模型对比、并补充推理成本报告。
未来方向
作者提出的下一步是研究轻量级 post-hoc 校准与任务专属微调能否在不牺牲多模态 LLM 灵活性的前提下抑制端点压缩。基于本文成果可延伸的方向还包括:把中心化倾向偏差作为 RLHF 训练目标的一项显式正则项来缓解;在 LLM 评分前接入一个轻量监督网络的残差头,以 ViT-Ordinal 之类强基线补偿低端高估;把同一审计协议扩展到 LLM-as-a-judge 尚未覆盖的影像学分级、组织学评分、临床文本有序评分等场景;以及探索在 prompt 中加入显式的端点鼓励或类别先验校准信号,看能否只靠提示工程就消除压缩。
复现评估
复现可行性中等偏上。NHATS 是公开纵向数据集,作者提供了 Round 1–13 共 63,351 张图;外部泰国 CDT 来自 CDT-API-Network 公开仓库;监督模型的 ResNet-101、ViT 与累计阈值头都是标准实现,实验只报告了 GPU 类型未给出精确配置,显存需求按 $224\times 224$ 输入估算应在单卡 24GB 以内。LLM 部分使用 GPT-5、GPT-5.4、Gemini 2.5 Pro、Claude 4 Sonnet 的商用 API,温度统一为 0,top-p=1,提示词在 Appendix A.4 全文给出。论文承诺代码与提示词开源(标准做法),但未在 arXiv 中附带具体仓库链接,实现细节如 Otsu 阈值化形态学参数、ViT 微调学习率等还需要作者补充附录才能精确复现。整体难度适中,主要瓶颈在于商用 LLM 调用的费用和审批,而非算法本身。
论文图表
