生存分析中异质性处理效应估计的基准测试 SurvHTE-Bench: A Benchmark for Heterogeneous Treatment Effect Estimation in Survival Analysis
首个针对右删失生存数据中HTE估计的综合基准平台
前置知识
异质性处理效应(HTE)
异质性处理效应是指在不同个体或子群体上,治疗或干预措施的效果存在差异。与平均处理效应(ATE)只关注整体平均效果不同,HTE旨在估计每个个体的条件平均处理效应(CATE):$\tau(x) = \mathbb{E}[Y(1) - Y(0) | X = x]$。例如,某种药物对年轻患者可能效果显著,但对老年患者效果微弱,这就是异质性效应的体现。估计HTE通常需要基于观察到的协变量来预测个体化效应。
读懂本文需要理解HTE概念,因为本文的核心就是在右删失生存数据的挑战性场景下评估不同方法估计HTE的能力。只有理解了HTE和ATE的区别,才能理解为什么需要个性化的因果推断方法,以及为什么生存分析中的删失问题会使HTE估计变得更加困难。
右删失数据
右删失是生存分析中最常见的数据缺失机制,指我们只知道事件发生在某个时间点之后,但不知道确切的发生时间。用数学符号表示,对于每个个体i,我们观测到的是$\tilde{T}_i = \min(T_i, C_i)$和删失指示$\delta_i = \mathbb{I}\{T_i \leq C_i\}$,其中$T_i$是真实事件时间,$C_i$是删失时间。如果$\delta_i = 1$,说明事件发生被观测到;如果$\delta_i = 0$,说明个体在删失时间$C_i$时仍未发生事件,真实事件时间未知。右删失常出现于临床试验中患者失访、研究提前结束等情况。
右删失是本文要解决的核心技术挑战。在HTE估计中,删失带来了双重困难:一是反事实结果本来就不可观测,二是部分个体的事件时间也被删失。理解右删失机制对于理解为什么需要专门的生存HTE方法,以及为什么传统的因果推断方法不能直接应用于生存数据至关重要。
限制平均生存时间(RMST)
RMST是生存分析中一个重要的估计量,表示在特定时间范围$h$内的平均生存时间,计算公式为$\mu(h) = \int_0^h S(t) dt$,其中$S(t)$是生存函数。与中位生存时间或生存概率相比,RMST在删失情况下更加稳健,且具有直观的解释:它表示在时间$h$之前个体平均存活的时长。例如,当$h = 30$个月时,RMST = 25个月意味着在研究的前30个月内,患者平均生存25个月。RMST不依赖于比例风险假设,因此在违反该假设时仍然有效。
RMST是本文的主要估计目标,所有实验都基于RMST的CATE估计。理解RMST对于理解本文的评估指标、实验设置和结果解释非常重要。RMST的选择反映了作者对可解释性和稳健性的重视,也是本文在实际应用中的一个重要设计决策。
识别假设
因果推断中的识别假设是确保能够从观测数据中识别因果效应的数学条件。本文涉及的五个核心假设包括:(A1) 一致性:$T_i = T_i(W_i)$几乎必然成立;(A2) 可忽略性:$\{T_i(0), T_i(1)\} \perp W_i | X_i$,即在给定协变量条件下,治疗分配与潜在结果独立;(A3) 正则性:存在$\eta_e > 0$使得$\eta_e \leq P(W_i = 1 | X_i = x) \leq 1 - \eta_e$,确保每个个体都有非零概率接受任一治疗;(A4) 可忽略删失:$T_i \perp C_i | X_i, W_i$,删失时间与治疗条件下的事件时间独立;(A5) 删失正则性:存在$0 < \eta_C \leq 1$使得$P(C_i < h | X_i, W_i) \leq 1 - \eta_C$。
识别假设是本文基准设计的核心维度之一。作者系统性地考察这些假设被违反时各方法的表现,这是本文独特性和重要性的关键所在。理解这些假设对于理解本文的8种因果配置设计、实验结果的解释(如为什么某些方法在假设违反时表现更差)以及方法的局限性都至关重要。
元学习器
元学习器是一类灵活的因果推断框架,将HTE估计分解为标准的监督学习任务。主要类型包括:T-Learner分别为治疗组和对照组拟合独立的结果模型,然后相减得到效应;S-Learner将治疗作为额外特征,训练单一模型,通过比较不同治疗条件下的预测得到效应;X-Learner先估计反事实结果,然后建模处理效应,最后通过倾向性得分加权组合;DR-Learner构建双重鲁棒得分,只要结果模型或倾向性模型之一正确设定就能保持一致性。元学习器的优势在于可以灵活集成任意机器学习算法作为基础学习器。
元学习器是本文评估的三大方法族之一(共42个变种)。理解元学习器的原理和差异对于理解本文的方法分类、实验结果比较(如为什么X-Learner在观测性研究中表现更好)以及实际应用中的方法选择都非常重要。元学习器通过插补方法应用于生存数据,这是本文方法创新的一个关键组成部分。
研究动机
在精准医疗、个性化政策制定等高权重应用中,估计异质性处理效应(HTE)比仅估计平均处理效应(ATE)更有价值,因为相同治疗对不同个体的效果可能差异巨大。然而,在生存分析的场景下,HTE估计面临独特的挑战:不仅要处理因果推断的标准困难(未观测反事实、混杂),还要应对删失问题,即只有部分个体的目标事件被观测到。这些复杂性使得识别和估计变得异常困难,但其在精准医疗中的核心地位不容忽视。尽管近年来出现了多种因果生存方法,从因果生存森林到生存元学习器和结果插补方法,但评估实践仍然分散且不一致,缺乏统一的标准化基准。
本文的目标是本文的目标是构建SURVHTE-Bench,这是首个针对右删失生存数据中HTE估计的综合基准平台。该基准旨在:(1)系统性地评估现有生存HTE方法在不同条件下的性能;(2)量化各种假设违反对估计精度的影响;(3)为生存因果推断方法提供公平、可复现、可扩展的评估基础;(4)为实践者提供方法选择的实用指导。通过控制合成、半合成和真实数据环境,该基准涵盖了从理想假设到严重违反假设的广泛场景,帮助研究者和从业者理解不同方法的优劣边界。
与已有工作不同的是,本文的独特切入角度在于首次系统性地构建了生存HTE估计的标准化基准。此前的工作存在以下空白:虽然有针对完全观测数据的HTE基准(如Crabbé et al., 2022)和生存ATE基准(如Voinot et al., 2025),但缺乏针对生存HTE的基准;现有研究依赖定制的模拟或有限的未知真实值数据集,无法进行公平比较;缺乏系统性考察假设违反(如可忽略性、正则性、可忽略删失)对方法性能影响的工作;没有统一的评估协议和指标,使得结果难以比较和复现。本文填补了这些空白,为生存因果推断社区提供了缺失的基础设施。
核心方法
SURVHTE-Bench采用模块化设计,从两个正交维度系统性地变化实验条件:因果配置(8种)和生存场景(5种),产生8×5 = 40个合成数据集,再加上10个半合成数据集和2个真实数据集,构成了全面的测试环境。基准将53种HTE估计方法归类为三大族:结果插补方法(42个变种,包括元学习器与三种插补方法的组合)、直接生存因果方法(2种,包括Causal Survival Forests和SurvITE)、生存元学习器(9个变种,将S/T/Matching-learner与生存模型结合)。评估指标包括CATE均方根误差(RMSE)、ATE偏差、辅助插补精度和模型拟合质量。通过Borda计数排名和胜率分析,基准能够在多种设置下比较方法的相对性能。
本文的核心创新点在于首次为生存HTE估计构建了系统性的标准化基准,其独特性体现在:(1)模块化数据生成:将因果配置(治疗随机化、可忽略性、正则性、删失机制)与生存场景(事件时间分布、删失率)正交分离,能够独立研究每个维度的影响;(2)全覆盖假设违反设计:不仅是理想假设,还包括8种因果配置,覆盖RCT、观测性研究、未观测混杂、正则性违反、信息性删失等各种现实场景;(3)三分法方法族分类:首次将分散的生存HTE方法统一分类为结果插补、直接生存、生存元学习器三大族,共53个变种,提供了系统性的比较框架;(4)多层级数据验证:从可控的合成数据到更真实的半合成数据,再到真实数据,提供了从内到外的全面验证。
方法步骤详情
SURVHTE-Bench的实施包含以下完整步骤:(1)数据生成阶段:对于合成数据,首先生成5个Uniform(0,1)的协变量和2个潜在混杂因子,根据8种因果配置(如RCT-50、OBS-UConf、OBS-NoPos-InfC等)确定治疗分配机制,然后根据5种生存场景(Cox、AFT、Poisson分布,低/中/高删失)生成潜在事件时间,最后根据删失机制(可忽略或信息性)生成删失时间,构建观测数据$\tilde{T}_i = \min(T_i, C_i)$和$\delta_i$。半合成数据使用真实协分布(ACTG HIV试验、MIMIC-IV ICU记录),模拟治疗和事件时间。真实数据使用双胞胎数据(有已知真实值)和ACTG 175 HIV试验。(2)方法训练阶段:对每个数据集进行10次随机划分(训练集5000、验证集2500、测试集2500),在验证集上调优超参数,使用RMST作为估计目标,时间窗$h$设置为各数据集的最大观测时间。(3)评估阶段:在测试集上计算CATE RMSE、ATE偏差等指标,通过Borda计数聚合排名,计算各方法族的Top-1/Top-3/Top-5胜率。(4)分析阶段:按生存场景、因果配置分组分析性能模式,量化删失率、假设违反对方法性能的影响,通过统计检验(Wilcoxon符号秩检验)评估排名差异的显著性。
技术新颖性
本文的技术新颖性体现在多个方面:(1)首创性基准:这是首个针对生存HTE估计的综合性基准,填补了因果推断和生存分析交叉领域的基础设施空白。(2)系统性违反测试:首次系统性地考察多种识别假设同时违反时的方法性能,这是现实世界应用中常见但现有文献很少研究的情况。(3)三分法方法统一框架:首次将分散在不同文献中的生存HTE方法统一归类和比较,特别是首次将标准元学习器通过插补方法与生存数据结合,产生了多个新颖的方法变种(42个)。(4)真实值基准:引入双胞胎数据集(11,400对双胞胎,其中较重的作为治疗,死亡时间作为结果),这是生存HTE估计中极少数具有个体级真实值的真实数据集。(5)可扩展模块化设计:基准的模块化特性使得研究者可以轻松添加新的估计器或数据集,同时保持与现有结果的可比性,这为社区的持续发展提供了基础设施。
实验结果
本文的实验结果揭示了生存HTE估计的几个关键发现:(1)无统一最优:没有单一方法在所有设置下都占优势,性能强烈依赖于因果假设、删失程度和生存动态。在40个合成数据集上,S-Learner-Survival(平均排名3.30)、Matching-Survival(3.48)、Double-ML(3.98)和Causal Survival Forests(5.10)排名前列。(2)删失驱动的性能转移:随着删失率从低(<30%)到高(>70%),最佳方法族发生明显转移。在低删失的Scenario A和B中,Double-ML领先(Scenario A排名1.5,Scenario B排名2.4);在高删失的Scenario D中,S-Learner-Survival(1.6)和Matching-Survival(2.4)显著优于其他方法。(3)假设违反的稳健性差异:在信息性删失和未观测混杂等违反场景下,生存感知方法(S-Learner-Survival、Matching-Survival、Causal Survival Forests)比结果插补方法更稳健。当正则性违反同时发生时,生存元学习器重新获得优势。Causal Survival Forests在单独正则性违反时性能显著下降(排名6.60),表明其在确定性治疗分配区域的局限性。(4)半合成数据的模式验证:在ACTG半合成数据(51%删失)上,Double-ML达到最低RMSE(10.65);在MIMIC-i-v删失扫描(53%-88%)中,S-Learner-Survival保持稳定(RMSE范围7.897-7.921),而T-Learner-Survival在极端删失下表现出更大的变异性。(5)真实数据的性能验证:在双胞胎数据(68.1%治疗率,84.8%删失率,h=30天)上,S-和DR-Learner(带插补)以及S-Learner-Survival达到最低CATE RMSE(约7.2天)。在HIV临床试验上,Causal Survival Forest在增加删失条件下估计值聚类紧密,而生存元学习器显示对删失条件的敏感性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 合成数据CATE估计(40个数据集) | Borda平均排名 | S-Learner-Survival (DeepSurv): 5.17 | T-Learner (IPCW-T, RandomForest): 29.85 | 排名提升24.68位(约478%相对改进) |
| 低删失随机试验(RCT-50, Scenario A) | Borda平均排名 | Double-ML: 1.5 | S-Learner (Margin, Lasso): 27.98 | 排名提升26.48位(约1765%相对改进) |
| 高删失场景(Scenario D, OBS-CPS-InfC) | Borda平均排名 | Matching-Survival: 2.4 | Double-ML: 4.6 | 排名提升2.2位(约48%相对改进) |
| ACTG半合成数据CATE估计 | RMSE | Double-ML: 10.65 ± 0.239 | SurvITE: 12.714 ± 0.559 | 降低RMSE 2.064(约16%相对改进) |
| 双胞胎数据CATE估计(h=30天) | RMSE(天) | S-Learner-Survival: ~7.2 | T-Learner-Survival: ~8.5 | 降低RMSE约1.3天(约15%相对改进) |
局限与改进
本文的局限性包括:首先,合成数据集虽然覆盖了常见的真实违反场景,但并未包含所有可能的复杂性,如信息性删失的RCT设置或假设违反的不同程度严重性。假设违反的二值化处理(存在或不存在)可能无法捕捉部分违反的连续谱。在实际应用中,假设违反往往存在一个严重程度的连续谱,未来需要加入分级敏感性分析,如变化未测量混杂的强度(通过Rosenbaum的$\Gamma$)或重叠违反的程度。其次,因果估计量的选择本质上依赖于具体任务,虽然本文评估了RMST和固定时间点的生存概率,但不同的临床或政策目标可能需要其他估计量,如条件中位生存时间或时变风险比。第三,本文限于静态、二元治疗和固定基线协变量,排除了时变治疗、工具变量和动态协变量结构的场景,这些在现实临床应用中很常见。第四,虽然本文实现了53个方法变种,但仍有新兴方法未纳入(如生成因果边际建模和基于合成控制的方法)。最后,真实数据集数量有限(2个),虽然提供了真实性验证,但可能无法完全代表所有临床场景的多样性。
独立分析的弱点
本文存在几个独立的弱点:(1)删失模型过于简化:本文的信息性删失主要通过$C_i \sim \text{Exponential}(\lambda_0 + \alpha \cdot T_i)$实现,其中删失时间依赖于事件时间,但这只是信息性删失的一种形式。真实临床场景中,删失可能与未观测变量、治疗分配、复杂的时间依赖模式相关,需要更丰富的删失机制模型。改进方向是引入更多样的信息性删失模型,如通过潜在混杂因子驱动的删失或基于时变协变量的删失概率。(2)协变量维度偏低:合成数据只使用5个Uniform(0,1)协变量,这远低于真实电子健康记录的高维特征空间(可能有数百甚至数千个协变量)。在高维设置下,方法的行为可能完全不同,特别是对于需要估计倾向性得分或结果模型的方法。改进方向是引入高维协变量设置(如50-100维),考察方法在稀疏性、特征选择方面的表现。(3)生存模型覆盖不足:虽然涵盖了Cox、AFT、Poisson三种分布,但还有其他重要的生存模型未测试,如加速失效时间模型的非对数正态变体、柔性参数模型、机器学习驱动的生存模型等。改进方向是扩展生存场景的多样性,加入更多非线性、非比例风险的数据生成过程。(4)计算成本未充分考虑:不同方法的计算时间差异巨大(从0.78秒到49.40秒),但基准未将计算效率纳入主要评估维度。在资源受限的设置下,这可能成为方法选择的关键因素。改进方向是加入计算效率和内存使用作为评估指标,提供资源受限场景下的实用指导。
未来方向
未来研究方向包括:首先,扩展基准以支持更广泛的因果估计量,如条件中位生存时间、时变风险比、不同时间窗的生存概率等,使基准能够服务于更多样化的临床和政策目标。其次,纳入更多的直接因果估计方法,特别是为生存结果设计的g-computation方法,这将提供更全面的评估景观,尤其是在Causal Survival Forests在某些违反情况下表现出脆弱性的时候。第三,探索更复杂的数据生成机制,更好地模仿真实世界临床数据的异质性和纵向特性,如时变协变量、多状态转移、竞争风险等。第四,将基准扩展到多值或连续治疗场景,这解决了精准医疗和政策优化中的重要实际问题。第五,加入公平性评估模块,考察不同方法在人口统计学亚群体(性别、种族、年龄)上的性能差异,确保方法的公平部署。第六,构建在线基准平台和排行榜,允许研究者提交新方法并自动获得在标准测试集上的评估结果,促进社区的持续创新和透明比较。最后,开发针对不同应用场景的自动方法推荐系统,根据数据特征(删失率、样本量、维度、假设违反可能性)自动推荐最佳方法族。
复现评估
本文的复现性评估显示其开源情况良好。作者提供了完整的代码库(https://github.com/Shahriarnz14/SurvHTE-Bench),包括所有实验的脚本和README,以及数据集(https://huggingface.co/datasets/snoroozi/SurvHTE-Bench)。具体包括:(1)合成数据:完整的数据生成代码和40个数据集,附录A提供了详细的数据生成公式和每个数据集的汇总统计(如删失率、治疗率、ATE)。(2)半合成数据:ACTG半合成数据集;MIMIC相关的生成代码(因为MIMIC-IV需要凭证访问,原始数据不重新分发,但提供生成脚本)。(3)真实数据:双胞胎和ACTG 175的数据处理材料。超参数设置在附录E中详细列出,包括每个方法族的网格搜索范围(如Lasso的Alpha参数{0.001, 0.01, 0.1, 1, 10},XGBoost的树数量{50, 100}等)。计算环境说明为AMD Ryzen 9 5900X CPU、128GB RAM、NVIDIA GeForce RTX 4090 GPU。所有实验设置随机种子,进行10次重复。唯一需要额外批准的是MIMIC-IV原始数据(需在PhysioNet上申请凭证访问)。总体而言,复现难度较低,研究者和实践者可以较为容易地复现主要结果或将自己的方法加入基准。
论文图表