研究亮点
- 我们基于全国GWTG-CAD登记处训练并验证了一个新的AMI死亡率模型。
- LightGBM在各组间实现了最高的AUROC值0.874,并具有出色的校准能力。
- 新模型在总体和2023年验证队列中优于传统的ACTION和GLMM模型。
- 合并症、运输方式和社会脆弱性指数为传统输入提供了额外价值。
摘要
背景
心血管疾病仍然是全球死亡的主要原因,急性心肌梗死(AMI)每年在美国导致超过10万人死亡。准确的住院死亡风险分层对指导临床决策、改善预后和优化医院资源至关重要。然而,现有模型通常依赖有限的预测因子集、过时的数据和线性方法,可能无法反映当前临床实践。
目标
开发并验证一个当代AMI患者住院死亡风险模型,纳入临床、人口统计学和健康的社会决定因素,并与传统的ACTION Registry-GWTG模型比较性能。
方法
我们利用美国心脏协会(AHA)指南遵循-冠状动脉疾病(GWTG-CAD)登记处的数据。2019年10月1日至2022年12月31日入院的201,191名AMI患者(来自605家医院)用于开发住院死亡预测模型。2023年入院的70,302名患者作为独立验证队列。我们纳入了27个预测因子,并与传统的ACTION Registry-GWTG模型进行基准测试。亚组和敏感性分析评估了模型在性别、种族/民族、ST段抬高型心肌梗死状态和时间段的性能。
结果
基于Light Gradient Boosting Machine (LightGBM)的GWTG-CAD模型获得了最高的区分度(受试者工作特征曲线下面积[AUROC] 0.874,95%置信区间0.867-0.880)和亚组间优异的校准,优于ACTION Registry-GWTG模型(AUROC 0.859,95%置信区间0.852-0.867)。合并症、运输方式和社区层面的社会经济因素提供了超越传统预测因子的有意义的预测价值。广义线性混合模型(AUROC 0.865)提供了可解释的比值比和校准的概率估计,适用于风险调整基准测试和质量改进。
结论
GWTG-CAD模型套件通过2种互补方法推进AMI死亡预测:LightGBM模型在不同亚组中识别高风险患者方面提供卓越的区分度,而广义线性混合模型为机构基准测试和质量改进提供了透明工具。在临床部署前需要更广泛的外部验证。
背景
每年,急性心肌梗死(AMI)影响约100万美国人,仍然是美国和全球死亡的主要原因。准确且校准良好的AMI住院后死亡预测模型对临床决策、患者咨询、资源分配和医院基准测试至关重要。值得注意的是,参与指南遵循-冠状动脉疾病(GWTG-CAD)登记处的医院——美国最大的AMI登记处之一——依赖此类死亡预测模型来支持质量改进和跨医院比较。
虽然现有的风险模型是为AMI住院死亡预测而开发的,包括2013年急性冠脉治疗和干预结果网络(ACTION)Registry-GWTG模型和GRACE风险评分,但这些模型是使用较旧的数据和传统统计方法开发的,可能无法反映当前临床实践或捕捉预测因子与结果之间的非线性关系。人群健康的变化,包括肥胖和糖尿病患病率的增加以及医院系统的改变,进一步限制了它们的相关性。此外,许多模型继续使用种族作为风险的替代指标,尽管越来越多的共识认为种族是一种社会建构,而健康的社会决定因素提供更精确和公平的预测因子。
为解决这些局限性,我们使用传统统计和机器学习模型,基于GWTG-CAD登记处的当代数据开发了一个可推广的死亡风险模型。本研究的目标是:(1)测试纳入更广泛的临床预测因子和健康的社会决定因素是否能提高预测性能;(2)确定与传统线性模型相比,使用机器学习方法是否能提高模型性能;(3)开发用于质量改进工作中风险调整的新模型。
方法
数据来源
美国心脏协会(AHA)GWTG-CAD登记处是美国全国性的自愿质量改进项目。项目信息和病例报告表中收集的数据元素可在以下网址获取:
研究人群
我们将2019年10月1日至2022年12月31日期间入住参与AHA GWTG-CAD登记处医院的患者作为模型开发和内部测试的主要队列。为评估模型的稳健性和有效性,我们确定了一个独立的验证队列,包括2023年1月1日至2023年12月31日期间入院的患者。数据预处理遵循先前建立的方法。
符合条件的患者表现为与AMI一致的症状、体征或主诉(如胸痛、胸闷或呼吸急促),并最终诊断为AMI(STEMI或NSTEMI)。AMI诊断定义为:(1)肌钙蛋白I或肌钙蛋白T结果>正常上限;或(2)心电图结果符合AMI。由于结局数据不完整,排除了在性别、种族/民族或出院状态方面缺少数据,以及转出参与医院的患者。详细的纳入和排除标准见补充图1。
结局和预测因子
结局为住院死亡率,定义为索引住院期间任何原因导致的死亡。
预测因子包括就诊时记录的变量,包括人口统计学、病史、合并症、心电图发现、初始生命体征、实验室值和社会经济状况,共27个变量(补充表1),其中9个包含在传统ACTION-GWTG风险评分中。性别、种族和民族为自我报告。根据出生日期和到达日期时间计算诊断时患者年龄。生命体征是在首次医疗接触(FMC)时测量的值,对于通过急救医疗服务(EMS)转运到医院的患者,由EMS提供;对于自行转运的患者,在急诊室测量。到达前心脏骤停表示患者在EMS提供的院前护理期间经历了院外心脏骤停。FMC时的心力衰竭或心源性休克是在到达医院时确定的。身体质量指数(BMI)使用入院时获得的第一个体重和身高计算。初始血清肌酐和初始肌钙蛋白值定义为索引住院期间获得的第一个值。心电图上的STEMI由提供者记录确定,表明第一次或后续心电图结果符合STEMI或STEMI等同症。社会经济状况的指标包括保险和社会脆弱性指数(SVI),后者基于患者的住所确定。SVI根据美国社区调查(2015-2020)的5年估计值在邮政编码级别计算,并与GWTG队列中的个体级参与者数据关联。SVI范围从0到1,值越高表示社会脆弱性越大。对于预测因子中的缺失数据,我们对缺失率低的变量(初始血清肌酐、肌酐清除率、肌钙蛋白水平和SVI)应用中位数填补,因为分布扭曲最小。对于缺失率更高或具有更强多变量依赖性的变量(BMI、收缩压[SBP]、心率、吸烟史、FMC时心源性休克、到达前心脏骤停和FMC时心力衰竭),我们使用迭代链式方程填补法(scikit-learn的IterativeImputer)来保留联合关系。
模型开发
我们使用两种互补方法开发预测模型。首先,我们应用了广义线性混合(GLMM)模型,将医院站点作为随机效应纳入,以解释结果的站点级变异。这种模型具有可解释性的优势,允许估计校正比值比(OR)并包含医院级效应。这种建模也用于现有的国家基准,如ACTION Registry-GWTG和GRACE模型。其次,我们实施了一系列机器学习模型,包括随机森林、极端梯度提升机(XGBoost)和轻量级梯度提升机(LightGBM)。这些基于树的集成方法非常适合临床预测任务,因为它们能够模拟变量之间复杂的非线性交互。特别是,LightGBM和XGBoost在各种医学预测研究中表现出卓越的性能。
为基准测试我们的模型,我们还将它们的性能与ACTION Registry-GWTG模型进行了比较。为公平比较,我们使用训练队列重新训练了ACTION Registry-GWTG模型,应用其公布的特征集和模型结构。然后我们在验证数据集上评估其性能。还进一步检查了特定亚组的校准性能。
统计分析
使用中位数与四分位距(IQR)以及适当频率描述基线患者人口统计学和合并症的汇总统计,以及治疗医院的特征。对于描述性分析,我们对分类值使用2比例检验,对连续变量使用Kruskal-Wallis检验。对于GLMM,我们计算了每个包含变量的OR及其95%置信区间(CI),并使用森林图显示结果。对于机器学习模型,我们使用SHapley可加性解释(SHAP)来识别最具影响力的因素。
为评估模型性能,将总体研究队列(2019-2022)使用自助法分为训练集(80%)和验证集(20%)。通过受试者工作特征曲线下面积(AUROC)评估区分度,通过100次自助迭代估计95%置信区间(CI)。在总体队列和预先定义的亚组中评估校准。
进行了几项次要分析。我们首先评估了按性别、种族/民族、STEMI与非STEMI(NSTEMI)表现以及诊断年份分层的亚组中的模型性能。其次,为评估后疫情时代的泛化能力,我们使用2023年入院的单独患者队列测试模型性能。第三,我们通过开发包含和不包含种族的模型,检查了将种族作为预测因子的影响。这些模型使用不同集的输入变量构建——从基本人口统计学(如年龄和性别)到包括临床病史、实验室结果以及保险状态和SVI等社会因素的更全面的输入。对于每次比较,我们评估AUROC的差异,以确定包含种族是否提高了模型性能。
所有分析均使用R(v4.2.0)和Python(v3.7.16)在AHA的精准医学平台(
结果
研究人群
从GWTG-CAD登记处的初始571,331名患者数据集中,确定了305,779名在2019年10月1日至2022年12月31日期间出院的患者。应用排除标准后,由于人口统计学或临床数据缺失(包括种族、民族、性别、运输方式、出院状态或肌钙蛋白单位)或年龄不在18至100岁范围内,排除了30,258名患者。此外,由于转出医院排除了27,483名患者,由于缺乏STEMI或NSTEMI的主要心脏诊断排除了6,620名患者。这导致最终研究队列为来自605家医院的201,191名患者(补充图1)。
在201,191名因AMI住院的患者中(表1,补充图1),中位年龄为65岁(IQR: 57-75岁),32.7%的患者为女性。非西班牙裔白人占70.8%,非西班牙裔黑人占13.6%,西班牙裔占8.1%。10,389名(5.2%)患者发生院内死亡。与存活患者相比,死亡患者年龄更大(中位年龄72岁对65岁),女性比例更高(39.1%对32.4%),患有糖尿病(36.4%对31.4%)和心房颤动(12.9%对7.4%)的比例更高。死亡患者更可能患有心源性休克(31.1%对2.8%)和到达前心脏骤停(22.8%对2.1%)。保留的验证队列由2023年1月1日至12月31日期间住院的70,302名患者组成,其人口统计学特征、合并症和社会因素的分布与总体研究队列相似(补充表2)。
表1 基线特征
| 变量 | 存活患者 (n=190,802) |
死亡患者 (n=10,389) |
总计 (n=201,191) |
P值 |
|---|---|---|---|---|
| 年龄(岁),中位数(IQR) | 65(18) | 72(18) | 65(18) | <.001 |
| 女性(n,%) | 61,762(32.37) | 4,057(39.05) | 65,819(32.71) | <.001 |
| 种族/民族(n,%) | ||||
| 非西班牙裔白人 | 135,231(70.88) | 7,246(69.75) | 142,477(70.82) | .014 |
| 非西班牙裔黑人 | 26,099(13.68) | 1,269(12.21) | 27,368(13.60) | <.001 |
| 西班牙裔 | 15,412(8.08) | 910(8.76) | 16,322(8.11) | .014 |
| 其他 | 14,060(7.37) | 964(9.28) | 15,024(7.47) | <.001 |
| BMI,中位数(IQR) | 28.98(7.28) | 27.90(7.70) | 28.91(7.32) | <.001 |
| 病史(n,%) | ||||
| 糖尿病 | 59,916(31.40) | 3,780(36.38) | 63,696(31.66) | <.001 |
| 高血压 | 123,435(64.69) | 6,811(65.56) | 130,246(64.74) | .073 |
| 血脂异常 | 98,033(51.38) | 4,912(47.28) | 102,945(51.17) | <.001 |
| 吸烟史 | 64,386(33.74) | 2,702(26.01) | 67,088(33.35) | <.001 |
| 目前透析中 | 4,435(2.32) | 544(5.24) | 4,979(2.47) | <.001 |
| 既往心肌梗死 | 31,187(16.35) | 1,541(14.83) | 32,728(16.27) | <.001 |
| 既往经皮冠状动脉介入治疗 | 37,076(19.43) | 1,764(16.98) | 38,840(19.31) | <.001 |
| 既往CABG | 15,005(7.86) | 926(8.91) | 15,931(7.92) | <.001 |
| 心房颤动 | 14,110(7.40) | 1,343(12.93) | 15,453(7.68) | <.001 |
| 脑血管疾病 | 17,007(8.91) | 1,369(13.18) | 18,376(9.13) | <.001 |
| 外周动脉疾病 | 10,012(5.25) | 844(8.12) | 10,856(5.4) | <.001 |
| 入院时实验室值,中位数(IQR) | ||||
| 初始血清肌酐 | 1.00(0.40) | 1.40(0.90) | 1.00(0.4) | <.001 |
| 肌酐清除率 | 80.39(48.69) | 54.17(46.96) | 80.39(49.00) | <.001 |
| 肌钙蛋白 | 0.19(1.20) | 0.69(5.48) | 0.2(1.31) | <.001 |
| 心电图上STEMI(n,%) | 87,355(45.78) | 6,783(65.29) | 94,138(46.79) | <.001 |
| 入院时心率,中位数(IQR) | 83(27) | 87.67(30) | 83(27) | <.001 |
| 入院时收缩压,mm Hg,中位数(IQR) | 150(41) | 130(45) | 149(42) | <.001 |
| FMC时心力衰竭(n,%) | 21,803(11.43) | 2,776(26.72) | 24,579(12.22) | <.001 |
| FMC时心源性休克(n,%) | 5,360(2.81) | 3,233(31.12) | 8,593(4.27) | <.001 |
| 到达前心脏骤停(n,%) | 3,942(2.07) | 2,367(22.78) | 6,309(3.14) | <.001 |
| 记录的LVEF,% | ||||
| <30% | 15,770(8.27%) | 3,138(30.21%) | 18,908(9.40%) | <.001 |
| 30%-39% | 24,086(12.62%) | 1,733(16.68%) | 25,819(12.83%) | <.001 |
| 40%-49% | 37,901(19.86%) | 1,426(13.73%) | 39,327(19.55%) | <.001 |
| 50%-59% | 62,611(32.81%) | 1,238(11.92%) | 63,849(31.74%) | <.001 |
| 60%-69% | 40,085(21.01%) | 811(7.81%) | 40,896(20.33%) | <.001 |
| ≥70% | 1,830(0.96%) | 89(0.86%) | 1,919(0.95%) | .320 |
| 保险(n,%) | ||||
| 医疗补助 | 23,348(12.24) | 1,286(12.38) | 24,634(12.24) | .6791 |
| 联邦医疗保险 | 54,762(28.70) | 4,119(39.65) | 58,881(29.27) | <.001 |
| 私人/退伍军人事务部/CHAMPUS | 91,622(48.02) | 3,881(37.36) | 95,503(47.47) | <.001 |
| 自费/无保险 | 12,433(6.52) | 602(5.79) | 13,035(6.48) | .004 |
| 未记录/UTD | 8,637(4.53) | 501(4.82) | 9,138(4.54) | .166 |
| 运输(n,%) | ||||
| EMS-空中 | 1,348(0.71) | 111(1.07) | 1,459(0.73) | <.001 |
| EMS-地面救护车 | 75,423(39.53) | 6,350(61.12) | 81,773(40.64) | <.001 |
| 步行就诊 | 70,591(37.00) | 1,777(17.10) | 72,368(35.97) | <.001 |
| 从另一机构转诊 | 43,440(22.77) | 2,151(20.70) | 45,591(22.66) | <.001 |
| SVI(0-1),中位数(IQR) | 0.4346(0.4033) | 0.4346(0.4050) | 0.4346(0.4039) | <.001 |
【全文结束】

