利用心电图识别冠状动脉疾病：人工智能模型的交叉验证 - AI与医疗健康

摘要

背景

目前诊断冠状动脉疾病（CAD）的金标准是侵入性血管造影；然而，这是一种侵入性手术。因此，我们开发了一种人工智能模型，旨在通过静息数字12导联心电图（ECG）预测显著的冠状动脉疾病。

目标

这项回顾性研究评估了该模型在进行冠状动脉造影的患者人群中预测临床显著冠状动脉疾病的能力。

方法

从2019年到2021年，16,476名患者在冠状动脉造影前90天内进行了静息12导联数字心电图记录。该人工智能模型使用10折交叉验证方法开发。临床显著疾病定义为左前降支、左回旋支或右冠状动脉管腔直径狭窄≥70%，或左主干冠状动脉管腔直径狭窄≥50%。随后，我们将该模型应用于外部验证集。

结果

在交叉验证队列中，临床显著冠状动脉疾病的患病率为64.5%；该模型在预测临床显著冠状动脉疾病方面的阳性预测值为91.7%（95% CI：89.9%-93.4%），阴性预测值为72.8%（95% CI：69.6%-76.0%），曲线下面积为91.4%（95% CI：89.4%-94.4%）。在外部验证中，临床显著冠状动脉疾病的患病率为36.0%；该模型在预测临床显著冠状动脉疾病方面的阳性预测值为82.5%（95% CI：75.9%-89.2%），阴性预测值为88.1%（95% CI：84.0%-92.1%），曲线下面积为92.4%（95% CI：89.7%-95.1%）。

结论

本研究证明了深度学习人工智能算法在分析数字12导联心电图以预测冠状动脉造影确定的临床显著冠状动脉疾病方面的临床效用。

目前诊断冠状动脉疾病（CAD）的金标准是侵入性冠状动脉造影。然而，对美国691家医院中565,504名无既往心肌梗死或血管重建术的患者进行的回顾性分析显示，血管造影显示显著冠状动脉疾病的中位率为45%（四分位距：39%-52%）。依赖人口统计学偏倚的风险评分在个体患者中始终表现不佳，特别是在那些没有"已知"风险因素的人群中。无创检测已被研究作为冠状动脉造影的把关工具。然而，仅运动心电图（ECG）的敏感性和特异性范围为60%至70%，基础成本约为250美元。此外，大多数分层方法涉及额外的辐射和/或增加的成本，并且仍然受到假阳性和假阴性的影响。

我们开发了一种人工智能（AI）模型——ECGio——通过仅分析标准12导联静息数字心电图来预测血管造影显示的显著冠状动脉疾病的程度和严重程度。ECGio是一种深度学习算法，部署在云端，提供超越目前可用内置解释算法的心电图分析能力。在本研究中，我们通过训练以及内部和外部验证周期评估了ECGio，以了解其在比我们先前发表的概念验证研究更大规模的患者人群中的表现。我们在交叉验证过程中训练了先前开发的ECGio模型，以将患者基础扩展到一个更普遍的人群，这些人群接受了冠状动脉造影。

方法

研究设计

ROPES（回顾性研究以评估人工智能确定冠状动脉狭窄严重程度的性能）是一项回顾性研究，涉及2017年1月1日至2021年8月1日期间在宾夕法尼亚州匹兹堡阿勒格尼医疗网络（Allegheny Health Network）接受选择性冠状动脉造影的17,061名患者。排除标准包括：在阿勒格尼医疗网络中未完整记录医疗信息的患者（部分患者在其他地方收集了一些数据）、心电图中存在严重噪声或伪影、不完整的血管造影（未显示所有心外膜血管）以及冠状动脉造影在索引心电图90天之后进行的患者。所有患者年龄均在18岁或以上。因急性冠脉综合征（包括ST段抬高或非ST段抬高心肌梗死）而被转诊进行导管插入术的个体也被排除。在这些排除之后，由于心电图文件缺失或不可解读，另有585名（3.6%）患者从研究中移除。在纳入研究的16,476名患者中，64.5%的患者经冠状动脉造影视觉评估定义为临床显著CAD——左前降支、左回旋支或右冠状动脉最大管腔直径狭窄≥70%，或左主干冠状动脉最大管腔直径狭窄≥50%。在该人群中，注意到人口统计学数据缺失；但患者并未从研究中排除。本研究在阿勒格尼医疗网络机构审查委员会方案#2021-293下进行，并经过伦理委员会审查。

患有多支血管疾病的患者被视为具有上述定义的临床显著疾病，并在本研究中被视为"二元阳性"。患者人口统计学数据包括年龄、性别和风险因素（高血压、高脂血症、糖尿病、吸烟史和冠状动脉疾病家族史），这些信息列在EPIC（Epic Systems）或Athena（Athenahealth）中，用于外部验证队列。研究参与者的12导联数字心电图在冠状动脉造影前90天内进行，并用于训练和测试人工智能模型。本研究的数据分为2个独立数据集：1）由GE MUSE（GE Healthcare）中的心电图存储库收集的去标识回顾性心电图组成的数据库，以及2）从EPIC中提取的包含患者人口统计学和临床结果的临床标签。一旦收集心电图数据并与持久密钥关联，原始数字信号在提取和归一化过程中被转换为时间序列数据，x轴作为信号的基线。电子医疗记录数据库由每位患者的去标识人口统计信息、风险因素和疾病信息组成。这两个数据库保持分离，以免对模型产生偏差并出于数据安全目的。研究的内部验证部分使用10折交叉验证进行，其中10个折中的每一个都选择具有相似临床显著疾病患病率。更多细节可在补充材料中找到。在交叉验证和外部验证队列中，患者按性别、年龄（<65岁，≥65岁）和风险因素数量（高血压、高脂血症、糖尿病、吸烟和冠状动脉疾病家族史）进行分析。

ECGio的开发基于向量心电图的原理，通过该原理可以测量心脏的偶极活动，通过获取标准12导联正交的信息来识别人眼无法确定的导联之间的相位关系。

为了评估算法的可重复性，对具有多个12导联数字心电图的患者进行了重新研究，以查看在任意预测概率阈值0.5时，ECGio的决策是否会改变。可重复性分析中的所有心电图均在索引导管插入术90天内进行。我们将最接近导管插入术的心电图作为索引ECGio，然后评估第二接近的心电图结果与索引ECGio相同的频率。第二接近的心电图是距离导管插入术事件日期最近的心电图，但不在同一24小时内。

外部验证队列

我们获得了宾夕法尼亚州机械堡（Mechanicsburg, Pennsylvania）宾夕法尼亚州医学会的资助，对388名患者进行单独的外部验证研究，这些患者于2023年12月1日至2024年8月31日期间在费城心脏病顾问公司（Cardiology Consultants of Philadelphia, Philadelphia, Pennsylvania）接受了选择性冠状动脉造影。由于分析的去标识、非干预性质，西方机构审查委员会-哥白尼集团（Puyallup, Washington）对这项研究免除了机构审查委员会审查，并遵循与初始患者人群相同的招募指南，额外排除了既往接受过经皮冠状动脉介入治疗和冠状动脉旁路移植术的患者。血管造影结果和患者人口统计学数据从当地电子医疗记录Athena（波士顿，马萨诸塞州）收集。去标识的回顾性心电图通过GE MUSE收集。在计算性能统计之前，ECGio结果被设为盲态。这些患者均未参与训练ECGio。完整方法表示在中央图示中。

在该队列中，我们进行了决策曲线分析（图1）。决策曲线分析使用Python（Python Software Foundation）通过计算ECGio模型在连续范围内的模型决策概率阈值（0.01-0.99）的"净效益"来生成。该计算权衡了真阳性的价值与假阳性的危害，根据每个点的阈值几率调整，以将模型与2种默认替代策略进行比较："全部治疗"（将每位患者转诊至血管造影）和"不治疗"（不将任何患者转诊至血管造影）。更多详细信息可在补充附录中找到。

结果

在交叉验证研究中

初始交叉验证研究中16,476名患者的人口统计学数据见表1。交叉验证人群中的临床显著CAD患病率为64.5%；61.8%为男性；38.2%为女性。在那些具有临床显著CAD的患者中，56.9%有3个或更多风险因素。

该模型在10折中的表现见表2和图2。ECGio预测临床显著CAD存在的诊断特性在最佳阈值（定义为在折中最大化敏感性和特异性平均值的点）下分别为敏感性、特异性、阳性预测值（PPV）、阴性预测值（NPV）、准确性、F-1分数和曲线下面积（AUROC）为81.6%（95% CI：79.4%-83.9%）、86.9%（95% CI：84.2%-89.6%）、91.7%（95% CI：89.9%-93.4%）、72.8%（95% CI：69.6%-76.0%）、83.5%（95% CI：81.7%-85.2%）、86.3%（95% CI：84.3%-88.4%）和91.4%（95% CI：89.4%-94.4%）。

表3和表4以及图2展示了该模型在年龄、性别和风险因素方面的表现，以考虑各组之间可能存在的差异。在亚组中，我们确实看到了男性与女性之间的性能略有差异（82.2%对79.7%的准确性和90.0%对88.0%的AUROC，分别，P = 0.02）（表3、图2和图3），我们将此归因于样本量和疾病患病率的差异：10,505名男性（73.4%患病率）对6,504名女性（56.8%患病率）。相反，9,565名年龄≥65岁的患者的性能（79.3%准确性和88.9% AUROC）略低于6,979名年龄<65岁的患者（82.1%准确性和89.8% AUROC）（图2和图3），尽管老年组的样本量更大且疾病患病率更高。诊断性能在风险因素数量方面相似，但在具有>5个风险因素的患者中略高（表2、图2和图3）。我们使用DeLong显著性检验未在其他人口统计学组中看到统计学上的显著差异（年龄≥65 vs <65的P值= 0.20）。

在10折交叉验证中，ECGio和冠状动脉造影在13,475名患者中达成一致。该模型在11.7%的患者中低估了疾病严重程度，在4.7%的患者中高估了疾病严重程度（图4）。当作为可重复性分析的一部分分析冠状动脉造影前的连续心电图时，在任意预测阈值0.5下，ECGio在83%的时间内得出相同的结果。在最佳预测阈值下，ECGio在85%的时间内看到一致的结果。分析第二个心电图产生了类似的结果，在任意预测阈值0.5下的一致性为0.805，在最佳预测阈值下的一致性为0.832（补充图3）。

外部验证研究

外部验证患者的基线人口统计学数据见表5。临床显著CAD的患病率为36.0%，其中52%的患者有3个或更多风险因素。诊断特性显示敏感性为78.2%（95% CI：71.2%-85.2%），特异性为90.7%（95% CI：87.0%-94.4%），阳性预测值为82.5%（95% CI：75.9%-89.2%），阴性预测值为88.1%（95% CI：84.0%-92.1%），准确率为86.2%（95% CI：82.7%-89.7%），F-1分数为80.3%（95% CI：74.0%-85.7%），曲线下面积为92.4%（95% CI：89.7%-95.1%）。在男性和女性亚组之间，该模型在最佳阈值下的性能分别为84.5%对89.1%的准确率和92.6%对93.0%的曲线下面积。我们还看到，在年龄≥65岁的患者中，模型表现略强于年龄<65岁的患者。在风险因素亚组中，该模型在具有3个风险因素的患者中表现最强，在没有风险因素的患者中表现最弱（该队列中未收集家族史）。该算法的训练方式允许在低患病率人群中进行外推和更强的性能（外部验证研究中为36%，而交叉验证研究中为64.5%），这在本分析中得到了突出显示。每个分析的所有95%置信区间可在补充表1中找到。

讨论

心脏病学是医疗AI应用最常针对的第三大领域；而心电图仍然是开发AI工具的主要候选者之一。心电图的优势在于数据可以作为数字信号收集和存储，用作时间序列数据，并且几乎可以应用于任何患者，风险最小。通过去除处理视觉信息中的人为因素，机器学习能够更全面地探索与心电图信号相关联的导联信息之间的相互依赖性——例如，I导联中QRS复合波的变化如何与aVR导联中ST段的变化相互作用。

已有一些努力提供有关冠状动脉狭窄的信息。Stuckey等人探索了一种新的心电图设备，同时捕获心电图和光电容积描记信号，以识别通过多种方式定义的CAD存在，包括血管造影、瞬时无波比和血流储备分数；但他们尚未获得大规模市场接受。需要新的硬件设备以及安装、培训和成本，加上需要分析由多种输入方法引起的性能差异以及噪声影响，使得采用变得困难。

该领域的其他工作侧重于CAD风险分析，但使用诊断编码（国际疾病分类[ICD]-9/10）作为疾病的金标准。这引发了对该金标准可靠性的质疑，因为对于其他心血管疾病，ICD-10编码预测疾病的性能是适中的。例如，在预测急诊科心力衰竭时，敏感性为93.3%，特异性为50.0%。一项研究评估了使用电子医疗记录数据的医生账单和住院数据来识别缺血性心脏病患者，报告的性能为77%敏感性和98%特异性。

一个有趣的发现是由交叉验证和外部验证之间的人口统计学差异驱动的。外部验证数据集的人口与交叉验证集不同，因为没有患者有先前的干预，并且临床显著CAD的患病率较低（64.5%对36.0%），表明该算法能够跨人群进行泛化，即使是在不同护理情况下的人群。

其他基于AI的算法在临床实践中已被迅速采用——即，如FDA批准的Heartflow FFRct（NCT01757678）或FDA认可的Cleerly等平台，以及分析侵入性冠状动脉造影和冠状动脉计算机断层扫描血管造影的方法。鉴于ECGio是一种基于深度学习的算法，随着纳入更多患者数据，其预测准确性有望提高。在本研究中，该算法的性能与其他诊断方法相似，尽管是在疾病患病率较高的研究中；随着我们在不同疾病患病率人群中继续使用ECGio，我们将看到随着更多广泛的人口统计数据添加到算法中，性能将更强。

当代CAD评估的诊断临床范式涉及多种测试方法和风险分类，通常以系列方式进行。这些方法根据患者先验概率和疾病特征具有不同的准确性。除了性能差异外，还需要考虑对网络和/或患者的成本。无创冠状动脉成像的成本范围从470美元到2,022美元不等，用于超声心动图，从776美元到3,473美元不等，用于核应力测试，这些成本凸显了需要更强大的早期诊断工具来正确地将患者分层到测试路径中。在当前的交叉验证人群中，55.2%的患者在血管造影前进行了其他无创测试（超声心动图、灌注成像、冠状动脉计算机断层扫描血管造影或钙化评分）。

ECGio能够在三个主要层面上影响医疗实践：1）减少被送往导管插入术的假阳性和被释放的假阴性数量；2）减少急诊环境中胸痛过度治疗/治疗不足的成本；3）通过个性化提高个体患者的预防性护理质量。ECGio可能特别适用于新兴国家，那里的医疗系统没有足够的能力为患者数量所需的更高级测试。ECGio在全球舞台上的一个关键好处可能是更早地诊断CAD，特别是在当前基于疾病症状或更急性表现进行CAD筛查的医疗环境中。ECGio的一个关键组件是无需除心电图外的额外临床输入即可使用的能力。

在临床实践中，AI算法有机会帮助塑造患者干预前的决策。该算法的非侵入性、快速和准确性质提供了见解，可能有助于做出更强有力的决定，以确定是否适当地将患者转诊进行冠状动脉造影。这可以应用于高级成像获取受限的环境中。

在最近的综述中，心血管成像（PRIME）检查表提出的拟议要求为优化心血管成像相关AI模型的研究设计和数据标准化提供了全面指南，旨在消除算法错误和偏差。采用这种方法显著提高了成功AI应用的可能性，并概述了临床研究的正确方法。ECGio利用了几种建议的方法，重点关注特征提取、信号下采样、数据增强、噪声去除和归一化以及交叉验证等。此外，训练集和测试集的分割是在患者级别进行的，确保算法不会在同一患者群体中同时进行训练和测试。考虑到这一点，诊断算法仍然旨在作为诊断的辅助工具，不构成疾病诊断的独立方法。

研究局限性

本研究可能无法代表区域、国家特别是全球范围内正在接受CAD评估的人群。患者人群在呈现给冠状动脉造影时未按先验概率进行分段；因此，我们无法确定该算法相对于或与临床判断结合时的表现。交叉验证和外部验证之间的患者人群均来自先前接受过冠状动脉造影的人群，因此可能比更一般的CAD疑似人群具有更高的选择偏倚。ECGio应用于数字获取和存储的心电图（以XML格式），而非以PDF格式存储的心电图。该研究也未使用全套心电图采集设备进行；没有对全套设备的性能进行分析，不同设备之间可能存在预处理输入差异。冠状动脉造影被用作金标准，通过视觉评估而非定量核心实验室分析，并报告为二元（是/否）而非连续（%管腔直径狭窄）分类；其他工作正在进行中，以将ECGio与生理学或冠状动脉计算机断层扫描血管造影进行比较。需要进行额外的工作，以确保该算法在大多数患者人群中无偏见且可泛化。