放射学中的人工智能（AI）在医学影像领域继续获得关注，承诺提高检测能力和工作效率。然而，选择合适的AI工具需要仔细评估。格林斯伯勒放射科的放射科医生兼放射合作伙伴创新部署总监杰森·波夫（Jason Poff, MD）提出了一种五步AI模型验证过程，旨在有效评估医学影像工具。
“如果我们希望我们的放射科医生对一个AI工具感到兴奋并使用它，我们应该衡量对他们来说相关的事情。因此，这个五步过程的真正目的是通过放射科医生的角度来看待这些AI模型，因为价值在于他们的眼中。我们专注于尝试生成一些指标，以预测他们是否会喜欢一个AI工具，是否会使用它，以及是否会从中获得最大价值，从而使患者受益，使医疗系统从这些工具中获得价值。”波夫解释说。
他说，那些没有进行这种关键AI评估的医疗机构通常会发现，一旦实施，放射科医生并不会使用这些产品。
波夫在2024年的北美放射学会（RSNA）会议上与《健康影像》进行了交谈。
五步AI模型验证过程
波夫的方法侧重于确保AI模型为放射科医生提供有意义的价值，同时尽量减少缺点。他的评估过程包括以下五个关键步骤：
- 性能统计：这一步涉及基于标准统计指标评估AI工具的准确性和效率，确保其达到临床使用的基线期望。
- AI增强的检测率：这是一个关键指标，确定AI工具是否帮助放射科医生发现他们可能错过的发现，从而提高诊断性能。
- 令人惊叹的案例：这些是AI工具显著增强诊断能力的情况，提供了其有效性的明确且有影响力的例子。
- AI陷阱：了解AI模型的局限性和潜在弱点有助于放射科医生应对其不足之处，避免误诊。
- 收益与痛苦比率：最后一步评估AI工具的好处是否超过其实现挑战，如工作流程中断或假阳性。
实践中的AI实施
波夫强调了在部署前投入时间和专业知识进行AI评估的重要性。在放射合作伙伴公司，数据科学家、IT专家和医生领导团队合作进行AI模型的回顾性分析。通过模拟AI工具在过去病例中的表现，他们预测其在现实世界中对患者护理和放射科医生效率的影响。
“基本上，我们在前期做了所有的工作。我们实际上在将这些工具投入生产之前，在它们接触任何患者之前，花费了大量的时间和精力。”波夫解释说。
他说，他们进行了一种所谓的“回顾性回看”，查看几个月前的患者病例，并假设他们的放射科医生当时拥有新的AI工具。他说，这些测试有助于更深入地了解AI的工作方式，并验证其准确性和帮助放射科医生的能力。
“我们喜欢测量如果我们拥有这些AI工具，我们能够将他们的护理标准提升多少。”他解释说。
并非所有AI模型都能通过
尽管FDA批准是考虑的前提条件，但并非所有AI模型都达到了部署的门槛。波夫举了一个肺气肿检测AI的例子，虽然它可以识别塌陷的肺部，但由于放射科医生已经独立发现了这些病例，因此未能增加价值。另一个例子是，如果算法出错的频率高于正确的时候，很快就会失去对AI的信任，放射科医生也不会使用它。
“最终，归结到一位坐在工作站前的人类放射科医生说，‘我觉得我从这个工具中获得了价值。’如果他们不这么认为，他们会很快把它放在一边，忽略它。”波夫说。
如果AI增强了检测率，那是一个可以提升患者护理的具体指标。然而，如果他没有看到这一点，那么在考虑投入时间和资金之前会引起暂停。但是，波夫说还有其他方法可以从AI工具中获得价值。
“它可以帮助适当地将一些患者提到工作列表的顶部，尤其是在如今许多患者需要护理的情况下。仅凭这一分诊优势就很有价值。”波夫说。
根据具体实践需求定制AI
波夫强调，AI的价值因放射学实践的性质而异。设有急诊科的医院可能会优先考虑用于中风检测的AI工具，而门诊实践可能发现用于慢性病监测的工具更有价值。
“没有一种适用于所有情况的AI解决方案。”他说。“即使是基本的评估也可以帮助确定AI模型是否符合特定放射学组的需求。”
对于缺乏专门AI评估团队的小型放射学实践，波夫建议任命一名AI冠军——负责了解AI工具及其潜在影响的人。这可能需要为此人分配时间，使其成为AI专家，并研究与该实践相关的AI。他还建议利用专门从事AI评估的商业咨询公司。
(全文结束)
