随着美国食品药品监督管理局（FDA）预计到2024年底将批准第1000个临床人工智能（AI）算法，FDA专员罗伯特·卡利夫（Robert Califf）博士强调医院和医疗系统需要建立强大的质量保证机制来管理AI。他在经导管心血管治疗（TCT）2024年度介入心脏病学会议上接受《HealthExec》采访时发表了这一观点。
卡利夫强调了仅依赖上市前批准的风险，指出AI算法可能会随着时间的推移偏离其原始功能，即“漂移”。
“我支持AI的发展，”卡利夫说，承认生成式AI和其他技术在医疗保健领域的变革潜力。然而，他警告称，监管是一个复杂的挑战，FDA无法独自应对。
“FDA不可能监管每一个算法，”卡利夫解释道。“我们需要一个生态系统，让医疗系统本身承担起持续验证的责任。”
他将这种情况比作食品现代化法案（FSMA）下的食品安全实践，农民在检查之间需要遵循FDA的协议，而这些检查可能每五年才进行一次，卡利夫说道。
AI上市后验证的关键缺口
卡利夫强调，最大的担忧在于AI部署的上市后阶段。与传统医疗器械不同，AI系统会随着新数据的交互而演变，这可能导致性能的提升或下降。如果没有持续的验证，医疗系统可能会依赖于不再提供准确或可靠结果的算法。
“很明显，特别是对于生成式AI，一旦投入使用，它就会发生变化，”他说。“AI的关键不在于上市前阶段，而在于上市后阶段。你需要在使用的环境中持续验证模型。不幸的是，目前美国没有任何一个医疗系统能够做到这一点。因此，我们可能已经有一些不良算法存在，我们需要找出如何创建一种不同的信息技术方法，以实现验证。”
卡利夫表示，这种质量保证方面的缺口，尤其是在中风预测等关键应用中，患者人口统计数据和数据的变化可能会削弱AI驱动预测的准确性，从而带来重大风险。
医院AI验证的障碍
卡利夫认为，有效AI监管的一个主要障碍是医疗数据的碎片化。虽然单个患者记录通常可以在系统间访问，但评估AI性能所需的汇总数据是孤立的，限制了评估敏感性、特异性和总体可靠性的能力。
“真正的问题在于文化和数据囤积，”卡利夫评论道。
他表示，医疗系统甚至各州卫生部门的数据报告仍然非常分散，数据需要从许多不同的数据系统中提取。数据的发布也是一片繁文缛节，因为需要与每个负责这些数据孤岛的健康实体达成协议。
他提到，在评估COVID-19疫苗的有效性时，这个问题尤为明显。与其查看州卫生数据，他发现直接联系以色列更容易，因为以色列的健康数据是集中化的，他能够更快地获得答案。
“要持续验证一个算法，你需要有该算法应用人群的全面后续数据——而现在，我们还没有这种能力，”卡利夫说。
监测AI的前进道路
卡利夫呼吁医疗系统在管理AI方面进行根本性的转变，敦促创建协作、数据驱动的生态系统，优先考虑透明度和问责制。他还强调了为医疗系统配备所需的技术专长和资源以监控AI性能的重要性。
随着AI继续重塑医疗保健格局，卡利夫的警告及时提醒人们：创新必须与警惕并行，以确保技术改善护理而不引入新的风险。
FDA计划继续与利益相关者合作解决这些挑战，但卡利夫明确表示，责任必须在整个医疗生态系统中共享。
放射科医生呼应FDA专员的担忧
由于接近80%的FDA批准的临床AI算法用于医学影像，北美放射学会（RSNA）已成为最大的临床AI会议，超过200家供应商展示了这些影像算法。2024年会议的关键意见领袖呼应了卡利夫对AI监管的呼吁。
今年RSNA会议上关于AI的最大讨论之一是防止AI偏见和进行质量保证（QA）评估，以确保AI按预期工作。尽管AI算法被要求锁定在其最终FDA批准的配置中，但一些算法被观察到随时间“漂移”，这种自动化偏见使其随着时间的推移变得不那么准确。
“当谈到AI偏见时，不仅仅是你的患者群体，还包括你的设备或任何改变数据的因素，使其脱离训练数据的分布，”放射学AI专家尼娜·科特勒（Nina Kottler）博士在接受《HealthExec》采访时解释道。她是放射学合作伙伴的临床AI副首席医疗官。她表示，当中心更换新的扫描仪或对现有扫描仪进行软件升级，或引入使用不同成像协议的新技术时，这些技术变化方面的影响甚至可能大于医院患者群体种族和族裔差异的影响。她补充说，这些看似微小的数据变化会影响AI性能的质量。
为了解决这一问题，她表示医疗系统需要有一种方法来评估算法随时间的变化，并可能导致创建新的AI管理职位，以进行这些系统的质量保证并领导评估已安装和正在考虑采用的新算法的效果。
但要衡量某件事，你需要知道这项技术在其基线上的表现。许多AI算法被称为“黑箱”，数据输入后（大部分）正确的答案输出，但AI如何达到这个决策并不总是清楚的。这导致了放射学界推动AI基础模型的透明度。科特勒和其他在RSNA发言的AI专家表示，公司需要找到方法展示AI如何执行其思考过程，以便在医疗系统中进行测试，监控漂移并确保AI的准确性随时间和新数据输入而保持不变。
“随着AI在部门中的实施进展，已经清楚的是，我们习惯的遗留系统，如扫描仪PACS和RIS系统，是在AI不存在的时代构建的。现在已经清楚的是，AI技术不会随着时间保持一致，部门需要监控其性能。我们随着时间更换扫描仪和协议，所以即使AI产品在最初安装时表现良好，你也需要密切关注其随时间的变化，”克里斯托夫·沃尔德（Christoph Wald）博士解释道。他是ACR董事会副主席兼ACR信息委员会主席。
(全文结束)
