随着医疗保健领域的人工智能（AI）监管框架仍处于起步阶段，位于马萨诸塞州索默维尔的麻省总医院布里格姆正在通过其“医疗AI挑战”发挥积极作用。这一倡议旨在建立一个公正、可扩展的平台来评估AI模型，为机构决策提供指导并支持制定更广泛的监管标准。
麻省总医院布里格姆的首席数据科学官Keith Dreyer博士追溯了这一倡议的根源，该组织自2016-2017年开始将AI整合到临床实践中，最初集中在医学影像上。“当时，卷积神经网络推动了狭义AI解决方案的突破，”Dreyer博士告诉《Becker's》，“这些模型解决了特定的临床问题，如检测中风或癌前肺结节，最终导致FDA批准了近1,000种算法用于临床使用。”
随着大型语言模型的出现，AI的潜力大幅扩大，但挑战也随之增加。一个关键障碍是缺乏针对这些先进模型的监管框架。“尽管具有变革潜力，但FDA尚未批准任何大型语言模型解决方案，”Dreyer博士说，“医疗保健提供者看到了巨大的前景，但在部署这些工具之前，必须彻底评估其安全性和有效性。这正是‘医疗AI挑战’及其协作测试平台‘竞技场’旨在解决的问题。”
麻省总医院布里格姆与位于亚特兰大的埃默里医疗保健、威斯康星大学麦迪逊分校放射学系、位于西雅图的华盛顿大学放射学系以及美国放射学院合作，共同推出了“医疗AI挑战”。这是一个虚拟互动系列事件，旨在团结各机构的医疗保健专业人士，探索和评估现实世界临床场景中的AI技术。参与者使用精选的AI解决方案，在称为“竞技场”的模拟环境中处理任务，如医学影像解读。
“我们很早就意识到，要使这一倡议成功，它必须超越我们的围墙，”Dreyer博士说，“通过采用基于云的架构，我们创建了一个多个组织可以访问的平台，使他们能够贡献数据、专业知识和独特挑战。”
该倡议采用了一个可扩展的事件驱动框架，评估AI模型在各种医疗保健用例中的表现。首次挑战集中在医学影像上，测试AI分析X光片并生成输出（如初步放射报告、鉴别诊断和后续建议）的能力。模型按照反映临床专长的评分标准进行评估，范围从主治医生到医学生。
“这一过程生成了一个排行榜，显示哪些模型达到了专家水平，”Dreyer博士说，“表现最佳的模型随后将在后续挑战中与人类临床医生进行一对一比较。”
未来的挑战将扩展到影像之外，涵盖总结电子健康记录或预测癌症风险等领域。“设计是无限适应的，”Dreyer博士说，“每个挑战都针对我们希望评估的具体数据、专家和结果量身定制。”
Dreyer博士将这一挑战视为组织的学习机会，帮助他们了解AI的潜力和局限性。
(全文结束)
