有人可能会认为，医生的主要职责之一是不断评估和重新评估各种可能性：某项医疗程序成功的几率是多少？患者是否有发展严重症状的风险？患者何时应再次进行检查？
在这种关键的决策过程中，人工智能的兴起有望减少临床环境中的风险，并帮助医生优先照顾高风险患者。
尽管有这种潜力，麻省理工学院电气工程与计算机科学系（EECS）、平等AI和波士顿大学的研究人员在《新英格兰医学杂志人工智能》（NEJM AI）上发表的一篇评论中呼吁监管机构对AI进行更多监督。此前，美国卫生与公众服务部（HHS）的民权办公室（OCR）根据《平价医疗法案》（ACA）发布了一项新规则。
今年5月，OCR在ACA下发布了一项最终规则，禁止基于种族、肤色、国籍、年龄、残疾或性别在“患者护理决策支持工具”中进行歧视。这一新术语涵盖了医学中使用的自动化和非自动化工具。
该最终规则是响应乔·拜登总统2023年关于安全、安全和可信的人工智能开发和使用的行政命令制定的，旨在通过重点关注预防歧视来推进拜登-哈里斯政府对促进健康公平的承诺。
资深作者、EECS副教授Marzyeh Ghassemi表示：“这项规则是一个重要的进步。”
Ghassemi隶属于麻省理工学院Abdul Latif Jameel健康机器学习诊所（Jameel Clinic）、计算机科学与人工智能实验室（CSAIL）和医学工程与科学研究所（IMES），她补充说，该规则“应该指导已经广泛应用于临床亚专科的非AI算法和临床决策支持工具的公平改进”。
自1995年首个AI设备（PAPNET检测系统，一种宫颈筛查工具）获得批准以来，过去十年中，美国食品药品监督管理局（FDA）批准的AI设备数量大幅增加。
截至10月，FDA已批准近1000种AI设备，其中许多旨在支持临床决策。
然而，研究人员指出，尽管大多数美国医生（65%）每月都会使用这些工具来确定患者的下一步治疗方案，但目前没有监管机构监督临床决策支持工具生成的临床风险评分。
为了解决这一不足，Jameel Clinic将于2025年3月举办另一场监管会议。去年的会议引发了教师、世界各地的监管者和行业专家之间的讨论和辩论，重点讨论了医疗领域AI的监管问题。
“与AI算法相比，临床风险评分较为透明，通常只涉及少数变量，模型简单。”哈佛医学院生物医学信息学系主任Isaac Kohane，同时也是《NEJM AI》的主编，评论道，“然而，即使这些评分也仅与其训练数据集的质量和专家选择或研究的特定队列中的变量一样好。如果它们影响临床决策，那么它们应该受到与最近出现的复杂AI工具相同的高标准。”
此外，虽然许多决策支持工具不使用AI，但研究人员指出，这些工具同样会延续医疗保健中的偏见，也需要监管。
“由于嵌入电子病历中的临床决策支持工具的激增及其在临床实践中的广泛应用，监管临床风险评分面临重大挑战，”共同作者、平等AI首席执行官Maia Hightower表示。“尽管如此，这种监管仍然是必要的，以确保透明度和非歧视性。”
然而，Hightower补充说，在即将到来的政府领导下，鉴于其强调去监管和反对《平价医疗法案》及某些非歧视政策，临床风险评分的监管可能“特别具有挑战性”。
更多信息：Marzyeh Ghassemi等，《解决医疗领域算法歧视》，《NEJM AI》（2024）。DOI: 10.1056/AIp2400583
由麻省理工学院提供
(全文结束)
