我们必须确保人工智能（AI）在医学领域的进步既安全、公平又惠及所有人。Baloescu 是一名急诊医师、助理教授和AI研究员。微软的新AI驱动的医疗保健套件计划通过从医学影像到护理工作流程的各个方面的进步来“塑造更健康的未来”，描绘了一幅更好的患者护理的美好图景。与此同时，从耶鲁大学到哈佛大学再到密歇根大学的主要医疗系统和医学院正在探索或推出AI倡议，以增强护理交付和改善可及性。
然而，在我们站在这一技术十字路口时，值得询问的是，我们对医疗保健中AI的热情是否超出了我们应对潜在问题的能力。作为一名医生，我见证了AI辅助分诊的利弊。在我的急诊科，我们使用AI根据入院可能性优先处理患者。虽然它有助于患者流动，但可能会遗漏复杂病例，例如服用抗凝血剂的老年患者头部受伤的情况。目前，医务人员仍保持重大监督，仔细检查AI生成的建议。
大多数已发表的医学AI研究仍处于初级阶段，主要集中在简单的验证而非大规模的实际应用。但截至2024年8月，FDA已授权950种AI医疗设备，AI对从诊断到治疗计划等关键医疗决策的影响似乎将大幅增长。FDA目前将AI医疗工具作为设备而非药物批准。这一区别很重要，因为它决定了这些AI工具在用于患者护理前接受评估和监控的彻底程度。医疗设备，包括AI工具，通常会经历不同的、有时是较少严格的审批过程，这可能使我们对它们在实际医疗环境中的表现了解不足——甚至不了解它们的工作原理。
许多AI系统是“黑箱”，意味着其决策过程难以理解。就像一个（假设的）AI只看到你穿红色连衣裙并认为“红色”定义了你一样，医疗AI可能会关注误导性的模式，给出看似正确但实际上基于错误推理的结果，使医生更难发现错误。此外，大多数AI模型通过从大型数据集中学习来识别模式和做出预测，但其准确性取决于数据的质量。例如，2018年的一项研究发现，一种用于检测皮肤癌的AI工具在深色皮肤上表现不佳，因为它主要是用浅色皮肤患者的数据训练的。医疗数据也可能反映历史偏见——如果女性心脏病被低估，AI可能会误判她们的风险。
为了确保医疗保健中的AI既安全又公平，我们需要更强有力的规则和监督。FDA应要求在实际环境中持续报告AI的表现，而不仅仅是初始审批过程。目前，制造商必须报告严重事件，但FDA仍在制定平衡安全性和技术演变性质的AI设备监管框架。开发人员还应通过提供工具使临床医生和监管机构了解AI如何做出建议，从而提高AI的透明度。医疗机构必须跟踪AI在实际临床使用中的表现，以发现测试中未出现的问题。新的HHS规则要求医疗机构对其使用的AI工具采取“合理努力”来识别和降低歧视风险。这是一个好的开始，但小型医院需要支持，每个人都需要更明确的“合理努力”定义。
一个展示AI医疗设备功效并报告任何问题的公共数据库对于建立信任和确保问责制至关重要。就像FDA的药物不良事件报告系统一样，AI报告数据库将为医疗保健中的AI提供透明度。尽管FDA通过其数字健康卓越中心列出了AI工具，但该资源不完整。专门的AI数据库将提供全面的实际性能见解，保护患者护理。
实施这些变化将需要额外的资源。例如，FDA专员最近建议该机构可能需要将其员工人数翻倍，以有效管理与新法规相关的增加的监督责任。资金可以来自多种来源，包括国会预算分配、AI设备的小额费用以及AI公司对共享监管基金的贡献。
AI有望像蒸汽机曾经启动工业革命一样彻底改变医疗保健。但我们还没有达到那个阶段。用比喻来说，我们还没有建造那些同时提高生产力和创造恶劣工作条件及不良健康结果的工厂。现在是采取行动的时候了，通过监督和监管促进前者，防止后者。患者和关心公民应了解医疗保健中的AI。医生应向患者告知AI在其护理中的使用情况。我们应该继续密切监控AI的临床诊断或治疗建议，并在AI工具获得FDA批准的情况下向我们的医疗机构或FDA报告任何疑虑。
通过积极参与，我们不仅是在保护自己——我们还在帮助塑造一个负责任地使用AI的医疗保健系统。我们的积极参与可以促进更好的规则和保障措施，确保AI在医学领域的进步既安全、公平又惠及所有人。
(全文结束)
