鉴于配备AI的医疗设备在美国医疗保健领域的迅速普及，意外效应不应让人感到惊讶。许多此类事件将是令人愉快的惊喜。但一些不良事件也可能发生。为了争取最好的结果，同时为最坏的情况做好准备，医疗保健组织和医疗AI开发者应合作，确保AI系统稳健、可靠和透明。
两位研究者在11月27日发表于《JAMA》的意见文章中提醒这些利益相关者注意这一点及其他责任。“医疗保健组织必须主动开发AI安全保证计划，利用共同责任原则，采取多方面的方法来解决AI实施问题，监控AI使用情况，并与临床医生和患者互动。”德克萨斯大学的Dean Sittig博士和贝勒医学院的Hardeep Singh博士写道，“监控风险对于维护系统完整性、优先考虑患者安全和确保数据安全至关重要。”
以下是该文章提出的六项建议：
1. 在将任何AI支持的系统纳入常规护理之前，进行或等待发表在高质量医学期刊上的真实世界临床评估。
此外，在新的AI支持系统成熟期间，“我们建议所有医疗保健组织使用本地数据进行独立的真实世界测试和监控，以最小化对患者安全的风险。”Sittig和Singh写道。更多的建议包括：“基于风险的测试应伴随迭代评估，以确保AI支持的应用程序使患者和临床医生受益，财务上在其生命周期内可持续，并符合核心伦理原则。”
2. 邀请AI专家加入新成立或现有的AI治理和安全委员会。
这些专家可能是数据科学家、信息学家、运营AI人员、人因专家或与AI合作的临床医生，作者指出。“所有委员会成员应定期会面，审查新AI应用程序的请求，在实施前考虑其安全性和有效性，并创建流程以主动监控他们计划使用的AI支持应用程序的性能。”
3. 确保AI委员会维护已临床部署的AI支持系统的库存，包括全面的跟踪信息。
医疗保健组织应维护并定期审查AI系统使用记录，类似于EHR的审计日志，其中包括使用的AI版本、AI系统使用的时间/日期、患者ID、负责临床用户的ID、AI系统使用的输入数据以及AI建议或输出，Sittig和Singh断言。“委员会应监督AI应用程序在实时生产系统中的持续测试，以确保这些程序的安全性能和安全使用。”
4. 为有兴趣使用AI系统的临床医生创建高质量的培训计划。
初始培训和随后的临床医生参与应包括正式的同意书式过程，包括签名，作者强调，以确保临床医生在启用访问权限之前了解使用AI工具的风险和好处。“采取措施确保患者了解AI支持系统何时何地开发、如何使用，以及临床医生在审查AI系统的输出前给予同意的角色。”
5. 开发患者和临床医生报告AI相关安全问题的明确流程。
作为这一努力的一部分，务必实施严格的多学科流程，分析这些问题并减轻风险，Sittig和Singh建议。“医疗保健组织还应参与全国上市后监测系统，汇总去识别化的安全数据以进行分析和报告。”
6. 提供明确的书面指示和授权，使授权人员能够在紧急故障情况下24小时全天候关闭、停止或关闭AI支持系统。
“类似于组织为EHR停机期所做的准备，”作者提出，“医疗保健组织必须制定政策和程序，无缝管理因AI不可用而变得依赖AI自动化的临床和行政流程。”
进一步阐述最后一点，作者建议修订未能达到实施前目标的AI模型。如果此类修订不可行，“整个系统应被停用。”
(全文结束)
