医疗保健领域对已部署的人工智能(AI)系统进行部署后监测对于确保其安全性、质量和持续效益至关重要——同时也支持关于哪些系统需要更新、修改或退役的治理决策。基于这些需求，作者开发了一个围绕三个互补原则（系统完整性、性能和影响）组织的监测已部署AI系统的框架。系统完整性监测侧重于最大化系统正常运行时间、检测运行时错误，以及识别周围信息技术生态系统变化带来的意外影响。性能监测侧重于在医疗实践（以及随之变化的输入数据）随时间变化的情况下，保持系统行为的准确性和公平性。影响监测评估已部署系统是否继续为临床医生、员工和患者带来价值。作者借鉴其学术医疗中心已部署AI系统的实例，为创建基于这些原则的监测计划提供了实用指导，包括应测量哪些指标及其频率、谁负责在指标变化时采取行动，以及应采取哪些具体后续措施——适用于传统AI和生成式AI。他们还讨论了实施该框架面临的挑战，包括资源有限的医疗系统进行监测的工作量，以及将数据驱动的监测实践融入复杂组织的困难，因为在这些组织中常常存在相互冲突的优先事项和成功定义。该框架为寻求确保AI部署长期安全有效的医疗系统提供了一个起点。
作者提供的披露表格随本文全文提供。
J.C.部分研究资金来自美国国立卫生研究院(NIH)国家过敏和传染病研究所（资助号1R01AI17812101）；NIH国家推进转化科学中心临床与转化科学奖（奖项号UM1TR004921）；斯坦福Bio-X跨学科倡议种子资助计划；斯坦福NIH未诊断疾病中心（资助号U01 NS134358）；斯坦福安全与公平健康负责任AI（Stanford RAISE Health）2024年种子资助；以及Josiah Macy Jr.基金会（医学教育中的AI资助）。S.S.J.已获得来自美国心脏协会、杨森研发公司以及Stanford RAISE Health的研究资金支持，与本工作无关。
本文使用人工智能工具辅助编辑手稿。这些工具在人工监督下使用，所有科学内容、分析和结论均反映了作者的原创工作和判断。所有最终内容均由作者确定并批准。
我们感谢Danton Char、Clancy Dennis、Duncan McElfresh、Vishantan Kumar、Michelle Mello、Shyon Parsa、Eduardo Perez Guerrero、Patrick M. Sculley、Aditya Sharma和Margaret Smith。
【全文结束】
