在医疗系统能够从人工智能中真正获益之前,他们必须坦诚地反思一些古老的问题:我们真的知道我们拥有哪些数据吗?我们的数据存放在哪里?我们的数据甚至可以被信任吗?
对于越来越多的首席信息官和IT高管来说,这些问题正变得现实。它们是采用人工智能的门槛因素,并需要数据的清洁度。跳过这一步的组织不仅是在为失败做准备,更是在强调失败并增加监管风险。
“每个人都在竞相挑选正确的模型或正确的供应商,但那些将此视为采购决策的组织将会大失所望,在某些情况下,他们还会在这个过程中制造严重的风险,”芝加哥大学助理副校长兼首席信息安全官马特·莫顿告诉贝克尔的。“人工智能将在医疗领域带来变革,但它的好坏取决于你输入的数据。在一个已经因数据碎片化、遗留基础设施和不一致的数据实践而负担沉重的环境中,在没有坚实的数据治理下部署人工智能不是创新,而是放大了问题。”
专注于过快部署人工智能的医疗系统面临着运营效率低下和监管风险。围绕数据治理的政策正在演变,而遵守HIPAA是首要关注点。IT领导者还必须防范人工智能模型不当影响数据和输出。
“如果不了解你拥有哪些数据、数据存放在哪里、如何分类以及谁有权访问,你不仅是在冒模型性能不佳的风险——你还在制造HIPAA敞口,并可能将偏见引入临床工作流程,”莫顿先生说。
纽约州罗彻斯特大学医学中心威尔莫特癌症研究所技术与创新执行主任埃里克·斯奈德表示,数据问题是一个基本的排序问题。医疗系统在完成基础工作以确保其可信赖之前,就急于使用人工智能。
“模型很容易获得;困难的是清洁、可信赖的数据、治理以及将其整合到实际的临床和运营工作流程中,”他说。“没有整理、验证和背景信息,人工智能只会更快地放大错误假设。”
没有人希望这样。许多组织在过去一年多的时间里一直在完善人工智能的治理结构,以便做出初步的采购决策并监控进展。一些医疗系统已经建立了人工智能治理委员会和专门为快速发展的技术设计的新指南,而另一些则提升了现有的治理基础设施。
但密歇根大学医学中心(位于安娜堡)的首席信息官安德鲁·罗森伯格博士观察到,那些认为拥有AI就绪的治理基础设施的医疗系统,往往是在错误的自信下运作。他发现领导者们并未意识到他们在AI可观测性等领域的实际成熟度是多么初级。
“更细微的问题,如AI可观测性类别——数据质量、模型性能和漂移、基础设施监控和用户反馈——充其量只是初级的,”他说。“如果各种AI要像我们习惯并确信使用医疗设备、药品、实验室实践和执业临床医生行为那样被使用,我们还有很长的路要走。”
数据治理失败的后果不总是系统崩溃或监管处罚。有时,这只是看起来准确的预测,但并未转化为临床行动,因为没有人负责处理警报。团队也可能发现自己处于没有明确问责结构的工作流程中,导致每日的故障和不良结果。
亚特兰大埃默里医疗保健公司护理绩效标准与创新公司总监尚塔尔·弗雷蒙特博士亲眼目睹了预测与执行之间的差距。
“人们认为更好的预测会自动带来更好的结果,然而,没有执行的预测只是一个仪表盘,”她说。“真正的影响发生在警报有明确的指定负责人、问责结构明确、工作流程顺畅且一线人员也信任它时。人工智能不会改变医疗;知道如何运营智能的系统才能。”
那些将从人工智能中获益最多的医疗系统,并非部署最快的系统。相反,将是那些投资于负责任部署的基础设施的系统。
“没有强大的数据治理、工作流程整合和临床监督,人工智能带来的风险大于价值,”UTHealth Houston的首席医疗信息官巴巴托佩·法图伊博士说。“那些将人工智能视为提高韧性和效率的工具,而非捷径的医疗组织,会看到最有意义的结果。”
【全文结束】

