考虑到英国国家医疗服务体系(NHS)医生所面临的巨大压力,许多医疗机构转向AI寻求帮助并不奇怪。总体而言,这是件好事。
AI工具可以在管理工作流程、自动化文档、协调排班安排和简化沟通方面发挥宝贵作用。
然而,AI的发展速度,特别是生成式AI,已经急剧加快。
结果是,治理框架跟不上一线需求,医疗从业者已经开始使用未经其组织授权的工具。
这在各级别都造成了问题——特别是当这些工具被用于支持临床决策时。
"影子AI"是一个常用术语,用来描述组织内部未经授权使用的AI。虽然这种现象在所有行业中都存在,但在医疗保健领域增长迅速。最近的一项美国调查显示,17%的医疗工作者承认在工作场所使用未经授权的AI工具。
另一项调查显示,39%的一线医疗人员表示他们每周或更频繁地使用通用的免费AI工具。这些不是孤立的实验。AI已经逐渐融入日常运营,通常没有正式的治理或监督,尽管存在记录在案的风险,包括幻觉、不一致性和偏见。
这样做的原因可以理解。医疗专业人员面临着人员短缺、患者需求上升和压倒性的行政工作量。临床医生被期望记录更多、沟通更快并处理越来越多的信息——同时保持高水平的患者护理。
他们伸手去使用最近的AI工具并不奇怪。特别是当这些AI工具极其易用、免费或低成本且易于使用时。影子AI在医疗保健领域的使用范围目前从一线临床医生一直到后台功能,如报告起草和招聘支持。
因此,大多数使用"影子"工具的医疗专业人员并非故意违反规则。他们只是从一个方便的来源获取急需的帮助。而他们的雇主并没有为他们提供可靠的替代方案。
医疗领导者需要迅速采取行动
医疗机构,尤其是NHS,通常对推出新技术持谨慎态度,尽管通常有很好的理由。临床系统在部署前需要广泛的测试、强有力的证据基础和严格的治理,而AI支持的决策可能对患者结果产生直接影响。
因此,任何临床决策工具都必须经过彻底测试,基于扎实的医学研究,并处于持续审查和改进中。然而,延迟让影子AI填补了空白。
高质量的AI工具现在正进入市场,但问题仍然在于领导者如何控制影子AI的使用。这是一个必须迅速解决的问题,因为风险很高。
风险是真实的
未经授权的AI使用的风险包括安全漏洞和隐私侵犯,以及最主要的关注点——患者护理。
在数据安全和隐私方面,通用AI解决方案实际上是"黑匣子"。例如,询问ChatGPT敏感健康数据在它手中是否安全,它会建议它不符合健康信息法规。
这并不奇怪——患者信息在GDPR下属于"特殊类别数据",通常需要额外保护——但这说明了将太多信息提交到未经授权的应用程序中的危险。
当涉及到患者护理时,用于支持临床决策的通用AI解决方案带有固有风险:即使输出看起来可信,错误也可能难以检测和评估。它们可能会从各种来源获取信息,而这些来源可能已经过时、未经认证或不准确。
匆忙中的临床医生如果参考未经授权的工具,是在冒很大的风险。如果未经授权的工具提供与症状、药物、诊断或治疗路径相关的错误指导,后果可能很严重。
指导与领导,而非严厉管控
答案不是全面禁止,这可能会使未经授权的AI进一步隐入阴影。医疗领导者应专注于建立关于AI使用的明确指南,并投资于关于其风险和益处的教育和培训。
同时,组织需要提供经过临床验证、安全且易于使用的替代工具。如果批准的系统部署太慢或无法满足运营需求,临床医生和管理人员将不可避免地继续转向未经授权的工具。
治理结构也是该过程的重要组成部分。这些应包括IT团队、安全专家和运营管理,因为AI部署同时影响患者护理、合规性、劳动力效率和组织风险。
AI无疑将成为现代医疗交付中越来越重要的部分。成功的组织不一定是那些最快采用AI的组织,而是那些创建可信框架的组织,使临床医生能够访问安全、医学上可靠且得到适当治理的工具。
【全文结束】

