影子AI正悄然渗入医疗领域——领导者需在为时已晚前认识到风险Shadow AI is creeping in to healthcare - leaders need to recognize the risk before it’s too late | TechRadar

环球医讯 / AI与医疗健康来源:www.techradar.com英国 - 英语2026-07-29 01:20:39 - 阅读时长4分钟 - 1596字
本文探讨了"影子AI"(指未经授权在医疗机构内部使用的AI工具)在医疗健康领域的迅速蔓延现象,分析了医护人员因工作压力而使用未经组织授权的AI工具的现实原因,指出了这种做法在数据安全、隐私保护和患者护理方面带来的严重隐患,包括信息幻觉、来源不可靠等风险,并呼吁医疗机构领导者采取积极措施建立清晰的AI使用指南、提供经过临床验证的安全替代工具、加强相关人员培训,而非实施简单禁止,以构建可信框架确保AI在医疗领域的安全有效应用,避免因治理滞后而导致不可挽回的后果。
影子AI医疗领域医疗AI风险患者护理医疗治理临床决策数据安全隐私保护NHS医疗从业者
影子AI正悄然渗入医疗领域——领导者需在为时已晚前认识到风险

考虑到英国国家医疗服务体系(NHS)医生所面临的巨大压力,许多医疗机构转向AI寻求帮助并不奇怪。总体而言,这是件好事。

AI工具可以在管理工作流程、自动化文档、协调排班安排和简化沟通方面发挥宝贵作用。

然而,AI的发展速度,特别是生成式AI,已经急剧加快。

结果是,治理框架跟不上一线需求,医疗从业者已经开始使用未经其组织授权的工具。

这在各级别都造成了问题——特别是当这些工具被用于支持临床决策时。

"影子AI"是一个常用术语,用来描述组织内部未经授权使用的AI。虽然这种现象在所有行业中都存在,但在医疗保健领域增长迅速。最近的一项美国调查显示,17%的医疗工作者承认在工作场所使用未经授权的AI工具。

另一项调查显示,39%的一线医疗人员表示他们每周或更频繁地使用通用的免费AI工具。这些不是孤立的实验。AI已经逐渐融入日常运营,通常没有正式的治理或监督,尽管存在记录在案的风险,包括幻觉、不一致性和偏见。

这样做的原因可以理解。医疗专业人员面临着人员短缺、患者需求上升和压倒性的行政工作量。临床医生被期望记录更多、沟通更快并处理越来越多的信息——同时保持高水平的患者护理。

他们伸手去使用最近的AI工具并不奇怪。特别是当这些AI工具极其易用、免费或低成本且易于使用时。影子AI在医疗保健领域的使用范围目前从一线临床医生一直到后台功能,如报告起草和招聘支持。

因此,大多数使用"影子"工具的医疗专业人员并非故意违反规则。他们只是从一个方便的来源获取急需的帮助。而他们的雇主并没有为他们提供可靠的替代方案。

医疗领导者需要迅速采取行动

医疗机构,尤其是NHS,通常对推出新技术持谨慎态度,尽管通常有很好的理由。临床系统在部署前需要广泛的测试、强有力的证据基础和严格的治理,而AI支持的决策可能对患者结果产生直接影响。

因此,任何临床决策工具都必须经过彻底测试,基于扎实的医学研究,并处于持续审查和改进中。然而,延迟让影子AI填补了空白。

高质量的AI工具现在正进入市场,但问题仍然在于领导者如何控制影子AI的使用。这是一个必须迅速解决的问题,因为风险很高。

风险是真实的

未经授权的AI使用的风险包括安全漏洞和隐私侵犯,以及最主要的关注点——患者护理。

在数据安全和隐私方面,通用AI解决方案实际上是"黑匣子"。例如,询问ChatGPT敏感健康数据在它手中是否安全,它会建议它不符合健康信息法规。

这并不奇怪——患者信息在GDPR下属于"特殊类别数据",通常需要额外保护——但这说明了将太多信息提交到未经授权的应用程序中的危险。

当涉及到患者护理时,用于支持临床决策的通用AI解决方案带有固有风险:即使输出看起来可信,错误也可能难以检测和评估。它们可能会从各种来源获取信息,而这些来源可能已经过时、未经认证或不准确。

匆忙中的临床医生如果参考未经授权的工具,是在冒很大的风险。如果未经授权的工具提供与症状、药物、诊断或治疗路径相关的错误指导,后果可能很严重。

指导与领导,而非严厉管控

答案不是全面禁止,这可能会使未经授权的AI进一步隐入阴影。医疗领导者应专注于建立关于AI使用的明确指南,并投资于关于其风险和益处的教育和培训。

同时,组织需要提供经过临床验证、安全且易于使用的替代工具。如果批准的系统部署太慢或无法满足运营需求,临床医生和管理人员将不可避免地继续转向未经授权的工具。

治理结构也是该过程的重要组成部分。这些应包括IT团队、安全专家和运营管理,因为AI部署同时影响患者护理、合规性、劳动力效率和组织风险。

AI无疑将成为现代医疗交付中越来越重要的部分。成功的组织不一定是那些最快采用AI的组织,而是那些创建可信框架的组织,使临床医生能够访问安全、医学上可靠且得到适当治理的工具。

【全文结束】

猜你喜欢
  • AI审计追踪:实现医疗保健自动化规模化可辩护性AI审计追踪:实现医疗保健自动化规模化可辩护性
  • 强健胸背部肌肉者心脏病发作风险降低31%强健胸背部肌肉者心脏病发作风险降低31%
  • 如果患有糖尿病,驾驶证会怎样?何时可以驾驶以及法律规定的条件如果患有糖尿病,驾驶证会怎样?何时可以驾驶以及法律规定的条件
  • 当监管机构比其监管的行业行动更快时当监管机构比其监管的行业行动更快时
  • 当选市长成洙锡 利川将成为东南部京畿道的核心医疗枢纽当选市长成洙锡 利川将成为东南部京畿道的核心医疗枢纽
  • 从辅助工具到临床判断:AI在数字行为健康领域的下一阶段从辅助工具到临床判断:AI在数字行为健康领域的下一阶段
  • AI设计的通用疫苗或可提前阻止未来大流行病爆发AI设计的通用疫苗或可提前阻止未来大流行病爆发
  • 当AI出错时:为何转录错误可能成为医疗和司法领域的下一个重大风险当AI出错时:为何转录错误可能成为医疗和司法领域的下一个重大风险
  • 医疗AI的下一阶段:将预测转化为临床行动医疗AI的下一阶段:将预测转化为临床行动
  • 人工智能在医疗保健中的应用:聊天机器人能回答您的医疗问题吗人工智能在医疗保健中的应用:聊天机器人能回答您的医疗问题吗
热点资讯
全站热点
全站热文