医疗系统正在采用人工智能工具来帮助其组织变得更加高效——但它们可能没有意识到已经悄然嵌入其系统中的AI应用。
这是根据位于纽约市的专注于生成式AI治理和可见性的网络安全公司Prompt Security的联合创始人兼首席执行官Itamar Golan的说法。在最近的一次采访中，他告诉《新闻周刊》，他的公司在一家医疗机构进行的平均审计中发现了大约70种不同的AI应用正在使用中。
安全团队通常预计审计会返回一到五种AI应用。当他们看到实际使用的数量时，“就像一个顿悟时刻”，Golan说。
“AI的发展速度如此之快，以至于这个市场变得碎片化，AI被集成到了任何应用程序中，”他继续说道。
许多医疗系统的领导者并不知道已经悄然添加到其现有平台中的AI应用。这些AI工具并不是由员工主动寻求的。相反，主要的原因是一些常见的应用程序，如Microsoft Office、Adobe Acrobat、Bing、Salesforce、Gmail、Grammarly和LinkedIn等，已经在悄无声息地将AI嵌入到现有的平台中。
对于个人用户来说，这种隐形的AI可能不是问题，但对于高度监管的医疗机构来说，这可能会引起问题，Golan表示。患者数据非常敏感，领导者必须确保机密信息不会被分享或泄露。
然而，他表示，医疗行业存在监督漏洞。许多组织认为，如果他们阻止员工访问ChatGPT或Gemini，就可以“控制”AI，但他们还没有意识到他们当前使用的系统（例如用于管理客户的Salesforce）可能已经在后台使用了AI或其他大型语言模型（LLM）。
这不仅可能在医疗机构内部造成问题，也可能在外部造成问题，Golan说。如果机密的患者数据在不知情的情况下被共享给第三方LLM，那么这些信息可能会被用来训练模型。
“一旦信息嵌入到模型的大脑中，就无法挽回了，”Golan说。“现在所有与该模型互动的人都可能获取到泄露的敏感数据。”
当AI被集成到一些现有的遗留应用程序中时，它可能会破坏之前的权限系统——向非高级员工提供他们以前无法获得的信息。
“我们经常看到这种情况，”Golan说。“组织中某个非常不高级的人询问关于CEO的薪水、明年的战略计划，或者下一季度的销售预测，然后他们会得到这些数据，而之前他们是无法获取的。”
Golan鼓励医疗系统的高管继续推动AI的应用——但要确保他们对其组织中的用例有全面的了解，并制定适当的政策来保护患者和员工。
“你需要更好的可见性，更好地了解哪些AI已经被谁采用、何时采用以及与之共享的数据是什么，”他说。“在你有了这种概览并对组织中实际使用的AI有一定了解后，你可以制定相应的政策。”
(全文结束)
