在这个科技公司希望将AI工具变成像听诊器一样标准配备的时代，该技术在医疗保健行业中似乎无处不在。但据专家称，其中一些使用仍然处于"阴影"中——不受工作场所的监管，并充满安全和患者安全风险。
根据专业软件供应商Wolters Kluwer（沃尔特斯·克鲁沃）最近的一项调查，这种所谓的"影子AI"仍然是一个问题：在500多名医疗保健工作者中，近五分之一（17%）承认在工作中使用了未经授权的AI。五分之二的人表示他们遇到过此类工具但没有使用。
Wolters Kluwer医疗部门高级副总裁兼首席技术官Alex Tyrrell（亚历克斯·泰瑞尔）表示，医疗保健工作者并非有意违反规则；他们可能不清楚哪些工具是被允许的，也不了解科技公司如何将输入AI系统的数据用于训练目的。
Tyrrell告诉Morning Brew："随着这些工具变得越来越普遍，当我们熟悉它们并在日常生活中使用它们时，在工作场所环境中，特别是在受监管的环境中，可能会模糊界限。"
Tyrrell表示，这是在AI热潮之前就存在的问题的延伸，即更广泛的"影子IT"问题。像浏览器扩展或看似无害的软件这样的在线工具，如果未经适当渠道监督，可能会产生意想不到的数据和隐私风险。Tyrrell指出，每个工作场所平台现在都引入了众多新的AI功能，而这些功能可能并未被明确标记为AI。
"突然间出现了一个新按钮，这个新按钮可能是由AI驱动的，它可能没有经过同样的审查过程，也可能没有被密切监控，"他说。"这几乎是影子AI的另一个新途径或新向量。"
隐私风险
医疗保健公司Optura（奥普图拉）的联合创始人兼CEO Andy Fanning（安迪·法宁）表示，对于像医疗保健这样敏感的行业来说，数据隐私是主要关注点。虽然像OpenAI这样的公司表示，他们在将交互用于任何形式的训练之前，有处理删除个人信息的流程，但培训技术和流程的实际细节往往是严格保密的商业秘密。
Fanning表示："如果你将100份索赔文件上传到ChatGPT基础版——只是普通的ChatGPT——他们就在这些数据上进行训练。"
虽然AI提供的错误信息也可能对患者安全构成风险，但Fanning和Tyrrell都表示，这问题相对较小。他们表示，使用这些工具的医疗保健工作者可能知道AI容易产生幻觉，并会相应地审查输出。
根据Wolters Kluwer的调查，当员工看到AI工具的潜力，但其雇主尚未提供可用选项时，"影子AI"最常发挥作用。近一半的受访者表示，他们转向AI以加快工作流程，三分之一的人表示其工作场所缺乏所需的已批准工具。
Fanning说："影子技术的核心是一种未满足的需求。真正的原因是，多年来我们在技术预算上一直受到限制。下面有很多技术债务。实施新事物相当复杂。在大多数这些组织中，他们真的只是试图维持基本运营。"
现有政策
专注于医疗保健的麦肯锡（McKinsey）合伙人Jessica Lamb（杰西卡·兰姆）表示，随着批准的采用增加，影子AI的使用已不再是一个大问题，许多客户公司现在已制定政策，引导员工通过适当的渠道使用AI。
Lamb说："在这一点上，我想说大多数组织都有某种他们感到舒适的企业级大型语言模型，并且对可以做什么和不能做什么的护栏更加明确。所以对我来说，现在这个问题要小得多，特别是因为这些护栏已经建立，它们通常已经被广泛阐明，并且可以访问。"
Tyrrell建议IT团队定期对浏览器扩展、集成和应用程序进行审计，"尤其是任何能够执行数据处理的功能，其中[受保护的健康信息]可能会暴露。"他还表示，员工还应了解IT部门通常只为特定用例批准软件和工具，而不是给予全面许可。
随着更多科技公司将目光投向医疗保健行业，这一格局也在发生变化。Anthropic（安索布里克）、OpenAI等公司近几个月推出了针对医疗服务提供者和潜在患者的工具。
尽管这些工具针对医疗保健法规和隐私问题进行了定制，但Tyrrell表示，它们有可能引入"格局中的巨大混乱"。
Tyrrell说："我总是强调，这实际上是一个映射过程。有些工具非常适合某些效率、某些重复性任务、某些行政负担，适用于任何行业或任何组织。"
"然后还有另一方面，你必须非常具体地说明你将如何部署此工具，它的特定目的和意图是什么，并确保也得到良好管理。不仅仅是'我们获得了已批准工具的许可；它经过了采购和采购流程，我们查看了许可条款，看起来是安全的。'你还必须考虑'最终用户是谁？角色是什么？谁将使用此工具？'"
Tyrrell指出，随着更多AI工具在医疗环境中出现，"这几乎变成了一个组合学问题。"
"需要跟踪的事情太多了，"他说。
【全文结束】
