谷歌云(Google Cloud)首席信息安全官办公室主任泰勒·莱曼(Taylor Lehmann)讨论了AI系统中潜在的网络风险以及医疗保健组织应如何准备。
近年来，生成式人工智能在医疗保健领域迅速普及，人们希望该技术能够承担各种任务——从临床文档到数据分析——并减轻该行业长期存在的劳动力挑战。
与此同时，随着该行业采用更多联网工具，医疗保健组织在管理网络安全方面经常面临困难，频繁遭受网络攻击的困扰。
谷歌云首席信息安全官办公室主任泰勒·莱曼表示，AI产品可能成为网络犯罪分子的另一个目标。同时，黑客可以利用自己的AI发起网络攻击。这将为医疗保健网络安全团队创造新的工作内容和安全规范。
莱曼接受了Healthcare Dive的采访，讨论了生成式AI工具的出现将如何影响医疗保健网络安全，以及组织需要做哪些准备以应对日益由AI增强的安全团队。
本次采访经过编辑，以提高清晰度和简洁性。
Healthcare Dive：您认为这些生成式AI工具是否比医院使用的其他技术更容易受到攻击？还是说这只是他们在考虑网络安全时必须考虑的另一个供应商？
泰勒·莱曼，谷歌云首席信息安全官办公室主任
获谷歌云许可
泰勒·莱曼： 这正是我担心的未来。今天我们在与AI系统对话，明天我们将看到AI系统执行任务——比如我们刚刚开始接触的"代理式"AI——所以这个答案可能会有所变化。但首要问题是，当AI出错时，很难判断这是错误还是因为被恶意行为者操纵。
检测错误本身已经是一个挑战。我们多年来一直在研究这个问题。没有人能够完全消除幻觉或不准确性。但我确实认为，不仅要检测幻觉，还要检测中间人为了达到特定结果而引入的功能——这将非常难以检测，并且会越来越难。
因此，组织需要确保他们对从提供给你的模型、所使用的技术，一直到模型提供商和他们用于训练的数据，基本上所有内容都有溯源能力。这种可见性至关重要。
在谷歌，我们使用模型卡(model cards)。我们采用加密二进制签名等实践，可以准确地告诉你运行该模型的代码来自哪里。我们可以确切地告诉你训练该模型的数据来自哪里。我们可以追踪每一个进入该模型训练的记录，从诞生到消失。组织需要能够看到这些信息，以便管理这些风险。
您提到了能够了解模型的训练内容和数据流向的重要性，以及这如何帮助您判断工具是否已被渗透。医疗系统应如何考虑实施劳动力来应对这些担忧？
肯定会有新的安全规范出现。这实际上是我们目前在CISO办公室正在做的一些工作。谷歌正在研究这些新角色和新能力，然后为相关人员提供指导。
首先，我必须说的是，需要有一些方法来确保AI系统从一开始就得到保护。我们非常坚定地认为，任何合理的保护AI和AI系统的方法都需要实施强大的身份控制，并确保我们知道谁在使用该模型。我们知道模型的身份是什么，知道用户的身份是什么，并能够区分这两者。我们对模型所做的一切也具有根本性的透明度。无论对错，我们都能看到。
一个新的重要领域是AI"红队测试"(red teaming)的概念。组织部署一个团队，他们的工作就是尝试让这些系统崩溃——基本上就是尝试让它们产生有害内容，采取非预期的操作——以测试安全措施的极限，以及评估模型训练得如何，是否过度拟合或欠拟合用途。
我认为您开始看到AI治理变得极为重要。它一直很重要，但理解与AI相关的风险——尤其是在受监管行业或安全关键型用例中——需要技术技能、对AI如何工作和构建的理解，以及监管或业务背景的结合，以确定什么是重要的风险。
如今，拥有真正稳健的AI治理和具备这些正确技能的人员是一个比较困难的领域。因为现在，你有优秀的工程师，也有优秀的医生。但你不一定同时拥有两者，并且具备风险意识。因此，我们将看到行业特定甚至实践特定的治理专业人员的兴起。
黑客越来越多地使用AI来提高他们的入侵尝试。当网络犯罪分子能够访问AI时，医疗系统应如何思考由此增加的风险？
首先，我们必须解决组织如何配置和管理身份的问题，包括人类的身份、机器的身份、代理的身份。
我认为，一般的医院对身份的思考不会超出如何识别走进大门的人以及他们的用户ID和密码。身份将成为将一切联系在一起的数字证据或数字工件。基于身份，我们将应用具有适当上下文的控制措施。
第二是速度。AI系统运行速度快。它们比人类更快。武器化的AI系统，尤其是那些被训练执行非常特定任务的系统，将以闪电般的速度运行。未来我们不会说，"嘿，你有一个小时的时间来修复一段代码的勒索软件感染。"现在你只有几秒，甚至毫秒。如果你不能以同样的速度运行来检测和消除威胁，你就会陷入麻烦。
我的策略是，审视你的架构、系统和应用程序。看看你部署新控制措施的速度有多快。看看你从头重建系统的速度有多快，部署补丁的速度有多快。看看你检测事件并采取行动的速度有多快，并找出并消除阻碍你实现这一目标的因素——无论是从小时到分钟，还是从分钟到秒。但要优先考虑那些帮助你极快地部署修正措施、检测和响应问题的因素。
【全文结束】
