首席信息安全官们日益面临如何管理那些能够自主访问数据、做出决策并在企业环境中触发操作的系统的挑战。传统的安全框架是为基于规则的软件设计的,而非为像代理式AI这样能够采取独立行动的系统而设。医疗保健正成为一个特别有用的测试案例,因为AI代理越来越多地与高度敏感的数据、受监管的工作流程和关键任务操作进行交互。
数据协作平台Datavant最近宣布加入AIUC-1联盟,该联盟正在为代理式AI的安全性、安全性和可靠性制定标准。Healthcare Innovation与Datavant首席信息安全官丹·沃尔什就代理式AI世界中的新网络安全现实进行了交流。
能否介绍一下您的组织?
我们是一家医疗科技公司。我们的使命围绕着所谓的"纵向健康记录",为整个医疗保健连续体中的医疗记录提供数据管道。我们已嵌入美国医疗系统的重要部分,我认为覆盖了约70%的美国医疗系统。
能否谈谈AIUC-1联盟?
AIUC-1是一个致力于为代理式AI创建安全合规框架的组织。我们现有的传统安全措施和合规框架已显得有些不足。AIUC-1汇集了各行业和生态系统的行业领导者,共同制定一个开放且适用于所有参与方的框架,以应对这一领域的持续发展。
能否讨论一下医疗保健组织目前面临的新网络安全挑战?
如果我们思考医疗保健领域当前控制措施的设计方式,就会产生新的问题:代理是否应该拥有与人类相同的操作能力?我们如何确保对其有效管理?这与自动化不同,自动化是确定性地一遍又一遍地执行相同任务。而这些代理在某些情况下是非常非确定性的。
组织应如何管理代理的权限?在包含敏感数据的环境中,它们可以采取和不能采取哪些行动?如何持续评估代理是否在做正确的事情,是否按预期执行工作?然后,如何解释它们采取的路径?我们可能提示代理做某事并看到结果,但如何追踪它们实际采取的行动?它们采取了哪些步骤?如果它们编程,使用什么语言?该语言是否存在漏洞?在医疗保健中,当我们拥有复杂的工作流程和决策时,能否实现可解释性?
当你开始引入多个代理、数据源和工具时,复杂性才会真正增长,我们只需要确保拥有可追溯性、透明度和问责制,以便能够以非常安全的方式进行治理。
要实现合规,需要采取哪些步骤?
当然,我们想从HIPAA(健康保险流通与责任法案)开始。HIPAA仍然是关键基础,因为它为受保护健康信息的隐私、访问控制、安全性和可审计性建立了要求。但这还不够。因为HIPAA是在现代AI系统出现之前编写的,虽然其中一些原则仍然适用,但大多数组织越来越需要更多治理机制,以评估、监控和对这些系统负责,以及如何衡量其性能。真正的问题是,我们如何将这些与新的AI工作流程现实结合起来实施?
您对AI方面的哪些挑战感到担忧?
我认为就像任何新技术一样,治理总是落后于技术。我们在历史上每一次技术转折点都看到过这种情况,因此,对我们而言,加入AIUC-1,我们希望确保自己处于前沿。
信任是Datavant的核心原则之一。它已嵌入我们的平台中,这是不容谈判的。我们也希望能够利用这一点,考虑到我们在医疗保健行业所做的工作以及我们带来的人才,我们感觉自己处于一个非常独特的位置。对我们来说,作为领导者保持在这个融合领域的领先地位,并以可信、安全和深思熟虑的方式行事非常重要。
您认为医疗保健组织现在应该做些什么?
基础工作仍然至关重要,因为AI将加速一切。如果你没有实施多因素认证,如果你没有基本的安全控制措施……AI会让这些弱点变得更糟。你有这些模型可以爬取并确定这些弱点在哪里。
首先,你必须做好基本安全工作。其次,我们需要确保人类始终对这项技术拥有明确的责任和监督,无论组织以何种方式踏上AI之旅。我们还需要确保了解环境中运行的内容清单。我认为很多时候人们急于推出这些代理功能,甚至是在现有工具中引入AI功能,但他们并没有很好的清单。如果你不了解自己在操作什么,或公司使用什么,你就无法开始管理它。一旦你有了清单,我认为了解其功能和可访问的数据非常重要。基于这些数据……我们需要哪些控制措施?数据可能被用于什么?一旦你了解了这些,就整合其他安全能力——事件响应、备份、补丁……
这仍然是所有基础知识,但现在只是稍快一些,由于这项技术的非确定性特性,人们需要采取一些额外步骤。
展望未来,您预见什么样的挑战或发展?
我们在20年前的云革命中看到了这一点。亚马逊推出了Amazon Web Services,到2013-2015年,我们开始看到大规模的云安全漏洞,因为人们配置不当且没有及时修补云服务。我认为这次我们会看到这类安全事件发生得更快。你会看到一个漏洞被利用的时期,因为它们很容易串联起来,而公司将难以跟上修补的步伐。公司必须转变思维方式,思考如何实施这些安全实践。
我认为这可能会重新引发隐私对话。欧洲在GDPR(通用数据保护条例)方面做得很好;美国没有类似的东西。当人们意识到AI对隐私的影响时,可能会进行这样的对话。
我认为随着这些类型的安全事件开始展开并不仅影响美国,还影响全球其他国家,我们可能会看到更多政府行动。
政府治理是否有其作用?
无论是政府、Health-ISAC(医疗信息共享与分析中心),还是像Datavant这样的组织……我们需要证明系统能够长期可靠、一致和安全地运行。最终,信任必须是首要的。
您认为还有什么对我们的读者重要的信息吗?
我们从客户那里听到的是,他们希望对数据有信任。另一点是,他们想知道性能如何被衡量、评估、监控和随时间改进。治理问责非常重要。他们对AI作为"新宠"的兴趣不大,而更关心它如何改善患者结果。我们如何将更好、更高质量的信息提供给最需要它的人?我们很兴奋能与行业其他成员一起踏上这段旅程。
【全文结束】

