生成式人工智能领域一些最知名的公司已宣布扩大面向医疗保健和生命科学的服务。2026年初,OpenAI的ChatGPT和Anthropic的Claude分别发布了旨在支持消费者健康或协助医疗工作者工作流程的解决方案。据报道,美国超过40%的医生每天登录OpenEvidence,搜索同行评审期刊以跟进医学突破并辅助基于证据的决策。
尽管生成式AI已成为医疗保健领域的常规工具,但行业标准和监管尚未完全跟上,这使得医疗机构必须自行确保AI解决方案的安全部署。这可能是一项艰巨的任务,但有一些指导性框架,例如美国国家标准与技术研究院(NIST)的人工智能风险管理框架或ISO/IEC 42001,可以为医疗机构指明方向。需要注意的是,尽管这些框架已有更新,但由于技术快速变化,部分内容可能已不再适用。
将AI风险管理与一个更熟悉的概念——第三方风险管理——对齐,可能对组织有所帮助。这些解决方案本质上属于这一范畴,因为大多数组织可能无法完全了解某些聊天机器人或环境倾听平台的内部运作。当涉及敏感数据时,组织必须严格管理输入这些解决方案的内容,以保持合规性并维护社区信任。
合规不是清单检查
医疗机构如何管理其所处环境中第三方AI解决方案这个黑箱?这就需要采取创新的风险缓解方法。组织不能将合规仅仅视为一张待办清单。在一份包含20项强制性要求的清单中,只要有一项“否”就意味组织不合规。风险管理框架属于“大致合规”的范畴,即组织可以做到“基本合规”。这比完全不合规要好得多。
尽管如此,组织是否采用某个AI风险管理框架,最终取决于其当前的风险文化环境。是更保守吗?是否因之前的数据泄露而有更严格的要求?
供应商被赋予了很大的信任,特别是因为没有认证机构可以提供“徽章”来证明某个AI解决方案能够处理特定级别的风险。这是一个真正的挑战,因为尚不清楚这些解决方案是否经过充分审查。因此,医疗机构有责任加强其风险缓解策略,以便创新仍能蓬勃发展。这是一个需要谨慎把握的平衡。
这就是为什么医疗机构之间分享使用某些解决方案的知识和经验非常有用;当然,分享不太积极的体验会更难。
组织需要信任但验证AI解决方案
当成熟的组织希望采用新的面向患者的设备时,通常会有实验室或某种试验场,用于在受控试验中监控流量和其他方面。例如,技术团队会想弄清楚该设备如何通信,因为它将在环境中服役数年甚至数十年,因此背后有一个精心设计的生命周期管理流程。
AI解决方案也应同样对待。在广泛部署之前,先在受控环境中测试环境临床文档软件。建立治理结构,与合作伙伴或供应商密切合作。作为一名医疗保健CISO,我更倾向于选择产品A,它完全披露了其工作原理但可能不是最先进的,而不是产品B,它可能在技术上是最好的解决方案,但对其工作原理避而不谈。如果我要让组织承担风险,我更愿意与愿意更开放地介绍产品的合作伙伴建立工作关系。
52%拥有非人类身份(如AI代理)且具有关键过度权限的组织比例,而人类用户仅为37%。
来源:Tenable,《2026年云与AI安全风险报告》,2026年2月
AI风险管理是团队合作
管理AI风险必须在组织内部进行跨职能协商。不能仅从临床或技术角度出发。法律、市场营销、运营——大多数部门必须步调一致,因为当采用新解决方案时,可能会对组织产生财务影响,因此必须就风险进行清晰沟通。
领导者必须控制风险平面,并具备可见性,以便了解解决方案的使用何时偏离了所有利益相关者商定的范围。供应商的可接受使用政策是否在瞬间改变?组织是进行一次性风险评估,还是需要建立一套用于持续合规和风险度量的控制措施?
这就是组织可以开始围绕AI解决方案构建一些关键风险指标的地方,以便这些指标始终处于开启状态并无处不在。如果只是需要回顾的一次性快照,那就变得无关紧要。这些解决方案的变化速度可能比我们预期的更快,因此需要具备实时控制。
最终,理解和管理医疗保健中的风险至关重要。如果组织不能正确应对,患者收到数据泄露通知后,就会去别处就医。这种信任的违背将对医疗服务提供者产生长期影响。
同样,可用的AI风险框架需要在医疗保健领域获得更多信任。如果医疗服务提供者要采用并调整已建立的框架(无论是来自独立机构还是政府机构),则需要更多的协作和透明度,以了解这些控制措施如何在医疗保健环境中发挥作用。
作为拥有数十年医疗保健安全经验的人,我知道组织的安全态势变化有多快。前一秒,医疗服务提供者还是安全的,下一秒就可能发生泄露。信任不仅需要赢得,更需要证明。这是这些风险管理框架及其所依托的平台最重要的因素之一。
本文是HealthTech杂志MonITor博客系列的一部分。
图片来源:Noko LTD/Getty Images
【全文结束】

