以下是亚历克斯·泰瑞尔（Alex Tyrrell）的特邀文章，他是威科集团（Wolters Kluwer）高级技术与健康领域首席技术官。
生成式人工智能（GenAI）有潜力影响医疗保健的多个方面，从临床评估和诊断到患者沟通与运营功能。通过减轻行政负担、提高临床准确性以及帮助填补人才和资源缺口，GenAI可以有意义地改善护理质量、患者满意度和临床医生福祉等。
然而，如今的医疗行业环境往往像是在大型语言模型（LLM）的“狂野西部”中航行。AI的采用速度正迅速超越其负责任管理所需的护栏，这一趋势在医疗保健组织中GenAI使用严重缺乏监督的现状下凸显出来。根据一项针对医疗专业人员的2025年调查，只有18%的受访者知晓有正式的组织政策来管理GenAI使用，仅有20%的人被要求接受关于授权GenAI使用的结构化培训。
医疗保健中未受监控和未经授权的GenAI使用不仅阻碍了真正的GenAI进步，还危及患者安全和组织的长期生存能力，这与医疗保健“不伤害”的目标直接矛盾。为了确保更安全的未来，GenAI的使用必须受到有意的、以患者为先的方法的约束。
未受监控的GenAI及其对患者健康信息（PHI）的风险
医疗保健机构的网络安全和IT团队只能有效监控他们已知的AI软件。然而，随着影子AI（即临床医生和医疗工作人员使用未经授权的AI工具）的兴起，这项任务变得愈发困难。
影子AI通常是在应对运营压力时出现的，例如长期人手不足、复杂的临床需求和高患者量，这些因素使得医疗专业人员仅凭人力难以满足其职责要求。这些潜在的缺口不仅催生了变通做法，还打开了一系列医疗领导者不能忽视的风险之门：
- 再识别： AI模型可能最初使用去标识化的患者数据进行训练，但通过精心设计的提示词，仍可以推断出关键的患者信息。例如，罕见病患者群体可能是关键的易受影响人群。
- 安全漏洞： 医疗保健中的数据安全挑战仍然普遍存在，AI软件的引入可能会扩大组织的攻击面。
- HIPAA违规： 通用型GenAI模型由非医疗专业领域的商业实体开发，因此不受相同的隐私原则约束；医疗机构在采用第三方AI平台时，应确切了解PHI的使用方式和目的，但在影子AI的情况下，这一安全措施被绕过了。
影子AI是一个关键指标，表明组织授权的技术堆栈未能满足一线专业人员真正的需求。减轻这些风险需要领导层、员工和临床医生之间加强协调。
内部治理差距抑制了AI监督并加深了患者隐私风险
GenAI正在快速发展，当前管理患者数据隐私的政策可能无法有效应对新的AI用例。联邦AI监管指南（例如HTI-1最终规则）为更深入的政策提供了一个起点，但关键的AI应用仍处于正式监管监督之外。
一些州也开始推出自己的框架，例如加利福尼亚州的《前沿AI透明度法案》，该法案强调风险披露、透明度和缓解措施，以及旨在防止算法歧视的《科罗拉多州人工智能法案》（CAIA）。
每个医疗机构还面临着与其患者群体、提供的服务以及作为公共或私人实体的身份相关的独特运营情况。当这些现实与AI快速发展的步伐相遇时，可能会暴露以下几个差距：
- 合规与创新之间的张力： 医疗机构面临着提供有竞争力、以客户为中心的服务的压力日益增大；这种压力可能促使组织在没有适当监督的情况下追求AI创新，或者走捷径以更快地将解决方案推向市场。
- 责任碎片化： 组织领导层处于AI政策的最前沿，但他们往往不是使用这些工具的个人；治理责任应在临床、运营、合规和IT领导层之间共享，以确保政策准确反映工作场所的挑战和考量。
- 员工培训与发展： 正如仅有20%的医疗专业人员被要求接受授权GenAI使用的结构化培训所强调的那样，有限的培训会导致AI素养水平较低；这意味着即使是出于好意的临床医生和员工也可能犯下严重错误。
- 数据透明度： 许多第三方AI解决方案可能缺乏关于数据如何使用、存储和共享的透明度。
最佳实践：制定一个强大的AI治理框架
在医疗保健中为AI奠定负责任的基础，始于一个能够保护患者、指导临床医生并随着技术发展的治理框架。在制定该框架时，组织应考虑以下要素：
- 数据标准： 确保训练数据能够代表患者群体，通过授权方法获取，并经过去标识化处理。
- 伦理使用： 明确说明AI应如何用于影响患者护理的用例，并禁止违反伦理标准的使用方式，例如使用AI拒绝护理或将效率置于质量之上。
- 供应商透明度： 医疗机构必须与首选供应商合作，确保AI解决方案符合伦理和数据标准；AI的决策过程应在开发者和用户层面都保持透明。
- 持续审查与反馈： 建立领导层和员工均可就当前AI工具（包括痛点和新兴风险）提供反馈的持续沟通渠道。
- 建立“可信区域”： 创建指定环境，让员工可以在其中安全地实验或与经过预先审查、符合规定且针对特定工作流程安全的AI工具进行交互；这有助于降低PHI暴露于不受信任平台的风险。
负责任地拥抱医疗AI
医疗保健领域的AI治理必须超越广泛的监管。这些护栏必须包括涵盖患者隐私、数据安全和临床伦理的强有力协议。由于AI解决方案与电子健康记录（EHR）的整合程度以及对患者护理决策的影响日益增加，建立治理框架势在必行。
IT、合规和临床领导团队之间的协作方式，为AI治理提供了比孤立的决策更坚实的基础。当强治理被优先考虑时，医疗机构可以在不损害患者安全的情况下，体验到效率提升、成本节约和护理成果的改善。虽然这感觉像一片未知领域，或“狂野西部”，但随着组织将这些基础落实到位，一条更清晰的道路便会呈现。
关于亚历克斯·泰瑞尔
亚历克斯·泰瑞尔博士担任威科集团（Wolters Kluwer）高级技术主管兼威科健康（Wolters Kluwer Health）首席技术官，负责监督威科集团AI卓越中心，该中心专注于在GenAI、代理式AI、机器学习与数据分析领域加速所有威科集团部门的创新。
【全文结束】