五分之一的英国医生使用生成式人工智能（GenAI）工具，如OpenAI的ChatGPT或Google的Gemini，来辅助临床实践。这是根据最近对约1,000名全科医生进行的一项调查得出的结果。医生们报告称，他们使用GenAI在就诊后生成文档、帮助做出临床决策以及向患者提供信息，如易于理解的出院总结和治疗计划。
考虑到围绕人工智能的炒作以及卫生系统面临的挑战，医生和政策制定者都认为AI是现代化和改革医疗服务的关键。然而，GenAI是一项最近的创新，从根本上挑战了我们对患者安全性的看法。在可以安全地用于日常临床实践之前，我们还需要了解很多关于GenAI的知识。
GenAI的问题
传统上，人工智能应用程序被开发用于执行非常特定的任务。例如，深度学习神经网络已被用于图像分类和诊断，如分析乳腺X光片以辅助乳腺癌筛查。但GenAI并不是为了执行狭义定义的任务而训练的。这些技术基于所谓的基础模型，具有通用能力。这意味着它们可以生成文本、像素、音频甚至这些的组合。
这些功能随后针对不同的应用进行微调，例如回答用户查询、生成代码或创建图像。与这种类型的人工智能互动的可能性似乎仅受用户想象力的限制。关键在于，由于该技术不是为特定用途或特定上下文开发的，我们实际上并不知道医生如何安全地使用它。这只是GenAI目前不适合广泛应用于医疗保健的一个原因。
使用GenAI在医疗保健中的另一个问题是众所周知的“幻觉”现象。幻觉是指基于提供的输入生成的无意义或不真实的输出。在研究中，人们发现各种GenAI工具在生成文本摘要时会产生错误的关联，或者包含文本中从未提及的信息。幻觉发生是因为GenAI的工作原理是基于可能性，例如预测给定上下文中可能出现的下一个词，而不是基于人类意义上的“理解”。这意味着GenAI生成的输出可能是合理的，但不一定真实。
这种合理性是目前在常规医疗实践中安全使用GenAI的另一个原因。想象一个GenAI工具监听患者的咨询，然后生成电子摘要笔记。一方面，这可以让全科医生或护士更好地与患者互动。但另一方面，GenAI可能会根据其认为合理的内容生成笔记。例如，GenAI摘要可能会改变患者的症状频率或严重程度，添加患者从未抱怨的症状，或包含患者或医生从未提到的信息。医生和护士需要仔细校对任何AI生成的笔记，并有很好的记忆力来区分事实信息和虚构但合理的信息。这在传统的家庭医生环境中可能可行，因为全科医生足够了解患者，可以识别不准确之处。但在我们分散的医疗系统中，患者经常由不同的医疗工作者接诊，病历中的任何不准确都可能对患者的健康构成重大风险，包括延误、不当治疗和误诊。
与幻觉相关的风险是显著的。但值得注意的是，研究人员和开发人员目前正在努力减少幻觉的发生概率。
患者安全
目前还不能使用GenAI的另一个原因是，患者安全取决于与AI的互动，以确定其在特定上下文和环境中的表现如何，即观察技术如何与人互动，如何适应规则和压力，以及在更大的医疗系统中的文化和优先事项。这种系统的视角将决定使用GenAI是否安全。但由于GenAI不是为特定用途设计的，这意味着它是可适应的，可以以我们无法完全预测的方式使用。此外，开发人员经常更新他们的技术，增加新的通用功能，从而改变GenAI应用程序的行为。即使技术看起来安全且按预期工作，也可能因使用上下文而造成伤害。例如，引入GenAI对话代理进行分诊可能会影响不同患者与医疗系统的互动意愿。数字素养较低的患者、母语不是英语的患者和非言语患者可能难以使用GenAI。因此，即使技术在原则上“有效”，但如果技术不能平等适用于所有用户，仍然可能导致伤害。这里的要点是，通过传统的安全分析方法很难提前预见GenAI的风险。这些方法关注的是技术故障如何在特定上下文中导致伤害。医疗保健可以从采用GenAI和其他AI工具中受益匪浅。但在这些技术可以更广泛地应用于医疗保健之前，安全保证和监管需要更加灵活地应对这些技术在何处和如何使用的 developments。开发者和监管机构还需要与使用这些技术的社区合作，开发可以在临床实践中定期安全使用的工具。
(全文结束)
