英国五分之一的医生正在使用生成式人工智能（GenAI）工具，如OpenAI的ChatGPT或Google的Gemini，来辅助临床实践。这是根据最近对约1000名全科医生进行的一项调查得出的结果。医生报告称，他们使用GenAI在就诊后生成文档、帮助做出临床决策以及向患者提供信息，例如易于理解的出院总结和治疗计划。
考虑到围绕人工智能的炒作以及医疗系统面临的挑战，医生和政策制定者将AI视为现代化和转型医疗服务的关键并不令人意外。然而，GenAI是一项近期创新，从根本上挑战了我们对患者安全的看法。在日常临床实践中安全使用GenAI之前，我们仍需了解许多问题。
GenAI的问题
传统上，AI应用程序被开发用于执行非常特定的任务。例如，深度学习神经网络已被用于图像和诊断分类，证明在分析乳腺X光片以辅助乳腺癌筛查方面非常有效。
但GenAI并不是为了执行狭义定义的任务而训练的。这些技术基于所谓的基础模型，具有通用能力。这意味着它们可以生成文本、像素、音频甚至这些的组合。这些能力随后针对不同的应用进行微调，例如回答用户查询、生成代码或创建图像。与这种类型AI互动的可能性似乎仅受用户想象力的限制。关键在于，由于该技术不是为特定用途或特定环境开发的，我们实际上并不知道医生如何安全地使用它。这仅仅是GenAI目前不适合广泛应用于医疗保健的一个原因。
在医疗保健中使用GenAI的另一个问题是众所周知的“幻觉”现象。“幻觉”是指基于提供的输入产生无意义或不真实的输出。在研究GenAI创建文本摘要的情境中，幻觉已经被研究过。一项研究发现，各种GenAI工具产生了基于文本内容的错误链接，或包含从未提及的信息的摘要。幻觉发生是因为GenAI的工作原理是基于可能性，例如预测给定上下文中接下来会出现哪个词，而不是基于人类意义上的“理解”。这意味着GenAI产生的输出是可能的，但不一定是真实的。
这种可能性是目前在常规医疗实践中安全使用GenAI的另一个原因。想象一个GenAI工具，它监听患者的咨询并生成电子摘要笔记。一方面，这可以让全科医生或护士更好地与患者互动。但另一方面，GenAI可能会基于其认为可能的情况生成笔记。例如，GenAI摘要可能会改变患者的症状频率或严重程度，添加患者从未抱怨的症状，或包括患者或医生从未提到的信息。医生和护士需要仔细校对任何AI生成的笔记，并有出色的记忆力来区分事实信息和看似合理但虚构的信息。这在传统的家庭医生环境中可能是可行的，因为全科医生足够了解患者，可以识别不准确之处。但在我们分散的医疗系统中，患者经常由不同的医疗工作者接诊，患者记录中的任何不准确之处都可能对其健康构成重大风险，包括延误、不当治疗和误诊。幻觉相关的风险是显著的。但值得注意的是，研究人员和开发者目前正在努力减少幻觉发生的可能性。
患者安全
目前还不适合在医疗保健中使用GenAI的另一个原因是，患者安全取决于与AI的互动，以确定其在特定情境和设置中的效果——观察技术如何与人互动，如何适应规则和压力，以及更大医疗系统内的文化和优先事项。这样的系统视角将决定GenAI的使用是否安全。但由于GenAI不是为特定用途设计的，这意味着它是可适应的，可以以我们无法完全预测的方式使用。此外，开发人员定期更新他们的技术，增加新的通用功能，改变GenAI应用的行为。此外，即使技术看起来安全且按预期工作，也可能发生伤害——这再次取决于使用情境。例如，引入GenAI对话代理进行分诊可能会影响不同患者的参与意愿。数字素养较低、母语不是英语和非言语的患者可能难以使用GenAI。因此，虽然技术原则上可能“工作”，但如果技术不能为所有用户平等工作，仍然可能导致伤害。这里的关键点是，通过传统的安全分析方法很难提前预见GenAI的风险。这些方法关注的是技术故障如何在特定情境中导致伤害。医疗保健可以从采用GenAI和其他AI工具中受益匪浅。但在这些技术更广泛地应用于医疗保健之前，安全保证和监管需要更加灵活地应对这些技术在哪里和如何使用的 developments。GenAI工具的开发者和监管机构还需要与使用这些技术的社区合作，开发可以在临床实践中常规且安全使用的工具。
(全文结束)
