五分之一的英国医生使用生成式人工智能（GenAI）工具——如OpenAI的ChatGPT或Google的Gemini——来协助临床实践。这是根据一项对约1,000名全科医生的最新调查得出的结果。
作者 * Mark Sujan，约克大学安全科学教授
医生报告称，他们使用GenAI在会诊后生成文档、帮助做出临床决策以及向患者提供信息——例如，易于理解的出院总结和治疗计划。
考虑到围绕人工智能的炒作以及医疗系统面临的挑战，医生和政策制定者都将AI视为现代化和改革医疗服务的关键，这不足为奇。但GenAI是一项最近的创新，它从根本上挑战了我们对患者安全的思考方式。在GenAI能够在日常临床实践中安全使用之前，我们还需要了解很多。
GenAI的问题
传统上，AI应用程序被开发用于执行非常特定的任务。例如，深度学习神经网络已被用于图像和诊断分类，如分析乳腺X光片以辅助乳腺癌筛查。
但GenAI并不是为了执行狭义定义的任务而训练的。这些技术基于所谓的基础模型，具有通用能力。这意味着它们可以生成文本、像素、音频甚至这些的组合。
这些功能随后针对不同的应用进行微调——如回答用户查询、生成代码或创建图像。与这种类型AI互动的可能性似乎仅受用户想象力的限制。
关键在于，由于这项技术不是为特定用途或特定目的而开发的，我们实际上并不知道医生如何安全地使用它。这只是GenAI目前不适合在医疗保健中广泛使用的原因之一。
在医疗保健中使用GenAI的另一个问题是众所周知的“幻觉”现象。“幻觉”是指基于提供的输入而产生的无意义或不真实的输出。在研究中，研究人员发现各种GenAI工具产生了基于文本内容的错误链接，或总结中包含从未提及的信息。
“幻觉”发生是因为GenAI的工作原理是基于可能性——例如，在给定上下文中预测下一个词——而不是基于人类意义上的“理解”。这意味着GenAI生成的输出是可信的，但不一定真实。这一可信性是目前在常规医疗实践中安全使用GenAI还为时过早的另一个原因。
想象一下一个GenAI工具，它监听患者的咨询，然后生成电子摘要笔记。一方面，这可以让全科医生或护士更好地与患者互动。但另一方面，GenAI可能会基于它认为可能的情况生成笔记。
例如，GenAI摘要可能会改变患者症状的频率或严重程度，添加患者从未抱怨的症状，或包括患者或医生从未提到的信息。医生和护士需要仔细校对任何AI生成的笔记，并具有出色的记忆力，以区分事实信息和看似可信但虚构的信息。
这在传统的家庭医生环境中可能没问题，因为全科医生足够了解患者，可以识别不准确之处。但在我们分散的医疗系统中，患者经常由不同的医疗工作者诊治，患者病历中的任何不准确之处都可能对其健康构成重大风险——包括延误、不当治疗和误诊。
与“幻觉”相关的风险很大。但值得注意的是，研究人员和开发者目前正在努力减少“幻觉”的发生概率。
患者安全
目前还不适合在医疗保健中使用GenAI的另一个原因是，患者安全取决于与AI的互动，以确定其在特定环境和设置中的有效性——即技术如何与人互动，如何适应规则和压力，以及更大医疗系统内的文化和优先事项。这样的系统视角将决定GenAI的使用是否安全。
但由于GenAI不是为特定用途设计的，这意味着它是可适应的，可以以我们无法完全预测的方式使用。此外，开发者定期更新他们的技术，增加新的通用功能，改变GenAI应用的行为。
此外，即使技术看起来安全且按预期工作，也可能会因使用环境的不同而造成伤害。
例如，引入GenAI对话代理进行分诊可能会影响不同患者与医疗系统的互动意愿。数字素养较低的患者、母语不是英语的患者和非语言患者可能会发现GenAI难以使用。因此，尽管技术原则上可能“有效”，但如果技术不能平等地服务于所有用户，这仍然可能导致伤害。
这里的关键是，通过传统的安全分析方法很难提前预见GenAI的风险。这些方法关注的是技术故障如何在特定环境中导致伤害。医疗保健可以从采用GenAI和其他AI工具中受益匪浅。但在这些技术可以更广泛地应用于医疗保健之前，安全保证和监管需要更加响应这些技术使用地点和方式的发展。
此外，GenAI工具的开发者和监管机构需要与使用这些技术的社区合作，开发可以在临床实践中定期和安全使用的工具。
Mark Sujan是确保自主中心的成员，该中心由劳埃德·注册基金会和约克大学联合资助。他是BMJ Health & Care Informatics的作者和副编辑。该期刊经常发表有关医疗保健AI的研究。
(全文结束)
