医疗系统如何建立临床医生对AI的信任 - AI与医疗健康

人工智能（AI）的热度持续不减，预计这项技术将在2025年继续成为医疗系统IT计划的重要组成部分。随着医疗系统制定最佳的AI工具识别和集成策略，他们必须确保临床员工的支持。如果没有这些关键利益相关者的支持，AI实施工作可能会停滞不前。

最近的一项美国医学会（AMA）调查显示，医生对医疗AI的热情总体上有所上升。在接受调查的1,183名医生中，表示对AI的热情超过担忧的比例从2023年的30%增加到2024年的35%。然而，大多数医生指出，设立专门的反馈渠道（88%）和数据隐私保障（87%）对于促进临床团队接受AI至关重要。

提供者对AI的信任也非常重要，因为提供者的支持与患者的信任密切相关。2023年的一项研究表明，尽管患者在选择人类医生或AI工具方面几乎平分秋色，但他们更有可能接受AI工具的使用，前提是被告知他们的提供者支持该工具的使用并认为它有帮助。

AI的采用和应用始于临床团队。一些顶级医疗系统的领导者向《Healthtech Analytics》讲述了他们的临床医生对AI的主要担忧及如何缓解这些担忧以确保成功的AI实施。

医疗系统扩展AI努力，但临床医生的担忧仍然存在

虽然临床医生对AI在医疗保健中使用的担忧各不相同，但一个共同的担忧是AI模型的准确性。

当范德比尔特大学医学中心开始实施AI工具时，临床医生对领导层提出了许多问题，范德比尔特大学医学中心生物医学信息学和医学教授、范德比尔特临床信息学中心主任Adam Wright博士表示。

该医疗系统正在使用AI，包括深度学习和基于神经网络的系统，以增强临床决策支持并减轻行政负担。AI用例包括脓毒症管理、预测患者恶化和容量管理。该系统还正在探索生成式AI工具，以帮助起草给患者的信或预约摘要。

但在上述用例的AI工具实施之前，临床医生希望了解有关算法和模型的信息。

“它们有多准确？它们是在范德比尔特的数据上训练的吗？”Wright说。“它们是否代表我们看到的患者类型？人们也非常关注模型的透明度。所以，我能了解谁开发了模型，它是如何开发的，它是否是最新的？”

在杜克健康，临床医生的关注点集中在AI的安全性、有效性和公平性上，杜克医学首席健康信息官、Durham Medical Center初级护理内科医生Eric Gon-Chee Poon博士表示。

杜克健康已将AI集成到多个临床领域，包括脓毒症管理。该医疗系统开发了一种脓毒症算法，当患者有发展为脓毒症的风险时会提醒临床医生。

“今天，我们急诊室的所有患者都在后台受益于这一算法，”Poon解释说。“你可以将其视为守护天使，每个患者都受到它的保护。”

该算法确定患者是否有高风险发展为脓毒症，并向快速反应小组发送警报，然后进行干预，他说。

此外，该医疗系统正在使用AI来增强运营，如手术室调度、临床文档和收入周期管理。随着AI在医疗系统中的广泛应用，杜克健康领导者必须确保临床医生理解这项技术，包括其潜在的局限性。

除了AI准确性外，临床医生还对工作流程集成提出了担忧。

Wright强调，临床医生的认可取决于设置工作流程，使临床医生在合适的时间获得正确的建议。

“如果我们在一个不合适的工作流程时间显示一个准确的建议，那完全是浪费，”他说。“因此，弄清楚谁需要看到AI工具的结果，他们何时需要看到它，他们可能采取什么行动，我们如何使这些行动尽可能简单？在我看来，这甚至比正确构建模型更重要。正确构建工作流程更为重要。”

工作流程集成需要细致入微的方法。梅奥诊所平台医疗总监、梅奥诊所胃肠病学实践医生Mark Larson博士指出，不同专业和不同经验水平的医生在AI体验上会有所不同。

“初级护理医生与亚专科专家对AI工具的体验可能非常不同，因为AI的局限性在于它所训练的数据集，”他说。“有些专家或专科医生可能拥有AI工具无法匹敌的知识数据库。另一方面，有些入门级提供者、住院医师、学生在患者决策方面经验有限，AI工具对他们来说可能非常有帮助。”

梅奥诊所正在“谨慎而小心地”涉足AI，Larson补充道。该医疗系统正在研究如何利用AI工具减轻重复性的行政任务，同时增强临床决策。

缓解临床医生的担忧对于希望在其设施内扩大AI使用的医疗系统至关重要。然而，一刀切的方法可能不是答案。医疗系统领导者必须制定多样化的策略以赢得和维持临床医生对AI的信任。

应对临床医生的担忧并维持对AI的信任

建立临床医生对AI工具和方法的信心始于帮助他们理解工具及其开发方式。但首先，技术必须经过全面评估，以确保数据准确性，从而为临床医生提供必要的信心。

在梅奥诊所，临床医生工作组负责这一评估。

“梅奥诊所成立了一个工作组或特别工作组，非常仔细地研究[AI工具]，以验证它是否确实能做它应该做的事情，然后根据评估结果决定是否批准，”Larson说。

这可以帮助领导者在技术引入时立即回答临床医生的问题，从而大大有助于建立对该工具的信任。

几乎每个梅奥诊所部门都有一个AI工作组，探索AI如何帮助该部分的医疗系统。这使得医疗系统可以根据部门定制AI采用。Larson指出，某些组，如神经外科，可能只有有限的应用场景，而在初级护理中，AI的机会可能更多。

杜克健康采取类似的方法，逐步扩大试点AI工具的临床医生群体，以提供反馈。

“当你将技术交给一组临床医生时，这是一个机会，”Poon说。“他们怎么看待它？它如何融入工作流程？有没有任何令人担忧的地方，任何潜在危险的缺陷，如果没有被发现怎么办？”

他进一步强调，市场上的工具看起来很好，但医疗系统需要接受并非所有工具都能按宣传效果工作的事实。AI采用过程需要试错，领导者必须对临床医生坦诚关于AI的潜在局限性。

例如，环境AI技术越来越多地应用于减轻临床文档负担。

“这项技术并不完美，”Poon说。“[生成的笔记]绝对需要审查，但总的来说，对于大多数临床医生来说，节省大量时间——尽管有局限性，人们理解它正在改善护理质量和临床医生的个人生活。”

虽然在AI采用过程中保持透明可以促进临床医生更大的信任，但领导者还必须确保AI采用是有思考的。当临床医生觉得领导层在追逐下一个热门技术时，可能会产生不信任。

“我认为我们有时犯的一个错误是有我们真正感兴趣的新方法或新模型，或者是供应商介绍给我们的，或者是有人带给我们的，”Wright说。“这在某种程度上变成了一个寻找问题的解决方案。我们现在有了这个解决方案；我们要用它解决什么问题？当我们反向操作时，我们取得了更多的成功。所以我们尝试环顾四周，说医院的质量问题、安全问题或工作流程问题是什么？然后我们如何部署AI来改善这些问题？”

他补充说，临床医生可以在帮助领导者识别这些问题方面发挥关键作用，因此在早期讨论AI采用时将他们包括进来很重要。

让临床医生尽早参与AI采用过程还可以帮助医疗系统领导者开发足够的培训资源，确保无缝集成到临床工作流程中。Poon赞同Wright的观点，指出如果AI工具不能在适当的时间以易于访问的方式向适当的人提供适当的信息，临床医生可能会感到沮丧。

“如果你不遵循如何使用技术影响决策的既定原则，技术就不会起作用，”他说。“例如，如果你期望忙碌的临床医生额外点击一个按钮弹出报告并问，‘好吧，这个病人在这里不好的风险是什么？’他们不会费心去做这件事。输入需要在正确的时间出现在正确的地方，并实际上影响决策。”

此外，如果临床医生知道他们在患者护理方面有最终决定权，他们更有可能接受AI工具的建议和能力。鉴于AI的局限性，临床监督对患者安全至关重要。

“我们必须学会如何使用AI工具来帮助我们，我们对这些机会感到兴奋，但我们也谨慎地前进，确保我们仔细研究它们，验证它们，这是确保它们确实能实现承诺的关键，”Larson说。

在梅奥诊所，无论是否使用AI，临床医生始终对患者接触期间发生的事情负最终责任。

“例如，如果你使用环境监听工具，提供者有责任审查创建的笔记，确保它确实是准确的，总结对话是适当的，没有遗漏可能误导的词，”他说。

工具透明度、临床医生参与和临床监督是建立对AI信任的一些基本原则；维持这种信任需要持续的反馈循环。

根据Wright的说法，VUMC进行调查和反馈会议，以了解临床医生对AI工具的理解差距、AI准确性下降的情况和可用性挑战。然后，医疗系统会努力改进工具或调整它们在临床工作流程中的集成位置。

“如果用户说，‘我不明白为什么我会得到这个建议’，我们会尝试解释为什么他们会得到这个建议，但我们也会尝试回溯，使系统更加准确或至少使其更加透明和清晰，”他说。

同样，杜克健康和梅奥诊所依赖持续反馈来维持临床医生对AI的信任。

Poon指出，仅仅部署技术并确保初步采用是不够的，特别是在AI方面，其中风险和不确定性更高。除了持续监控AI工具的准确性外，医疗系统还提供了机制，让临床医生及时提出关切。