前所未有的多医生正在转向人工智能（AI）来提高效率——从行政任务到诊断和治疗。但专家表示，在实施之前，进行尽职调查并全面理解AI产品至关重要。
根据Healio先前报道的AMA调查结果，66%的医生在2024年报告使用了AI，相比2023年的38%，增长了78%。
大多数受访者还表示，他们看到了AI工具的“一定或某些优势”，而对AI的担忧超过热情的比例从2023年的29%下降到2024年的25%。
在日益增长的兴奋中，专家指出，医生在购买AI工具之前应问六个关键问题。
加州大学欧文分校健康系统的首席医学信息官Deepti Pandita博士告诉Healio：“这些工具直接影响患者护理、安全和临床决策。”她补充道，“这些问题确保AI解决方案具有临床相关性、基于证据、透明、合规和可用——这些标准在医疗保健领域中至关重要，因为事关生死。”
AI工具解决什么临床问题？问题是否明确？
AI在医疗保健中的用途广泛不同。Pandita表示，目前可用的产品包括：
- 辅助诊断和预测疾病的决策支持系统，例如AI辅助图表活检；
- 虚拟助手和自动收件箱工具，用于回应患者询问；
- 环境记录员、文档工具和编码协助，减少行政任务；
- AI辅助预先授权。
因此，医生应该了解该工具是否解决了特定的诊断、预后、行政或治疗相关任务。Pandita说：“如果不明确AI要解决的问题、其性能如何以及如何适应临床实践，医生可能采用无效、不安全或繁琐的工具。”
AI模型在其决策中是否可解释且透明？
AMA在其年度代表会议上推动了AI的更大透明度和监督。该组织通过了一项新政策，呼吁：
- 提供对其输出的解释以及安全性和有效性数据的临床AI工具；
- 要求独立第三方（如医学会或监管机构）确定算法是否可解释，而不是依赖开发者的声明；
- 与专家和利益相关方合作，制定与医学AI及其监督相关的关键概念定义清单。
根据AMA的新闻稿，可解释性“不应替代其他建立AI工具安全性和有效性的方法，例如随机临床试验。”
Pandita说，医生或其组织内的资源应对AI产品的可解释性或可解读性进行审查，以“理解工具如何得出其结论”。
可解释性可以包括清楚记录模型的工作原理或结合以下工具：
- SHapley加法解释（SHAP），一种解释任何机器学习模型输出的游戏理论方法；
- 局部可解释模型无关解释（LIME），解释模型对个别实例的预测；
- 反事实解释，显示模型输入值的最小变化如何导致不同结果。
她还说，重要的是“审计或检查驱动预测的输入特征”。
“如果团队中有数据科学家参与这项工作会很有帮助，”她说。
如果供应商拒绝披露AI决策的依据或无法提供可理解的解释，Pandita表示，“该模型可能不适合临床使用。”
有什么证据支持该工具的安全性、准确性和有效性？
Pandita说，医生应特别询问供应商有关支持AI有效性的证据。
例如，“该AI是否已在同行评审研究中得到验证？验证数据集是否多样且代表我的患者群体？报告的敏感性、特异性以及假阳性和假阴性率是多少？”她说。
AI工具的安全性至关重要，因为研究表明它们可能会助长医疗错误信息。
《内科学年鉴》最近发表的一项分析中，研究人员展示了“不良行为者”操纵AI聊天机器人是多么容易，并呼吁开发者实施强有力的保障措施。
研究人员编程由谷歌、Meta和OpenAI等公司开发的系统，使其对一系列健康问题产生错误回答，“并包含来自高度声誉来源的虚构参考，以显得更具权威性和可信度，”根据一份新闻稿。
总体而言，88%的回答是错误的，“然而，它们用科学术语、正式语气和虚构的参考呈现，使信息看起来合法，”澳大利亚弗林德斯大学医学院和公共卫生学院的研究合著者Natansh D. Modi博士在新闻稿中表示。
Modi及其同事写道：“恶意行为者——从有个人议程的个人到有更广泛动机的团体——已经证明有能力造成伤害，并将可能利用新兴生成AI，除非采取积极措施。” “开发者和监管者必须优先考虑透明的保障措施、训练数据的清晰披露以及彻底的事实核查和内容标记框架。”
监管和合规性有哪些考虑因素？
为了理解产品的合规性，医生应询问该工具是否“获得FDA批准、CE标志或经相关当局批准”，患者数据如何存储、保护或使用，以及产品是否符合医生所在组织或系统的网络安全保护，Pandita说。
她补充说，拥有私人诊所的医生不应轻信公司声称产品符合隐私法律的说法。相反，他们可以采取多个步骤确保合规，第一步是审查业务伙伴协议。
Pandita解释说，此步骤在HIPAA下是必需的，如果供应商访问受保护的健康信息（PHI），则“应定义数据使用、保障措施和违规责任。”
接下来，医生应进行安全风险评估，评估“工具如何处理、存储和传输PHI，”她说。
Pandita指出，这一步可以通过第三方审计员或内部完成。
最后，医生应检查文件和认证。
“寻找HITRUST、SOC 2或ISO 27001认证，”Pandita说。“如果适用，询问AI的FDA批准号。”
产品如何整合到现有的临床工作流程和EHR系统中？
AI产品如何融入医生的工作流程“对我来说是最重要的问题，因为变更管理和工具的采用对于成功使用至关重要，”Pandita说。
根据CDC的数据，截至2021年，88.2%的办公室医生使用电子病历或电子健康记录。
Pandita表示，关于整合的具体问题应包括：
- AI是否与我的EHR或临床软件互操作？
- 是否需要对当前工作流程进行重大更改？
- 它是否会提高效率？
- 提供什么样的培训或技术支持？
AI是如何更新和监督的？
DrFirst的首席医疗官Colin Banas博士向Healio强调了在AI模型实施于临床实践后持续发展和更新过程中监督的重要性。
“干预或AI是如何动态的？”他说。“在DrFirst，我们有许多面向临床的AI模型。它们由临床医生创建，由临床医生监督，并定期更新，因为新药、适应症和其他事情发生得很快。”
Banas表示，医生或许可以在购买AI产品之前，通过利用有限计划或免费试用来了解更多。他还建议从社交媒体平台寻求见解。
“即使是在搜索引擎上简单搜索‘AI和医疗保健’也会得到相当不错的讲座，”他说。“范德比尔特做了一系列关于AI的讲座，加州大学圣地亚哥分校也是如此。学术机构免费提供高质量的讲座内容，你可以在YouTube上查看。”
最终，通过提出正确的问题，“医生保持了作为患者守护者的角色，”Pandita说。
(全文结束)
