(SACRAMENTO) 人工智能(AI)工具在医疗保健中变得越来越普遍。它们可以读取医学影像、帮助预测风险并远程监测患者状况。但AI系统也可能出错——特别是当它们学习的数据不平衡或不能充分代表不同人群时。
加州大学戴维斯分校教授Courtney Lyles领导的一项新研究强调了在AI决策过程中保持人类参与的重要性，以帮助减少偏见并提高安全性。该研究发表在《Social Science and Medicine》期刊上。
Lyles是加州大学戴维斯分校医疗保健政策与研究中心(UC Davis Center for Healthcare Policy and Research)的主任。她也是UC S.O.L.V.E Health Tech的联合创始人和联合主任，该计划涉及来自加州大学戴维斯分校、加州大学伯克利分校和加州大学旧金山分校的研究人员以及私人数字健康公司。
在这篇问答中，Lyles回答了有关医疗保健中AI使用的问题，以及检测和防止偏见的方法。她还分享了两个例子，说明加州大学戴维斯分校医疗保健系统(UC Davis Health)如何构建更公平、更可靠的AI系统，以服务患者和医生。
这项研究是关于什么的？
该研究是与谷歌以及加州大学和东北大学的研究人员合作完成的。我们采用以人为中心的方法，严格评估可解释的AI模型，以识别潜在的偏见区域。我们组建了一个来自不同领域的专家小组，找出可能导致AI解释中出现偏见的潜在因素。
为什么偏见在AI医疗保健系统中可能成为问题？
对AI模型的解释需要理解塑造健康数据的社会和结构性力量。
如果没有这种视角，AI系统可能会产生听起来很有说服力但不完整、有偏见或不安全的输出。随着AI逐渐融入日常临床护理，我们不能仅仅依赖算法。人类专业知识与可解释的AI工具相结合变得至关重要。
什么是可解释的AI，为什么它在评估AI模型时很重要？
可解释的AI(XAI)是关于理解为什么模型以某种方式做出决策。它通过揭示AI在做什么来提供洞察，使我们能够理解模型如何得出其决定和预测。
人类评审员如何评估XAI模型中的偏见？
我们的研究表明，来自多个学科的专家小组可以仔细查看XAI模型输出，并提供额外的背景解释，判断结果在现实世界中是否有意义。在这项研究中，该小组包括来自医学、流行病学、行为科学、工程和数据科学的专家。
该研究还建议包括社区成员和患者倡导者。他们的生活经验提供了传统专家可能忽略的见解，有助于确保AI工具反映它们所服务社区的需求。
这种跨学科框架展示了如何将多样化的声音带入过程中，使AI不仅更准确，而且更公平、更值得信赖、更可靠。
跨学科小组如何评估XAI结果？
当XAI工具强调为什么模型做出某些预测时，它通常会揭示模式。
在审查XAI发现时，跨学科专家可能会问：
- 这种模式是否可能由数据集中的差异引起？
- 这个结果是否与患者如何与医疗设备交互有关？
- 这是否反映了社会或结构性问题，而非医疗问题？
这个过程有助于发现AI可能依赖"捷径特征"的地方——这些特征看起来有意义，但实际上反映了数据中的偏见。
如何将这项XAI研究转化为实际应用？
我们的工作包括一个案例研究，说明这个跨学科专家小组如何审查来自医学影像的真实XAI结果，并为研究和实践提出明确的后续步骤。
通过将技术工具与人类判断相结合，这种方法也可以应用于其他情况，提高准确性并将结果置于背景中。在实践中，您可以提前组建团队，在AI决策桌上聚集正确类型的专家。这改善了数据科学家、临床医生、患者和社区之间的实施和信任。
"随着AI逐渐融入日常临床护理，我们不能仅仅依赖算法。人类专业知识和可解释的AI工具变得至关重要。"
——加州大学戴维斯分校医疗保健政策与研究中心主任Courtney Lyles教授
公私合作伙伴关系如何塑造医疗保健中的AI开发？
展望未来，我们需要更多有意识的公私合作伙伴关系。例如，我们为此建立了UC S.O.L.V.E Health Tech。它专注于加州大学研究人员与私营部门合作，促进其产品的公平性。与这项研究类似，我们以结构化的方式将人们聚集在一起，促进通常各自为政的部门之间的合作。
行业合作伙伴正在寻求务实的学术专业知识，使他们能够向医疗保健中的技术实施迈出一步。
加州大学戴维斯分校医疗保健系统在AI方面还有哪些应用示例？
加州大学戴维斯分校医疗保健系统在许多临床领域的AI实施方面是全国领导者。
首先，我们有一个强大的AI治理委员会，由数据和分析策略主任Jason Adams教授领导，多年来一直在开发和审查新的AI模型。
其次，我们的IT领导团队也是在加州大学戴维斯分校医疗保健系统中公平评估和推出AI的全国领导者。例如，由人口健康和责任医疗护理主任Reshma Gupta教授领导的团队，开发了一个流程，用于在开发和实施AI预测模型时减少偏见。该流程使用一个模型来识别可能面临UC Davis再入院风险较高的患者。我们的人口健康团队使用此模型仔细考虑患者亚群，并在AI开发和传播过程的每个步骤中识别和解决潜在障碍。
第三，加州大学戴维斯分校医疗保健系统已经实施并评估了在临床接触期间用于记录的AI Scribe。
什么是AI Scribe，它是如何工作的？
2024年，加州大学戴维斯分校医疗保健系统启动了一个AI Scribe计划，在就诊期间使用AI为临床医生生成笔记。在获得患者同意后，我们的医生可以开始录制与患者的互动。AI应用程序将讨论总结为标准临床笔记格式，节省了医生繁琐转录就诊细节的时间。我们进行了一项试点研究，以评估AI Scribe应用程序在生成笔记方面的准确性。
这项研究由公共卫生科学系(Public Health Sciences Department)的首席生物统计学家Sandra Taylor领导，结果已发表在《医学信息学研究杂志》(Journal of Medical Informatics Research)上。我们发现，AI生成的临床记录通常质量很高，94.7%没有重大错误。
这项研究还强调了临床医生需要不断审查AI Scribe输出，以发现和纠正少量错误——再次强调了人类在这些工具循环中的重要性。
关于医疗保健政策与研究中心
加州大学戴维斯分校医疗保健政策与研究中心(UC Davis Center for Healthcare Policy and Research, CHPR)生成科学证据并促进最佳实践和政策，以推进健康和健康公平。我们领导、协作并培训未来在跨学科和社区参与研究方面的领导者，以及将研究和证据关键转化为实际应用。
【全文结束】
