舒瓦茨·赖斯曼研究所最近举办的一场专题讨论会探讨了人工智能如何变革安大略省的医疗保健领域，强调了其改善医疗的潜力，并深入分析了患者参与、医疗公平性和可信实施等方面的紧迫挑战。
随着人工智能（AI）技术在医疗保健领域日益被采用和应用，探究其对公平医疗和健康结果的影响至关重要。随着AI的迅速扩展，这些工具如何在安大略省的医疗保健领域得到应用？医疗保健领域的跨学科合作机会有哪些？AI在医疗保健中使用可能带来的意外后果是什么，以及如何减轻这些后果？
舒瓦茨·赖斯曼研究所（Schwartz Reisman Institute，简称SRI）最近举办了一场专题讨论会，由主题专家玛玛塔·巴特（Mamatha Bhat）、丹尼尔·布赫曼（Daniel Buchman）和穆罕默德·曼达尼（Muhammad Mamdani）参与，SRI首位驻校学者卢克·斯塔克（Luke Stark）主持，回应了这些问题。此次会议是该研究所2023-24届研究生研究员组织的全天"人工智能跨学科对话"研讨会的一部分，属于SRI会议"绝对跨学科"的内容。
价值负载的医疗保健与AI部署
尽管AI被认为在医疗保健的预测、诊断和治疗方面具有巨大潜力，但一些人指出了诸如患者在临床决策中参与度下降以及医疗不平等加剧等问题。正如多伦多大学生物伦理学副教授、成瘾与心理健康中心科学家丹尼尔·布赫曼所述："如果AI预测被认为（或至少希望）能产生优于专家临床医生的知识，这意味着预测在所谓的'认识论层级'上排名更高。[这一层级]高于其他形式的知识，如专业临床判断和患者体验知识。"
AI系统可能具有更大的认识论权重，人们认为这些系统产生的知识具有超越临床医生和患者的增强可信度。在临床决策过程中这种"机器学习的感知权威性"可能会将患者排除在此过程之外，与以患者为中心的护理和以患者为导向的研究运动不一致。布赫曼通过心理健康领域的例子指出，当护理提供者依赖AI系统时，患者可能不会被视为其经历的有效或可信叙述者。
临床医生和科学家需要努力平衡AI在医疗保健中的预期效益与认识论不公的实际威胁——"一种对个人或群体造成伤害，限制其贡献和受益于知识的能力"。这突显了科学决策中证据的重要性，以及明确界定"证据"含义的必要性——包括什么证据最为重要，以及对谁和对什么决策而言。在演讲中，布赫曼提出，认识论谦逊可能是应对AI支持的临床决策中排除患者的对策之一，因为它促使临床医生和科学家权衡证据，承认当前可用数据的局限性，并考虑他们正在开发和部署的AI系统的社会价值。
结合跨学科经验
患者参与是医疗保健中使用AI的一个考虑因素。更广泛地说，与会者强调了跨学科合作的必要性。在日益关注AI支持的临床决策的背景下，一些人将AI视为彻底改革临床指南的手段，特别是在器官移植优先级排序领域。大学健康网络器官移植项目临床科学家兼肝病学家、巴特肝脏实验室（Bhat Liver Lab）首席研究员玛玛塔·巴特指出，对于器官移植，"当前的优先级和分配系统不幸使女性患者处于不利地位，因此她们获得器官捐赠的机会减少了15%。我们需要做些什么来解决这个问题。"
在此用例中，AI技术不仅可以提供更公平的工具，还可以利用患者的病史以及其临床状况的细微变化，动态更新移植优先级列表，巴特观察到这是"当前优先级系统未能充分反映的"。在时间敏感的决策过程中，训练有素的临床医生无法切实评估累积的数百年病史，而AI工具可以支持临床医生确保面临恶化的患者获得所需的治疗。
巴特博士与肝病学专家、计算机科学家和临床医生合作，设计了一种新型基于AI的优先级系统，该系统结合了数十年的经验，融入了临床决策规则和实验室变量。这突显了在医疗保健中设计AI模型时跨学科合作的重要性。巴特博士同意跨学科合作是临床研究的未来，她指出"学习彼此的语言至关重要"，而这将通过密切合作实现。
"我们都必须愿意相互学习。这是一个持续的学习过程，"她观察到。
多伦多联合健康中心（Unity Health Toronto，简称UHT）数据科学与高级分析副总裁、多伦多大学坦珀蒂医学人工智能教育与研究中心（T-CAIREM）主任穆罕默德·曼达尼重申了医疗保健中跨学科合作的重要性。对曼达尼而言，AI开发者必须与临床医生进行对话，以确定哪些问题可能受益于AI衍生工具和解决方案。他提供了查特沃奇（Chartwatch）的实际实施案例，这是由UHT的数据工程师、数据科学家、运营科学家、人因设计专家以及组织和行为科学家团队开发的工具，已将住院患者意外死亡风险降低了26%。
尽管临床AI模型不断增多，曼达尼强调，由于数据限制和需要实时更新，大多数模型不会转化为临床环境。他强调，实施科学方法对于评估什么有效、什么无效至关重要。此外，AI工具的部署存在"混乱性"，意味着这些工具并非对所有患者都有同等益处，分析其功效的方法仍处于初级阶段。UHT团队进行偏见评估；然而，目前没有标准规定评估的期望，结果无法据此衡量。目前尚不清楚这些算法适用于哪些患者，在加拿大背景下，目前没有此类评估的要求，而美国则不同，2024年5月，美国卫生与公众服务部民权办公室裁定，医疗保健组织、健康保险公司和临床医生在法律上负责管理医疗保健中使用AI工具带来的歧视风险。
未来的思考
AI在医疗保健领域的未来可能包括部署到实际实践中的工具数量和类型的显著增加。随之而来的是需要新解决方案的一系列新问题。基于AI工具的治疗决策由谁负责？当临床医生遵守与不遵守AI工具建议时，患者出现负面健康结果会引发哪些责任问题？临床医生和科学家如何评估AI工具，以确保其在不同亚群体中的表现公平？临床医生和科学家如何确保用于治疗建议的知识和证据在临床情况下得到适当平衡，而不是过度依赖AI建议？
这些问题中的许多都与AI系统的可信度密切相关。哪些因素决定AI系统是否可信？训练数据的广度和披露、外部验证以及模型可解释性对于构建可信模型很重要，但最终用户的熟悉度、期望、沟通和教育可能同样重要。
正如曼达尼所说，这些挑战不会轻易克服，需要那些在医疗保健中开发、部署和评估AI工具的人"有勇气做别人没有做的不同事情"。
作者介绍
乔-安·奥塞-特姆（Jo-Ann Osei-Twum） 是一位黑人学者、研究员和组织者，在学术界、政府、医疗保健和非营利部门拥有丰富的工作经验。她目前在多伦多大学达拉·拉纳公共卫生学院完成流行病学博士学位，重点研究人工智能和数据科学。她的研究兴趣在于应用公共卫生、人群健康干预以及对数据科学的批判性方法。奥塞-特姆的研究生研究专注于人工智能在人群健康方面的公平有效应用。
迈克尔·科拉奇（Michael Colacci） 是一位内科医生，正在多伦多大学完成临床流行病学博士学位。他的研究重点是在内科中安全公平地开发和部署机器学习工具。
费利克斯·门策（Felix Menze） 是多伦多大学医学生物物理学系的博士候选人，专攻神经科学和数据分析。他的主要研究重点是在虚拟现实中分析神经活动，以开发解释人类大脑在与技术交互等复杂挑战任务期间如何运作的新方法。他目前正在开展和分析模拟驾驶任务，以回答被诊断为轻度认知障碍的驾驶员如何通过公平的驾驶能力评估重新获得自主权。
【全文结束】
