随着欧盟《人工智能法案》的生效，模仿人类团队协作方式的AI系统可以在高风险情况下（如临床医学）提高信任度。
在2022年11月ChatGPT发布后引发了一波热潮，全球各国政府都在努力制定既能促进AI发展又能确保技术安全和可信的政策。今年2月，欧盟《人工智能法案》——世界上第一部全面的AI法规——的部分条款开始生效，禁止部署某些应用程序，例如声称能够预测犯罪或从面部特征推断情绪的自动化系统。
大多数AI系统不会被直接禁止，而是根据从高到低的风险等级进行监管。关于该法案对“高风险”系统的分类预计将引发激烈的辩论。欧盟将在8月开始提供更明确的指导，但由于医疗环境中存在偏差或错误预测可能带来的潜在危害，许多由AI驱动的临床解决方案可能会受到审查。
谨慎部署的临床AI可以通过简化医院管理流程（如患者调度和医生记笔记）、支持诊断（如识别X光片中的异常）以及为个别患者量身定制治疗方案来改善医疗服务的可及性和效果。但这些好处也伴随着风险——例如，AI驱动系统的决策往往难以解释，限制了实时人类监督的范围。
这一点很重要，因为这种监督在法案中是明确要求的。高风险系统必须透明，并设计成使监督者能够理解其局限性并决定何时使用它们（见go.nature.com/3dtgh4x）。
默认情况下，合规性将通过一套统一的AI标准进行评估，但这些标准仍在开发中。（满足这些标准不是强制性的，但预计将成为大多数组织展示合规性的首选方式。）然而，目前几乎没有成熟的技术方法来满足这些即将出台的法律要求。
在此，我们建议基于多学科医疗团队的标准实践的新AI开发方法——这些团队通过广泛共享的概念跨学科边界沟通——可以支持监督。这种动态为下一代受医疗专业人员信任并符合欧盟监管期望的健康聚焦型AI系统提供了有用的蓝图。
与AI合作
临床决策，特别是涉及复杂疾病管理的决策，通常会考虑各种信息来源——从电子健康记录和生活方式因素到血液检测、放射学扫描和病理结果。相比之下，临床培训高度专业化，很少有人能准确解读多种类型的专科医疗数据（如放射学和病理学）。因此，复杂疾病的治疗（如癌症）通常通过多学科团队会议（在美国称为肿瘤委员会）进行管理，在这些会议上，所有相关的临床领域都有代表。
由于多学科团队会议涉及不同专业的临床医生，因此不会专注于每种数据类型的原始特征，因为整个团队并不共享这些知识。相反，团队成员会参考广泛理解的“概念”进行沟通。例如，在为肿瘤提出治疗方案时，团队成员可能会提到疾病的某些方面，如肿瘤部位、癌症分期或分级以及特定分子标志物模式的存在。他们还会讨论患者的特征，包括年龄、其他疾病或状况的存在、体重指数和虚弱程度。
这些概念代表了原始数据的可解释的高层次摘要，是人类推理的基础——临床辩论的语言。它们通常也出现在选择患者治疗方法的国家临床指南中。
值得注意的是，使用共享概念语言进行辩论的过程旨在促进透明度和集体监督，这与欧盟《人工智能法案》的意图相平行。为了使临床AI符合该法案并获得临床医生的信任，我们认为它应该模仿这些已建立的临床决策过程。临床AI——就像多学科团队中的临床医生一样——应该使用明确定义的概念来证明其预测的合理性，而不仅仅是表明其可能性。
解释性危机
有两种典型的可解释AI方法——一种系统可以解释其决策过程。一种方法是设计模型使其具有内置规则，从一开始就确保透明度。例如，用于从胸部X光片检测肺炎的工具可以评估肺部不透明度，分配严重程度评分，并根据预定义的阈值对病例进行分类，使其推理对医生来说清晰可见。第二种方法是在做出决策后分析模型（“事后”）。这可以通过诸如显著性映射等技术实现，显著性映射突出显示影响模型预测的X光片区域。
然而，这两种方法都有严重的局限性。以一个经过训练帮助皮肤科医生判断皮肤痣是良性还是恶性的AI工具为例。对于每个新患者，事后可解释性方法可能会突出显示图像中对模型预测最重要的像素。这可以识别出明显错误的推理——例如，突出显示与痣无关的图像像素（如医生的笔迹或其他注释）。
当痣被突出显示时，即使是经验丰富的监督医生也可能难以知道突出显示的像素集是否具有临床意义，或者仅仅是与诊断有虚假关联。在这种情况下，使用AI工具可能会给医生带来额外的认知负担。
然而，基于规则的设计会严格约束AI模型的学习，使其符合已知的原则或因果机制。然而，AI最有可能在临床上有用的任务并不总是符合简单的决策过程，或者可能涉及以本质上复杂或反直觉的方式结合的因果机制。这样的基于规则的模型在医生最需要帮助的情况下表现不佳。
相比之下，当皮肤科医生向同事或患者解释他们的诊断时，他们通常不会谈论像素或因果结构。相反，他们会使用易于理解的高层次概念，如痣不对称、边缘不规则和颜色，来支持他们的诊断。使用呈现这些高层次概念的AI工具的临床医生报告说，他们对工具建议的信任度有所增加。
近年来，已经开发出一些可解释AI的方法，这些方法可以编码这种概念推理，并有助于支持团队决策。概念瓶颈模型（CBMs）是一个很有前途的例子。这些模型不仅学习感兴趣的结果（如预后或治疗方案），还包括对人类监督者有意义的重要中间概念（如肿瘤分期或分级）。这些模型因此可以提供总体预测和一组从数据中学到的可理解概念，从而证明模型建议的合理性并支持决策者的讨论。
这种可解释AI在解决需要协调不同类型数据的复杂问题时特别有用。此外，它们非常适合于遵守欧盟《人工智能法案》，因为它们以专门设计的方式来促进人类监督的透明度。例如，如果CBM错误地将一个重要临床概念分配给某个患者（如预测错误的肿瘤分期），那么监督的临床团队立即知道不要依赖AI预测。
此外，由于CBM的训练方式，这种概念层面的错误也可以立即由临床团队纠正，使模型能够“得到帮助”，并在临床医生输入的帮助下修订其总体预测和理由。实际上，CBM可以训练成预期这种人为干预，并利用这些干预随着时间的推移提高模型性能。
(全文结束)
