医疗行业已普遍采纳了一个令人放心的原则来确保临床AI的安全：让人类参与其中。对于大多数医疗系统而言，临床医生的监督已成为标准保障措施，也是解决人们对AI错误、偏见和患者安全担忧的结构性答案。
"我们的AI和患者之间始终会有临床医生，"芝加哥CommonSpirit Health的高级执行副总裁兼首席信息官丹尼尔·巴尔奇(Daniel Barchi)在4月举行的贝克26周年年会上表示，"我们永远不希望达到一个自主诊断和行动的地步，即没有人类——尤其是训练有素的医生或护士——参与决策过程。"
纽约市纽约大学朗格尼医疗中心(NYU Langone Health)首席健康信息学官保罗·泰斯塔(Paul Testa)医学博士认为，尽管这一立场在今天看起来合理，但可能不会一直成立。泰斯塔博士在近期一期"贝克医疗播客"(Becker's Healthcare Podcast)中表示，有证据表明，临床医生的参与并不总是能提高性能，而行业尚未完全认识到这意味着什么。
"我们会发现一些情况下，临床医生的加入会降低AI模型的性能，"他说，"当我们需要将人从决策循环中移除以确保更高质量时，就会出现伦理困境。我们正非常接近那个时刻。"
泰斯塔博士表示，他目前并不主张在临床环境中使用自主AI。临床医生、患者和AI模型之间的信任仍在建立中，这一过程是适当且必要的。
但他认为该领域很快必须回答的问题比治理讨论更为深刻。关于自动化偏见——临床医生过度信任经过精心设计的AI输出——的担忧已有充分记录。下一个问题是，当有时退后一步不做干预才是负责任的行为时，行医将意味着什么。
"坦率地说，我非常好奇这在本质上有多大的颠覆性。当有时我们需要退后一步说'我最重要的事情是让流程运行，我不应该干预'时，我们对专业精神的定义以及我们作为临床医生的身份认同将会动摇，"泰斯塔博士说，"但我们仍然被鼓励说，'我需要验证这一点。我需要在那里。'这只是另一种说法，即需要有人类在循环中，而我们将了解到这并不总是我们所认为的保护措施。"
他并不担心被取代。如果更安全的患者护理有时需要将决策权交给模型，那可能成为负责任的选择。他关注的是建立判断力，以知道何时模型应该主导决策。
"在未来一到三年内，我最感兴趣的是我们如何进入这样一个空间：承认有时这些模型的表现优于我，优于一个团队，因此，我们必须了解它在未来的作用，"他说。
他的同事会同意吗？泰斯塔博士有理由认为最终他们会同意。随着时间的推移，他已经看到当结果明显使患者受益时，技术甚至能赢得最顽固的临床医生的支持。
"作为一门专业，医生和护士已经评估了我们为改善患者而使用的工具长达一个世纪，"他说，"我们有评估标准，即使不是逐行评估工具。我们有质疑、验证、获得信任和部署的模式。这就是我从同事那里听到的。我们仍处于建立信任的阶段，我认为这是适当的。"
普罗维登斯市罗德岛州Care New England Health System的高级副总裁兼首席数字信息官托马斯·格雷戈里奥(Tomas Gregorio)从不同的角度看到了同样的前景。当泰斯塔博士关注AI性能的证据积累时，格雷戈里奥则关注模型能做什么与监督它们的治理框架实际能处理什么之间的差距。
"模型的改进速度超过了我们的治理框架，"格雷戈里奥在近期一期"贝克医疗播客"中说，"我认为在未来三到五年内，我们将面临关于AI在诊断和治疗规划中角色的真实难题，而作为行业，我们尚未完全准备好。我们还没有准备好应对这一点。"
泰斯塔博士认为，实现这一目标的机制是信任，通过医学应用于其他新工具的同样严谨性来建立信任，从早期的临床决策支持系统到放射学中的AI应用。他从该领域的同事那里听到了同样的信息。
"医生想要的是了解这些事物如何运作以及何时能获得足够信任，让我们可以移交部分控制权，"泰斯塔博士说，"我认为我们还没有达到那个阶段，但我不认为还需要五到十年甚至十五年。它比那要近得多。清算即将到来，而只有当我们共同建立信任时，这种清算才能得到解决、承认或超越。"
【全文结束】