斯蒂芬·贝尔穆斯塔科夫（Stephen Belmustakov，MD）最近开始在私人诊所工作，突然感到有些“不安”。他意识到这种感觉源于之前在纽约市一家医院工作时，他曾接受过一种名为Aidoc的新工具培训，该工具利用算法预测放射学扫描中的异常情况。而他现在工作的私人诊所并没有使用任何人工智能（AI）工具，因此他发现自己不得不独自解释图像。
贝尔穆斯塔科夫最初对使用AI工具进行影像诊断持怀疑态度，但随着时间的推移，他逐渐习惯了拥有即时第二意见的感觉。他说：“我感到不安是因为我们失去了这额外的一层检查。”
不仅如此，AI工具越来越快地指出可能的可疑区域，甚至在医生做出反应之前。贝尔穆斯塔科夫表示：“这确实影响了学习过程。如果工具已经告诉你结果是阳性，它会改变你看问题的方式。”
这种倾向被称为自动化偏见。最极端的例子包括司机盲目跟随全球定位系统（GPS）导航，导致车辆进入深水区或发生悲剧。尽管这些例子听起来像是笑话，但我们不仅信任GPS，还即将信任自动驾驶汽车。
在医学领域，越来越多的AI技术正在训练高技能临床医生信任机器。过度依赖基于决策的医疗技术是否不可避免？随之而来的潜在错误又该如何应对？
塔伦·卡普尔（Tarun Kapoor，MD），新泽西州南部非营利医疗机构Virtua Health的首席数字转型官，认为这是不可避免的趋势。虽然目前只有不到4%的医院被认为是“高采用者”的AI，“但随着工具的快速发展，自动化偏见将变得普遍”，他说道。“这是一场亟需进行的对话”。
探讨沟通方式
几乎任何逻辑、聪明、受过教育的人——例如医生——都会说：“机器不应该做决定，我也不会让它替我做决定。”但这正是所谓的“偏见”。你可能没有意识到自己有多么依赖这些有用的技术。
关于自动化偏见的讨论可以从“这些工具如何与临床医生沟通”开始。数字医学学会（Digital Medicine Society）首席执行官詹妮弗·戈德萨克（Jennifer Goldsack）表示：“我们知道，或至少从数据中得到信号，信息的呈现方式很重要。”她提到，新研究表明，临床医生对AI的信任取决于模型如何解释其预测结果。有些工具会在放射学扫描上标注潜在异常的小方框，而其他工具则通过与类似病例比较或提供书面解释来说明发现。
圣犹达儿童研究医院（St. Jude Children's Research Hospital）智能影像信息学主任保罗·尹（Paul Yi，MD）表示：“科学家们对临床医生如何回应不同的‘可解释性方法’存在较大认知差距。”他与约翰霍普金斯大学（Johns Hopkins University）的计算机科学家合作，研究临床医生在面对AI预测的胸部X光片异常时的评估方式。参与者包括220名放射科医生和非放射科医生，他们可以接受、拒绝或修改AI建议，并对其有用性和信心水平进行排名。
当AI预测错误时，非放射科医生更倾向于认为工具是有用的，而放射科医生则表示“这太糟糕了”。无论专家水平如何，参与者都倾向于在解释简单而非详尽的情况下更快同意AI建议。但这种提高效率的做法对于忙碌的放射科医生来说可能是一把“双刃剑”。
我们为何信任机器？
休斯顿贝勒医学院（Baylor College of Medicine）生物伦理学家和医学人类学家克里斯汀·科斯特克-奎内特（Kristin Kostick-Quenet，PhD）表示，人类信任机器的冲动有些神秘。科学家仍在试图理解人们如何“校准对不同技术系统的信任”。自动化偏见的研究始于约30年前，主要集中在飞行员身上，部分学者得出结论认为“信任很大程度上是情境性的”，取决于使用技术的人和使用环境。飞行员的数量、经验年限以及他们对自身表现的责任感都可以影响其对自动化系统的信任程度。
在医疗保健领域，不同专科和水平的临床医生经常面临高压、高风险和不确定性极高的决策。在这种情况下，寻求额外的有效信息来源几乎是自然而然的。贝尔穆斯塔科夫的经历证明了这一点：他从怀疑到依赖AI的第二意见。他的经历展示了将AI模型实际应用于医疗实践的复杂性。大多数提供者关注的是工具本身的安全性、无偏见性及改进现有方法的能力，但如何将AI融入现实场景同样重要。
Virtua Health一直在努力防止使用AI工具GI Genius的内窥镜医生出现自动化偏见。该工具在结肠镜检查期间会标注可能的息肉。尽管其算法不断改进，速度也越来越快，但这也可能导致内窥镜医生“稍微放松警惕”。为此，卡普尔的团队讨论了是否应将工具设置为较慢的速度，以保持内窥镜医生的“全面参与”。
考虑保护措施
随着更多研究揭示自动化偏见，保罗·尹正致力于解决这一问题。“我们如何围绕它制定法规，并设计实验室方法以减少这些问题？”他问道。这可能意味着调整模型解释结果的方式，或改变AI的描述方式。尹的研究将AI工具描述为与领域内的专家相当，这是“大多数供应商销售产品的方式”。他们声称AI具有专家水平，即使证据尚有争议。这可能会影响临床医生对工具预测的判断。
其他医学领域也可能提供防止自动化偏见的思路。例如，在加州接受放射学培训时，尹需要获得独立执照才能使用一种称为荧光透视的成像技术。然而，当他转到放射学领域时，却没有类似的要求。他想知道是否可以对使用AI进行成像设定类似要求。经过一定水平培训的放射科医生可以授权使用AI工具，而非放射科医生则可能需要参加考试并获得相应资格。
最终，当AI模型性能提升时，何时让人类退出将成为一个问题。这也将对临床医生的培训和实践方式进行调整。戈德萨克表示：“技术是无生命的物体，人类如何与其互动才是问题所在，而不是技术本身的问题。我不想看到我们拥有高性能工具，而仍然依赖人类。”
(全文结束)
