纽约市历史上最大规模的护士罢工结束几周后,NYC Health and Hospitals的CEO提出了一项大胆愿景:用人工智能而非人类放射科医生来检查和诊断X光片。
在Crain's New York Business举办的一个小组讨论中,纽约11家医院的公共福利机构总裁兼CEO米切尔·卡茨公开表示希望用视觉语言AI模型替代高度训练的放射科专家。据Radiology Business报道,卡茨在小组讨论中表示:"如果我们准备应对监管挑战,我们现在就可以用AI替代大量放射科医生。"
据该媒体报道,卡茨提到的一个具体例子将特别影响女性医疗保健,即用AI工具自动化乳腺癌筛查。通过将放射科医生置于次要位置,直到AI系统标记读数为异常,卡茨宣称医院可以实现"重大节省"。
圣地亚哥North Coast Imaging的放射科医生穆罕默德·苏海勒告诉Radiology,卡茨的言论是"毫无疑问地证明了自信但无知的医院管理人员对患者来说是危险的",并且"很容易被那些远未有能力提供患者护理的AI公司所欺骗"。
苏海勒继续表示:"任何试图仅使用AI解读的尝试都会立即导致患者伤害和死亡,只有对放射学一无所知的人才会说出如此天真的话。但在某种意义上,他们是对的:只要合法,医院愿意削减成本,即使这意味着患者受到伤害。"
事实上,越来越多的研究表明,X光室中使用AI可能是一场灾难。
在一项尚未经过同行评审的研究中,斯坦福研究人员发现,基于前沿AI模型构建的AI胸部X光工具可以在从未见过实际X光图像的情况下通过医疗基准测试。这些最高评分的AI系统不会承认图像缺失,而是进行一种廉价的"魔术表演":为从未接触过的X光片上的发现构建一个复杂的解释。
这种情况超出了简单的AI幻觉,研究人员称之为AI"海市蜃楼"。与我们已经习惯的生成式AI错误不同,AI海市蜃楼从头到尾都非常理性。问题在于这些海市蜃楼没有任何依据,这意味着通常的幻觉防护措施不足以阻止它们。
斯坦福科学家写道:"在这种认识模仿中,模型模拟了导致答案的整个感知过程。这有助于解释为什么推理轨迹本身不能认证视觉推理:该轨迹可能流畅、连贯且看似基于图像,但实际上没有锚定在任何图像上。"
除了强化先前研究表明视觉语言AI模型在功能上是"盲目的",这项研究对任何转向AI以缩减其放射科部门的医院都有重大影响——更不用说任何不幸成为医疗影像海市蜃楼受害者的患者了。
【更多相关信息:ChatGPT Health在识别危及生命的医疗紧急情况方面表现极其糟糕】
【全文结束】

