“每个人都认为AI会帮助我们提高医疗资源的获取和能力，改善护理质量等，”斯坦福医疗保健首席数据科学家Nigam Shah说，“这些都是美好的愿景，但如果它使医疗成本增加了20%，这是否可行呢？”
准备癌症患者进行艰难的决策是肿瘤医生的工作职责。然而，他们并不总是记得去做这件事。在宾夕法尼亚大学卫生系统，医生们被一种预测死亡风险的人工智能算法提醒，与患者讨论治疗方案及临终关怀的偏好。
但这种工具远非设置好就可以一劳永逸。一项2022年的研究显示，在新冠疫情期间，该算法的预测准确性下降了7个百分点。这很可能对现实生活产生了影响。埃默里大学肿瘤学家Ravi Parikh是这项研究的主要作者，他告诉KFF Health News，这个工具未能数百次提示医生与需要它的患者进行重要对话——可能阻止了不必要的化疗。
他认为，不仅是在宾夕法尼亚医学，许多旨在增强医疗服务的算法在疫情期间都出现了削弱。“许多机构并未常规监测其产品的性能”，Parikh说。
算法故障只是计算机科学家和医生长期以来承认的一个难题的一部分，现在这个问题开始让医院管理者和研究人员感到困惑：人工智能系统需要持续监控和人员投入来部署和维持其良好运行。
实际上：你需要更多的人和机器来确保这些新工具不会出错。
“每个人都认为AI会帮助我们提高医疗资源的获取和能力，改善护理质量等，”斯坦福医疗保健首席数据科学家Nigam Shah说，“这些都是美好的愿景，但如果它使医疗成本增加了20%，这是否可行呢？”
政府官员担心医院缺乏资源来验证这些技术的有效性。“我到处寻找，”FDA专员Robert Califf在一个最近的AI专题小组上说，“我不相信在美国有任何一个医疗系统有能力验证一个临床护理系统中使用的AI算法。”
AI已经在医疗保健中广泛应用。算法用于预测患者的死亡或恶化风险，建议诊断或分流患者，记录和总结访问以减轻医生的工作负担，以及批准保险索赔。
如果技术布道者是对的，这项技术将成为普遍现象——并且有利可图。投资公司Bessemer Venture Partners已经确定了大约20家专注于医疗健康的AI初创公司，预计每家公司每年将获得1000万美元的收入。FDA已经批准了近一千种人工智能产品。
评估这些产品是否有效具有挑战性。评估它们是否继续有效——或者是否出现了软件故障——更加困难。
例如，耶鲁医学最近的一项研究评估了六种“早期预警系统”，这些系统会在患者可能出现快速恶化时提醒临床医生。芝加哥大学医生Dana Edelson和她共同创立的一家公司为该研究提供了一种算法。超级计算机运行了几天的数据，结果显示这六种产品的性能差异巨大。
对于医院和提供者来说，选择最适合他们需求的最佳算法并不容易。普通医生并没有超级计算机，也没有类似《消费者报告》的AI评估标准。
“我们没有任何标准，”美国医学会前任主席Jesse Ehrenfeld说，“今天我没有可以指向的标准，关于如何评估、监控、查看已部署模型或算法（无论是AI还是其他）的性能。”
医生办公室中最常见的AI产品之一被称为环境记录，这是一种能够听取和总结患者访问的技术助手。去年，Rock Health投资者追踪到有3.53亿美元流入这些记录公司。但是，Ehrenfeld说，“目前还没有比较这些工具输出的标准。”
当即使是小错误也可能造成毁灭性后果时，这是一个问题。斯坦福大学的一个团队尝试使用大型语言模型——如ChatGPT背后的技术——来总结患者的病史。他们将结果与医生的记录进行了比较。
“即使在最好的情况下，这些模型的错误率也达到了35%”，斯坦福大学的Shah说。在医学中，“当你写总结时，如果遗漏了一个词，比如‘发烧’——这确实是一个问题，对吧？”
有时算法失败的原因相当合理。例如，基础数据的变化会侵蚀其有效性，就像医院更换实验室提供商时一样。
然而，有时陷阱毫无缘由地出现。
波士顿麻省总医院个性化医学项目的科技主管Sandy Aronson说，当他的团队测试一种帮助遗传咨询师定位相关文献的应用程序时，该产品出现了“非确定性”——即在短时间内多次询问同一问题时，它给出了不同的结果。
Aronson对大型语言模型为超负荷工作的遗传咨询师总结知识的潜力感到兴奋，但他表示“技术需要改进”。
如果指标和标准稀缺，错误可能出于奇怪的原因出现，那么机构应该怎么做呢？投入大量资源。在斯坦福，Shah说，仅为了审计两个模型的公平性和可靠性，就花费了8到10个月的时间和115个人工小时。
接受KFF Health News采访的专家提出了让人工智能监控人工智能的想法，再由一名（人类）数据专家进行监控。所有专家都承认，这将要求组织花费更多资金——鉴于医院预算的现实和AI技术专家的有限供应，这是一个艰难的要求。
“拥有一个愿景很好，其中我们融化冰山以监控模型的模型，”Shah说，“但这真的是我想要的吗？我们需要多少更多的人手呢？”
(全文结束)
