几乎所有人都知道，AI淘金热已经到来。而在医疗领域，这场热潮的规模和速度尤为惊人。这指向了一个重要的推论：务必警惕。
人工智能技术已经帮助放射科医生识别出人类用户遗漏的图像异常。它在减轻医生行政事务负担方面也显现出一定优势——例如处理保险索赔和安排预约，这些工作原本会占用大量本应用于诊疗患者的时间。
然而，AI也被指控在手术过程中向外科医生提供错误信息，使患者面临严重受伤的风险；此外，它还引起了用户的恐慌——人们将AI随口给出的回复当作了正式诊断。
AI公司大力推销的直面消费者应用，如OpenAI的ChatGPT Health和Anthropic的Claude for Healthcare（两者均于今年1月推出），尤其引发医疗专业人士的担忧。因为这些应用面向的用户可能不了解它们容易输出错误信息和不当建议的倾向。
“最终，很多这样的技术会变得非常出色，但我们还没到那一步。”与拉霍亚斯克里普斯研究所合作的心脏病专家埃里克·托波尔说道。
“它们在没有充分锚定安全性、质量和一致性的情况下就被推出，这让我感到担忧。”托波尔表示，“它们需要更严格的测试。我认为的问题在于，这些努力很大程度上源于商业利益——各家公司疯狂竞争，想要率先推出面向患者的应用，哪怕它尚未完全准备好。”
这正是《华盛顿邮报》科技专栏作家杰弗里·A·福勒的亲身经历。他将苹果手表十年来的健康数据提供给ChatGPT，结果收到了关于心脏健康的严重警告，吓得他赶紧去看心脏病专家，而专家告诉他，他的健康状况非常好。
福勒还咨询了托波尔，后者审查数据后认为聊天机器人的警告“毫无根据”。Anthropic的聊天机器人也给福勒评了一个健康等级，托波尔同样认为这个等级值得怀疑。
“Claude的设计目的是帮助用户理解并整理他们的健康信息，其回复被定位为一般健康信息，而非医疗建议。”Anthropic的一位发言人通过电子邮件告诉我，“它可以提供临床背景——例如解释某次化验值与诊断阈值的比较——同时明确说明正式诊断需要专业评估。”
OpenAI没有回应我关于其消费者应用安全性和可靠性问题的询问。
托波尔曾就医学中的先进技术撰写了大量文章，他绝不是AI怀疑论者。他称自己为AI乐观主义者，并引用了多项研究，证明人工智能可以帮助医生更有效地治疗患者，甚至改善他们的床旁态度。
但他警告说：“医疗领域无法容忍重大错误。我们必须尽量减少错误、幻觉、编造、胡说八道和谄媚行为”——这些都是AI技术常见的问题。
在医学领域，如同在其他许多领域一样，AI似乎被过度宣传为一种节省劳动力的技术。根据本月早些时候发表在《柳叶刀》上的一项研究，为大约100个英国医疗团体配备的AI智能听诊器在某些（而非所有）心力衰竭迹象的识别上优于传统听诊器。但在为期12个月的研究期间，40%的团体放弃了这些新设备。主要原因是用户感受到“额外的工作流程负担”——这表明，无论新技术有何优点，都不足以抵消使用它们所需的时间和精力。
其他研究发现，当医生学会信任其AI工具，并且这些工具被用于相对简单甚至通用的场景时，AI可以增强医生的技能。
最显著的益处出现在放射学领域。根据去年发表的一项荷兰研究，使用AI辅助解读乳腺X光片的放射科医生在发现癌症方面的表现与两名放射科医生合作时相当。这表明明智地使用AI可以释放一名放射科医生的时间。但在这个案例中，AI助手也并非始终表现良好。“AI会遗漏一些由人类评估发现的乳腺癌，”一位研究作者说，“但它也能发现另外一些被解读放射科医生遗漏的乳腺癌，检出数量大致相当。”
AI对医疗领域的渗透甚至成为了一种文化标志：在HBO最新急救室系列剧《The Pitt》中，疲惫不堪的急诊室医生发现，一款作为省时记录工具强推给他们的AI应用“幻觉”出一名患者有阑尾炎病史，从而危及患者的治疗。“生成式AI并不完美，”该应用的赞助商回应道，“我们仍然需要核对它创建的每一份记录。”——这准确地承认，AI可能增加而非减轻用户的工作量。
机器人执行外科手术或做出准确诊断的未来仍然是科幻小说的情节。在医学领域，与在其他领域一样，AI技术已被证明善于接手人类可自动化的任务，但在需要人类独创性或创造力——或精确性——的情况下则不适用。并且，利用AI相关算法进行医疗判断的尝试已在法庭上受到挑战。
2023年在明尼苏达州联邦法院提起的一项集体诉讼中，五名医疗保险患者及其他三名患者的遗属指控，美国最大的医疗保险公司UnitedHealth Group依赖AI算法拒绝为他们提供护理，该算法“以90%的错误率……推翻了主治医生关于必要医疗护理的判断”。此案仍在审理之中。在辩护中，UnitedHealth声称是否批准或拒绝护理的决定“完全由公司雇用的医生和其他临床专业人员掌握”，他们对护理和覆盖范围的判断符合医疗保险标准。原告所指的AI算法，UnitedHealth表示并非用于“拒绝会员的护理或做出不利的医疗必要性覆盖判定”，而是帮助医生和患者“预测和规划未来的护理需求”。该公司否认原告关于算法90%错误率的说法。
“我们不应该对AI工具的错误掉以轻心。”托波尔告诉我。但值得怀疑的是，AI健康应用的推广者们是否真的接受这一信息。根据斯坦福大学和加州大学伯克利分校研究人员的调查，警告AI回复“未经专业审核，不能替代医疗建议”的免责声明几乎已从AI平台上消失。研究人员警告说，随着聊天机器人语言变得愈发复杂和流畅，激发了人们对它们结论的过度自信，这个问题变得愈发紧迫。“用户可能会将AI生成的内容误解为专家指导，”他们写道，“从而导致治疗延误、不当的自我护理，或对未经验证的信息产生错误信任。”
通常，州法律要求医疗诊断和临床决策必须基于执业医师的体检以及对患者医疗史和家族史的全面评估。这些法律不一定排除医生使用AI来帮助制定诊断或治疗计划，但医生必须保持主导权。美国食品药品监督管理局（FDA）将医疗器械免于政府许可的条件是，它们“旨在用于患者教育，并且……不用于诊断疾病或其他状况。”这可能涵盖AI机器人，只要它们不做出诊断。
但是，这可能无助于那些自愿将医疗史和检测结果上传到AI机器人的用户——他们可能并不知道其中的担忧，包括他们的信息能否被保密，或在保险决策中被对己不利。上传数据中的空白可能会影响他们从机器人那里得到的建议。而且，由于机器人除了被输入的内容外一无所知，它们的医疗输出可能反映基础数据中的文化偏见，例如疾病发病率和治疗中的种族差异。
“如果所有数据中出现一个错误，你就可能陷入相当严重的焦虑发作。”托波尔说，“患者应该核实，而不是仅仅相信”他们从机器人那里听到的。
托波尔警告说，误导性AI信息的负面影响可能不仅落在患者身上，也可能落在AI领域本身。“公众实际上无法区分不同的机器人，”他告诉我，“我们只需要一些关于误诊或危险建议的‘恐怖故事’，整个领域就会被抹黑。”
在他看来，这将限制那些能在很多方面提高医疗实践效果的技术的前景。补救措施是让AI应用接受与“一种药物、一种器械、一种诊断”相同的临床标准。“我们不能因为它是一种新的或不同的东西，具有某种广泛吸引力，就降低门槛。”
【全文结束】