数百万人向聊天机器人咨询健康问题。但最新研究表明：人工智能出错的频率超乎想象——且可能带来危险后果。
西卡森——当研究人员尼古拉斯·蒂勒(Nicholas Tiller)开始将健康问题测试性地输入聊天机器人时，他预计会有一些不足之处——但没想到失败的程度如此之大。五种人工智能，250个问题，总共只有略高于50%的正确答案。根据蒂勒的评估，每五个错误答案中就有一个是危险的。"如果有人遵循这些建议，极有可能会受到伤害，"他说，"这真是一个相当大的震惊。"
聊天机器人在健康问题上表现出明显不足（示意图）。© 华盛顿邮报/华盛顿邮报插图；iStock
数百万美国人定期使用ChatGPT和Gemini等AI工具作为感冒、癌症等各种健康问题的首要咨询渠道。本月发布的两项研究表明，这可能不是一个特别好的主意——至少在没有高度怀疑态度的情况下。
研究显示AI在医学问题上存在明显弱点
蒂勒是Harbor-UCLA医学中心Lundquist生物医学创新研究所的研究助理，他在《BMJ Open》上发表了这项研究。Mass General Brigham的一个独立团队采用了完全不同的方法；这项研究发表在《JAMA Network Open》上。
这两项研究都是在真实条件下进行的测试，人们既提出开放式问题，也提出更结构化的封闭式问题，这些问题往往要求简洁、有限的答案——通常只有几个词——或是否答案。蒂勒的研究集中于经常被错误信息扭曲的主题，并提出诸如：5G会导致癌症吗？为了健康益处应该喝多少生牛奶？
诊断过程复杂——这正是许多模型失败的原因
在《JAMA Network Open》上发表的工作中，测试人员向21个模型呈现了模拟真实医疗情况的患者，并要求他们"扮演医生"。这项工作也给AI工具打出了不合格的成绩。这些结果与最近一项测试AI系统如何轻易被虚假信息渗透的实验相呼应。2024年，一个研究团队编造了一种疾病——"比克索尼亚症(bixonimania)"，并在互联网上散播完全虚构的研究，描述这是一种由过多屏幕时间引起的导致眼睛发红、发炎的障碍。研究人员甚至没有特别试图隐藏这个骗局。
两项研究都显示出明显的迹象：一所不存在的大学、一个虚构的城市，甚至一句内容为"整篇文章都是编造的"的句子。这无关紧要。几周内，聊天机器人就开始将这种疾病当作真实存在来处理，并在用户描述其症状时引用它。今年1月发表在《柳叶刀》上的一项研究表明，这个问题并非孤立的奇闻。即使是研究人员测试的最可靠的聊天机器人，仍会将超过10%的虚构主张视为真实；表现最差的接受了超过一半。
许多人使用聊天机器人获取健康信息
这些测试是使用通用AI工具进行的。自那以后，多家公司一直在努力改进其健康功能或推出专业AI应用程序。许多被评估的模型自研究期间以来已经更新，这可能会提高它们的性能。
四分之一的人使用聊天机器人获取健康信息，而在之前的30天内，年轻人更有可能使用AI获取与健康相关的信息或建议。这是本月发布的美国West Health-Gallup医疗中心第三项调查的结果，该调查询问了约5,600名成年人的全国代表性样本。其中不小的一部分人——14%或约1,400万人——报告说，由于从AI获取信息或建议而没有去看医生，尽管他们本来会去。
"显然，人们在医疗保健方面依赖未经验证的聊天机器人是极其令人担忧的，"West Health政策中心总裁蒂姆·拉什(Tim Lash)说，该中心是一家专注于老龄化和医疗保健可负担性的非营利、无党派组织。同时，他在数据中也看到了充满希望的迹象。受访者在信任方面分为三组：三分之一使用AI并信任它，三分之一使用它但不信任它，其余人则不确定。
为什么聊天机器人不能像医生那样思考
"这表明人们对信息质量的护栏和保护存在健康的担忧，"拉什说。当今流行的许多聊天机器人基于大型语言模型(LLM)，这些模型通过大量文本训练来理解语言。它们的最初目的是产生类似人类的语言。这些模型可以参考哈佛医学院或克利夫兰诊所等权威医学来源，但也纳入了社交媒体和问答论坛。
然而，医生的任务几个世纪以来基本保持不变：治疗和照顾疾病。一个核心挑战是确定患者的确切病因——在医学中称为鉴别诊断。这是一个收集症状、权衡测试结果并基于科学文献缩小到最可能原因的过程——带有人类直觉的成分。将AI聊天机器人导向医生掌握的复杂推理是一项挑战。
在2025年1月至12月进行的《JAMA Network Open》研究中，研究人员提出了29个案例，这些案例基于《默克手册》专业版中的案例——这是一本广泛使用的医学参考书——就像医学生或住院医师在培训中会遇到的那样。例如，告诉聊天机器人有一位30岁的腹痛患者，并询问该怎么做。AI系统——包括ChatGPT、Gemini、Claude、DeepSeek和Grok的各种版本——倾向于过早下结论，在80%的情况下是错误的。
从不确定、有限数据中得出结论
"当被要求从不确定、有限的数据中得出结论时，它们表现不佳，"Mass General Brigham的MESH孵化器执行主任、该研究的合著者之一马克·苏西(Marc Succi)说。在患者案例调查的后期阶段，当有更完整的信息时，这些模型反而表现良好。ChatGPT背后的公司OpenAI和Google(Gemini)拒绝发表评论。DeepSeek和xAI(Grok)没有回应置评请求。（《华盛顿邮报》与OpenAI有内容合作伙伴关系。）
开发Claude的Anthropic表示，当人们提出医学问题时，系统被训练承认其作为AI的局限性。"我们的使用政策很明确：医学诊断和患者护理被视为高风险应用，要求所有AI支持的内容或决策都必须经过合格的专业人员审查，"一位发言人说。
Mount Sinai Health的首席AI官、Mount Sinai医学院Icahn医学院人类健康AI部门主席吉里什·纳德卡尼(Girish Nadkarni)表示，这种差异揭示了当前聊天机器人一代的一个核心弱点：它们主要通过模式识别工作——当信息稀缺时，这种方法就会失败。
"人类拥有更普遍的智能。我们通过推理来理解情况，"纳德卡尼说，他没有参与这些新研究。"AI聊天机器人用它们拥有的数据进行插值，而不会从它们没有的数据中进行外推。"研究人员在结论中总结了这个问题："临床医生保持不确定性并迭代完善鉴别诊断，而LLM则过早地收敛到单一答案。"
自信且讨好——即使答案错误
BMJ Open团队使用了蒂勒所说的对抗性框架来"给AI模型施加压力"。2025年2月，他们测试了ChatGPT、Gemini、Meta AI、DeepSeek和Grok的版本。研究人员提出了10个关于五个热门新闻话题的开放式和封闭式问题：癌症、疫苗、干细胞、营养和运动表现。
他们根据准确性和完整性评估答案，并将其分为三类：无问题、有些问题或严重问题。AI在封闭式问题上表现比开放式问题好，但所有五个聊天机器人的答案质量相似。
"聊天机器人不是为医疗保健而设计的。……它们只是擅长说话，就像你走进汽车经销店时遇到的销售人员一样。"
蒂勒面临的一个大问题是模型表述答案时的自信程度。在250个问题中，只有一种AI——Meta AI——拒绝回答两次。一个问题涉及用于增肌的最佳合成代谢类固醇；回答是AI无法提供有关物质非法使用的任何信息。另一个问题涉及化疗的替代疗法，AI建议咨询医疗专业人员。
AI"极其罕见"地承认自己不知道
蒂勒说，这两个都是合理且负责任的回答。然而，"极其罕见"的情况是AI承认自己不知道某些事情，没有足够的信息来回答，或者质疑问题。
AI遇到困难的另一个领域是细微差别。例如，在关于新冠和疫苗的问题上，蒂勒说Grok包含了他所说的"虚假平衡的元素"，给人一种存在辩论的印象，而科学共识是疫苗可以预防严重疾病、住院和死亡。
"当人们阅读听起来权威的答案时，这给了它错误的可信度，"蒂勒说。他补充说，这些AI聊天机器人大多不会根据信息来源的可靠性来权衡信息，也不会验证其有效性。去年10月发表在《自然》出版物《npj Digital Medicine》上的一项早期研究表明，一个弱点可能是AI聊天机器人被设计得过于乐于助人和同意，这诱使它们不去质疑不合逻辑的医疗请求。
"结果显示了高度的初始同意意愿（所有模型高达100%），其中乐于助人优先于逻辑一致性，"作者写道。
公司正在回应——但专家呼吁明确的指导方针
公司已经在改进其AI系统处理健康问题的方式。Meta在4月8日宣布，它已发布了一个更新版本的AI，特别关注健康，并解释说它"与1,000多名医生合作收集培训数据，以实现更客观、更全面的回答"。OpenAI则与250多名不同专业的执业医生合作，以改进其最新模型的回答——包括更好地识别不确定性并更频繁地提出后续问题。
尽管如此，纳德卡尼认为需要第三方独立测试和指南，以及更广泛的公开辩论，讨论这种监督是否应以食品药品监督管理局或联邦贸易委员会等机构的正式监管形式进行，或者是否可以创建一个进行测试并颁发质量印章的行业协会。
"必须有一些指导方针，"纳德卡尼说。同时，蒂勒和苏西建议消费者将AI视为医疗专业人员的补充而非替代。"聊天机器人不是为医疗保健而设计的，"蒂勒说。"它们是为一件事而设计的：模仿对话中的语言流利度。它们只是擅长说话，就像你试图买车时遇到的销售人员一样。"
作者简介
Ariana Eunjung Cha 是国家记者。此前，她曾担任《邮报》上海和旧金山的办事处负责人，以及巴格达的通讯员。
这篇文章最初于2026年4月23日以英文发表在"Washingtonpost.com"上——作为合作的一部分，现在以翻译形式提供给IPPPEN.MEDIA门户网站的读者。
【全文结束】