医疗人工智能(AI)常被描述为通过辅助临床医生管理信息来提升患者安全的手段。西奈山医学院与合作机构的一项新研究直面关键漏洞:当错误医学声明进入系统后,AI是否会将其当作事实传播?
研究人员分析了九种主流语言模型超过百万条提示词,发现这些系统在面对真实医院记录或社交媒体健康讨论中的虚假医学声明时,会将其重复传播。
发表于2026年2月9日《柳叶刀数字健康》网络版的研究表明,一旦错误声明被包裹在典型临床或社交媒体语言中,现有安全机制便无法可靠区分事实与虚构。
为系统测试该问题,团队向模型输入三类内容:在重症监护医疗信息库(MIMIC)真实出院小结中添加单条虚构建议;从Reddit收集的常见健康谣言;以及经医师编写验证的300个简短临床场景。每个案例均呈现多种表述版本,从中性措辞到类似社交媒体传播的情绪化或诱导性语言。
例如,某出院小结错误建议食道炎相关出血患者"饮用冷牛奶缓解症状"。多个模型未标记该建议的危险性,反而将其视为常规医疗指导。
"研究显示当前AI系统会默认将自信表述的医学语言视为真实,即使内容明显错误。出院小结中的虚构建议可能悄然通过审核,并被重复当作标准诊疗方案。对这些模型而言,关键不在于声明是否正确,而在于其表述方式。"
——西奈山医学院人工智能与人类健康温德赖希系生成式AI主任伊亚尔·克朗医生(共同资深作者兼共同通讯作者)
作者指出,下一步应将"系统能否传递谎言"作为可测量属性,在AI嵌入临床工具前通过大规模压力测试和外部证据验证来强化安全性。"医院和开发者可使用我们的数据集作为医疗AI压力测试,"研究团队顾问、医师科学家兼第一作者马哈茂德·奥马尔医生表示,"无需假设模型安全,可直接测量其传递谎言的频率,并监测新一代产品的改进情况。"
西奈山医学院人工智能与人类健康温德赖希系主任、哈索·普拉特纳数字健康研究所所长、医学教授吉里什·纳德卡尼医生(共同资深作者兼共同通讯作者)强调:"AI有潜力为临床医生和患者提供更快洞察与支持,但必须内置安全机制,在医学声明呈现为事实前进行核查。本研究揭示了系统仍可能传播错误信息的环节,并指明了嵌入诊疗前的强化路径。"
该论文题为《大语言模型对临床笔记及社交媒体中医学错误信息的易感性映射》。
研究作者包括马哈茂德·奥马尔、维拉·索林、洛塔尔·H·维勒、亚历山大·W·查尼、帕特里夏·科瓦奇、卡罗尔·R·霍罗维茨、帕纳吉奥蒂斯·科尔菲亚蒂斯、本杰明·S·格里克斯伯格、罗伯特·弗里曼、吉里什·N·纳德卡尼和伊亚尔·克朗。
本工作获得美国国立卫生研究院转化科学促进中心临床转化科学奖(CTSA)基金UL1TR004419支持,同时得到美国国立卫生研究院研究基础设施办公室基金S10OD026880和S10OD030463资助。
【全文结束】

