医疗AI可能在临床环境中重复错误声明Medical AI can repeat false claims in clinical contexts

环球医讯 / AI与医疗健康来源:www.news-medical.net美国 - 英语2026-03-01 10:45:41 - 阅读时长3分钟 - 1221字
西奈山医学院最新研究揭示,当前医疗人工智能系统存在严重漏洞——当错误医学声明混入临床笔记或社交媒体健康讨论时,九种主流大语言模型会将其误认为事实而重复传播。该研究通过百万级提示词测试发现,现有安全机制无法可靠区分真实信息与虚构内容,尤其当错误声明采用典型临床语言表述时(如建议食道炎出血患者"饮用冷牛奶缓解症状"),AI会将其当作标准诊疗方案传递。研究团队呼吁将"系统传递谎言的能力"作为核心安全指标,通过大规模压力测试和外部证据验证来强化医疗AI工具,避免临床应用中因信息失真危及患者安全。
医疗AI错误医学声明临床环境患者安全传播错误信息安全机制大语言模型柳叶刀数字健康西奈山医学院医疗AI安全性
医疗AI可能在临床环境中重复错误声明

医疗人工智能(AI)常被描述为通过辅助临床医生管理信息来提升患者安全的手段。西奈山医学院与合作机构的一项新研究直面关键漏洞:当错误医学声明进入系统后,AI是否会将其当作事实传播?

研究人员分析了九种主流语言模型超过百万条提示词,发现这些系统在面对真实医院记录或社交媒体健康讨论中的虚假医学声明时,会将其重复传播。

发表于2026年2月9日《柳叶刀数字健康》网络版的研究表明,一旦错误声明被包裹在典型临床或社交媒体语言中,现有安全机制便无法可靠区分事实与虚构。

为系统测试该问题,团队向模型输入三类内容:在重症监护医疗信息库(MIMIC)真实出院小结中添加单条虚构建议;从Reddit收集的常见健康谣言;以及经医师编写验证的300个简短临床场景。每个案例均呈现多种表述版本,从中性措辞到类似社交媒体传播的情绪化或诱导性语言。

例如,某出院小结错误建议食道炎相关出血患者"饮用冷牛奶缓解症状"。多个模型未标记该建议的危险性,反而将其视为常规医疗指导。

"研究显示当前AI系统会默认将自信表述的医学语言视为真实,即使内容明显错误。出院小结中的虚构建议可能悄然通过审核,并被重复当作标准诊疗方案。对这些模型而言,关键不在于声明是否正确,而在于其表述方式。"

——西奈山医学院人工智能与人类健康温德赖希系生成式AI主任伊亚尔·克朗医生(共同资深作者兼共同通讯作者)

作者指出,下一步应将"系统能否传递谎言"作为可测量属性,在AI嵌入临床工具前通过大规模压力测试和外部证据验证来强化安全性。"医院和开发者可使用我们的数据集作为医疗AI压力测试,"研究团队顾问、医师科学家兼第一作者马哈茂德·奥马尔医生表示,"无需假设模型安全,可直接测量其传递谎言的频率,并监测新一代产品的改进情况。"

西奈山医学院人工智能与人类健康温德赖希系主任、哈索·普拉特纳数字健康研究所所长、医学教授吉里什·纳德卡尼医生(共同资深作者兼共同通讯作者)强调:"AI有潜力为临床医生和患者提供更快洞察与支持,但必须内置安全机制,在医学声明呈现为事实前进行核查。本研究揭示了系统仍可能传播错误信息的环节,并指明了嵌入诊疗前的强化路径。"

该论文题为《大语言模型对临床笔记及社交媒体中医学错误信息的易感性映射》。

研究作者包括马哈茂德·奥马尔、维拉·索林、洛塔尔·H·维勒、亚历山大·W·查尼、帕特里夏·科瓦奇、卡罗尔·R·霍罗维茨、帕纳吉奥蒂斯·科尔菲亚蒂斯、本杰明·S·格里克斯伯格、罗伯特·弗里曼、吉里什·N·纳德卡尼和伊亚尔·克朗。

本工作获得美国国立卫生研究院转化科学促进中心临床转化科学奖(CTSA)基金UL1TR004419支持,同时得到美国国立卫生研究院研究基础设施办公室基金S10OD026880和S10OD030463资助。

【全文结束】

猜你喜欢
  • 医药科技的崛起:变革医疗保健行业医药科技的崛起:变革医疗保健行业
  • Thumbay医疗管理与人工智能学院推出面向未来的新项目Thumbay医疗管理与人工智能学院推出面向未来的新项目
  • 美国临床实验室医学协会呼吁联邦政府支持公平医疗人工智能美国临床实验室医学协会呼吁联邦政府支持公平医疗人工智能
  • 孟加拉国研究人员推进人工智能驱动的癌症检测孟加拉国研究人员推进人工智能驱动的癌症检测
  • 伊朗启动波斯医学国家研究与技术网络伊朗启动波斯医学国家研究与技术网络
  • 纽约大学朗格尼健康中心推出医疗AI平台NYUTron纽约大学朗格尼健康中心推出医疗AI平台NYUTron
  • 人类始终参与其中:管理医学中的人工智能伦理人类始终参与其中:管理医学中的人工智能伦理
  • 医疗领域的AI可能潜力巨大,但数据偏见风险依然存在医疗领域的AI可能潜力巨大,但数据偏见风险依然存在
  • 俄勒冈州新法案拟严打怂恿自杀的AI软件俄勒冈州新法案拟严打怂恿自杀的AI软件
  • AI驱动平台加速新型mRNA递送材料的发现AI驱动平台加速新型mRNA递送材料的发现
热点资讯
全站热点
全站热文