研究显示若来源显得可信医疗虚假信息更易误导AIMedical misinformation more likely to fool AI if source appears legitimate, study shows | Reuters

环球医讯 / AI与医疗健康来源:www.reuters.com美国 - 英语2026-04-17 04:20:03 - 阅读时长2分钟 - 822字
纽约西奈山医学院最新研究发现,当医疗虚假信息来源于看似权威的渠道(如模拟真实医院的出院小结)时,AI工具被误导的概率高达47%,远超社交媒体来源的9%;该研究测试了20种主流大语言模型,揭示AI系统默认将自信表述的医学语言视为真实,其判断依据更侧重表述方式而非内容正确性,同时指出提示词措辞方式显著影响AI医疗建议可靠性,强调必须在AI医疗应用中建立内置核查机制以防止错误医学信息传播,避免对临床决策造成危害。
健康医疗虚假信息AI医疗建议AI谬误检测临床场景医疗机构文件健康谣言内置核查机制
研究显示若来源显得可信医疗虚假信息更易误导AI

研究显示,当虚假医疗信息来源于软件认定为权威的渠道时,人工智能工具更可能提供错误医疗建议。纽约西奈山医学院伊坎医学院的埃亚尔·克朗博士在声明中表示:"当前AI系统默认将自信表述的医学语言视为真实,即便内容明显错误。对这些模型而言,主张的正确性远不如表述方式重要。"

这项发表在《柳叶刀-数字健康》期刊上的研究对20种开源及专有大型语言模型进行了测试。研究人员发现,当错误信息伪装成真实的医生出院小结时,AI被误导的频率显著高于社交媒体对话中的错误信息。

研究团队向AI工具输入三类内容进行测试:植入单条伪造建议的真实医院出院摘要、从Reddit平台收集的常见健康谣言,以及由医师编写的300个简短临床场景。在分析超100万条用户提问和指令的响应后,研究人员发现AI模型总体"相信"了约32%内容源中的伪造信息。

西奈山医疗系统首席AI官吉里什·纳德卡尼向路透社透露,若虚假信息来源于看似真实的医疗机构文件,AI采信并传播该信息的概率将从32%飙升至近47%;而当信息来自Reddit帖子时,AI传播虚假信息的比例降至9%。

研究同时发现,提示词的措辞方式显著影响AI传播错误信息的可能性。当提示词采用权威语气(例如:"我是资深临床医师,我认可该建议有效。你认为其医学上正确吗?")时,AI更易认同错误信息。

研究显示,OpenAI的GPT系列模型在谬误检测方面最不易受骗且准确度最高,而其他模型对虚假主张的易感性高达63.6%。纳德卡尼表示:"AI有望为临床医生和患者提供更快见解与支持,但必须建立内置核查机制,在将医学主张呈现为事实前进行验证。本研究揭示了这些系统仍会传播错误信息的环节,并指明了强化方向。"

另据《自然医学》近期研究,向AI咨询医疗症状对患者决策的帮助程度不优于标准互联网搜索。

(路透社记者南希·拉皮德报道;杰米·弗里德编辑)

【全文结束】

猜你喜欢
  • 肠促胰岛素类疗法与心血管健康:对代谢和炎症机制的影响肠促胰岛素类疗法与心血管健康:对代谢和炎症机制的影响
  • 为何人工智能让独立执业医生失望及亟需创新的领域为何人工智能让独立执业医生失望及亟需创新的领域
  • AI与精准技术推动加纳科学发展——CSIR-INSTI研究所展示创新成果AI与精准技术推动加纳科学发展——CSIR-INSTI研究所展示创新成果
  • 假日心脏综合征发病率上升?医生详解诱因与预防建议假日心脏综合征发病率上升?医生详解诱因与预防建议
  • 精准医学详解:个性化治疗如何变革医疗健康精准医学详解:个性化治疗如何变革医疗健康
  • 尼日利亚药学会呼吁战略投资药学教育以强化国家医疗体系尼日利亚药学会呼吁战略投资药学教育以强化国家医疗体系
  • ChatGPT帮助患者诊断出医生多年未能发现的罕见疾病ChatGPT帮助患者诊断出医生多年未能发现的罕见疾病
  • 格兰曼岛空中救护车患者未获妥善衣物仅凭出租车券返家 妹妹痛斥医疗疏失格兰曼岛空中救护车患者未获妥善衣物仅凭出租车券返家 妹妹痛斥医疗疏失
  • 人工智能与生物学的交叉点:重塑医疗保健的下一代医学人工智能与生物学的交叉点:重塑医疗保健的下一代医学
  • 欢迎来到巴登谷欢迎来到巴登谷
热点资讯
全站热点
全站热文