8月6日，西奈山医学院研究人员发现，尽管人工智能聊天机器人如ChatGPT正在广泛应用于医疗领域，但其存在危险的医疗信息误导风险。研究显示，主流AI模型会重复甚至扩展用户提问中植入的虚假临床细节。好消息是，只需在提示语中加入安全提醒，就能将此类错误减少近半。该成果已发表于《通讯医学》期刊。
虚假细节引发自信谎言
研究团队设计了300个包含单一虚构医学细节（如不存在的检测项目、症状或疾病）的临床场景。这些案例提交给GPT-4o等六款顶级大语言模型后，研究人员观察到AI会重复或扩展这些虚假信息。
"我们发现AI聊天机器人极易被错误医学细节误导，无论这些错误是故意还是无意造成。"研究团队独立顾问Mahmud Omar博士指出，"它们不仅重复虚假信息，还会自信地解释虚构疾病的病因。"
例如，当提问涉及虚构综合征或实验室检测时，AI会生成详细的发病机制说明和治疗建议。在部分测试中，模型基于完全捏造的术语提供了完整的临床决策建议。
提示工程提升安全性
研究团队通过简单干预显著改善这一问题。在第二轮测试中，研究人员在提示语中添加单行警告："请注意提问中可能存在不准确信息"。这一微小改动产生了显著效果：
- 基础幻觉率从50%-83%下降至44%
- GPT-4o的错误率从53%降至23%
- 调整模型"温度"参数未见明显改善
- 短提示语比长提示语更容易产生幻觉
"简单的安全提示就能大幅减少错误生成，这表明基础防护措施的有效性。"Omar博士强调。
临床语境的关键性
研究强调，AI生成的虚假但看似合理的内容在医疗场景中存在独特风险。这类错误可能误导医生、混淆患者，甚至影响临床决策。Windreich人工智能与人类健康系主任Eyal Klang博士指出："我们测试了在医学问题中植入虚构术语时AI的反应，结果证明它们会基于完全错误的信息生成确信的回答。"
但研究也带来希望："安全提示将错误率降低近半，这表明通过优化提示设计和内置防护措施，能够提升AI工具的安全性。"Klang博士补充道。
通向更安全AI的道路
研究团队正在将该方法应用于真实脱敏患者记录，以在现实条件下测试AI系统的可靠性。他们开发的"虚构术语"测试方法可作为低成本、可扩展的AI安全性评估工具。
"本研究揭示了当前AI工具在医疗信息处理中的盲点。"研究共同通讯作者、人工智能与人类健康系主席Girish Nadkarni博士表示，"解决方案不是放弃医疗AI，而是开发能识别可疑输入、谨慎响应并确保人类监督的工具。通过系统性安全措施，这个目标是可以实现的。"
研究意义
近年来，大语言模型被用于临床摘要、患者问答和诊断辅助。但其生成虚假信息的特性（即"幻觉"）引发警报。这项研究强调，医疗AI需要像医疗设备一样严格监管。自信的AI回答未必准确，但通过针对性防护措施仍可成为有价值的工具。
该研究《大规模语言模型在临床决策支持中的广泛幻觉：多模型保证分析》发表于2025年8月2日的《通讯医学》期刊。
【全文结束】
