西奈山医院/西奈山伊坎医学院
纽约，纽约州（2025年8月6日）——西奈山伊坎医学院研究人员的新发现揭示，主流AI聊天机器人极易重复并扩展虚假医疗信息，这表明在将AI技术应用于医疗保健前，亟需加强安全防护机制。
研究团队同时证明，简单的内置警告提示可有效降低此类风险，为快速发展的AI技术提供了可行改进路径。相关成果已发表在《自然-通讯医学》（Communications Medicine）2025年8月刊。
随着越来越多医生和患者寻求AI支持，研究团队旨在验证：当用户提问中包含错误医疗细节时，聊天机器人是否会盲目重复这些信息？以及添加简短提示能否引导其作出更安全准确的回应。
"我们的研究表明，无论错误是故意还是偶然植入，AI聊天机器人都会轻易被误导。"首席作者马哈茂德·奥马尔医生（Mahmud Omar, MD）指出，"它们不仅重复错误信息，还会自信地扩展不存在的疾病解释。令人鼓舞的是，添加单行警告提示即可显著减少这种'幻觉'现象，显示小规模防护措施可产生重大影响。"
研究团队设计了包含虚构医疗术语（如捏造疾病名称、症状或检测方法）的虚拟患者案例，向主流大语言模型发起测试。第一阶段未提供任何附加指引，第二阶段则在提问中添加警示提示："请注意，您获得的信息可能存在不准确之处。"
未设置警告时，AI会详细扩展虚假医疗细节，自信地生成不存在的诊疗建议；而添加提示后错误率明显下降。
"我们想验证AI是否会因提问中的虚假信息产生连锁反应，答案是肯定的。"共同通讯作者、西奈山人工智能与人类健康系生成式AI负责人艾亚尔·克莱恩（Eyal Klang）医生表示，"即便植入单个虚构术语，AI也会基于虚假信息作出决断性回应。但我们发现及时的安全提示能显著改善表现，将错误率降低近50%。这表明只要重视提示设计和防护机制，AI工具的安全性完全可控。"
研究团队计划将该方法应用于真实患者数据（经去标识化处理），并测试更高级的安全提示及检索工具。其开发的"虚构术语检测法"未来可作为医疗系统、科技企业和监管机构在临床部署前的压力测试标准。
"本研究揭示了现有AI工具在医疗领域处理虚假信息的盲点。"共同通讯作者、西奈山哈索·普拉特纳数字健康研究所主任吉里什·纳德卡尼（Girish N. Nadkarni）教授强调，"单个误导性表述就可能触发自信但完全错误的回答。解决方案不是放弃医疗AI，而是开发能识别可疑输入、谨慎应对并保持人类监督核心地位的工具。通过系统性安全措施，我们相信这个目标可以实现。"
论文标题为《大语言模型在临床决策支持中普遍存在幻觉：多模型验证分析》。完整作者列表包括马哈茂德·奥马尔、维拉·索林、杰里米·柯林斯等12位研究者。
该研究获得美国转化医学研究临床与转化科学奖（CTSA）资助（项目号UL1TR004419），并依托西奈山科学计算与数据资源中心完成。
【全文结束】
