AI聊天机器人会盲目重复医疗虚假信息吗？
研究人员发现，主流AI聊天机器人容易重复并扩展错误的医疗信息，这凸显了在医疗领域可靠应用前亟需加强安全防护措施的紧迫性。
研究团队同时证明，通过在提示词中嵌入简单的内置警告提示，能有效降低这类风险。这项成果为技术快速发展提供了实践路径。相关发现已发表于《自然》子刊《通讯医学》8月2日在线刊。
医疗AI中的幻觉风险
"我们发现所有AI聊天机器人都容易被错误医学细节误导，无论这些错误是有意植入还是无意发生。"研究第一作者Mahmud Omar医学博士表示，"它们不仅重复错误信息，还会自信地扩展解释那些根本不存在的病症。值得鼓舞的是，提示词中添加的单行警告能大幅减少这类'幻觉'，证明微小防护措施能产生显著效果。"
研究团队创建了包含虚构医学术语（如假想疾病、症状或检测方法）的虚拟患者场景，并提交给主流大语言模型。第一轮测试未提供额外指导，第二轮则在提示词中添加警告，提醒AI用户输入可能存在不准确信息。
防护机制显著降低错误率
未添加警告提示时，聊天机器人常规性地扩展虚假医学细节，自信生成不存在的病症或治疗方案解释。但添加提示后错误率显著下降。
"我们的目标是验证聊天机器人是否会基于医疗问题中的虚假信息产生连锁反应，结果证明情况确实如此。"共同通讯作者Eyal Klang医学博士指出，"即便植入单个虚构术语，也可能触发完全虚构的详细诊断。但及时的安全提示将错误率降低了近半数，这表明只要重视提示工程和内置防护，就能提升AI系统的安全性。"
研究团队计划将该方法应用于真实脱敏患者病例，并测试更先进的安全提示和检索工具。他们建议医疗机构、技术开发商和监管机构采用这种"假术语"测试方法，作为临床部署AI系统前的压力测试工具。
研究成果显示，通过优化提示词设计，医疗AI系统的安全性可得到显著提升。该研究为医疗AI的安全应用提供了重要方法论指导，特别是在临床决策支持系统的开发中，提示工程和内置安全机制应成为关键技术路径。
【全文结束】
