随着人工智能日益融入医疗保健领域,医生们正越来越多地借助AI工具协助诊断、治疗规划甚至患者沟通。然而,不断积累的研究证据表明,其中部分系统(特别是大型语言模型)可能存在被操纵的漏洞——这一风险在医疗环境中可能产生严重后果。
近期发表在《自然医学》期刊的一项研究证实,"提示词注入攻击"(即设计恶意输入欺骗AI模型)可能导致危险的医疗建议。研究人员发现,通过微妙调整患者描述或添加特定短语,即可诱使AI系统推荐错误治疗方案或忽视关键病情。
斯坦福大学生物医学AI研究员艾米丽·卡特博士(未参与该研究)解释道:"这些模型虽经海量数据训练,但仍可能被利用其模式识别弱点的输入误导。在医疗决策直接关乎生命的场景中,这尤为令人警觉。"
该研究测试了多款广泛使用的医疗AI工具,包括电子健康记录系统集成的平台。尽管梅奥诊所和埃皮克系统公司等主流平台具备完善的安全措施,但小型或监管较弱的工具可能缺乏充分防护。
"对医生而言,AI的便捷性毋庸置疑,"卡特博士强调,"但他们必须保持警惕。理解这些工具的局限性对保障患者安全至关重要。"
专家建议医疗机构实施严格的AI输出验证协议,开发者应优先提升模型决策过程的透明度。美国食品药品监督管理局等监管机构也正着手应对这些挑战,预计今年晚些时候将出台新指南。
当医疗界拥抱人工智能潜力之际,创新与安全的平衡依然微妙。尽管AI在提升诊断准确性和效率方面效益显著,但相关风险真实存在。
【全文结束】

