医生日益依赖人工智能 但部分工具可能面临操纵风险Doctors are relying more on AI, but some tools may be open to manipulation

环球医讯 / AI与医疗健康来源:www.msn.com美国 - 英语2026-03-23 08:52:15 - 阅读时长2分钟 - 652字
随着人工智能在医疗领域的深度整合,医生们正广泛采用AI工具辅助诊断、治疗规划及患者沟通,但最新《自然医学》期刊研究揭示部分系统(尤其是大型语言模型)存在被恶意操纵的漏洞,例如通过精心设计的输入导致错误医疗建议,这引发了对患者安全的严重担忧;专家呼吁医疗机构实施严格的AI输出验证机制,开发者需提升算法决策透明度,同时美国食品药品监督管理局等监管机构正加速制定新规以平衡技术创新与医疗安全,确保人工智能真正成为可靠诊疗助手而非潜在风险源。
健康人工智能医疗保健医生AI工具操纵风险提示词注入攻击医疗建议患者安全验证协议透明度监管
医生日益依赖人工智能 但部分工具可能面临操纵风险

随着人工智能日益融入医疗保健领域,医生们正越来越多地借助AI工具协助诊断、治疗规划甚至患者沟通。然而,不断积累的研究证据表明,其中部分系统(特别是大型语言模型)可能存在被操纵的漏洞——这一风险在医疗环境中可能产生严重后果。

近期发表在《自然医学》期刊的一项研究证实,"提示词注入攻击"(即设计恶意输入欺骗AI模型)可能导致危险的医疗建议。研究人员发现,通过微妙调整患者描述或添加特定短语,即可诱使AI系统推荐错误治疗方案或忽视关键病情。

斯坦福大学生物医学AI研究员艾米丽·卡特博士(未参与该研究)解释道:"这些模型虽经海量数据训练,但仍可能被利用其模式识别弱点的输入误导。在医疗决策直接关乎生命的场景中,这尤为令人警觉。"

该研究测试了多款广泛使用的医疗AI工具,包括电子健康记录系统集成的平台。尽管梅奥诊所和埃皮克系统公司等主流平台具备完善的安全措施,但小型或监管较弱的工具可能缺乏充分防护。

"对医生而言,AI的便捷性毋庸置疑,"卡特博士强调,"但他们必须保持警惕。理解这些工具的局限性对保障患者安全至关重要。"

专家建议医疗机构实施严格的AI输出验证协议,开发者应优先提升模型决策过程的透明度。美国食品药品监督管理局等监管机构也正着手应对这些挑战,预计今年晚些时候将出台新指南。

当医疗界拥抱人工智能潜力之际,创新与安全的平衡依然微妙。尽管AI在提升诊断准确性和效率方面效益显著,但相关风险真实存在。

【全文结束】

猜你喜欢
  • 英伟达:70%的医疗机构如何应用人工智能英伟达:70%的医疗机构如何应用人工智能
  • ChatGPT健康版在急诊和自杀预防中的缺陷ChatGPT健康版在急诊和自杀预防中的缺陷
  • 微软推出专注于健康的AI聊天机器人微软推出专注于健康的AI聊天机器人
  • 网络热传用β受体阻滞剂治疗焦虑 安全吗?医生深度解析网络热传用β受体阻滞剂治疗焦虑 安全吗?医生深度解析
  • 健康领域中的AI聊天机器人:使用益处、风险及注意事项健康领域中的AI聊天机器人:使用益处、风险及注意事项
  • 青年创新者推出AI解决方案以扩大医疗可及性青年创新者推出AI解决方案以扩大医疗可及性
  • AI驱动筛查工具显著提升青光眼诊疗效果AI驱动筛查工具显著提升青光眼诊疗效果
  • 研究揭示AI医疗分诊系统中被忽视的缺陷研究揭示AI医疗分诊系统中被忽视的缺陷
  • 医疗转型最强大的工具不是人工智能——而是好奇心医疗转型最强大的工具不是人工智能——而是好奇心
  • 专家呼吁将慢性咳嗽纳入减肥针警告事项专家呼吁将慢性咳嗽纳入减肥针警告事项
热点资讯
全站热点
全站热文