AI聊天机器人滥用位列年度健康技术隐患榜首Misuse of AI chatbots tops annual list of health technology hazards

环球医讯 / AI与医疗健康来源:home.ecri.org美国 - 英文2026-01-24 10:30:37 - 阅读时长3分钟 - 1379字
ECRI最新发布的2026年健康技术十大隐患报告将AI聊天机器人滥用列为首要风险,指出依赖大型语言模型的医疗聊天工具因缺乏医疗设备监管而可能提供错误诊断、推荐劣质医疗器械甚至虚构人体结构,已导致电外科电极误置等危险案例;报告同时警示系统断网准备不足、劣质医疗器械泛滥、家用糖尿病设备召回失效等隐患,并强调医疗AI可能加剧健康不平等,建议建立AI治理委员会、加强临床培训及信息交叉验证以保障患者安全,该年度报告基于六十年安全监测数据为全球医疗系统提供风险防控指南。
健康技术隐患AI聊天机器人滥用医疗领域患者安全ECRI错误信息医疗专业人员健康不平等AI局限性负责任使用
AI聊天机器人滥用位列年度健康技术隐患榜首

人工智能(AI)聊天机器人在医疗领域的滥用问题位居2026年最具影响力健康技术隐患榜单首位。该报告由独立无党派患者安全组织ECRI年度编制。

依赖大型语言模型(LLMs)的聊天机器人——如ChatGPT、Claude、Copilot、Gemini和Grok——能针对用户提问生成类人化且看似专业的回答。这些工具既未被监管为医疗器械,也未经医疗用途验证,却日益被临床医生、患者及医疗人员使用。据OpenAI近期分析显示,每日超4000万人通过ChatGPT获取健康信息。

ECRI指出,聊天机器人虽能提供有价值辅助,但亦可能给出错误或误导性信息,导致重大患者伤害。因此ECRI建议:凡涉及患者诊疗的信息获取均需谨慎使用聊天机器人。AI系统并非真正理解语境或含义,而是基于训练数据模式预测词序生成回复。其设计旨在通过自信表述和强制应答取悦用户,即使答案不可靠。

"医学本质上是人类事业。聊天机器人虽是强大工具,但算法无法替代医疗专业人员的专业知识、教育背景和实践经验,"ECRI总裁兼首席执行官马库斯·沙巴克医学博士、哲学博士表示,"实现AI价值的同时保障民众安全,需要严格的监督机制、详尽的指导规范以及对AI局限性的清醒认知。"

ECRI专家指出,聊天机器人曾建议错误诊断、推荐不必要检测、推广劣质医疗用品,甚至在医疗咨询中虚构人体结构。例如当ECRI询问是否可将电外科回路电极置于患者肩胛骨时,某聊天机器人错误宣称该位置适当——若依此操作将使患者面临灼伤风险。

随着医疗成本攀升及医院诊所关闭导致就医渠道缩减,更多患者可能将聊天机器人作为专业医疗建议的替代品,此举带来的健康决策风险恐将进一步加剧。ECRI患者安全专家将于1月28日网络直播中深入探讨医疗AI聊天机器人的隐性危险。

据ECRI分析,聊天机器人还可能加剧现有健康不平等。训练数据中嵌入的任何偏见都会扭曲模型对信息的解读,导致强化刻板印象和不平等的回复。

"AI模型反映其训练所依据的知识和信念,包括所有偏见,"沙巴克博士强调,"若医疗利益相关方不够谨慎,AI可能进一步固化数十年来人们致力于消除的医疗系统差异。"

ECRI报告提出明智使用聊天机器人的建议:患者、临床医生及其他用户应充分认知工具局限性,并始终通过专业来源验证聊天机器人获取的信息;医疗机构则可通过设立AI治理委员会、为临床医生提供AI培训、定期审计AI工具性能等方式促进负责任使用。

2026年健康技术十大隐患排名如下:

  1. 医疗领域AI聊天机器人滥用
  2. 突发电子系统及患者信息中断事件("数字黑暗"事件)准备不足
  3. 劣质及伪造医疗器械
  4. 家用糖尿病管理设备召回信息传递失效
  5. 注射器或导管与患者管线错误连接(尤其在ENFit和NRFit标准推广缓慢背景下)
  6. 围手术期用药安全技术应用不足
  7. 医疗设备清洁说明不完善
  8. 陈旧医疗设备引发的网络安全风险
  9. 促使临床工作流程不安全的健康技术实施
  10. 器械灭菌过程中的水质问题

ECRI《健康技术十大隐患报告》今年进入第18个年头,通过严格审查流程甄选议题,综合事故调查、数据库报告及独立医疗器械测试结果。自2008年发布以来,该报告持续助力医院、医疗系统、门诊手术中心及制造商化解风险。

【全文结束】

猜你喜欢
  • OpenAI、Anthropic与谷歌:科技巨头的医疗健康领域霸权争夺战OpenAI、Anthropic与谷歌:科技巨头的医疗健康领域霸权争夺战
  • 亚马逊为一医疗会员推出健康AI聊天机器人亚马逊为一医疗会员推出健康AI聊天机器人
  • 帮助痴呆症患者在医疗护理中拥有发言权帮助痴呆症患者在医疗护理中拥有发言权
  • 德克萨斯州要求医疗服务提供者向患者披露人工智能在医疗服务中的使用情况德克萨斯州要求医疗服务提供者向患者披露人工智能在医疗服务中的使用情况
  • 特朗普"老年"手部淤青引发健康担忧 批评者联想到女王伊丽莎白临终前症状特朗普"老年"手部淤青引发健康担忧 批评者联想到女王伊丽莎白临终前症状
  • 阿巴拉契亚药物危机解决方案:东田纳西州立大学研究瞄准成瘾新疗法阿巴拉契亚药物危机解决方案:东田纳西州立大学研究瞄准成瘾新疗法
  • 健康成为科技巨头人工智能竞争的核心战场健康成为科技巨头人工智能竞争的核心战场
  • 新不伦瑞克省政府报告称未发现神秘脑部疾病的证据新不伦瑞克省政府报告称未发现神秘脑部疾病的证据
  • 人工智能在医疗健康领域的未来:智能科技如何拯救生命人工智能在医疗健康领域的未来:智能科技如何拯救生命
  • 医疗数据与人工智能在威斯康星大学欧克莱尔分校荣誉课程中交汇医疗数据与人工智能在威斯康星大学欧克莱尔分校荣誉课程中交汇
热点资讯
全站热点
全站热文