ECRI将人工智能聊天机器人在医疗领域的误用列为年度健康技术危害之首。
这家非营利机构周三发布的报告指出，基于ChatGPT等大语言模型构建的聊天机器人可能提供虚假或误导性信息，导致患者遭受严重伤害。ECRI将聊天机器人误用置于电子系统突发中断和劣质假冒医疗产品可用性之前，列为本年度最大危害。
AI长期是ECRI关注的重点。2024年，医疗技术中AI监管不足位列该机构危害排名第五，而AI相关风险去年已登上榜首。
在2026年报告中，该机构将焦点转向AI聊天机器人。大语言模型会回答用户的健康问题，但ECRI指出，尽管聊天机器人回复听起来合理，这些工具曾建议错误诊断、推荐不必要检查、推广低质医疗用品甚至虚构人体器官。ECRI观察到的一个案例中，错误的电极放置位置建议会使患者面临烧伤风险。
尽管AI聊天机器人未经医疗用途验证，ECRI表示临床医生、患者和医护人员正日益在该场景中使用这些工具。OpenAI本月透露，发送至其ChatGPT模型的消息中超过5%涉及医疗健康。ChatGPT的8亿常规用户中，每四人就有一人每周提出医疗健康问题。
ECRI强调，用户必须认清模型局限性，在任何可能影响患者护理的场景中使用大语言模型时，需仔细核查回复内容。在警告聊天机器人不能替代专业医疗建议或专业判断的同时，ECRI指出高昂的医疗成本和医院或诊所关闭可能促使更多人依赖这些工具。
该机构将医疗机构对电子系统及患者信息突发中断缺乏准备列为2026年第二大危害，劣质和假冒医疗产品位列第三。
ECRI列出的其他七项危害多与医疗设备相关。该机构担忧胰岛素泵和连续血糖监测仪等糖尿病技术的召回和更新详情传递至患者及护理人员的速度过慢，建议制造商以清晰易懂的形式提供产品安全信息。
该机构还将遗留医疗设备的网络安全风险列为另一项危害。鉴于遗留设备普遍存在且鲜有机构能负担更换成本，ECRI建议采取断开网络连接等缓解措施。
【全文结束】
