在MedCity INVEST数字健康会议上,一组专家指出,AI幻觉可能并不总是有害的。相反,它们可能帮助人们识别数据中的缺口。
2025年9月22日,来自达拉斯MedCity INVEST数字健康会议的讨论聚焦于医疗AI领域常被担忧的"幻觉"现象——这在实践中究竟意味着什么?
普莱米尔公司(Premier Inc.)政府事务高级副总裁、会议主持人苏米·萨哈(Soumi Saha)表示,AI幻觉是指AI"发挥想象力"的行为,这有时会因提供错误信息而伤害患者。
数字医学协会(Digital Medicine Society)创始人兼首席执行官詹妮弗·戈尔斯达克(Jennifer Goldsack)将AI幻觉描述为"技术等效的胡说八道"。曼奈特律师事务所(Manatt, Phelps & Phillips)合伙人兰迪·赛格尔(Randi Seigel)将其定义为AI编造内容却"听起来像事实,让人不愿质疑"的情形。最后,库尔健康(Cohere Health)首席数据与AI官吉吉·袁(Gigi Yuen)指出,幻觉发生在AI"缺乏依据"且"不够谦逊"时。
幻觉是否总是有害?萨哈向小组成员提出这一问题,探讨幻觉能否帮助人们"识别数据或研究中的潜在缺口",从而揭示更多工作需求。
袁表示,当用户不知AI正在产生幻觉时,这种情况才是有害的。然而她补充道:"如果AI聊天机器人愿意向我说明它对自身言论的把握程度,我将非常乐意与其进行头脑风暴式对话。"
戈尔斯达克将AI幻觉类比为临床试验数据,认为缺失数据实际能向研究人员传递信息。例如,在心理健康临床试验中,缺失数据可能表明某人状态良好——正"享受生活"而非每日记录症状。但医疗行业常对缺失数据使用责备性语言,声称患者"依从性不足",而非反思数据缺失的真实含义。
她进一步指出,医疗行业往往将大量"价值判断强加于技术",但技术本身"并无价值观念"。因此,当医疗行业遭遇AI幻觉时,人类有责任探究原因并运用批判性思维。
戈尔斯达克强调:"如果我们无法让这些工具为我们所用,我很难想象未来如何构建可持续的医疗系统。我认为我们有责任保持好奇,警惕此类现象,并思考如何与其他法律框架进行比较对照,至少以此为起点。"
与此同时,曼奈特律师事务所的赛格尔强调,必须将AI教育纳入医学生和护理学生的课程体系,包括理解AI及如何向其提问。
她表示:"仅在年度培训中点击完成三小时的AI课程是远远不够的。我认为这必须是迭代式的学习过程,不能仅在一次性教学后,再通过其他年度培训中的刷新课程点击完成。"
【全文结束】