AI幻觉:它们是什么?是否总是有害?AI Hallucinations: What Are They and Are They Always Bad? - MedCity News

环球医讯 / AI与医疗健康来源:medcitynews.com美国 - 英语2025-09-23 19:13:48 - 阅读时长3分钟 - 1217字
本文报道了2025年9月在达拉斯举行的MedCity INVEST数字健康会议上专家小组的深度讨论,核心议题是人工智能幻觉在医疗领域的表现与影响;与会专家一致认为AI幻觉并非总是负面现象,它可能帮助识别数据或研究中的空白,例如缺失数据有时反映患者康复良好;同时强调医疗行业需摒弃对技术的价值评判,转而培养医护人员的批判性思维与AI素养,将AI教育系统化纳入医学培训体系,以确保未来可持续医疗系统的构建,这对推动医疗人工智能负责任应用具有关键指导意义。
数字健康医疗AIAI幻觉数据缺口患者伤害批判性思维AI教育医学生护理学生可持续医疗系统
AI幻觉:它们是什么?是否总是有害?

在MedCity INVEST数字健康会议上,一组专家指出,AI幻觉可能并不总是有害的。相反,它们可能帮助人们识别数据中的缺口。

2025年9月22日,来自达拉斯MedCity INVEST数字健康会议的讨论聚焦于医疗AI领域常被担忧的"幻觉"现象——这在实践中究竟意味着什么?

普莱米尔公司(Premier Inc.)政府事务高级副总裁、会议主持人苏米·萨哈(Soumi Saha)表示,AI幻觉是指AI"发挥想象力"的行为,这有时会因提供错误信息而伤害患者。

数字医学协会(Digital Medicine Society)创始人兼首席执行官詹妮弗·戈尔斯达克(Jennifer Goldsack)将AI幻觉描述为"技术等效的胡说八道"。曼奈特律师事务所(Manatt, Phelps & Phillips)合伙人兰迪·赛格尔(Randi Seigel)将其定义为AI编造内容却"听起来像事实,让人不愿质疑"的情形。最后,库尔健康(Cohere Health)首席数据与AI官吉吉·袁(Gigi Yuen)指出,幻觉发生在AI"缺乏依据"且"不够谦逊"时。

幻觉是否总是有害?萨哈向小组成员提出这一问题,探讨幻觉能否帮助人们"识别数据或研究中的潜在缺口",从而揭示更多工作需求。

袁表示,当用户不知AI正在产生幻觉时,这种情况才是有害的。然而她补充道:"如果AI聊天机器人愿意向我说明它对自身言论的把握程度,我将非常乐意与其进行头脑风暴式对话。"

戈尔斯达克将AI幻觉类比为临床试验数据,认为缺失数据实际能向研究人员传递信息。例如,在心理健康临床试验中,缺失数据可能表明某人状态良好——正"享受生活"而非每日记录症状。但医疗行业常对缺失数据使用责备性语言,声称患者"依从性不足",而非反思数据缺失的真实含义。

她进一步指出,医疗行业往往将大量"价值判断强加于技术",但技术本身"并无价值观念"。因此,当医疗行业遭遇AI幻觉时,人类有责任探究原因并运用批判性思维。

戈尔斯达克强调:"如果我们无法让这些工具为我们所用,我很难想象未来如何构建可持续的医疗系统。我认为我们有责任保持好奇,警惕此类现象,并思考如何与其他法律框架进行比较对照,至少以此为起点。"

与此同时,曼奈特律师事务所的赛格尔强调,必须将AI教育纳入医学生和护理学生的课程体系,包括理解AI及如何向其提问。

她表示:"仅在年度培训中点击完成三小时的AI课程是远远不够的。我认为这必须是迭代式的学习过程,不能仅在一次性教学后,再通过其他年度培训中的刷新课程点击完成。"

【全文结束】

大健康

猜你喜欢

  • 健康人工智能联盟与联合委员会发布医疗机构AI使用指导文件健康人工智能联盟与联合委员会发布医疗机构AI使用指导文件
  • AI工具可提前20年预测患者健康问题AI工具可提前20年预测患者健康问题
  • 智能体AI或使医疗健康领域陷入法律灰色地带 律师警告智能体AI或使医疗健康领域陷入法律灰色地带 律师警告
  • 探索医生AI聊天机器人在现代医疗保健中的潜力探索医生AI聊天机器人在现代医疗保健中的潜力
  • 医疗AI中的合成数据转向:机遇与风险医疗AI中的合成数据转向:机遇与风险
  • AI有望在10年内"消除所有主要疾病",助力早期诊断AI有望在10年内"消除所有主要疾病",助力早期诊断
  • 构建医疗保健中负责任人工智能的共识构建医疗保健中负责任人工智能的共识
  • 如何确保医疗工作者从人工智能中受益如何确保医疗工作者从人工智能中受益
  • 医疗保健中的人工智能:机遇、挑战与基础医疗保健中的人工智能:机遇、挑战与基础
  • 编程模拟7岁女孩行为的AI机器人在医院带来不同层次的关怀编程模拟7岁女孩行为的AI机器人在医院带来不同层次的关怀
  • 可穿戴设备通过AI模式识别标记心脏衰竭早期迹象可穿戴设备通过AI模式识别标记心脏衰竭早期迹象
  • 急诊医学创伤与重症监护更新会议今日在阿布扎比开幕急诊医学创伤与重症监护更新会议今日在阿布扎比开幕
  • 科学家利用AI设计出杀死细菌的病毒:实现原理科学家利用AI设计出杀死细菌的病毒:实现原理
  • 新型AI模型可提前十年预测疾病风险新型AI模型可提前十年预测疾病风险
  • AI模型可提前数十年预测疾病风险AI模型可提前数十年预测疾病风险
  • 新型AI利用健康记录提前数十年预测1000多种疾病新型AI利用健康记录提前数十年预测1000多种疾病
大健康
大健康

热点资讯

大健康

全站热点

大健康

全站热文

大健康