研究警告:打字错误可能改变AI提供的医疗建议A Typo Could Change Your AI Medical Advice, Study Warns

环球医讯 / AI与医疗健康来源:www.wizcase.com美国 - 英语2025-07-30 18:37:08 - 阅读时长3分钟 - 1167字
一项新研究发现,用于医疗保健的AI会根据患者信息中的拼写错误、俚语和性别等因素改变医疗建议,这引发了人们对算法公平性的严重担忧。研究显示,即使是患者描述症状方式的微小变化,如打字错误、额外空格或语气变化,都可能显著改变AI的治疗建议,这种偏差可能导致对弱势群体的治疗不足。
AI医疗建议医疗保健可靠性患者信息打字错误性别偏见诊断准确性弱势群体医疗不平等评估系统AI模型测试
研究警告:打字错误可能改变AI提供的医疗建议

一项新研究发现,用于医疗保健的大语言模型(LLMs)会受到患者信息中看似无关细节的影响。

这可能导致不一致甚至带有偏见的治疗建议。这项研究在2025年ACM公平性、问责制和透明度会议(FAccT ™25)上发表,引发了人们对AI工具在医疗决策中可靠性的严重担忧。

研究发现,即使患者描述症状的方式有细微变化,如拼写错误、添加空格或语气变化,都会显著改变AI的治疗建议。

例如,当患者使用不确定的语言如"我觉得我可能有头痛"时,AI建议自我护理而不是专业医疗建议的可能性增加了7-9%,即使在需要进一步评估的情况下也是如此。

这些变化不仅仅是理论上的。研究人员使用AI模拟了数千条以不同语气和格式撰写的患者笔记,模仿了英语水平有限、打字技巧差或使用情绪化语言的人群。

信息中还包括中性代词和风格化写作,展示了一个人的沟通方式如何影响AI的诊断。

性别偏见也是一个主要问题。当引入非临床语言线索时,女性患者比男性患者更可能收到错误的自我管理建议。

后续测试显示,即使临床症状保持不变,AI模型比人类医生更容易根据感知的性别或沟通风格改变治疗建议。

这些模型在更真实、对话式的聊天环境中表现更差。在这些AI-患者互动中引入微小的文本变化时,诊断准确性下降了超过7%。

这很重要,因为AI越来越多地用于诊断疾病、回答患者问题和起草临床笔记。但研究表明,信息的写作方式、语气、错误或结构都可能扭曲AI的推理。

这可能导致对弱势群体的治疗不足,包括女性、非二元性别者、健康焦虑者、非英语母语者以及不太熟悉数字通信的人群。

"隐性偏见可以改变AI建议的基调和内容,这可能导致微妙但重要的差异,"未参与这项研究的加州大学圣地亚哥分校的Karandeep Singh说,正如《新科学家》报道的那样。

主要研究人员Abinitha Gourabathina强调:"我们的研究结果表明,AI模型不仅仅处理医疗事实——它们会受到信息呈现方式的影响。如果不解决这个问题,可能会加剧医疗保健的不平等。"

研究人员测试了多个领先的AI模型,包括OpenAI的GPT-4、Meta的Llama-3模型和Writer的医疗保健专用Palmyra-Med模型。所有模型都显示出同样的弱点:格式和语气的变化导致了可靠性较低的建议。尽管如此,Writer公司表示,他们的模型在没有人工参与的情况下不应该用于临床决策。

专家警告说,随着生成式AI在健康记录和患者服务中的使用越来越普遍,迫切需要更好的评估系统。

为了防止伤害,研究团队敦促对AI医疗工具进行更严格的测试,以确保无论患者如何表达他们的担忧,都能保持公平和准确。他们已经公开了他们的偏见评估框架,以帮助开发人员改进医疗保健领域的AI系统。

【全文结束】

大健康

猜你喜欢

  • 利用人工智能与数据指标革新癌症研究利用人工智能与数据指标革新癌症研究
  • 人工智能追踪器:从课堂教育到时尚试穿,算法如何重塑创意边界人工智能追踪器:从课堂教育到时尚试穿,算法如何重塑创意边界
  • 全球研究显示更长脑部扫描降低研究成本并提供更准确的预测全球研究显示更长脑部扫描降低研究成本并提供更准确的预测
  • 研究发现让AI聊天机器人编造健康信息太容易了研究发现让AI聊天机器人编造健康信息太容易了
  • 人工智能可通过患者心电图识别隐藏的心脏瓣膜缺陷人工智能可通过患者心电图识别隐藏的心脏瓣膜缺陷
  • 网络研讨会:医疗设备中人工智能法案合规性的应对策略网络研讨会:医疗设备中人工智能法案合规性的应对策略
  • 四项AI技术获有条件推荐,或可帮助发现隐匿性脊椎骨折四项AI技术获有条件推荐,或可帮助发现隐匿性脊椎骨折
  • 富士通与宏碁医疗合作试验通过步态模式异常检测评估老年患者未来疾病风险的AI服务富士通与宏碁医疗合作试验通过步态模式异常检测评估老年患者未来疾病风险的AI服务
  • 全科医生和医院开始使用人工智能书记员,其工作原理与风险有哪些?全科医生和医院开始使用人工智能书记员,其工作原理与风险有哪些?
  • 人工智能已广泛应用于在线搜索,美国人正用它解答健康问题人工智能已广泛应用于在线搜索,美国人正用它解答健康问题
大健康
大健康

热点资讯

大健康

全站热点

大健康

全站热文

大健康