研究人员:AI驱动的医院转录工具编造了无人说过的内容Researchers: AI-powered hospital transcription tool invents things no one said

环球医讯 / AI与医疗健康来源:health.wusf.usf.edu美国 - 英语2024-10-29 09:00:00 - 阅读时长2分钟 - 681字
OpenAI的Whisper工具在多个行业中被广泛使用,但存在编造文本的问题,尤其是在医疗领域的应用中引发了严重关切。
AI驱动转录工具OpenAIWhisper编造内容医疗机构患者与医生对话转录幻觉错误转录
研究人员:AI驱动的医院转录工具编造了无人说过的内容

超过十几位计算机科学家和软件开发人员表示,OpenAI的Whisper工具在用于翻译和转录音频采访等任务时,容易编造大段文本。这家科技巨头曾吹嘘其人工智能驱动的转录工具Whisper具有接近人类水平的稳健性和准确性。

然而,Whisper有一个重大缺陷:它容易编造大段文本甚至整个句子。根据对十几位软件工程师、开发者和学术研究人员的采访,这些编造的文本(在业内被称为“幻觉”)可能包括种族评论、暴力言论甚至虚构的医疗治疗。专家们表示,这种编造内容存在问题,因为Whisper被广泛应用于全球多个行业,用于翻译和转录音频采访、生成流行消费技术中的文本以及为视频创建字幕。

更令人担忧的是,尽管OpenAI警告不应在高风险领域使用该工具,但许多医疗机构仍在急于采用基于Whisper的工具来转录患者与医生的咨询对话。问题的严重程度难以量化,但研究人员和工程师表示,他们在工作中经常遇到Whisper的“幻觉”。例如,密歇根大学的一位研究员在研究公共会议时发现,在他检查的每10个音频转录中有8个存在“幻觉”,在他开始尝试改进模型之前。

一位机器学习工程师最初在他的分析中发现,在超过100小时的Whisper转录音频中,大约有一半存在“幻觉”。另一位开发者表示,在他用Whisper创建的26,000份转录中,几乎每一项都存在“幻觉”。

即使在录制良好、短小的音频样本中,这些问题依然存在。最近的一项计算机科学研究发现,在他们检查的13,000多个清晰音频片段中,有187个存在“幻觉”。研究人员表示,这一趋势将导致数百万次录音中出现数万次错误转录。


(全文结束)

大健康

猜你喜欢

  • Cleerly 在 TCT 2024 上展示最新研究:AI 驱动的定量冠状动脉 CT 评估预测主要不良心血管事件Cleerly 在 TCT 2024 上展示最新研究:AI 驱动的定量冠状动脉 CT 评估预测主要不良心血管事件
  • OpenAI 的转录工具会编造你从未对医生说过的话OpenAI 的转录工具会编造你从未对医生说过的话
  • 英格兰NHS采用流程挖掘技术取得显著成果英格兰NHS采用流程挖掘技术取得显著成果
  • Treatment.com AI 首席执行官 Dr. Essam Hamza 在 Cantech 24 接受采访Treatment.com AI 首席执行官 Dr. Essam Hamza 在 Cantech 24 接受采访
  • OpenAI的Whisper在医疗转录中编造句子OpenAI的Whisper在医疗转录中编造句子
  • 医院的AI转录工具编造了从未说过的话,研究人员说医院的AI转录工具编造了从未说过的话,研究人员说
  • GPT-4能否提升诊断推理能力?GPT-4能否提升诊断推理能力?
  • 仅11%的西班牙医生报告称接受过良好的人工智能培训仅11%的西班牙医生报告称接受过良好的人工智能培训
  • OpenAI转录工具因医疗记录生成虚构文本而受到审查OpenAI转录工具因医疗记录生成虚构文本而受到审查
  • 亚马逊One Medical推出AI工具改善患者护理亚马逊One Medical推出AI工具改善患者护理
大健康
大健康

热点资讯

大健康

全站热点

大健康

全站热文

大健康