OpenAI的转录工具Whisper已被AI医疗保健公司Nabla用于转录七百万次医患对话,据The Verge报道。然而,新的研究表明,Whisper在转录过程中添加了不准确的信息。在一项针对13,140个音频片段的研究中,有312个片段包含“幻觉”内容。ChatGPT的制造商OpenAI两年前推出了Whisper,作为一个将语音转换为文本的AI工具。现在,该工具被AI医疗保健公司Nabla及其45,000名临床医生用于帮助转录超过85个组织(如爱荷华大学卫生保健)的医疗对话。
然而,新的研究表明,Whisper正在“幻觉”,即在转录中添加从未说过的内容,引发了医疗机构应如何快速采用AI技术的问题。据美联社报道,密歇根大学的一位研究员在80%的Whisper转录中发现了“幻觉”。一位未具名的开发人员在超过100小时的转录中发现了一半的“幻觉”。另一位工程师在他们用Whisper生成的26,000份转录中几乎全部发现了不准确之处。
普林斯顿高等研究院教授Alondra Nelson在接受美联社采访时说:“医生和患者之间的对话转录出现错误可能会产生非常严重的后果。”“没有人希望误诊。”
今年早些时候,康奈尔大学、纽约大学、华盛顿大学和弗吉尼亚大学的研究人员发表了一项研究,追踪了OpenAI的Whisper语音转文字服务在转录13,140段平均长度为10秒的音频片段时的“幻觉”次数。这些音频来自TalkBank的AphasiaBank数据库,该数据库收录了患有失语症(一种沟通障碍)的人的声音。
研究人员在2023年春季进行实验时,发现了312例“完全凭空生成的短语或句子,这些内容在原始音频中并不存在”。在这些“幻觉”转录中,38%包含了有害语言,如暴力或刻板印象,这些内容与对话的上下文不符。
“我们的研究表明,由于不可预测的‘幻觉’,Whisper的准确性存在严重问题,”研究人员写道。研究人员表示,这项研究还可能表明Whisper存在“幻觉偏见”,即它更倾向于为特定群体插入不准确内容,而不仅仅是失语症患者。“基于我们的发现,我们建议这种类型的‘幻觉’偏见也可能出现在任何因言语障碍导致更多不流利的群体中(例如,患有其他言语障碍如声带疾病的人、老年人或非母语使用者),”研究人员表示。
Whisper通过Nabla已转录了七百万次医疗对话,据The Verge报道。
(全文结束)

