科技巨头OpenAI吹捧其基于人工智能的转录工具Whisper具有接近“人类水平的稳健性和准确性”。但据十几位软件工程师、开发者和学术研究人员的采访，Whisper有一个重大缺陷：它容易杜撰大段文本甚至整个句子。这些专家表示，一些杜撰的文本（业内称为“幻觉”）可能包括种族评论、暴力言论甚至想象中的医疗治疗。
Whisper正在全球多个行业中用于翻译和转录音频、生成流行消费技术中的文本以及为视频创建字幕。更令人担忧的是，尽管OpenAI警告该工具不应用于“高风险领域”，但许多医疗中心仍在急于使用基于Whisper的工具来转录患者与医生的咨询。
问题的严重程度难以衡量，但研究人员和工程师表示，他们在工作中经常遇到Whisper的“幻觉”。例如，密歇根大学的一位研究人员在研究公共会议时发现，在他检查的每10个音频转录中就有8个存在“幻觉”，在他开始尝试改进模型之前。一位机器学习工程师表示，他在分析的超过100小时的Whisper转录中最初发现了约一半的“幻觉”。另一位开发人员表示，他在使用Whisper创建的26,000份转录中几乎每一项都发现了“幻觉”。
即使在录制质量良好、音频片段较短的情况下，这些问题仍然存在。最近的一项计算机科学研究发现，在他们检查的13,000多个清晰音频片段中，有187个“幻觉”。
研究人员表示，这种趋势将导致数百万次录音中出现数万次错误转录。“这样的错误可能会产生非常严重的后果，特别是在医院环境中，”前白宫科学技术政策办公室主任Alondra Nelson说。Nelson目前是普林斯顿高等研究院的教授。“没有人希望误诊，”她说。“应该有更高的标准。”
Whisper还用于为聋人和听力障碍者创建闭路字幕，这是一个特别容易受到错误转录影响的人群。因为聋人和听力障碍者无法识别“隐藏在所有这些其他文本”中的虚构内容，加劳德特大学技术访问项目主任Christian Vogler（他自己也是聋人）说。
“幻觉”的普遍存在已促使专家、倡导者和前OpenAI员工呼吁联邦政府考虑AI监管。至少，他们表示，OpenAI需要解决这一缺陷。“如果公司愿意优先处理这个问题，这似乎是可解决的，”旧金山的研究工程师William Saunders说。Saunders于今年2月因对公司方向的担忧而离开OpenAI。“如果将此工具推出并且人们对其功能过于自信并将其集成到其他系统中，这是有问题的。”
OpenAI的一位发言人表示，公司不断研究如何减少“幻觉”，并对研究人员的发现表示感谢，称OpenAI会在模型更新中纳入反馈。虽然大多数开发者认为转录工具会拼写错误或犯其他错误，但工程师和研究人员表示，他们从未见过其他基于AI的转录工具像Whisper那样频繁地“幻觉”。
该工具已集成到某些版本的OpenAI旗舰聊天机器人ChatGPT中，并作为甲骨文和微软云平台的内置产品，服务全球数千家公司。它还用于将文本转录和翻译成多种语言。仅在过去一个月内，一个最近版本的Whisper就在开源AI平台HuggingFace上被下载超过420万次。HuggingFace的机器学习工程师Sanchit Gandhi表示，Whisper是最受欢迎的开源语音识别模型，已集成到从呼叫中心到语音助手的各种应用中。
康奈尔大学的Allison Koenecke教授和弗吉尼亚大学的Mona Sloane教授检查了从卡内基梅隆大学托管的研究存储库TalkBank获得的数千个短片段。他们确定，近40%的“幻觉”是有害或令人担忧的，因为说话者可能会被误解或曲解。在一个他们发现的例子中，说话者说：“他，那个男孩，打算，我不太确定，拿雨伞。”但转录软件添加了：“他拿了一大块十字架，一小块……我敢肯定他没有恐怖刀，所以他杀死了很多人。”
研究人员不确定为什么Whisper和其他类似工具会产生“幻觉”，但软件开发者表示，这些虚构内容往往发生在停顿、背景声音或音乐播放时。OpenAI在其在线披露中建议不要在“决策环境中使用Whisper，因为在准确性方面的缺陷可能导致显著的结果缺陷。”然而，这一警告并没有阻止医院或医疗中心使用语音转文本模型（包括Whisper）来转录医生就诊期间的对话，以减少医疗提供者在记笔记或撰写报告上花费的时间。
超过30,000名临床医生和40个医疗系统，包括明尼苏达州的曼卡托诊所和洛杉矶儿童医院，已经开始使用由Nabla（在法国和美国设有办事处）构建的基于Whisper的工具。Nabla的首席技术官Martin Raison表示，该工具经过优化，可以转录和总结患者的互动。公司官员表示，他们意识到Whisper可能会“幻觉”，并正在解决这一问题。
由于“数据安全原因”，Nabla的工具会删除原始音频，因此无法将AI生成的转录与原始录音进行比较。Raison说，Nabla的工具已用于转录估计700万次医疗访问。前OpenAI工程师Saunders表示，如果不对转录进行双重检查或临床医生无法访问录音以验证其正确性，删除原始音频可能会令人担忧。“如果你拿走了事实真相，你就无法发现错误，”他说。
(全文结束)
