研究人员称，医院使用的AI转录工具Whisper会杜撰从未说过的内容。据多位软件工程师、开发人员和学术研究人员表示，Whisper容易生成大量虚构文本或整句内容，这些虚构内容在行业中被称为“幻觉”，可能包括种族评论、暴力言论甚至虚构的医疗治疗。
专家表示，这种虚构内容存在问题，因为Whisper被广泛应用于全球多个行业，用于翻译和转录采访、生成流行消费技术中的文本以及创建视频字幕。更令人担忧的是，尽管OpenAI警告不应在高风险领域使用该工具，但医疗中心仍在竞相使用基于Whisper的工具来转录患者与医生的咨询。
密歇根大学的一位研究员在研究公共会议时发现，他在检查的每10个音频转录中有8个存在“幻觉”。一位机器学习工程师在他分析的100多个小时的Whisper转录中，最初发现了约一半的“幻觉”。另一位开发者在他用Whisper创建的26,000份转录中几乎每个都发现了“幻觉”。
即使在录音质量良好、时间较短的样本中，这些问题仍然存在。计算机科学家最近的一项研究发现，在他们检查的13,000多个清晰音频片段中，有187个“幻觉”。研究人员表示，这一趋势可能导致数百万次录音中出现数十万次错误转录。
普林斯顿高等研究院教授Alondra Nelson表示：“这样的错误可能会产生非常严重的后果，尤其是在医院环境中。没有人希望出现误诊。应该有更高的标准。”
Whisper还被用于为聋人和听力障碍者创建字幕，这一群体特别容易受到错误转录的影响，因为他们无法识别隐藏在其他文本中的虚构内容。加劳德特大学技术访问项目主任Christian Vogler（他本人也是聋人）表示：“他们没有办法识别这些虚构内容。”
OpenAI在其在线披露中建议不要在决策环境中使用Whisper，因为在准确性方面的问题可能导致明显的错误结果。然而，这一警告并未阻止医院和医疗中心使用语音转文本模型，包括Whisper，来转录医生就诊期间的对话，以减少医务人员在记笔记和撰写报告上的时间。
超过30,000名临床医生和40个卫生系统，包括明尼苏达州的曼卡托诊所和洛杉矶儿童医院，已经开始使用Nabla公司（在法国和美国设有办事处）基于Whisper的工具。Nabla的首席技术官Martin Raison表示，该工具经过了医学语言的微调，可以转录和总结患者的互动。
Nabla公司官员表示，他们意识到Whisper可能会产生“幻觉”，并正在解决这一问题。由于患者与医生的会议是保密的，很难知道AI生成的转录如何影响这些会议。
加州州议员Rebecca Bauer-Kahan今年早些时候带孩子去看医生时，拒绝签署健康网络提供的表格，该表格要求她允许将咨询音频共享给包括微软Azure在内的供应商，而微软Azure是OpenAI的最大投资者。Bauer-Kahan表示，她不希望这些亲密的医疗对话被分享给科技公司。
前OpenAI工程师William Saunders表示，删除原始音频可能会令人担忧，如果转录未经过双重检查或医务人员无法访问录音以验证其正确性。“如果你拿走了事实依据，就无法发现错误。”他说。
Nabla公司表示，没有模型是完美的，目前他们的模型仍需医务人员快速编辑和批准转录的笔记，但这可能会改变。
(全文结束)