医生因书写潦草而闻名，这可能会导致后续医疗误解的风险。在人工智能时代，这种情况可能变得更糟。* * * BY KIT EATON @KITEATONOCT 28, 2024照片来源：Getty Images。
在众多节省时间的人工智能应用中，AI已经有效地简化了从撰写新的广告标语到帮助组织公司Slack聊天的各种枯燥办公任务，其中最明显的一项应用是大幅加快会议记录、电话通话或Zoom会议的转录——这通常是一项乏味的人类任务（你可能已经在公司里让实习生做过很多次）。但据各种报道，市场领先品牌OpenAI的转录技术在医疗环境中使用时存在一些潜在的重大风险。
OpenAI于2022年9月推出的转录工具“Whisper”，被该公司宣传为具有“人类级别的稳健性和准确性”，《财富》杂志报道。这意味着使用该工具的公司应该会发现转录中的错误数量与依赖人类秘书在会议中做笔记然后整理的情况相似。但专家警告称，该软件存在严重缺陷，容易生成整段虚构文本，《财富》杂志指出。这是一种“幻觉”现象，是当前一代AI聊天机器人技术的一个普遍问题。但在Whisper的情况下，专家们担心虚构的文本可能包括种族主义言论甚至暴力言论——这也是最近困扰谷歌等公司AI的问题之一。
在典型的办公环境中，这种转录错误不太可能造成太大危害：在内部公司会议或客户电话通话中记录的笔记通常包含大量专有材料，因此在公开分享前可能会进行清理。到那时，AI错误可能会被发现并修正——希望在造成长期误解或声誉损害之前。但在医疗环境中，当医生或其他医疗专业人员使用Whisper在患者咨询后做笔记时，穿插在其余“正确”文本中的不正确或完全虚构的内容如果没有及时发现，可能会对某人的健康和安全产生严重影响。OpenAI显然对此非常敏感，并警告不要在“高风险”情况下使用Whisper，但这并不一定能阻止忙碌的医务人员为了节省宝贵的时间而忽略这一警告。
《财富》杂志报道称，医院和医疗中心确实忽视了OpenAI的警告，引用了一项基于Whisper的工具的数据，该工具已被40个不同卫生系统的约30,000名临床医生用于转录音频，预计转录数百万分钟的医疗会议。除了“幻觉”错误外，这一新的技术健康趋势还有一个更令人担忧的方面：其对患者数据安全的影响——这个问题不仅限于OpenAI，还涉及其他采用此类技术的科技公司。当前一代AI模型非常“饥饿”数据，导致其制造商尽可能多地“抓取”数据，有时甚至跨越法律和道德界限。如果人们的私人医疗信息被共享给AI转录服务，然后用于训练这些AI，未来某个时候这些信息可能会泄露，无论是意外还是通过恶意黑客攻击。
事实上，Whisper过去也曾因类似的原因受到关注。今年4月，有报道称OpenAI和谷歌都使用该工具转录了数百万用户上传的YouTube视频音频，以便将转录的文本用于训练AI模型。这可能是一个法律灰色地带，报道称，即使是OpenAI自己的员工也担心这一做法可能违反YouTube的一些规定。为什么你应该关心这一点？撇开关于医生书写潦草的老笑话不谈，如果你对数据准确性和敏感个人信息泄露感到担忧，这可能是与你的医疗服务提供者讨论的话题。这也是一种隐晦的提醒：如果你的公司使用AI技术自动转录会议或生成任何展示给客户或公众的内容，值得双重甚至三重检查输出中是否包含任何“虚构”的信息。盲目依赖AI输出的长期后果可能很严重。也许你的实习生的新任务可以包括检查AI的会议转录，而不是费力地自己打字。
(全文结束)
