即使OpenAI的最新AI模型也仍然会犯愚蠢的错误：在花费了数十亿美元之后，该模型仍然无法可靠地计算单词“strawberry”中字母“r”的数量。虽然“幻觉”这个词汇被AI公司用来形容其聊天机器人编造的虚假信息，在学生作业中出现错误可能不是什么大问题，但在医疗建议方面，风险要高得多。
一个名为MyChart的通信平台每天处理数十万条医生与患者之间的消息，该公司最近添加了一项新的AI功能，可以自动生成回复来回答患者的提问。据《纽约时报》报道，大约15,000名医生已经在使用这项功能，尽管存在AI引入潜在危险错误的可能性。
北卡罗来纳大学健康家庭医学医生Vinay Reddy告诉《纽约时报》，AI生成的一条消息让他的患者相信她已经接种了乙型肝炎疫苗，尽管AI从未访问过她的疫苗记录。更糟糕的是，新的MyChart工具无需披露某条回复是由AI撰写的，这几乎使患者无法意识到自己接受的是算法提供的医疗建议。
该工具依赖于GPT-4的某个版本，这是OpenAI的大语言模型，也是ChatGPT的幕后支持者。该工具从包括医疗记录和药物处方在内的材料中提取数据，甚至尝试模拟医生的“声音”，使其更加隐秘。
生物伦理研究员Athmeya Jayaram告诉《纽约时报》：“销售宣传声称该工具旨在节省医生的时间，以便他们能花更多时间与患者交流。在这种情况下，他们试图通过生成式AI来节省与患者交流的时间。”
批评者担心，尽管医疗专业人员应该审查这些草稿，但AI可能会引入错误，而这些错误可能会被忽视。已经有大量证据表明这种情况可能已经在发生。在7月份的一项研究中，研究人员发现MyChart工具生成的116条AI草稿消息中有7条出现了“幻觉”。
虽然这听起来并不多，但即使是单个错误也可能导致灾难性的后果。另一项研究发现，当GPT-4被要求回复患者消息时，它反复出错。有些患者可能永远不知道他们得到的建议来自AI。目前没有联邦法规要求标注消息是由AI生成的。
“当你读到医生的笔记时，你会用医生的声音去读。如果患者知道实际上他们与医生交换的消息是由AI生成的，我认为他们会感到被背叛。”Jayaram告诉《纽约时报》。
(全文结束)
