即使是 OpenAI 的最新人工智能模型仍然会犯愚蠢的错误：投入了数十亿美元后，该模型仍然无法可靠地说出“strawberry”这个单词中“r”出现的次数。
当“幻觉”——这是人工智能公司用来形容其聊天机器人编造的胡言乱语的一个方便的拟人化词汇——在学生作业中出现错误答案时可能不是什么大问题，但在医疗建议方面，风险就高得多了。
一个名为 MyChart 的通信平台每天见证着医生和患者之间数十万条信息的交换，该公司最近添加了一项新的人工智能驱动的功能，可以代表医生和助手自动起草回复患者的问题。
据《纽约时报》报道，尽管人工智能可能会引入潜在的危险错误，但约有 15000 名医生已经在使用该功能。
例如，北卡罗来纳大学健康家庭医学医生维奈·雷迪告诉《纽约时报》，一条人工智能生成的草案消息向他的一位患者保证她已经接种了乙肝疫苗——尽管从未获取过她的疫苗接种记录。
更糟糕的是，新的 MyChart 工具不需要透露某个给定的回复是由人工智能编写的。这可能使患者几乎无法意识到他们得到的医疗建议是由算法提供的。
该工具依赖于 GPT-4 版本，即驱动 ChatGPT 的 OpenAI 大型语言模型，从包括医疗记录和药物处方在内的材料中提取数据。
该工具甚至试图模拟医生的“声音”，使其更加阴险。
“销售说辞一直是它应该为他们节省时间，以便他们可以花更多时间与患者交谈，”黑斯廷斯中心的生物伦理学研究人员阿特米亚·贾亚拉姆告诉《纽约时报》。“在这种情况下，他们试图通过生成式人工智能来节省与患者交谈的时间。”
批评人士担心，即使医疗专业人员应该审查这些草案，人工智能也可能引入错误，从而导致疏漏。
已经有很多证据表明这种情况可能正在发生。在 7 月份的一项研究中，研究人员在 MyChart 工具生成的 116 条草案消息中发现了 7 条存在“幻觉”。
虽然这听起来可能不多，但即使是一个错误也可能带来灾难性的后果。
另一项独立研究发现，GPT-4 在回复患者消息时多次出错。
一些患者可能永远不会发现他们正在从人工智能那里获得建议。目前没有联邦规定要求消息必须标记为人工智能生成。
“当你读医生的笔记时，你会以你医生的口吻去读，”贾亚拉姆告诉《纽约时报》。“如果患者知道，事实上，他们与医生交流的信息是由人工智能生成的，我认为他们会感到被背叛是理所当然的。”
