甚至 OpenAI 最新的人工智能模型仍然会犯愚蠢的错误：在投入了数十亿美元之后，该模型仍然不能可靠地说出“strawberry”这个单词中字母“r”出现的次数。
当“幻觉”——这是人工智能公司用来形容其聊天机器人编造的胡言乱语的一个方便的拟人化词汇——在学生作业中出现错误答案时可能不是什么大问题，但在医疗建议方面，风险就高得多了。
一个名为 MyChart 的通信平台每天都有成千上万条医生和患者之间交换的信息，该公司最近添加了一项新的人工智能驱动的功能，可以代表医生和助手自动起草对患者问题的回复。
据《纽约时报》报道，尽管人工智能有可能引入潜在的危险错误，但大约已有 15000 名医生在使用该功能。
北卡罗来纳大学健康家庭医学医生维奈·雷迪（Vinay Reddy）告诉《纽约时报》，一条由人工智能生成的草稿信息向他的一位患者保证她已经接种了乙肝疫苗——尽管从未获取过她的疫苗接种记录。
更糟糕的是，新的 MyChart 工具不需要透露某个回复是由人工智能编写的。这可能使患者几乎无法意识到他们得到的医疗建议是由算法提供的。
该工具依赖于 OpenAI 为 ChatGPT 提供支持的大型语言模型 GPT-4 的一个版本，从包括医疗记录和药物处方等材料中提取数据。
该工具甚至试图模拟医生的“声音”，这使得情况更加危险。
“推销的说法是，它应该为他们节省时间，这样他们就可以花更多时间与患者交谈，”黑斯廷斯中心的生物伦理学研究员阿斯米娅·贾亚拉姆（Athmeya Jayaram）告诉《纽约时报》。“在这种情况下，他们试图通过生成式人工智能来节省与患者交谈的时间。”
批评人士担心，即使医疗专业人员应该审查这些草稿，人工智能也可能引入错误，从而导致问题被忽视。
有大量证据表明这种情况已经在发生。在 7 月份的一项研究中，研究人员在 MyChart 工具生成的 116 条草稿信息中发现了 7 条存在“幻觉”。
虽然这听起来可能不多，但即使是一个错误也可能产生灾难性的后果。
另一项独立研究发现，GPT-4 在回复患者信息时反复出错。
有些患者可能永远不会发现他们正在从人工智能那里获得建议。目前没有联邦规定要求必须标明信息是由人工智能生成的。
“当你读医生的笔记时，你会认为是医生的口吻，”贾亚拉姆告诉《纽约时报》。“如果患者知道，事实上，他们与医生交流的信息是由人工智能生成的，我认为他们会感到被背叛。”
