当人们担心自己可能生病时，越来越多的人转向像ChatGPT这样的生成式人工智能进行诊断。但是人工智能给出的答案有多准确？
最近发表在《iScience》杂志上的研究对ChatGPT及其大型语言模型进行了测试，并得出了一些令人惊讶的结论。
Ahmed Abdeen Hamed是宾汉顿大学托马斯·J·沃森工程与应用科学学院系统科学与工业工程学院的研究员，他领导了这项研究，合作方包括波兰克拉科夫AGH大学、霍华德大学和佛蒙特大学。
作为Luis M. Rocha教授复杂自适应系统与计算智能实验室的一员，Hamed去年开发了一种机器学习算法，称为xFakeSci，可以检测高达94%的虚假科学论文——比常见的数据挖掘技术成功近一倍。他认为这项新研究是验证大型语言模型生物医学生成能力的下一步。
Hamed表示：“如今人们经常和ChatGPT对话，他们会问，‘我有这些症状，我是不是得了癌症？我是不是心脏病发作？我是否应该接受治疗？’这可能是一件非常危险的事情，因此我们想看看如果我们提出这些问题，会得到什么样的答案，以及这些答案如何从生物医学文献中验证。”
研究人员测试了ChatGPT在疾病术语和三种关联方面的准确性：药物名称、遗传信息和症状。人工智能在识别疾病术语（88-97%）、药物名称（90-91%）和遗传信息（88-98%）方面显示出高准确性。Hamed承认，他原本以为准确率最多只有25%。
他说：“令人兴奋的结果是，ChatGPT能够指出癌症是一种疾病，高血压是一种疾病，发烧是一种症状，瑞德西韦是一种药物，BRCA是与乳腺癌相关的基因。这简直令人难以置信！”
然而，症状识别的得分较低（49-61%），原因可能与大型语言模型的训练方式有关。医生和研究人员使用生物医学本体来定义和组织术语和关系，以便进行一致的数据表示和知识共享，但用户输入的描述更非正式。
Hamed解释说：“ChatGPT使用更友好和社交的语言，因为它需要与普通人沟通。而在医学文献中，人们使用正式的术语。大型语言模型显然试图简化这些症状的定义，因为有很多用户提出这样的问题，所以它开始简化医学语言以吸引这些用户。”
一个令人困惑的结果尤为突出。美国国立卫生研究院维护一个名为GenBank的数据库，为每个已识别的DNA序列分配一个访问号，通常由字母和数字组合而成。例如，乳腺癌1基因（BRCA1）的标识为NM_007294.4。在遗传信息测试中，当被要求提供这些数字时，ChatGPT编造了它们——这一现象被称为“幻觉”。Hamed认为这是众多积极结果中的一个重大缺陷。
他说：“也许我们有机会将这些生物医学本体引入大型语言模型，以提供更高的准确性，消除所有幻觉，使这些工具变得非凡。”
Hamed对大型语言模型的兴趣始于2023年，当时他发现了ChatGPT并听闻了有关事实核查的问题。他的目标是暴露这些缺陷，以便数据科学家可以根据需要调整模型，使其变得更好。
他说：“如果我在分析知识，我希望确保在建立理论之前去除任何可能看起来可疑的内容，以避免制造不准确的结果。”
更多信息：Ahmed Abdeen Hamed等人，《从知识生成到知识验证：检验ChatGPT的生物医学生成能力》，《iScience》（2025年）。DOI：10.1016/j.isci.2025.112492
期刊信息：iScience
提供方：宾汉顿大学
【全文结束】
