你可能需要三思而后行，不要使用像ChatGPT这样强大的人工智能程序来自我诊断健康问题。
滑铁卢大学的研究团队在一个模拟研究中发现，由OpenAI创建的知名大型语言模型（LLM）ChatGPT-4o在回答开放式诊断问题时，错误率接近三分之二。
“人们应该非常谨慎，”滑铁卢大学的博士生Troy Zada说。“LLMs确实在不断改进，但现在仍然存在很高的误导风险。”
该研究使用了近100个来自多选题医学执照考试的问题。这些问题被修改为开放式问题，类似于真实用户可能会向ChatGPT询问的症状和担忧。
评估这些回答的医学生发现，只有37%的回答是正确的。无论事实是否正确，大约三分之二的回答都被专家和非专家评估者认为不清楚。
其中一个问题是关于一个手腕和手上长疹子的男人。据说这个男人每个周末都在农场工作，学习殡葬科学，饲养信鸽，并且为了省钱使用新的洗衣粉。
ChatGPT错误地认为最可能的原因是由新洗衣粉引起的皮肤炎症。正确的诊断是什么？他的疹子是由他在殡葬科学课程中佩戴的乳胶手套引起的。
“对于人们来说，意识到LLMs可能存在误导是非常重要的，”Zada说，他在这篇论文中由滑铁卢大学管理科学与工程助理教授Sirisha Rambhatla监督。
“危险在于，试图自我诊断的人会得到令人安心的消息并忽视严重问题，或者被告知情况非常糟糕，但实际上并不值得担心。”
尽管该模型没有出现任何特别或荒谬的错误——并且比研究人员测试的ChatGPT早期版本表现得更好——但研究得出结论，LLMs目前还不足以依赖它们提供任何医疗建议。
“细微的不准确尤其令人担忧，”滑铁卢大学Critical ML实验室主任Rambhatla补充道。“明显的错误很容易识别，但细微之处对于准确诊断至关重要。”
尚不清楚有多少加拿大人转向LLMs来帮助进行医疗诊断，但最近的一项研究发现，十分之一的澳大利亚人使用ChatGPT来帮助诊断他们的医疗状况。
“如果你使用LLMs进行自我诊断，正如我们怀疑越来越多的人正在这样做，不要盲目接受结果，”Zada说。“去看人类医疗服务提供者仍然是理想的选择。”
该研究团队还包括多伦多大学和多伦多圣迈克尔医院的法律和精神病学研究人员。
该研究《AI辅助自我诊断中的医疗误导：分析大型语言模型的方法（EvalPrompt）》发表在JMIR Formative Research上。
(全文结束)
