研究人员对基于 GPT-4 的 ChatGPT 和放射科医生使用 150 份脑肿瘤 MRI 报告进行诊断的准确性进行了比较。ChatGPT 达到 73%的准确率，略高于神经放射科医生（72%）和普通放射科医生（68%）。
当解读由神经放射科医生撰写的报告时，该 AI 模型的准确率最高（80%），这表明其在支持医疗诊断方面的潜力。这项研究突显了 AI 在放射学中日益增长的作用，以及其未来减轻医生工作量和提高诊断准确性的潜力。
关键事实：
- ChatGPT 的诊断准确率为 73%，略高于放射科医生。
- 使用神经放射科医生撰写的报告时，其准确率为 80%。
- 该研究表明 AI 可以协助提高放射学的诊断效率。
为测试其潜力，大阪市立大学医学研究生院的研究生 Yasuhito Mitsuyama 和副教授 Daiju Ueda 领导的研究团队，比较了基于 GPT-4 的 ChatGPT 和放射科医生对 150 份术前脑肿瘤 MRI 报告的诊断性能。
基于这些用日语书写的日常临床记录，ChatGPT、两名获得委员会认证的神经放射科医生和三名普通放射科医生被要求提供鉴别诊断和最终诊断。随后，根据肿瘤切除后的实际诊断计算他们的准确性。
ChatGPT 的结果为 73%，神经放射科医生的平均准确率为 72%，普通放射科医生的平均准确率为 68%。此外，ChatGPT 的最终诊断准确率取决于临床报告是由神经放射科医生还是普通放射科医生撰写。使用神经放射科医生报告的准确率为 80%，而使用普通放射科医生报告的准确率为 60%。
研究生 Mitsuyama 表示：“这些结果表明，ChatGPT 可用于脑肿瘤的术前 MRI 诊断。未来，我们打算在其他诊断成像领域研究大型语言模型，以减轻医生的负担，提高诊断准确性，并利用 AI 支持教育环境。”
关于这项 AI 和脑癌研究新闻
作者：Yung-Hsiang Kao
来源：大阪市立大学
联系：Yung-Hsiang Kao - 大阪市立大学
图像：该图像由 Neuroscience News 提供
原始研究：开放获取。
“使用脑肿瘤的真实世界放射学报告对基于 GPT-4 的 ChatGPT 与放射科医生的诊断性能进行比较分析”，作者 Yasuhito Mitsuyama 等。《欧洲放射学》
摘要
“使用脑肿瘤的真实世界放射学报告对基于 GPT-4 的 ChatGPT 与放射科医生的诊断性能进行比较分析”
目标
像 GPT-4 这样的大型语言模型在放射学诊断方面已显示出潜力。以前研究这种潜力的研究主要使用学术期刊的测验。本研究旨在评估基于 GPT-4 的 Chat 生成预训练转换器（ChatGPT）使用脑肿瘤的实际临床放射学报告的诊断能力，并将其性能与神经放射科医生和普通放射科医生进行比较。
方法
我们收集了 2017 年 1 月至 2021 年 12 月期间两家机构的术前脑肿瘤患者的脑 MRI 报告，这些报告用日语书写，由放射科医生翻译成英语。GPT-4 和五名放射科医生收到了报告中的相同文本结果，并被要求提出鉴别诊断和最终诊断。切除肿瘤的病理诊断作为基本事实。使用 McNemar 检验和 Fisher 精确检验进行统计分析。
结果
在分析 150 份放射学报告的研究中，GPT-4 最终诊断准确率达到 73%，而放射科医生的准确率在 65%至 79%之间。使用神经放射科医生的报告时，GPT-4 的最终诊断准确率更高，为 80%，而使用普通放射科医生的报告时为 60%。在鉴别诊断方面，GPT-4 的准确率为 94%，而放射科医生的准确率在 73%至 89%之间。值得注意的是，对于这些鉴别诊断，无论报告来自神经放射科医生还是普通放射科医生，GPT-4 的准确率保持一致。
结论
GPT-4 表现出良好的诊断能力，在从 MRI 报告中鉴别脑肿瘤方面与神经放射科医生相当。GPT-4 可以作为神经放射科医生最终诊断的第二意见，以及普通放射科医生和住院医生的指导工具。
临床相关性声明
本研究使用脑肿瘤病例的真实世界临床 MRI 报告评估了基于 GPT-4 的 ChatGPT 的诊断能力，揭示了其从 MRI 结果中解释脑肿瘤的准确性与放射科医生具有竞争力。
