CT扫描是一种3D影像技术，在检测肺癌、神经问题和创伤等疾病中起着关键作用。仅在美国，每年就进行超过7000万次检查。科技巨头谷歌最近宣布发布CT Foundation，这是其用于3D CT体积的新医疗基础工具，似乎是在暗示“谁还需要放射科医生呢？”
传统的放射科医生通过将3D扫描分解为2D切片来检查每一张图像中的疾病迹象。他们利用对健康器官和组织外观的了解来发现任何异常。在某些情况下，他们还会在智能手机上使用增强现实（AR）技术查看这些扫描图像，这也有助于患者更好地理解图像。然而，通过利用AI，特别是计算机视觉这一子领域，这些从业者可以更快地分析图像，找到模式并识别异常。
因此，AI在这一领域的应用提高了3D影像扫描的诊断速度和效率。据官方博客文章称，CT Foundation借鉴了谷歌在2D医学影像（如胸部X光、皮肤病学和数字病理学）方面的先前经验。
该工具基于VideoCoCa构建，通过创建一个1408维向量来简化DICOM格式CT扫描的处理，该向量捕捉关于器官、组织和异常的关键细节。
宣布推出CT Foundation，这是一个新的医学影像嵌入工具，接受CT体积作为输入，并返回一个小而信息丰富的数值嵌入，可用于快速训练模型。了解更多并亲自尝试： pic.twitter.com/hXKN8uTh4V
— Google AI (@GoogleAI) 2024年10月21日
CT Foundation允许研究人员使用更少的数据更高效地训练AI模型，显著减少了与传统方法相比所需的计算资源。研究人员还可以免费使用其API。
AI在解释复杂的3D CT扫描任务中的集成提供了先进的分析工具，帮助放射科医生发现可能被忽视的最小异常。例如，AI驱动的方法现在可以简化中风患者的血流评估，提供实时见解，加速重症护理期间的治疗决策。
在Rafał Obuchowicz和其他两位研究人员进行的COVID-19研究中，3D CT分析揭示了感染后癌症患者肺部的纤维化变化，增强了对感染引发的脆弱性的总体理解。生成对抗网络（GANs）用于增强CT图像重建，填补缺失数据。此外，UnetU这一深度学习工具可以降噪和增强材料区分，减少处理时间并支持更详细的分析。这种深度学习的分割提供了彻底的诊断见解，取代了手动标注，提高了工作流程效率，最终通过增强的诊断清晰度改善了患者结果。
大型语言模型如何分析医学扫描？
根据美国国家医学图书馆的说法，大型语言模型（LLMs）有能力增强迁移学习效率，整合多模态数据，促进临床互动，并优化医疗保健的成本效益。论文还指出，对于LLMs至关重要的变压器架构在医学领域中越来越受欢迎。
聚焦ChatGPT
根据今年早些时候由美国国家医学图书馆发表的另一篇论文，ChatGPT在提高临床工作流程效率和诊断准确性方面发挥着重要作用。它涵盖了医学影像的多个领域，如图像描述、报告生成和分类、从报告中提取发现、回答视觉问题和做出可解释的诊断。报告还指出，研究人员和临床医生之间的合作是充分利用LLMs在影像学中的应用所必需的。
LLMs在放射学中的应用
今年1月，北美放射学会发布了一篇关于聊天机器人和大型语言模型在放射学中的应用的论文。该论文讨论了包括考虑文本和图像的多模态模型在内的LLMs。“这些模型有潜力改变放射学实践和研究，但在监督环境中实施之前必须进行优化和验证，”论文中这样写道。论文还提到了幻觉、知识截止日期、复杂的推理能力差、倾向于延续偏见和随机性等当前放射学中的一些主要局限性。
发展步伐加快
近日，加州大学洛杉矶分校的两名研究人员Eran Halperin和Oren Avram开发了一种AI驱动的基础模型，可以准确分析医学3D影像。该模型SLIViT（视觉变压器切片集成）可以在比人类专家更短的时间内分析MRI和CT扫描。
SLIViT利用大量注释的2D医学图像的知识，在3D成像任务中表现出色，即使3D训练数据有限。
— Simona Cristea (@simocristea) 2024年11月2日
谷歌的CT Foundation进入了一个已经由微软的Project InnerEye涉足的领域，后者是一个用于医学影像AI的开源软件，用于深度学习研究。该项目也在微软关于“生物医学影像”的博客中有所涉及，该博客讨论了使用AI解决医学影像的速度、量化和成本挑战的问题。博客还讨论了各种研究重点领域，包括用于图像重建的机器学习、放疗图像分割、眼科、数字病理学、大流行病准备和微软的连接成像仪器项目。
CT Foundation仅用于研究
随着工具的发布，谷歌还分享了一个Python笔记本，一个可供训练模型的演示笔记本，包括使用公共数据进行肺癌检测的模型。谷歌还在六个与头部、胸部和腹部相关的临床任务中测试了该模型，每个任务都涉及检测颅内出血、肺癌和多种腹部异常等状况。
结果显示，即使在有限的训练数据下，模型的曲线下面积（AUC）得分也超过了0.8。AUC的测量范围在0.0到1.0之间，其中1.0表示完美的模型，0.5表示随机机会。尽管如此，该工具尚未准备好用于医学诊断。
“我们开发此模型仅用于研究目的，因此不得用于患者护理，也不得用于诊断、治愈、缓解、治疗或预防疾病。例如，该模型和任何嵌入不得用作医疗器械。”谷歌表示。
随着机器学习发展为AI并继续进步，它承诺更准确的诊断、更少的错误和更好的结果，最终将医学影像提升到前所未有的水平。
(全文结束)
