一张图片可能胜过千言万语,但与BiomedGPT相比,它们仍有很长的路要走。
最近在《自然医学》(Nature Medicine)杂志上报道的BiomedGPT是一种新型人工智能(AI),旨在支持广泛的医疗和科学任务。这项由多家机构合作开展的新研究在文章中被描述为"首个开源且轻量级的视觉-语言基础模型,设计为能够执行各种生物医学任务的通用型模型"。
"这项工作将两种AI结合成一种医疗提供者的决策支持工具,"理海大学(Lehigh University)计算机科学与工程学助理教授、该研究的主要作者之一Lichao Sun解释道。"系统的这一侧经过训练以理解生物医学图像,另一侧经过训练以理解和评估生物医学文本。这种结合使模型能够利用从生物医学图像数据库以及科学和医学研究报告的分析与综合中获得的见解,应对各种生物医学挑战。"
为医疗从业者和患者提供"16项最先进成果"
8月7日发表在《自然医学》上的文章《用于多样化生物医学任务的通用视觉-语言基础模型》,所描述的关键创新在于,这种AI模型不需要为每项任务进行专门化。通常,AI系统是为特定工作训练的,例如识别X光片中的肿瘤或总结医学论文。然而,这种新模型可以使用相同的基础技术处理许多不同任务。这种多功能性使其成为"通用型"模型,并成为医疗提供者手中的强大新工具。
"BiomedGPT基于基础模型,这是AI的最新发展,"Sun说道。"基础模型是大型预训练AI系统,只需最少的额外训练即可适应各种任务。文章中描述的通用模型已在大量生物医学数据(包括图像和文本)上进行了训练,使其能够在不同应用中表现出色。"
"通过对9项生物医学任务和不同模态的25个数据集进行评估,"作为《自然》文章第一作者、由Sun指导的理海大学博士生Kai Zhang说,"BiomedGPT取得了16项最先进成果。对BiomedGPT在三项放射学任务上的人类评估展示了该模型强大的预测能力。"
Zhang表示,他很自豪开源代码库可供其他研究人员用作进一步开发和采用的跳板。研究团队报告称,BiomedGPT背后的技术有一天可能会通过解释复杂的医学图像来帮助医生,通过分析科学文献来协助研究人员,甚至通过预测分子行为来帮助药物发现。
"这种技术的潜在影响是巨大的,"Zhang说,"因为它可以使医疗保健和研究的许多方面更加高效和准确。我们的方法表明,使用多样化数据进行有效训练可以带来更实用的生物医学AI,从而改善诊断和工作流程效率。"
团队合作进行临床验证
该过程中的一个关键步骤是在真实世界医疗环境中验证模型的有效性和适用性。
"临床测试涉及将AI模型应用于真实患者数据,以评估其准确性、可靠性和安全性,"Sun说。"这种测试确保模型在不同场景中表现良好。这些测试的结果帮助改进了模型,证明了其在改善临床决策和患者护理方面的潜力。"
马萨诸塞州综合医院(Massachusetts General Hospital,MGH)—Mass General Brigham医疗系统的创始成员和哈佛医学院的教学附属机构—在BiomedGPT模型的开发和验证中发挥了关键作用。该机构的参与主要集中在提供临床专业知识和促进模型在真实世界医疗环境中的有效性评估上。例如,该模型在MGH与放射科医生进行了测试,在视觉问答和放射学报告生成等任务中表现出卓越的性能。这种合作帮助确保了该模型既准确又适用于临床使用。
BiomedGPT的其他贡献者包括来自佐治亚大学(University of Georgia)、三星美国研究中心(Samsung Research America)、宾夕法尼亚大学(University of Pennsylvania)、斯坦福大学(Stanford University)、中佛罗里达大学(University of Central Florida)、加州大学圣克鲁兹分校(UC-Santa Cruz)、德克萨斯大学健康科学中心(University of Texas-Health)、费城儿童医院(Children's Hospital of Philadelphia)和梅奥诊所(Mayo Clinic)的研究人员。
"这项研究高度跨学科且具有协作性,"Sun说。"研究涉及多个领域的专业知识,包括计算机科学、医学、放射学和生物医学工程。每位作者都贡献了开发、测试和验证模型在各种生物医学任务上所必需的专业知识。像这样的大型项目通常需要访问多样化的数据集和计算资源,以及算法开发、模型训练、评估、应用到现实场景,以及临床测试和验证的技能。"
"这是一次真正的团队合作,"他说。"创造一些真正能够帮助医疗界改善广泛问题的患者结果是非常复杂的挑战。面对这种复杂性,通过科学和工程的应用来创造影响,合作是关键。"
【全文结束】

