最近发表在《MIT新闻》网站上的一篇文章展示了由麻省理工学院计算机科学与人工智能实验室(CSAIL)、麻省总医院(MGH)和哈佛医学院的研究人员开发的一个名为“ScribblePrompt”的新框架。该框架旨在增强医学图像分割,这是临床实践和生物医学研究中的关键任务。
医学图像分割的挑战
医学影像是诊断和研究的重要工具,提供了身体内部结构的关键见解,有助于疾病诊断和治疗。常用的成像技术包括磁共振成像(MRI)、X射线和超声波,用于监测健康状况。然而,解释这些图像需要临床医生手动识别感兴趣区域,这既耗时又容易出错。
传统方法严重依赖于手动描边,这可能既慢又不准确,尤其是在处理复杂图像时。尽管人工智能(AI)和机器学习(ML)提高了速度和准确性,但它们通常需要大量标注数据集,而在医疗保健领域中获取这些数据集颇具挑战性。ScribblePrompt通过减少对广泛手动标注的需求,同时确保高准确性和跨各种医学图像的适应性,解决了这些挑战。
ScribblePrompt的开发
研究人员介绍了“ScribblePrompt”,这是一种显著减少医学图像分割所需时间和努力的交互式框架。他们采用了一种创新的方法,模拟人类在不同医学图像上的标注行为,包括超声波、MRI和眼睛、大脑、骨骼和皮肤的照片。
为了实现这一点,研究人员开发了算法,模拟人类在不同医学图像区域的涂鸦和点击模式。这种方法使他们能够为超过50,000个扫描图像创建合成标注,而无需手动标注。研究还采用了超像素算法来识别传统标注可能遗漏的区域,从而提高模型的准确性。
ScribblePrompt在16种医学成像模态和65个数据集上进行了训练,涵盖了各种解剖结构和成像技术。这种全面的训练产生了一个通用的基础模型,能够推广到未包含在训练数据中的新图像类型和分割任务。
该框架的界面设计为用户友好的交互方式,允许用户通过在目标区域进行简单的涂鸦或点击来引导分割过程。系统会解释这些输入以突出相关结构。用户可以通过提供额外的输入或使用“负涂鸦”来排除某些区域,进一步细化分割。
评估和发现
对提出的框架在12个新数据集上的全面评估表明,其性能优于四种现有的分割方法。即使面对之前未遇到过的图像,ScribblePrompt也能高效地分割感兴趣区域,提供符合用户期望的准确预测。与Meta的Segment Anything Model(SAM)相比,ScribblePrompt将标注时间减少了28%,显示出其在医学影像工作流程中的潜在优势。
此外,MGH的神经影像学作者进行的用户研究表明,参与者强烈偏好ScribblePrompt。其直观的界面和自我纠正功能使其成为通过用户交互改进分割准确性的首选工具。约93.8%的参与者在基于涂鸦修正增强段落方面更喜欢ScribblePrompt,87.5%的参与者在基于点击的编辑方面也更倾向于它,展示了其用户友好的界面和响应设计。
应用和影响
ScribblePrompt在改进医学影像任务方面具有巨大潜力。其能够快速准确地分割不同模态的图像,为临床实践和研究开辟了新的可能性。在临床环境中,ScribblePrompt可以加快诊断过程,使专业人士能够更多地关注解释和治疗计划,而不是手动标注。
在医学研究中,该框架的灵活性和效率可以加速涉及大规模图像分析的研究。其能够适应新图像类型而无需广泛重新训练,使其在探索罕见条件的新型成像技术方面具有价值。
此外,ScribblePrompt的交互性质支持医疗保健领域中日益增长的人机协作趋势。通过增强而非替代人类专业知识,这一工具可以提高医学图像分析的准确性和一致性,同时仍然依赖训练有素的专业人士的见解。
结论
总之,ScribblePrompt被证明是推进生物医学图像分割和分析的有效、高效和可靠的工具。其无缝集成到临床工作流程中并提高诊断准确性的能力使其成为医疗保健专业人士的宝贵资产。总体而言,研究人员提供了一种解决手动标注挑战的实用方法。
随着AI的不断发展,像ScribblePrompt这样的工具可以改善患者结果并创建更高效的医疗保健系统。未来的工作应集中在完善其功能、扩展应用范围,并确保顺利集成到临床实践中,以实现最大影响。
(全文结束)

