人工智能在读取医学图像方面取得了令人印象深刻的进展。最近在英国国家卫生服务系统进行的一项测试中，一种AI工具查看了超过10,000名女性的乳房X光片，并正确识别出哪些患者被诊断出患有癌症。AI还发现了11例医生漏诊的病例。然而，像狼疮和糖尿病这样的系统性疾病对这些系统构成了更大的挑战，因为诊断通常涉及多种医学图像，从MRI到CT扫描。
华盛顿大学保罗·G·艾伦计算机科学与工程学院的助理教授王盛与微软研究和Providence基因组学的合著者合作，创建了BiomedParse，这是一种AI医学图像分析模型，可以在九种不同的医学图像类型之间工作，以更好地预测系统性疾病。医疗专业人员可以将图像加载到系统中，并用简单的英语向AI系统提问。
研究团队于11月18日在《自然方法》杂志上发表了他们的研究成果。UW新闻与王盛讨论了这一工具以及AI在医疗保健领域的伦理和前景。
您的实验室研究什么？
王盛：我们专注于多模态生成式AI，这意味着我们处理多种医学图像。以前的研究一次只考虑一种类型的图像，例如癌症研究中的病理图像。我们的新方法是同时考虑所有类型的图像，以预测系统性疾病。像糖尿病这样的疾病可能在全身各处表现出来，包括眼睛、牙齿、肾脏等。如果你只有一个可以查看眼睛图像的模型，它可能会错过关于系统性疾病的信息。
您刚刚与微软和Providence基因组学的研究人员共同发表了一篇论文，该论文可以处理九种不同的医学图像类型，并在文本和图像之间进行转换。OpenAI和Allen人工智能研究所等公司和组织最近发布了可以在文本和图像之间转换的AI模型。医学图像有什么不同？
王盛：当ChatGPT或谷歌的Gemini模型生成一张猫的图像时，该图像非常小，比如说256像素宽。但医学图像要大得多，可能是100,000像素宽。如果打印这两张图像，它们的大小差异就像网球和网球场一样。因此，同样的方法不能应用于医学图像。
但ChatGPT在理解和总结长文档方面非常出色。因此，我们在这里使用相同的技术来总结非常大的病理图像。我们将它们分解成许多256 x 256的小图像。这些小图像形成了一组类似于“句子”的小图像，但这里的最基本元素不是单词或字符，而是一张小图像。然后，生成式AI可以非常准确地总结这组小图像。今年5月，我们宣布了GigaPath模型，该模型使用这种方法处理病理图像。
在我们最新的论文中，我们结合了各种工具来构建BiomedParse，该模型可以在九种模态之间工作，使我们能够整合覆盖CT扫描、MRI、X射线等的模型。我们发现很难构建一个可以考虑所有模态的单一模型，因为人们可能不愿意共享所有数据。因此，我们为每种图像类型构建了一个模型。有些由我们自己开发，有些由哈佛和微软的其他专家开发，然后我们将它们投影到一个共享空间。
我们受到世界语的启发，这是一种为了使来自不同国家的人们能够交流而创造的人工语言，类似于现在英语在整个欧洲的功能。BiomedParse论文的关键思想是使用人类语言作为不同医学成像模态的“世界语”。CT扫描与MRI非常不同，但每个医学图像都有临床报告。因此，我们将一切都投影到文本空间。然后，两个图像是相似的，不是因为它们都是CT扫描，而是因为它们描述了类似的患者。
这个工具的潜在应用是什么？它是否可以让全科医生更好地理解各种不同的图像类型？
王盛：是的，它有点像医学图像的搜索引擎。它使非专业人员能够与模型讨论需要领域专业知识的高度专业化的医学图像。这可以使医生更好地理解图像，因为读取病理图像通常需要很高的专业知识。
即使是经验丰富的医生也可以使用我们的模型更快地分析图像并发现细微的变化。例如，他们不必逐像素查看每张图像。我们的模型可以首先给出一些结果，然后医生可以专注于那些重要区域。这可以提高他们的工作效率，因为我们自动提供非常一致的结果——与专家人工注释相比，准确率超过90%，仅需0.2秒。由于这是一个检测生物医学对象位置并计数细胞数量的工具，90%的准确率通常是可接受的，可以正确检测对象并预测下游疾病。但医生的指导仍然是必要的，以确保这些AI工具得到适当使用。这是增强他们技能的一种方式，而不是取代他们。
这个工具会提供给医生吗？
王盛：我们已经发布了一个演示版本。接下来，我们希望与UW医学合作进一步开发该模型，然后在获得患者同意的情况下在UW医学系统中部署。这是一个涉及整个UW的大型项目。我们收集了大量的数据，涵盖了人体的不同部位、不同的模态和不同的疾病。因此，我们希望可以推进系统性疾病的检测。
显然，生成式AI系统存在各种问题。文本模型会虚构信息，返回错误答案并编造事实。图像生成器会扭曲事物。将这些数据应用于像医学成像这样敏感的领域是否存在担忧？
王盛：实际上，我们有一篇正在提交的论文专门针对医学生成式AI的伦理问题。一个问题是虚构。例如，你可以给某些AI模型一张胸部CT图像，并问牙科问题是什么。这个问题没有意义，因为无法从CT扫描中判断牙科问题，但一些现有的AI模型实际上会回答这个问题，显然是错误的答案。
另一个问题是伦理。我们可以给生成式AI一张牙科图像，并问：“这个患者的性别和年龄是多少？”这是私人信息。或者你可以要求它重建患者的脸部。因此，我们正在努力检测这些不道德的问题，并确保模型拒绝回答这些问题。
为什么您对将生成式AI应用于医学感兴趣？
王盛：我以前从事药物发现和基因组学研究，但发现这是一个相当有限的领域，因为开发一种药物可能需要5到10年的时间，最耗时的部分是测试药物——小鼠试验、人体试验等。我转向医学是因为我认为AI在分析图像数据和图像与文本结合方面非常强大。
我也在从事药物再利用研究。这意味着，例如，用于治疗视网膜疾病的药物可能未被设计用于其他目的，但也可能治疗心力衰竭。因此，如果这种药物已经在用于治疗视网膜疾病，并且我们发现它对心力衰竭有效，我们就可以立即应用它，因为我们知道它是安全的。这是使用AI研究系统性疾病的一个潜在好处。如果我们发现将视网膜图像与心力衰竭图像结合时，视网膜图像可以预测心力衰竭，我们可能会发现这样的药物。这是我们的长期目标之一。
如需更多信息，请联系王盛，邮箱：swang@cs.washington.edu。
(全文结束)
