人工智能在读取医学图像方面取得了令人印象深刻的进展。最近，在英国国民保健服务的一项测试中，一种AI工具查看了超过10,000名女性的乳房X光片，并正确识别了哪些患者被发现患有癌症。该AI还发现了11例医生漏诊的病例。然而，像狼疮和糖尿病这样的系统性疾病对这些系统来说是一个更大的挑战，因为诊断通常涉及多种医学图像，从MRI到CT扫描。
华盛顿大学保罗·G·艾伦计算机科学与工程学院的助理教授王升与微软研究院和普罗维登斯基因组学的合作者共同创建了BiomedParse，这是一种AI医学图像分析模型，可以处理九种不同类型的医学图像，以更好地预测系统性疾病。医疗专业人员可以将图像加载到系统中，并用简单的英语向AI系统提问。
该团队于11月18日在《自然方法》杂志上发表了他们的研究结果。华盛顿大学新闻部与王升就该工具及其在医疗保健领域的伦理和前景进行了交谈。
您的实验室研究什么？
我们专注于多模态生成AI，这意味着我们致力于处理多种医学图像。以前的研究通常只考虑一种类型的图像，例如癌症研究中的病理图像。我们的新方法是综合考虑所有类型的图像，以预测系统性疾病。像糖尿病这样的疾病可以在全身各处表现出来，如眼睛、牙齿、肾脏等。如果你只有一个能查看眼睛图像的模型，它可能会错过关于系统性疾病的线索。
您刚刚与微软和普罗维登斯基因组学的研究人员合作发表了一篇论文，该论文可以处理九种不同的医学图像并进行文本和图像之间的转换。OpenAI和艾伦人工智能研究所等公司和组织最近发布了可以在文本和图像之间转换的AI模型。医学图像是如何不同的？
当ChatGPT或Google的Gemini模型处理一张猫的图像时，这张图像可能非常小，比如说256像素宽。但医学图像要大得多，可能达到100,000像素宽。如果打印这两张图像，它们的大小差异就像网球和网球场一样。因此，同样的方法不能应用于医学图像。
但是，ChatGPT在理解和总结长文档方面非常出色。我们在这里也采用了相同的技术来总结非常大的病理图像。我们将大图像分解成许多256 x 256的小图像。这些小图像形成了一组“句子”，但这里的最基本元素不是单词或字符，而是一张小图像。然后，生成式AI可以非常准确地总结这组小图像。今年5月，我们宣布了GigaPath，这是一个使用这种方法处理病理图像的模型。
在我们的最新论文中，我们结合工具构建了BiomedParse，该模型可以跨九种模态工作，使我们能够整合涵盖CT扫描、MRI、X射线等的模型。我们发现，很难构建一个可以考虑所有模态的单一模型，因为人们可能不愿意分享所有数据。因此，我们为每种图像类型构建了一个模型。有些由我们自己开发，有些由哈佛大学和微软的其他专家开发，然后我们将它们投影到一个共享空间。
我们受到世界语的启发，这是一种为了使来自不同国家的人们能够交流而创造的语言，类似于现在英语在整个欧洲的功能。BiomedParse论文的关键思想是使用人类语言作为不同医学成像模态的“世界语”。CT扫描与MRI非常不同，但每一张医学图像都有临床报告。因此，我们将所有内容投影到文本空间。然后，两张图像之所以相似，不是因为它们都是CT扫描，而是因为它们描述的是类似的患者。
这个工具的潜在应用是什么？它是否可以让全科医生更好地理解各种不同的图像类型？
是的，这个工具有点像医学图像的搜索引擎。它使非专业人士能够与模型讨论需要专业知识的非常专业的医学图像。这可以使医生更好地理解图像，因为例如，读取病理图像通常需要很高的专业知识。
即使是经验丰富的医生也可以使用我们的模型更快地分析图像并发现细微的变化。例如，他们不必逐像素查看每张图像。我们的模型可以首先给出一些结果，然后医生可以集中关注那些重要的区域。这可以提高他们的工作效率，因为我们自动提供非常一致的结果——与专家人工标注相比，准确率超过90%，仅需0.2秒。由于这是一个检测生物医学对象位置并计数细胞数量的工具，90%的准确率通常是可以接受的，以便正确检测对象并预测下游疾病。但医生的指导仍然是必要的，以确保这些AI工具被正确使用。这是增强他们技能的一种方式，而不是替代。
这个工具会提供给医生吗？
我们已经发布了一个演示版本。接下来，我们希望与华盛顿大学医学部合作进一步开发该模型，然后在获得患者同意的情况下在华盛顿大学医学系统中部署。这是一个跨越整个华盛顿大学的大规模努力。我们收集了大量的数据，涵盖了人体不同部位、不同模态和不同疾病。因此，我们希望能够推进系统性疾病的检测。
显然，生成式AI系统存在各种问题。文本模型会臆造信息，返回错误答案并编造事实。图像生成器会扭曲事物。将这些数据应用于如此敏感的医学成像领域是否有担忧？
实际上，我们有一篇正在提交的论文专门针对医学生成式AI的伦理问题。一个问题是对事实的臆造。例如，你可以给某些AI模型一张胸部CT图像，并问它有什么牙科问题。这个问题本身没有意义，因为无法从CT扫描中判断牙科问题，但一些现有的AI模型会回答这个问题，显然答案是错误的。
另一个问题是伦理问题。我们可以给生成式AI一张牙科图像，并问：“这个患者的性别和年龄是什么？”这是私人信息。或者你可以要求它重建这个人的面部。因此，我们正在研究检测这些不道德的问题，并确保模型拒绝回答这些问题。
将生成式AI应用于医学是什么让你感兴趣的？
我以前从事药物发现和基因组学研究，但发现这是一个相当有限的领域，因为开发一种药物可能需要5到10年的时间，最耗时的部分是测试药物——在小鼠和人体中的试验等。我转向医学是因为我觉得AI在分析图像数据和图像与文本结合方面非常强大。
我还在研究药物再利用。这意味着，例如，用于治疗视网膜疾病的药物可能未被设计用于其他目的，但也可用于治疗心力衰竭。如果这种药物已经在用于治疗视网膜疾病，而我们发现它对心力衰竭有效，我们可以立即应用它，因为我们知道它是安全的。这是使用AI研究系统性疾病的一个潜在好处。如果我们通过结合视网膜图像和心力衰竭图像发现视网膜图像可以预测心力衰竭，我们可能会发现这样的药物。这是我们的长期目标。
(全文结束)