斯坦福大学的研究人员创建了一种名为MUSK的AI模型，该模型通过结合医学图像和文本数据来改善癌症预后和治疗预测，其准确性超过了传统方法，适用于多种癌症类型。MUSK代表多模态变压器与统一掩码建模，标志着人工智能在临床护理中的应用发生了重大变化，研究人员相信它将改变人工智能如何指导患者护理。
“MUSK可以准确预测许多不同种类和阶段癌症患者的预后，”放射肿瘤学副教授李瑞江（Ruijiang Li）博士表示。“我们设计MUSK是因为在临床实践中，医生从不依赖单一类型的数据来做临床决策。我们希望利用多种类型的数据获得更多的洞察力，更精确地预测患者的结果。”
李博士是斯坦福癌症研究所的成员，也是这项研究的资深作者，该研究于1月8日发表在《自然》杂志上。博士后学者项锦曦（Jinxi Xiang）和王希悦（Xiyue Wang）是该研究的主要作者。
尽管人工智能工具在诊所中的使用越来越广泛，但它们主要用于诊断（例如，显微镜图像或扫描是否显示癌症迹象），而不是用于预后（例如，这个人的可能临床结果是什么，哪种疗法最有效？）。部分挑战在于需要在大量标注数据（如显微镜切片图像）和配对数据（如患者的临床笔记）上训练模型。然而，精心策划和注释的数据集很难获得。
在人工智能术语中，MUSK是一种基础模型。基础模型预先在大量数据上进行训练，可以通过额外的训练定制执行特定任务。由于研究人员设计MUSK使用未配对的多模态数据，这不符合传统的人工智能训练要求，因此计算机在初始训练期间可以使用的“学习”数据量增加了几个数量级。有了这个起点，任何后续训练都可以通过更小、更专业的数据集完成。实际上，MUSK是一个现成的工具，医生可以根据具体临床问题进行微调。
“最大的未满足临床需求是医生可以用来指导患者治疗的模型，”李博士说。“这位患者需要这种药物吗？还是我们应该专注于另一种治疗方法？目前，医生使用疾病分期和特定基因或蛋白质等信息来做这些决定，但这并不总是准确的。”
研究人员收集了来自全国数据库The Cancer Genome Atlas的16种主要癌症类型（包括乳腺、肺、结直肠、胰腺、肾、膀胱、头颈）患者的组织切片显微镜图像、相关病理报告和随访数据（包括患者的病情进展）。他们使用这些信息训练MUSK预测疾病特异性生存率，即在特定时间段内未因特定疾病死亡的患者百分比。
对于所有癌症类型，MUSK准确预测了75%的患者疾病特异性生存率。相比之下，基于患者癌症分期和其他临床风险因素的标准预测方法仅正确64%的时间。
在另一个例子中，研究人员训练MUSK使用数千个信息点预测哪些患有肺癌或胃食管癌的患者最有可能从免疫疗法中受益。
“目前，决定是否给患者某种免疫疗法的主要依据是患者肿瘤是否表达一种叫做PD-L1的蛋白质，”李博士说。“这是一种由单个蛋白质组成的生物标志物。相比之下，如果我们能使用人工智能评估数百或数千个不同类型的数据，包括组织成像，以及从临床笔记中收集的患者人口统计学、病史、既往治疗和实验室测试，我们可以更准确地确定谁可能会受益。”
对于非小细胞肺癌，MUSK正确识别了约77%的时间内从免疫疗法治疗中受益的患者。相比之下，基于PD-L1表达的标准免疫疗法反应预测方法仅正确约61%的时间。
当研究人员训练MUSK识别哪些黑色素瘤患者在初次治疗后的五年内最有可能复发时，也获得了类似的结果。在这种情况下，该模型正确率为83%，比其他基础模型生成的预测高约12%。
“MUSK的独特之处在于能够在预训练中结合未配对的多模态数据，这大大增加了数据规模，相比其他模型所需的配对数据，”李博士说。“我们观察到，对于所有临床预测任务，整合多种类型数据的模型始终优于基于影像或文本数据的模型。利用这些类型的未配对多模态数据与像MUSK这样的人工智能模型相结合，将是人工智能辅助医生改善患者护理的重大进步。”
参考文献：“一种用于精准肿瘤学的视觉-语言基础模型”由Jinxi Xiang、Xiyue Wang、Xiaoming Zhang、Yinghua Xi、Feyisope Eweje、Yijiang Chen、Yuchen Li、Colin Bergstrom、Matthew Gopaulchan、Ted Kim、Kun-Hsing Yu、Sierra Willens、Francesca Maria Olguin、Jeffrey J. Nirschl、Joel Neal、Maximilian Diehn、Sen Yang和Ruijiang Li撰写，发表于2025年1月8日，《自然》。DOI: 10.1038/s41586-024-08378-w
哈佛医学院的研究人员也参与了这项工作。
这项研究得到了美国国立卫生研究院（NIH）的资助（资助编号：R01CA222512、R01CA233578、R01CA269599、R01CA285456、R01CA290715和R01DE030894），以及斯坦福以人为中心的人工智能研究所的支持。
(全文结束)
