几个世纪以来，科学家们一直使用显微镜放大并观察肉眼看不见的世界。最早的仪器是简单的装有透镜的管子，其中最好的揭示了单细胞生物的存在。多年来，随着新技术的发展——从在光路中引入针孔到通过基因编辑使样本表达荧光——研究人员不断推动光学显微镜的边界。每一项发展都带来了多个研究领域的全新发现。如今，随着计算机性能的提高，人工智能可能成为显微镜技术的下一个技术进步。
人工智能（AI）通常是指机器模仿或超越人类在完成某些分析任务方面的能力。在实践中，今天的AI通常通过使用人工神经网络来实现，这些网络模拟大脑的功能，使算法能够学习数据中的模式，而不仅仅是被明确编程来识别这些模式。传统的机器学习程序中的网络相对简单，只包含一两个计算层。但通过增加更多的计算层，通常是数百或数千个，科学家们创建了深度学习程序，这是一种更高级的机器学习，能够在计算输出时自我纠正。最终，这使得程序能够更好地基于已学习的模式处理新数据。
2024年的三项科学诺贝尔奖中有两项授予了使用AI的科学家——物理学奖授予了建立当今AI算法所依赖的基础原理的研究者，化学奖授予了使用该技术的研究者——因此，AI进入显微镜实验室也就不足为奇了。从虚拟染色到构建更小的显微镜，科学家们正在利用AI彻底改变这一领域。组织和个人都在努力将这些进展带给全球的科学家。
用AI替代化学染色
化学染色长期以来在显微镜技术中扮演着核心角色。在研究实验室中，分子染色剂帮助科学家识别细胞器、区分细胞类型和绘制细胞动力学图谱。在临床环境中，病理学家依赖染色组织进行改变患者生命的诊断。在加州大学洛杉矶分校的Aydogan Ozcan实验室，研究人员采取了一种不同的方法。他的团队正在用AI的模式识别能力替代分子染色剂的化学特异性。他的最终目标是用虚拟染色替代化学染色，使后者变得过时。
虚拟染色的命名恰如其分；最终出现在显微图像中的颜色在物理世界中并不存在。相反，研究人员设计并训练AI识别显微图像中的相关细胞结构，并对其进行数字着色，以匹配特定的化学染色剂。这意味着科学家可以捕捉无标记的图像，稍后再进行数字染色。
使用无标记图像可以让研究人员充分利用无标记显微镜方法的优势。加州大学旧金山分校陈·扎克伯格生物中心的计算机工程师Shalin Mehta表示：“这种方法通常对细胞和组织更加温和，因为你不向细胞内注入大量能量，所以细胞可以在较长时间内保持健康。”捕捉用于虚拟染色的无标记图像并没有单一的方法。如果Ozcan只能选择一种方法在他的实验室中使用，那将是自体荧光，这是一种捕捉细胞成分自然发出的光的技术，而不是依赖荧光染料来产生光。在州内的另一端，Mehta使用了一种定量无标记显微镜方法，该方法依赖于计算技术，将几乎透明的细胞图像转换为高对比度的显微图像，基于各种细胞结构的折射率。无论采用哪种显微镜方法，两位科学家都设计并训练了机器学习算法，成功地为他们的显微图像着色。
“我个人非常反对使用人类时间来绘制像素。我认为这不是人类智慧的正确用途。”——Shalin Mehta，CZ Biohub San Francisco
虚拟染色在病理学中的应用
尽管虚拟染色广泛适用于依赖显微镜分析的课题，Ozcan主要感兴趣的是将其应用于医学。因此，他正在开发他认为可能改变组织学的AI软件，组织学是医学诊断的关键部分，需要一个组织样本，通常通过活检获得。在最佳情况下，组织学实验室的技术人员需要数小时才能对样本进行染色。如果技术人员负担过重或样本在实验室关闭时送过来，病理学家可能需要几天时间才能收到可分析的样本。老化试剂或实验室错误可能会使图像或载玻片无法使用，需要技术人员重新染色新的切片，进一步延迟诊断。许多疾病生物标志物需要化学特异性的染色剂，这些染色剂可能会相互作用，这是一个不希望的情况，使得多重成像（使用一个切片诊断多种疾病）变得困难或不可能。“如果我们有足够的组织，我们可以切割任意多的切片，并进行我们想要的所有类型的染色。但这是一种有限的资源。”匹兹堡大学病理学系主任Liron Pantanowitz说。虚拟染色可以帮助保存组织，他说：“虚拟染色消除了所有这些问题。”Ozcan说。技术人员无需花费时间对组织样本的切片进行染色，可以立即捕捉显微图像，通过AI算法处理后发送给病理学家。基于其训练数据，程序会将该图像中的细胞成分数字化着色，就像它们被化学特异性染料染色一样。这可以节省时间，Ozcan说，并提供多重成像。
Ozcan是一名电气和计算机工程师，他在过去一年中共同撰写了七篇期刊文章，展示了虚拟染色在组织学中的强大功能。在他的最新论文中，Ozcan和他的同事描述了一个深度学习程序，能够用刚果红虚拟染色显微图像，刚果红是揭示组织中错误折叠蛋白沉积物（称为淀粉样蛋白）的金标准染料。科学家们与组织学实验室的医务人员合作，训练算法，向其提供用刚果红化学染色的活检标本的前后图像。经过386对图像的学习后，团队让AI承担染色测试图像的任务。它成功了。在一项盲测中，当病理学家被呈现虚拟染色图像及其化学染色的对应图像时，医生得出结论，任何一张都可以用于诊断（《自然通讯》2024，DOI: 10.1038/s41467-024-52263-z）。
“我们需要高标准和法规来确保我们正确地使用这项技术。”——Liron Pantanowitz，匹兹堡大学
尽管虚拟染色程序具有诸多优势，但仍存在生成误导性患者样本图像的风险。Ozcan说，这可能以两种方式发生。程序可能会以完全不合理的方式着色显微图像。或者它可能会生成一张看起来完美、技术上准确但不存在的样本图像。“对于虚拟染色来说，最重要的一点是它不会取代病理学家。它不会给你一个诊断。”Ozcan说，“病理学家擅长识别由人类制作的不良染色显微图像，并会轻松识别并丢弃由AI生成的不合理染色显微图像。”“第二种幻觉更为危险。”Ozcan说，“这是病理学家无法识别的完美模仿真实患者样本的图像。”他建议添加另一个AI工具来评估虚拟染色显微图像可能是幻觉的可能性，从而让病理学家确信图像不是假的。
匹兹堡病理学家Pantanowitz与Ozcan的工作无关，但他对虚拟染色和AI在未来病理学实验室中的作用充满热情。将新技术带入临床环境需要时间和美国食品药品监督管理局的批准。“我们需要高标准和法规来确保我们正确地使用这项技术。”Pantanowitz说。更多基于研究的证据将有助于制定虚拟染色使用的指南，他说。更实际的是，需要有一种方法来报销医疗实践中早期采用者的费用。“如果突然间有一个虚拟染色的计费代码，我们会说，‘好吧，没问题，我会尝试一下。’”Pantanowitz说。
虚拟染色在生物学中的应用
虽然Ozcan致力于将虚拟染色引入组织学实验室，但位于旧金山的计算机工程师Mehta正在为研究细胞动力学的生物学实验室构建计算显微镜平台和AI算法。“我们的重点是揭示新的生物学现象和系统的动态。”他说，“虚拟染色以前所未有的方式照亮了细胞间的相互作用。”为此，Mehta、他的团队和加州大学旧金山分校的合作者开发了Mantis显微镜（《PNAS Nexus》2024，DOI: 10.1093/pnasnexus/pgae323）。它之所以得名是因为“螳螂虾具有高维视觉，我们的显微镜也是如此。”Mehta说，“这是一个允许你快速进行无标记成像和快速荧光成像的系统。”
Mantis使用穿过样本的光的相位和偏振变化生成无标记图像。在Mehta的实验室中，样本由细胞、组织和有时甚至是整个活体生物组成。他说，许多细胞在人眼中看起来是透明的，因为人类无法检测相位或偏振变化，只能看到难以解释的阴影。通过将偏振光照射到样本上并拍摄样本在偏振平面旋转时的多张3D图像，Mantis捕捉这些阴影在细胞内的变化。这些快照随后被输入基于物理的计算机算法，测量细微的相位和偏振变化，结合图像并将其转换为高对比度的显微图像。结合同时捕获的荧光图像，最终图像揭示了样本的物理和分子特性。
Mehta说，团队设计Mantis是为了尽可能多地捕捉样本的信息。除了收集相位和偏振信息的通道外，显微镜还有两个不同的通道，可以同时捕获两组荧光数据。“使用荧光方法的瓶颈在于，通常你不能编码超过三四个通道。”Mehta说。虚拟染色可以打开信息的大门；AI可以识别多个细胞成分，并将其添加到已经显示物理标记的荧光染色的显微图像中。该程序还可以填补荧光染料未能有效附着在其目标上的空白。实际上，这意味着Mehta可以化学染色细胞内的线粒体和溶酶体，然后虚拟染色细胞膜和细胞核，从而有效地将图像中的信息量翻倍。
创建一个能够解释形状不同且放大倍数各异的细胞显微图像的深度学习算法是一项挑战，因为AI的应用通常受其训练数据的限制。但Mehta和他的团队希望使他们的平台广泛可用。“我们的目标是在多个尺度上绘制动态细胞系统，这是我们的生物学北极星。”他说。Mehta和他的团队采取了几种方法来训练他们的AI，使其更加健壮（bioRxiv 2024，DOI: 10.1101/2024.05.31.596901）。其中一个方法是“创建比最终目标更难的训练任务，这迫使模型学习数据的更语义化的表示。”Mehta说。因此，他们不仅仅训练程序识别单一信息通道——例如细胞核——而是要求它识别多个通道——细胞核、细胞膜等。
机器学习在无镜头成像中的应用
虚拟染色并不是显微镜学家唯一的目标。在加州大学伯克利分校的Laura Waller计算成像实验室，她和她的学生正在开发机器学习程序来构建无镜头相机和显微镜。“透镜的唯一作用是以特定方式弯曲光线以形成图像。”Waller解释道。因为光线与物体的相互作用可以用基于物理的计算机算法数学预测，Waller说，人们可以问，“我们能否通过计算方式弯曲光线来重建图像？”如果可以，科学家们就可以消除笨重的物镜，设计更小的显微镜。没有透镜，图像将显得模糊不清，AI无法简单地将任何模糊的图像转换为清晰的图像。为了数字重建这样的照片，研究人员必须完全了解光线是如何从表面散射的。为此，Waller和她的团队表征并设计了以已知方式将光线散射到传感器上的表面。“你得到的图像看起来像垃圾。”Waller说，但因为团队知道光线应该如何从扩散器的表面散射，他们可以使用模型反向工作，重建真正的图像应该是什么样子。“你可以认为光学编码了信息，”她补充道，“然后你的算法解码它。”
团队测试了纯基于机器学习和物理的计算机算法来去模糊图像。纯物理模型速度慢，并在最终图像中产生了“奇怪的伪影”，Waller说。团队的纯机器学习模型速度快，但也产生了伪影。但当团队将物理原理融入AI算法的架构中时，结果的程序计算速度快，产生的图像质量高于其他方法（《光学快报》2019，DOI: 10.1364/OE.27.028075）。“实际上真的很美，因为答案是合作更好。”Waller说。Waller认为，如果机器学习程序可以帮助解码模糊图像中的信息，它们也可能帮助编码这些信息。因此，她和她的团队构建了一个计算机模型来设计更有效的扩散表面。虽然他们仍在参数化这个模型——“它不能有任意的设计能力，”Waller指出，因为这些表面需要在现实世界中制造——但AI确实有效。设计的表面结合了折射和衍射光学的特性，每种特性以稍微不同的方式弯曲光线。将新的AI设计的表面与去模糊AI结合使用，产生了更清晰的图像。
虽然这种混合方法在散射光线方面更具挑战性，但改进的图像质量使其值得。Waller说，“我们现在正在将其用于真实的显微镜应用。”
桥接学科
即使AI在日常生活中变得普遍，技术承诺与平均显微镜实验室的集成之间仍然存在巨大差距。欧洲项目AI4Life的团队希望通过连接生命科学家和计算机科学家来弥合这一差距。前者提供复杂的现实世界显微镜数据，后者可以构建定制的AI程序来帮助分析这些数据，AI4Life的外展协调员Beatriz Serrano-Solano说。科学家可以通过几种方式参与该项目，Serrano-Solano说。显微镜学家可以浏览BioImage Model Zoo——一个开放访问的预训练AI模型库——寻找适合他们需求的程序。如果找不到合适的，科学家可以在AI4Life的开放征集活动中提交他们的问题，我们提供深度学习分析的支持，Serrano-Solano说。对于计算机科学家，Serrano-Solano说项目组织数据科学竞赛，即Challenge，研究人员“竞争以获得最佳解决方案或最佳性能方法。”
该组织不仅与个人合作，还与显微镜制造商徕卡显微系统公司建立了合作关系。“我们与他们合作，他们可以检索Zoo模型，”Serrano-Solano说。这些模型随后被集成到徕卡的Aivia软件中，该公司正在开发的深度学习图像分析工具。徕卡并不是唯一一家开发基于AI的工具的显微镜公司。Evident（前身为奥林巴斯科学解决方案）和蔡司也在开发机器学习算法，以帮助显微镜学家分析图像。
从他们的研究实验室出发，Ozcan和Mehta采取了不同的方法来更广泛地分享他们的AI程序。Ozcan于2019年共同创立了Pictor Labs。这家UCLA的衍生公司正在开发用于组织学的虚拟染色程序，并最近筹集了3000万美元的B轮融资。Mehta和他的团队则致力于在开放访问存储库中发布所有计算和深度学习方法。“开放共享和开放交流是社区的力量。”他说。通过拥抱这些原则，Mehta希望他们的AI算法能够广泛采用。
(全文结束)
