人工智能在医疗保健领域具有巨大的潜在影响，可以帮助提高诊断准确性、扩大护理范围，并减轻行政负担，使护理团队能够更好地关注患者。然而，医疗保健领域非常广泛，潜在的应用场景远远超过开发者的覆盖能力。此外，医疗领域的人工智能开发特别具有挑战性，因为需要大量的数据、专业知识和计算资源来构建达到临床使用所需性能水平的模型。
如果没有足够多样化的数据（例如，跨患者群体、数据采集设备或协议），模型在部署到与训练数据不同的环境中时可能无法很好地泛化。这导致了较高的进入门槛，阻止了许多潜在的医疗AI开发者进行实验，使他们难以将想法从概念转变为原型，更不用说从实验室到临床了。为了继续实现医疗保健的潜力，需要来自多样化贡献者在多种应用场景、界面和商业模式上的创新。
鉴于此，今天我们将推出 Health AI Developer Foundations (HAI-DEF)，这是一个公共资源，旨在帮助开发者更高效地构建和实施医疗AI模型。HAI-DEF 在一份伴随的技术报告中进行了总结，包括开放权重模型、教学Colab笔记本和文档，以协助开发的每个阶段，从早期研究到商业项目。
HAI-DEF 是我们支持医疗AI开发的更广泛承诺的一部分。它建立在2023年发布的 Medical AI Research Foundations 仓库的基础上，该仓库包括用于胸部X光和病理图像的模型。它还补充了2023年推出的 Open Health Stack，该平台为开发者提供了构建有效健康应用程序的开源构建块，以及2024年推出的 Population Dynamics Foundation Model，该模型为开发者提供地理空间嵌入，以实现人口层面的变化建模，包括公共卫生等。通过提供这些资源，我们旨在民主化医疗AI开发，赋能开发者创造能够改善患者护理的创新解决方案。
HAI-DEF 初始模型
HAI-DEF 的首次发布包括三个专注于支持医学影像应用开发的模型：
- CXR Foundation：用于胸部X光片
- Derm Foundation：用于皮肤图像
- Path Foundation：用于数字病理学
每个模型都是针对特定医学影像模式的专业嵌入模型。它们提高了训练和部署模型的效率，将图像作为输入，生成固定长度的向量（嵌入），高效地表示输入图像。这些模型通过对其各自模式的大规模、多样化的去标识化数据进行广泛的自监督训练而开发。因此，这些模型生成的嵌入为开发者提供了一个强大的起点，只需少量额外的数据和计算即可构建高性能的AI模型。
CXR Foundation 使用 EfficientNet-L2 架构预训练了超过80万张X光片。它使用了监督对比损失、CLIP 和 BLIP-2 损失进行训练。在其 BLIP 训练阶段，它还包含一个基于 BERT 的文本编码器，可以将文本和图像投影到共享嵌入空间。CXR Foundation 作为图像编码模型接受 DICOM 图像，其文本编码器接受文本字符串。这允许用户进行数据高效的分类，通过在嵌入上构建小型模型来分类用户关心的条件。语言组件还允许用户进行：
- 语义图像搜索：按图像在嵌入空间中与某个搜索词的接近程度对一组图像进行排名；
- 零样本分类：使用文本术语和图像嵌入之间的距离提供分类分数，无需示例图像。请注意，零样本的性能将低于数据高效的分类。
Derm Foundation 基于 BiT ResNet-101x3 架构。它在各种皮肤图像上进行了预训练，以生成对皮肤相关任务的数据高效分类有用的丰富嵌入。这些任务可能包括临床任务，如皮炎、黑色素瘤或银屑病，也可以用于理解涉及的身体部位、确定图像质量以及判断照片是否需要重新拍摄。
Path Foundation 是一个高效的嵌入模型，基于 ViT-S 架构，专门用于苏木精和伊红（H&E）染色图像。Path Foundation 接受224 x 224像素的 H&E 幻灯片补丁，生成可用于数据高效分类的嵌入，应用于肿瘤分级或识别、组织或染色类型的分类以及图像质量的确定。这些嵌入还可以用于相似图像搜索任务，以查找幻灯片内或跨幻灯片的相似区域。
从社区对先前研究端点的经验中学习
在过去两年中，学术界、医疗机构和制药公司的研究人员通过 Google Research 托管的API使用这些模型。在给社区时间使用模型并探索不同应用后，我们收集了反馈。许多用户希望直接下载模型，以便在无法离开机构边界的数据库上使用。此外，看到基础模型在改进临床工作流程方面潜力的用户希望朝着有助于临床护理的应用场景发展。
响应这一反馈，HAI-DEF 将使开发者能够：
- 在本地或云环境中下载并运行这些模型；
- 用它们开发研究或商业项目；
- 对它们进行微调以实现更好的性能。
这些模型可通过 Vertex AI Model Garden [CXR, Derm, Path] 和 Hugging Face [CXR, Derm, Path] 获得。由于模型权重是开放的，开发者可以对模型进行微调，以提高其特定需求和应用的性能，将嵌入模型作为复杂集成或混合架构的一部分使用等。
构建医疗AI开发者生态系统
HAI-DEF 是我们推动更广泛生态系统为医疗保健建设的一种方式，补充了 Open Health Stack 和 Population Dynamics Foundation Model。我们很高兴继续在这个领域投资，包括向 HAI-DEF 添加更多模型并扩展我们的笔记本范围。我们期待看到社区利用这些资源，实现AI在医疗保健和生命科学领域的转型潜力。
致谢
感谢 Google Health 团队成员领导这项研究并使公开发布成为可能，包括 Rory Pilgrim、Fereshteh Mahvar、Liron Yatziv、Tiffany Chen、Kenneth Philbrick、Bram Sterling、Nick George、Atilla Kiraly、Sebastien Baur、Fayaz Jamil、Preeti Singh、Faruk Ahmed、Lin Yang、Andrew Sellergren、Daniel Golden、Abbi Ward、Shruthi Prabhakara、Jennifer Klein、Chuck Lau、Jason Klotzer、Shekoofeh Azizi、Lauren Winer、Jenn Sturgeon、David F. Steiner、Yun Liu 和 Shravya Shetty。感谢 Tiya Tiyasirichokchai 创建图表。
(全文结束)
