谷歌云今天宣布在Vertex AI Search for Healthcare中新增生成式AI（gen AI）功能，包括一个名为Visual Q&A的新功能，该功能可以搜索表格、图表和图示，并且Gemini 2.0现在也作为其中一个模型提供。Vertex AI Search for Healthcare的新多模态搜索功能可以帮助组织为医生、护士和其他人员提供更全面的患者健康视图。
“我们正在通过嵌入Vertex AI Search for Healthcare中的新多模态功能帮助临床医生更高效地工作，”谷歌云全球医疗战略与解决方案总监Aashima Gupta表示。“多模态分析处理来自不同来源的患者数据，如医学图像和基因信息，以实现更全面的理解和改进决策。”
多模态AI：全面的患者健康视图
多模态AI是指能够处理和整合来自不同来源的信息的技术，例如图像、视频和文本。这种能力在医疗领域尤为重要，因为近90%的医疗数据是以图像形式存在的，例如X光片、扫描或照片。为了使医疗专业人员全面了解患者的健康状况，AI模型可以结合医学图像、病史、基因信息等数据。通过这些更丰富的数据输入，多模态AI可以帮助提供者做出更准确的诊断，设计更个性化的治疗计划，并最终改善患者的结果。
Vertex AI Search for Healthcare走向多模态
Vertex AI Search for Healthcare是谷歌云Vertex AI平台中的一个专门工具，帮助开发人员构建更好的辅助技术，用于从复杂的医疗数据中搜索和检索信息，包括健康记录、医疗文档和其他医疗数据源。现在有了Visual Q&A和Gemini 2.0，搜索技术具备了更强的能力：
- Visual Q&A 使Vertex AI Search for Healthcare能够直接接收表格、图表或图示等图像作为输入，而不是先将图像转换成文本。例如，它可以接收一张显示患者脚部受伤位置的图示，旁边附有一张患者填写的表单，表明他们是否穿着治疗鞋，以及表单上注明的其他症状。Visual Q&A还可以分析医疗表单，其中信息被输入到表格中——当这些信息是搜索的相关部分时，它会将其包含在结果中供临床医生参考。
- Gemini 2.0 帮助Vertex AI Search for Healthcare提供更快、更准确的答案。例如，Gemini 2.0 Flash在关键基准测试中的表现优于1.5 Pro，速度提高了一倍。这一性能提升加速了多模态数据的检索和处理，包括视觉医疗内容，如图表、表格和图像，从而实现更快、更明智的决策。
Counterpart Health
Counterpart Health是一家基于AI的医生赋能公司，专注于通过早期识别和主动管理慢性疾病来推进价值型护理。该公司的专有技术平台Counterpart Assistant在医生的工作流程中实时提供特定于患者的见解，确保临床决策由可操作的数据指导，从而带来更好的患者结果。Counterpart Health是Clover Health Investments, Corp.的子公司。
“Counterpart Health致力于帮助临床医生为其患者提供最高质量的护理，”Counterpart Health首席医疗官David Tsay博士表示。“Vertex AI Search for Healthcare的进步为我们提供了强大的新工具来实现这些目标。多模态AI功能将使临床医生能够整合各种类型的临床数据源，提供对其患者健康的更全面理解，并促进个性化护理管理。”
MEDITECH
全球电子医疗记录公司MEDITECH在其Expanse EHR中开发了一种基于AI的搜索和摘要功能，使护理团队能够使用谷歌熟悉的搜索功能和生成式AI找到所需的信息。今天宣布的新功能将进一步增强其EHR功能。
“MEDITECH与谷歌云的合作将把最新的多模态AI进展引入我们的Expanse EHR，”MEDITECH首席营销和护理执行官Cathy Turner表示。“在与谷歌云合作开发基于AI的搜索和摘要的基础上，这些进展将进一步增强我们提供尖端工具的能力，使临床医生能够更好地进行工作流管理。”
Suki
Suki最近宣布其Suki Assistant现在包括基于谷歌云技术的患者摘要和临床问答功能。这些功能帮助用户快速轻松地找到做出护理决策所需的信息，从而使临床医生能够专注于患者。
“谷歌云继续推动多模态AI在医疗领域的可能性边界，”Suki创始人兼首席执行官Punit Soni表示。“Vertex AI Search for Healthcare的进步补充了Suki的使命，即使医疗技术变得无形且具有辅助性。通过将Suki在环境AI方面的专业知识与谷歌云强大的多模态能力相结合，我们为临床医生配备了即时访问关键信息的工具，使他们能够提供最佳的患者护理。”
(全文结束)
