谷歌云在HIMSS25上展示了其Vertex AI Search for healthcare的新一代AI功能，其中包括一项名为Visual Q&A的新功能，该功能可以搜索表格、图表和图示，以及将Gemini 2.0作为其中一个模型纳入其中。
Vertex AI Search for healthcare的新的多模态搜索功能旨在帮助组织为医生、护士等提供更全面的患者健康视图。Vertex AI Search for healthcare是谷歌云Vertex AI平台中的一个专业工具，帮助开发者构建更好的辅助技术，用于从复杂的医疗数据中搜索和检索信息，如健康记录、医疗文档和其他医疗数据源。
借助Visual Q&A和Gemini 2.0，搜索技术可以直接接收图像（如表格、图表或图示）作为输入，而无需先将其转换为文本。例如，它可以接收一张显示患者脚部受伤位置的图示，并附带患者填写的表单中的复选框，以指示他们是否穿着治疗鞋或矫形鞋垫以及其他症状。
Visual Q&A还可以分析医疗表格中的信息，当这些信息是相关搜索的一部分时，它会将其包含在临床医生的搜索结果中。
Gemini 2.0能够理解原始图像和音频输出，并生成高质量的语音，以及其他功能。例如，医学研究人员可以输入大量患者的脑部MRI数据集。Gemini 2.0可以直接分析这些图像，识别出可能被肉眼忽略的细微模式和异常，并生成详细的报告总结发现。这使得大型影像数据集的分析速度更快。
《Healthcare IT News》与谷歌云全球医疗保健总监Aashima Gupta进行了深入探讨，了解了这些新技术的意义。
问：Vertex AI Search for healthcare的新一代AI功能对医院和医疗系统意味着什么？
答： 这两项新的生成式AI功能——Visual Q&A和Gemini 2.0——代表了医院和医疗组织如何访问、查看和使用关键患者信息的重大进步。它们使提供者更容易找到患者病历中的信息，并且能够比以前更全面地描绘患者的健康状况。
这两种新的生成式AI功能都是多模态的，这意味着它们可以从多样化的患者数据源中处理和整合信息——不仅是文本，还包括医学影像和基因信息。
这是有意义的，因为在医疗领域，近90%的医疗数据是以图像形式存在的，例如X光片和扫描。通过结合图像、患者病史、基因信息等数据，Visual Q&A和Gemini提供了患者的全面健康视图，不仅节省了提供者的时间，还帮助临床医生做出准确的诊断并设计个性化的治疗计划。
问：Visual Q&A和Gemini 2.0技术如何使Vertex AI Search提供更好的结果？
答： Visual Q&A和Gemini 2.0通过改进提供者的输入过程和提供给提供者的输出，增强了Vertex AI Search for healthcare的功能。
Visual Q&A允许Vertex AI Search直接分析常见的医疗记录中的图像，如表格、图表和图示。与其将这些图像转换为文本，可能会丢失重要上下文，Visual Q&A能够理解图像本身所包含的信息。
这意味着临床医生可以使用视觉医疗内容本身进行搜索，从而获得更全面和相关的搜索结果。
Gemini 2.0通过其改进的多模态数据处理能力（包括相同的视觉元素），提高了搜索过程的速度和准确性。这意味着即使查询涉及复杂的图像，临床医生也能更快、更准确地获得答案。
问：请详细说明Gemini 2.0的能力及其如何被提供者使用。
答： 想象一下，一位医生正在治疗一位有复杂病史的患者，包括多次影像扫描和实验室报告。医生需要快速了解特定健康状况的进展，包括影像扫描中的任何相关信息。
通过Gemini 2.0支持的Vertex AI Search for healthcare，医生可以简单地提出一个问题，比如“显示过去六个月患者的血糖水平趋势，并突出最近腹部CT扫描中的任何关注区域。” Gemini 2.0可以快速分析实验室数据和图像数据，提供全面的答案。
例如，它可以显示带有注释的血糖水平图表，指示不稳定期，并附带标记过的CT扫描，突出潜在的关注区域。这使医生能够快速看到所需的关键信息——节省时间并使他们能够做出最明智的治疗决策。
问：谷歌云如何确保医院和医疗系统的用户信任其最新的生成式AI功能的准确性？
答： 在医疗领域的AI方面，准确性和可信度至关重要。在谷歌云，我们致力于为我们的客户及其患者提供最高标准。为了确保准确性和建立信任，我们采取以下方法：
- 我们使用多样化的数据集和基准对模型进行严格的测试和验证。这包括像OSCE（客观结构化临床考试）模型这样的措施，有助于评估模型的临床推理能力。
- 我们努力使我们的AI模型尽可能透明和可解释。这有助于用户理解模型是如何得出答案的，从而建立信任并允许更好的人为监督。
- 我们在整个开发和部署过程中与医疗提供者和组织密切合作。这确保我们的AI工具符合实际的临床需求，并达到最高的准确性和可靠性标准。
- 我们持续监控AI模型的性能，并积极寻求用户的反馈以识别改进的领域。这种迭代方法确保我们的AI工具随着时间的推移保持准确和可靠。
- 我们致力于负责任地开发和部署AI，重点关注公平性、隐私和安全性。我们积极参与诸如《医疗保健AI行为准则》和《团结一致》等倡议，以确保我们的AI工具符合最高的道德标准。
- 我们有一套全面的方法来遵守HIPAA合规性，包括安全和隐私设计。允许我们支持HIPAA合规性的安全和合规措施已深深植根于我们的基础设施、安全设计和产品中。因此，我们可以提供一个云基础设施，使我们的医疗客户能够安全地存储、分析和获取健康信息的见解，而不必担心底层基础设施。
AI正在继续重塑医疗保健格局。通过遵循这些做法，我们旨在构建医疗提供者可以信任的准确和可靠的AI解决方案，最重要的是，这些解决方案对患者护理有益。
(全文结束)
