谷歌云正在成为医疗领域的重要参与者。
谷歌云正在为其Vertex AI搜索平台增加多模态AI功能,专门针对医疗行业。具体来说,它将推出一个名为“视觉问答”的新功能,使用户能够通过表格、图表和图示进行搜索。
为什么这很重要?因为尽管医疗行业希望实现全面数字化,但患者记录和信息仍然分散在多个数据源和类型中。在许多情况下,重要的患者信息和诊断表格通常以纸质形式收集或记录,需要手动扫描到电子病历系统(EMR)中,然后进行繁琐的数据录入和分析。
事实上,最近的一项研究表明,图像数据占所有医疗数据的近90%,这是一个重要的临床信息来源。研究还指出,虽然AI迄今为止的成功主要集中在传统大数据的分析上,但“医学影像对深度学习方法提出了独特的挑战”。因此,这一范式已成为许多医疗公司的下一个前沿阵地。
借助视觉问答的多模态AI功能,临床医生可以直接输入图像和图表,这些图像和图表将由工具进行分析,并生成搜索结果。
例如,下图显示了一份年度糖尿病足检查表,通常是在检查后手工填写的:
以前,临床医生必须在EMR系统中查找上传的图像/文档并手动解读结果。
使用视觉问答和Vertex AI搜索,系统可以自动检测到患者记录显示没有之前的截肢情况,并基于上传的文档回应搜索查询。
Aashima Gupta,谷歌云全球医疗战略和解决方案总监解释说,AI已经在很多方面取得了很大的进展,特别是在构建和优化基础模型方面。但现在,这项技术可以走得更远——“到一个可以真正解决护理差距的地方。”这就是Vertex AI搜索和视觉问答等工具的作用,“不仅仅是提高效率,而是对患者结果产生实际影响。”
Counterpart Health首席医疗官David Tsay博士表示,像视觉问答这样的工具可以显著增强医疗服务提供者的工作流程,而不仅仅是效率问题:“医疗服务提供者真的很喜欢这种体验;不仅节省了时间,他们现在还能获得更综合的答案和更好的结果。”Counterpart Health正在利用技术和最佳AI来管理慢性疾病并改善患者结果,并使用谷歌云的Vertex AI for Healthcare平台。
鉴于图像和文档对于医疗的重要性,AI竞赛在这个领域迅速升温。其他大型科技公司也在迅速采取行动;例如,微软云也在开发多模态功能,包括放射学输出中的图像分割以及更通用的图像到文本的洞察。另一个强大的竞争者是Nvidia的Clara平台,它也涉足诊断领域;Clara利用深度学习来构建基于影像数据的医疗AI应用程序。还有一些专注于成像的利基公司正在建立强大的AI平台,例如RadAI,它在重塑放射学领域方面具有巨大潜力。
这种竞争对行业来说总体上是积极的,因为它迫使大型超大规模企业快速创新并为消费者提供最佳价值主张。此外,每个在这一领域工作的公司都有略微不同的方法和产品重点,这意味着消费者最终在其各自的生态系统中有大量的选择。这种选择和有选择性的采用无疑会促使公司在迅速变化的市场中保持竞争力时继续创新。
正如那句著名的谚语所说,“一张图片胜过千言万语。”现在,人们越来越希望生成式AI能够确保这些话语被准确且轻松地捕捉。
(全文结束)

