将具备视觉能力的人工智能（AI）引入医疗记录员——医生用于实时记录与患者会诊的录音设备——有望提高患者笔记的准确性，并为临床医生节省宝贵时间。弗林德斯大学的一项研究发表在《npj数字医学》上，发现AI医疗记录员已经减轻了部分占用患者时间的行政工作，但当配备视觉记录装置时，这些设备还能发挥更大作用。
来自弗林德斯大学医学与公共卫生学院的研究人员发现，一种结合了谷歌Gemini模型和雷朋Meta智能眼镜的视觉增强型AI记录员，显著提高了药剂师与患者咨询的文档记录准确性，并减少了临床笔记中的遗漏和错误。
“AI记录员已经通过听取会诊内容来帮助临床医生，但医疗保健涉及的内容远不止口头语言，”研究作者、弗林德斯大学医学与公共卫生学院的学术药剂师布拉德利·门茨说。
“大量临床重要信息是视觉性的。会诊期间重要的视觉线索包括患者的药物容器、处方和治疗设备，以及他们的肢体语言。当AI系统既能听到又能看到这些会诊内容时，它就能捕捉到更多对患者护理至关重要的细节。”
在这项研究中，10名临床药剂师录制了110次模拟用药史访谈，其中包含100多种不同的药物容器，包括片剂、胶囊、注射液和药膏。研究人员佩戴Meta AI雷朋眼镜录制访谈，然后将视频片段传输给AI记录员，该记录员基于谷歌Gemini AI模型开发。
同时分析视频和音频的AI记录员准确率达到了98%，而同一系统仅处理音频信息时准确率为81%。
一个显著的好处是能够捕捉药物剂量和剂型，这些是安全用药的关键细节。配备视频输入的AI记录员在97%的情况下捕捉到了这些信息，而仅音频记录则降至28%。
“这是一种辅助工具，而非临床判断的替代品，”门茨先生说。“临床医生仍需审核并签署文件。AI记录员可以包含验证步骤，拍摄药物包装的截图，并生成完整的语音转录文本，为医疗专业人员提供更坚实的基础来检查AI生成的内容。”
资深作者、副教授阿什利·霍普金斯表示，这项研究可能指向AI记录员在医疗保健领域应用的下一个阶段。
“AI记录员之所以受到欢迎，是因为它们减轻了文档记录的负担，让临床医生有更多时间与患者相处。这些发现表明，下一步——当记录员既能看又能听时——能够生成更准确、更完整的草稿，”霍普金斯副教授说。“这意味着可以减少编辑AI文档的时间，从而将更多时间专注于患者护理。这些发现表明，下一步可能是所有记录员系统都能同时解释视觉信息和语音，这可能会为更广泛的临床应用打开大门。”
作者表示，这项研究存在一些局限性，并强调在更广泛地采用这些工具之前，需要人工监督和谨慎治理。该论文还强调了隐私、同意、数据安全和工作流程整合等重要问题，这些都需要在视觉增强型AI记录员接近临床应用时得到解决。
出版详情
Bradley D. Menz 等人，视觉增强型AI记录员减少临床对话中的遗漏：来自模拟用药史的证据，《npj数字医学》(2026)。DOI: 10.1038/s41746-026-02494-9
期刊信息：《npj数字医学》
由弗林德斯大学提供
【全文结束】