一项澳大利亚研究发现，允许具备视觉功能的AI系统（如智能眼镜）捕捉和分析医疗问诊视频，可以节省时间并提高医生病历记录的质量，效果优于仅依赖音频的AI病历记录系统。
基于音频的AI病历记录系统能够记录和处理医疗问诊，生成详细摘要，在医疗保健领域越来越常见，但研究人员开始探索多模态AI（能够同时分析图像和视频）的潜在用途。
弗林德斯大学的研究于2月发表在《npj数字医学》上，发现具备视觉功能的AI病历记录系统“显著提高了视觉任务的文档记录准确性”，并通过确保捕捉到更多重要信息来减少错误。
该研究中，10名临床药师使用Meta Ray-Ban智能眼镜录制了100次模拟病史问诊视频，随后由基于Google Gemini Pro 2.5模型开发的AI病历记录系统对视频进行分析。
充当受访者的药师被要求陈述个人信息（如姓名和出生日期）以及模拟药物的详细信息，同时药物包装和标签也展示给AI系统。
研究人员发现，视觉辅助的病历记录系统在捕捉超过2000个数据点时的准确率达到98%，而同一系统的纯音频版本准确率仅为81%。
具备多模态能力的AI病历记录系统在捕捉药物剂量信息方面也显著优于纯音频版本，准确率为97%，而纯音频版本仅为28%。
捕捉“更多重要的细节”
研究作者、学术药师Bradley Menz表示，视觉辅助的AI病历记录系统对临床医生很有帮助，因为“很多临床重要信息是视觉性的”。
“问诊过程中重要的视觉线索包括患者的药盒、处方和设备，以及他们的肢体语言，”他说。
“当AI系统既能听到又能看到这些问诊内容时，它就能捕捉到更多对患者护理至关重要的细节。”
合著者、副教授Ashley Hopkins表示，让AI病历记录系统能够分析视频意味着“花在编辑AI文档上的时间更少，从而有更多时间专注于患者护理”。
“这些发现表明，下一步可能是所有病历记录系统都能同时解释视觉信息和语音，这可能会为更广泛的临床应用打开大门。”
隐私和准确性问题依然存在
研究人员写道，在医疗保健领域采用视觉辅助的AI病历记录系统需要“强有力的保障措施来保护患者隐私和数据安全，特别是考虑到临床接触中视频录制的敏感性”。
使用此类技术记录患者可见的健康问题、外貌或行为可能会让他们感到不适，并可能导致他们隐瞒敏感信息，他们表示。
“这些担忧凸显了在实施规划中让患者和利益相关者参与的重要性，特别是在知情同意流程方面，”他们写道。
研究人员建议，探索替代方法也值得考虑，例如仅捕捉静态图像供AI分析，而不是对医疗问诊进行连续视频录制。
尽管在该研究中准确率达到98%，但视觉辅助的AI病历记录系统仍然出现了46个错误，研究人员表示，这显示了“临床医生在完成病史记录过程中进行监督的关键重要性”。
“这是一种辅助工具，而不是临床判断的替代品，”Menz说。
“临床医生仍需审阅并签署文档。”
研究人员写道，还需要“稳健的人机协同流程”来减轻新兴风险，例如医疗从业人员变得自满，过度依赖AI病历记录系统。
澳大利亚医疗监管机构——治疗用品管理局（TGA）于2025年9月宣布，正在“加强力度”监管医疗保健领域的AI病历记录系统，此前有呼声要求对这一日益流行的技术进行更严格的监督。
【全文结束】