AI辅助的医疗产品承诺改善医疗服务和为卫生专业人员提供支持。然而，此类系统的安全性和性能不仅取决于合适的算法或技术特性，同样关键的是人们如何使用这些设备和应用。在近期发表于专业期刊《NEJM AI》的一篇论文中，由德累斯顿工业大学（TUD）Else Kröner Fresenius数字健康中心（EKFZ）的Stephen Gilbert教授领导的研究团队系统分析了人机交互过程中可能产生的风险，并提出了针对制造商和检验机构的建议。
作者们指出，现行的监管审批规定仅部分考虑了这些由人类引起的风险，由此可能产生影响到医疗质量和安全的缺口。为填补这些缺口，研究人员识别出七项核心风险，并制定了可与现有监管和文档流程相结合的实践性行动建议。
基于AI的医疗产品可应用于多个临床领域。在放射科，它们可辅助识别癌症；此外，临床决策支持系统有助于为患者选择个性化治疗方案；AI还能支持实时监测和预警系统、用于医患沟通的聊天机器人，以及自动生成医疗报告或总结结果的软件。分析的重点在于实际使用此类AI系统时可能出现的风险，例如，由于AI系统部分不透明，结果被误解或错误解读的概率增加。当对应用的信任度不当，即人们过度依赖AI支持或忽略相关提示时，也可能出现其他问题。研究人员还指出了自动化偏差的风险：即不加批判地采纳建议，从而导致错误被忽视或自主判断能力被削弱。其他潜在风险包括用户技能退化、技术压力、应用范围未经检验地超出原定领域，以及因系统变更和不同操作模式导致的错误。这些因素可能在临床日常中造成额外负担或产生意想不到的错误源——即使系统本身的技术性能良好。
为进行分析，研究团队评估了现有的可用性与安全性标准、监管指南以及关于医疗领域AI的科研文献，并结合了来自临床应用、监管和人因工程领域的专家讨论。最终成果是一份实践指南，通过七项建议弥补了当前标准中的空白。这些建议旨在帮助制造商和检验机构在产品上市前后，及早识别并系统化应对AI与人类用户交互时的特定风险。
该指南建议，开发和部署AI医疗产品时应清晰定义谁使用它、在何种领域使用，以及人和系统各自承担的任务。此外，结果应可理解地呈现，并整合到现有临床流程中，辅以必要的培训以及在系统故障时的安全后备方案。作者还强调了上市后持续监测的重要性，应系统性地观察使用模式、可能的误用或对AI系统的过度信任，并在必要时进行纠正。系统变更也应透明沟通，以便相应调整工作流程。
这些建议有意保持普遍性，但以监管规定为导向，以便适用于不同的AI辅助医疗产品及应用场景。下一步，研究人员计划通过具体的AI医疗产品试点应用来检验和完善其建议。长期目标是，将人类影响因素系统地纳入基于AI的医疗技术的监管和评估中，以降低可避免的风险并促进医疗领域的安全创新。
该论文由德累斯顿工业大学（TUD）的研究人员（EKFZ数字健康中心、技术设计教研室及经济学院）与英国牛津大学和瑞士日内瓦大学医院的专家合作完成。
来源：Else Kröner Fresenius数字健康中心（EKFZ）
2026年4月1日
【全文结束】