AI辅助的医疗器械有望改善医疗服务和专业人员的支持。然而，这类系统的安全性和性能不仅取决于合适的算法或技术特性，人们如何使用这些设备和应用同样至关重要。在最新发表于专业期刊《NEJM AI》的研究中，由德累斯顿工业大学（TUD）Else Kröner Fresenius数字健康中心（EKFZ）的Stephen Gilbert教授领导的研究团队系统分析了人与AI交互过程中可能产生的风险，并为制造商和审批机构提出了建议。
作者们指出，现有的监管要求在审批过程中只部分考虑了这些由人为引起的风险，这可能造成影响医疗安全和服务质量的漏洞。为填补这一空白，研究人员确定了七项核心风险，并制定了可融入现有监管和文档流程的实用行动建议。
与AI系统交互的风险
基于AI的医疗器械可应用于多个临床领域。例如，在放射学中，它们支持癌症检测；临床决策支持系统则帮助为患者选择个性化治疗方案。AI还可用于实时监测和预警系统、聊天机器人（如患者沟通）以及自动生成医疗报告或总结发现的软件。分析重点在于实际使用此类AI系统时可能出现的风险分析重点在于实际使用此类AI系统时可能出现的风险。例如，由于AI系统部分不透明的特性，结果被误解或误读的可能性会增加。当对应用的信任程度不恰当时也会出现问题：人们要么过度依赖AI辅助，要么忽略了相关提示。研究人员还指出存在自动化偏差的风险，即倾向于不加批判地采纳建议，从而可能忽略错误或放弃独立判断。其他潜在风险包括用户技能退化、技术压力、未经审查地将应用范围扩展到最初设想领域之外，以及因系统变更和不同操作模式而产生的错误。这些因素即使在系统本身技术性能良好的情况下，也可能在临床日常工作中造成额外负担或意想不到的错误来源。
面向制造商和审批机构的实用指南
研究团队为进行分析，评估了现有的可用性与安全标准、监管指南以及关于医疗领域AI的科学文献。此外，还纳入了来自临床应用、监管和人因学领域的专家讨论。其成果是一份实用指南，通过七项建议填补了当前标准的空白。这些建议旨在帮助制造商和审批机构在产品上市前后，尽早识别并系统性地解决与AI和人类用户交互相关的特定风险。
该指南建议，AI医疗器械的开发和部署应明确界定：谁使用它、在什么领域使用、以及人和系统各自承担什么任务。此外，结果应以易于理解的方式呈现，并整合到现有的临床流程中，同时辅以必要的培训和在系统故障时的安全备用方案。此外，作者们强调了上市后持续监控的重要性。应系统性地观察使用模式、可能的误用或对AI系统的过度信任，并在必要时进行纠正。系统的任何变更都需透明沟通，以便工作流程能够相应调整。
这些建议的表述特意具有普遍性，但以监管规定为导向，以便适用于不同的AI医疗器械和应用场景。下一步，研究人员计划通过具体的AI医疗器械试点应用来检验并进一步完善其建议。长期目标是，将人为影响因素系统地纳入基于AI的健康技术的监管和评估中，旨在减少可避免的风险，并促进医学领域的创新安全发展。
该发表由德累斯顿工业大学（EKFZ数字健康中心、技术设计教席和经济学院）的研究人员，与牛津大学（英国）和日内瓦大学医院（瑞士）的专家合作完成。
出版物
Rebecca Mathias, Anne Schmitt, Mateo Campos, Baptiste Vasey, Sebastian Lorenz, Peter McCulloch, Stephen Gilbert: Evaluation of Human Factors-Related Risks in AI-Enabled Medical Devices: A Practical Guide, NEJM AI, 2026.
关于Else Kröner Fresenius数字健康中心（EKFZ）
EKFZ数字健康中心隶属于德累斯顿工业大学医学院和卡尔·古斯塔夫·卡鲁斯大学医院，于2019年9月成立。该中心由Else Kröner-Fresenius基金会资助，资助金额为4000万欧元，为期十年。中心的研究活动聚焦于直接与患者对接的创新医疗和数字技术，其目标是充分利用数字化在医学中的潜力，以可持续地改善医疗保健、医学研究和临床实践。
联系方式
EKFZ数字健康中心
Anja Stübner 和 Dr. Viktoria Bosak
科学传播
电话：+49 351 – 458 11379
news.ekfz@tu-dresden.de
【全文结束】