AI医疗设备有望改善医疗护理并为医疗专业人员提供支持。然而，这类系统的安全性和性能不仅取决于算法或技术规格，同样重要的是人们如何使用这些设备和应用程序。在最近发表于科学期刊《NEJM AI》的一篇文章中，由德累斯顿工业大学（TUD Dresden University of Technology）Else Kröner Fresenius数字健康中心（EKFZ）的Stephen Gilbert教授领导的研究团队系统分析了人机交互中可能出现的风险，并为制造商和监管评估人员提出了建议。
作者指出，现有的批准监管要求迄今为止仅部分涵盖了这些所谓的“人因相关风险”。这可能导致影响护理安全与质量的漏洞。为解决这些问题，研究人员识别了七项关键风险，并制定了可整合到现有监管和文档流程中的实用行动建议。
使用AI系统的风险
基于AI的医疗设备可用于临床环境的多个领域。例如，在放射学中，它们协助检测癌症；临床决策支持系统帮助为患者选择个性化疗法；AI还可支持实时监测和早期预警系统，以及用于患者沟通的聊天机器人，以及自动生成医疗报告或总结发现的软件。分析聚焦于这些AI系统在实际使用中可能出现的风险。例如，由于AI系统有时具有不透明性，输出结果被误解或曲解的可能性增加。当对应用程序的信任校准不当时，也会出现问题：用户可能过度依赖AI辅助，或忽视相关建议。研究人员还指出了自动化偏差的风险：即倾向于不加批判地采纳自动化系统的建议，可能忽略错误或放弃独立判断。其他风险包括潜在的去技能化、用户的技术压力、适应症超出最初预期范围的无节制扩展（适应症蔓延），以及与系统变更或不同操作模式相关的错误。这些因素可能在临床实践中造成额外负担或意外失败——即使系统本身的技术性能很强。
制造商和评估人员的实用指南
为进行分析，研究团队评估了现有的可用性和安全标准、监管指南，以及关于AI在医疗保健领域的科学文献。此外，还纳入了来自临床应用、监管和人因领域的专家讨论。最终形成了一份实用指南，填补了当前标准的空白，包含七项建议。这些建议旨在支持制造商和评估人员在产品上市前后进行工作，目标是尽早识别AI系统在与人类用户交互中的特定风险，并系统性地加以解决。
该框架建议：在开发和部署基于AI的医疗设备时，应明确定义用户、应用场景，以及人类和系统各自承担的任务。此外，结果应以易于理解的方式呈现，整合到现有临床工作流程中，并在必要时辅以培训，以及在系统故障时提供安全的后备选项。作者强调了上市后持续监测的重要性。应系统性地观察使用模式、潜在误用或对AI系统的过度依赖，并按需进行纠正。系统变更必须透明地传达，以便相应调整工作流程。
这些建议特意以通用但符合监管要求的方式表述，以便适用于不同的AI医疗设备和应用场景。下一步，研究人员计划基于具体的AI医疗设备试点应用来测试和进一步完善这些建议。长期来看，人因因素应被系统性地纳入基于AI的健康技术的监管和评估中——从而减少可避免的风险，同时支持医学中的安全创新。
该文章由德累斯顿工业大学（EKFZ数字健康中心、工业设计工程系和商业与经济学院）的研究人员，与牛津大学（英国）和日内瓦大学医院（瑞士）的专家合作撰写。
出版信息
Rebecca Mathias, Anne Schmitt, Mateo Campos, Baptiste Vasey, Sebastian Lorenz, Peter McCulloch, Stephen Gilbert：《Evaluation of Human Factors-Related Risks in AI-Enabled Medical Devices: A Practical Guide》，《NEJM AI》，2026年。
Else Kröner Fresenius数字健康中心（EKFZ）
德累斯顿工业大学医学院及卡尔·古斯塔夫·卡鲁斯大学医院旗下的EKFZ数字健康中心成立于2019年9月。该中心获得Else Kröner Fresenius基金会约4000万欧元的资助，为期十年。其研究活动聚焦于与患者直接对接的创新性医疗和数字技术，目标是充分利用数字化在医学中的潜力，显著且可持续地改善医疗保健、医学研究和临床实践。
【全文结束】