临床人工智能系统操作安全的定义

临床人工智能系统操作安全的定义Defining operational safety in clinical artificial intelligence systems | npj Digital Medicine

环球医讯 / AI与医疗健康来源：www.nature.com美国 - 英语2026-02-27 14:10:04 - 阅读时长2分钟 - 644字

本研究创新性地提出安全感知接收器操作特性(SA-ROC)框架，重新定义临床人工智能系统的操作安全标准，将操作安全明确界定为达到预设可靠性水平的能力。该框架通过科学划分规则纳入安全区、规则排除安全区和必须人工审核的灰色区域，首次建立AI系统自主行动与人类干预的量化边界，并引入灰色区域面积(ΓArea)指标精确测量决策不确定性带来的操作成本。在FDA批准的癌症筛查算法案例研究中，该框架揭示统计性能更优的模型在实际临床应用中可能反而操作安全性更低的关键现象，为医疗AI的主动治理提供科学工具，有效将临床政策转化为优化工作流程，显著补充传统监管安全评估体系，对推动人工智能在医疗领域的安全落地具有里程碑意义。

Young-Tak Kim¹, Hyunji Kim¹, Manisha Bahl¹, Michael H. Lev¹, Ramon Gilberto González¹, Michael S. Gee¹ & Synho Do¹,²,³

摘要

人工智能（AI）在临床应用中的重点一直是实现自动化，但传统的准确率指标无法回答一个关键问题：何时可以安全地信任AI系统？我们提出了安全感知接收器操作特性（SA-ROC）框架，将操作安全定义为达到预设可靠性水平的能力。SA-ROC曲线划定了规则纳入安全区和规则排除安全区（在这些区域中允许自主行动），以及灰色区域（在该区域中必须进行人工审核）。为了量化这种非自动化工作负载，我们引入了灰色区域面积（ΓArea）指标，用于衡量决策不确定性带来的操作成本。我们的框架揭示了一个关键反转：在对两种FDA批准的癌症筛查算法的案例研究中，统计上AUC更优的模型在高置信度筛查方面反而操作安全性较低。SA-ROC支持主动治理，将临床政策转化为优化的工作流程，为操作安全提供信息并补充监管安全评估。