AI赋能的医疗设备已经成为医疗保健领域的变革力量，提供了复杂的数据驱动见解，可以提高诊断准确性、个性化治疗和优化临床工作流程。仅在美国，FDA已经批准或清除了超过1,000种AI赋能的医疗设备。这些技术中许多利用了机器学习（ML）或深度学习（DL），这可能会引入“黑箱”挑战，因为它们的决策过程复杂且不透明。
这种不透明性引发了关于临床环境中安全、有效性和责任的问题，在这些环境中，医生和其他临床用户需要信任并理解AI诊断或治疗建议背后的逻辑。可解释性因此成为一种关键策略，揭示AI模型如何得出结论，使临床医生、患者和监管机构能够验证输出、检测潜在偏差，并更有信心地处理复杂决策。
尽管FDA尚未授权任何生成式AI赋能的医疗设备，但生成式AI模型同样存在“黑箱”挑战。本文讨论的内容同样适用于生成式AI系统，强调了在整个AI驱动医疗解决方案范围内透明度和问责制的重要性。
本文探讨了为什么可解释性对于AI赋能的医疗设备至关重要，如何增强信任、安全和性能，以及哪些可用的方法（如LIME和SHAP）可以最好地满足临床和监管需求。然后描述了这些考虑因素如何整合到ISO 14971风险管理框架中，提供一个结构化的路线图，帮助设备制造商决定何时及如何实施可解释性。
可解释AI（XAI）的基础
在AI领域，可解释性通常指更复杂的“黑箱”算法通过事后方法变得可访问。在医疗保健中，可解释性不仅是一种技术上的细节，它往往作为伦理和临床的必要条件。通过暴露设备如何评估患者数据，临床医生可以更有信心地将AI建议整合到护理路径中，确保他们不会忽略嵌入模型中的关键见解或偏差。例如，肿瘤科医生使用AI工具规划化疗方案时，必须知道哪些患者特征或历史治疗反应驱动模型的建议，特别是当这些建议与传统协议不同时。
由于可解释性对于伦理和临床决策至关重要，出现了多种技术来打开这个“黑箱”。
当前可解释性技术概述
目前有十几种方法可用于解释AI模型输出。两种广泛认可的工具是LIME（局部可解释模型无关解释）和SHAP（Shapley加法解释）：
- LIME
LIME通过对输入数据进行小的更改（扰动）并观察模型预测的变化来创建简单的本地模型（如小型线性模型）。这种方法类似于与AI玩“假设”游戏。然后，LIME基于新生成的样本创建一个简单的本地模型，帮助解释AI对该特定预测的决策。临床医生或设备开发者可以审查该本地模型的系数，以了解哪些输入特征对特定预测影响最大。LIME是模型无关的，非常灵活，但其解释的可靠性可能因“假设”场景的生成方式而异。
- SHAP
基于合作博弈理论，SHAP为每个模型输入特征分配重要性值，以量化其对最终输出的贡献。这些重要性得分表示每个特征对模型预测的影响大小和方向。SHAP值可用于全局（整体模型行为）和局部（单个预测）解释，对于检测隐藏偏差或性能异常至关重要。然而，SHAP在高维数据上计算量较大，可能难以解释非常大或复杂的数据集。虽然SHAP提供了特征如何影响预测的见解，但解释特征重要性的底层原因通常需要领域专业知识和额外分析。
其他技术，包括集成梯度和Grad-CAM，常用于神经网络，特别是在成像应用中。在某些情况下，制造商可能会选择固有的可解释（白盒）模型，如果其临床问题不需要复杂架构。无论使用哪种技术，都必须提供既准确（反映模型真实行为）又易于理解（对最终用户有意义）的解释。
大多数当前的可解释性工具通过突出输入数据中有影响力的特征或因素，或模拟模型推理，帮助最终用户——临床医生或患者——理解和信任AI模型输出。
应用ISO 14971风险管理框架
为了管理“黑箱”AI引入的潜在危害，许多组织利用ISO 14971标准，该标准提供了一种结构化的方法来识别、分析和控制整个医疗设备生命周期中的风险。以下描述了可解释性如何作为该框架内的风险控制措施。
明确预期用途、用户和环境
第一步是明确定义设备的预期用途、预期用户和预期使用环境。不同的临床环境（如急诊室与门诊诊所）对解释的传递和使用有不同的要求。如果临床医生的时间有限或专业经验不足，简洁的高层次解释可能比详细的特征重要性图更为合适。
“黑箱”AI的危害识别
不透明的AI模型可能导致多种危害：
- 偏差或算法错误：缺乏可解释性可能导致歧视性或不准确的预测未被发现。
- 过度依赖或忽视：临床医生可能会盲目跟随AI的建议或完全忽略它，因为他们不了解建议背后的逻辑。
- 模型漂移：随着时间的推移，现实世界的数据可能与训练集偏离，导致性能下降，而在缺乏可解释性的情况下，这种下降可能未被发现。
风险估计：危害的严重性和发生概率
每个已识别的危害都会根据潜在的危害进行评估，包括其严重性和发生概率（可能性）。例如，诊断工具错误分类危及生命的情况可能导致严重的危害。如果此类误分类的可能性大于极低，则预缓解风险可能被认为是不可接受的。在这种情况下，提供模型预测解释等强有力的缓解措施是必要的，以减少患者伤害。估计危害的可能性可以使用上市前验证研究中的临床性能指标（如敏感性）。
风险控制措施
可解释性通常是关键的风险控制措施之一：
- 清晰的输出和置信度指示器：通过突出最有影响力的输入特征并提供模型预测的置信水平，临床医生可以更好地交叉检查或独立验证AI的输出。
- 用户培训：即使是最好的解释也有有限的价值，如果临床医生或患者用户无法解释它们。培训可能是必要的，以确保最终用户能够有效地从这些解释中受益。
- 升级触发机制：当模型的置信度较低或其解释与已知的临床规范不一致时，系统可以提示“人在环路”审查或寻求第二意见。
此外，FDA的《机器学习赋能医疗设备透明度：指导原则》强调了透明AI输出作为风险控制的核心要素，补充了ISO 14971框架。
验证风险控制措施的有效性
必须确认可解释性确实增强了决策并减轻了风险。性能和可用性测试可以揭示临床医生或患者用户是否能有效地根据解释采取行动，以及解释是否减少了错误或提高了安全性。
残余风险评估和上市后监测
即使有了可解释性，仍然可能存在一些风险。过于详细解释可能会压倒用户，而过于简化的解释可能会隐藏重要的细微差别。因此，制造商必须评估任何残余风险，以确认其可接受性。制造商还应评估添加解释是否引入了新的风险或对现有风险产生不利影响。
在上市后监测期间，持续收集现实世界数据有助于检测模型漂移，及时更新或重新训练模型。重要的是，随着模型演变或医疗实践随时间变化，解释本身可能需要重新校准，以确保清晰和准确。
实施可解释性的时机、方法和原因
可解释性并不是普遍强制的；其优先级取决于设备的风险状况。在低风险情况下，如非关键患者监控应用程序，广泛的解释可能是不必要的，甚至会混淆用户。然而，对于中高风险设备——如用于诊断严重疾病或推荐治疗的设备——不正确预测的成本可能是显著的，使得透明性不可或缺。
选择可解释性技术取决于模型复杂性、数据类型和用户专业知识。放射科医生审查基于成像的解决方案可能会从Grad-CAM的热图中受益，而肺病学家使用表格预测模型评估呼吸功能可能会更喜欢通过SHAP提供的数值特征归因。
不同的利益相关者通常需要定制的解释策略。临床医生通常需要局部、具有临床操作性的见解，如特征归因或置信阈值，以便他们可以将AI输出与其自己的专业知识进行验证。患者可以从更简单、更直观的可视化中受益，这些可视化提供安慰而不引起混乱。虽然监管机构不是设备的直接用户，但他们仍需要证据证明这些解释方法有效地减轻了风险并符合相关标准。
最终，衡量可解释性有效性涉及评估它是否提高了用户信任——例如，通过收集临床医生采用AI赋能设备的准备情况反馈——以及它是否提高了患者安全或改善了人机性能。常见的指标可能包括减少误诊或改善临床结果。
最佳实践和要点总结
- 早期整合可解释性
在设备设计初期就纳入可解释性，而不是事后添加。与临床医生和监管机构的早期合作可以避免解释复杂模型时的陷阱。
- 为预期用户定制解释
不同用户——临床医生和患者——需要定制的解释层次，以最大化信任和可用性。
- 利用ISO 14971框架
结构化的风险管理框架将可解释性策略与行业最佳实践相结合，确保安全和有效性始终是首要任务。
- 验证和沟通
在现实条件或模拟使用环境中进行性能测试和可用性研究。保持透明记录以促进监管提交并建立利益相关者的信任。
- 监控和调整
随着患者群体或临床实践的演变，AI模型可能会漂移。定期重新评估解释是否仍然清晰和准确。根据需要更新训练数据或改进解释。
结论
随着AI赋能医疗设备领域的不断扩展，“黑箱”预测的透明度和问责制问题仍然是核心。可解释性是弥合强大数据驱动见解与临床环境中基于信任的实际需求之间差距的关键组成部分。当整合到ISO 14971框架中时，可解释性作为一种有效的风险控制措施，揭示了算法如何得出结论，确保误诊、偏差或不确定性不会被忽视。
通过优先考虑可解释性并根据设备的风险状况、临床环境和用户群体适当定制，设备制造商可以在监管机构、医疗保健提供者和患者用户之间建立更大的信任。这种透明度最终引导更好的患者护理和更安全的医疗干预。随着AI技术（包括ML、DL和生成式AI）的发展并更深入地嵌入临床工作流程中，可解释性的原则将继续保持对患者安全、治疗效果和伦理责任的高标准。
持续对话对于设备制造商、临床医生、患者、监管机构和研究机构来说至关重要，以完善可解释性技术，协调标准，并确保AI赋能设备继续安全有效地服务患者。
(全文结束)