医疗保健现在以及未来都应以人为核心并强调问责制。临床医生收集线索、衡量不确定性并承担结果，而人工智能是一个模式发现器，可以识别信号、分类风险并标准化测量，但它不承担责任，尽管有些人认为它应该承担。
世界卫生组织将医疗保健中的人工智能视为需要伦理和治理来最大化利益并减少危害的事物。这与美国食品药品监督管理局对临床决策支持软件的思路一致，该软件强调支持临床医生的工具，使临床医生仍然是唯一的决策者。
医疗保健中的数据与隐私
临床决策支持软件运行在敏感数据上。首先，模型需要有足够高质量的数据才能发挥作用。其次，组织必须最小化隐私风险，并控制数据和输出如何向下游传播。
在临床数据上进行训练至关重要，可能顺利也可能出错。正确的学习依赖于具有明确临床定义和时间点的有效标签，临床上相关的预测变量（如生命体征、实验室检查、药物和影像），以及适当的时间对齐，以便模型仅使用预测时已知的信息。
然而，当环境在跨医院、科室、电子健康记录配置、实验室分析仪和设备之间发生变化，或者数据质量因缺失模式、单位、文档模板而不同时，性能可能会发生变化。如果这些因素没有得到控制，模型可能在一个环境中表现良好，而在另一个环境中没有明显警告却表现不佳。
这正是世界卫生组织指南将隐私和数据保护与偏见和不平等的风险放在核心位置的原因。
美国国家标准与技术研究院的人工智能风险管理框架从不同角度指出了同样的事实。可信赖的人工智能意味着关注有效性和可靠性、安全性和弹性、透明度和问责制，以及在整个生命周期中管理有害偏见。
人工智能诊断与预后模型
一旦隐私得到保护，数据可信，人工智能就可以开始做它在临床中最擅长的事情：帮助发现疾病和预测风险。当信号是高维且时间紧迫时，人工智能可以帮助临床医生更快行动，减少遗漏。
在实践中，人工智能加速影像处理以便快速审阅，一致地量化测量结果，并呈现可能的发现以供确认。最后一个词很重要。这不是一个吐出真相的自动售货机。它是医学中的拼写检查器。临床医生接受或拒绝建议，工作流记录该决定和结果。
预后遵循相同的逻辑，只是指向未来。风险模型可以估计恶化、再入院、药物不良事件或进展的可能性。但为了安全，模型必须在本地进行验证、校准，并随着患者群体、临床实践和数据管道的变化，持续监测性能漂移。
美国国家标准与技术研究院的人工智能风险管理框架强调随时间推移的持续监控和治理，这与部署后监测和变更控制的临床需求相匹配。
实施与信任
获得良好的预测只是第一步；如何安全、合理且一致地使用它们才是问题的关键。大多数失败发生在部署之后，而不是模型开发期间。如果警报时机不当或过于频繁，临床医生会出现警报疲劳并忽略它们。当临床医生被频繁、时机不当且通常不可操作的警告淹没时，警报疲劳就会发生，因此警报开始像是工作流程中的噪音而不是帮助。随着时间的推移，这种持续的干扰训练人们忽略或忽视提示以跟上进度，有时甚至当警报真正重要时也是如此。
当供应商、医疗系统和临床医生之间的责任模糊时，患者安全问题就会变成治理失败。信任建立在那些不起眼的细节上：明确的适应症、临床医生的覆盖、文档记录、漂移监控以及事件响应路径。
欧洲委员会的概述将医疗保健中的人工智能视为高风险，这与对强风险控制和严格治理的期望一致。
人工智能是优化和支持临床实践的工具
人工智能不会取代医生。把它想象成一个手电筒和一个快速过滤器。它提高了速度，标准化了测量，并改进了风险评估。
权衡很简单。医疗保健组织必须将人工智能视为高后果系统，从一开始就内置隐私控制、偏见评估、监控和问责制。以这种方式使用，人工智能支持临床实践，而不是试图取代它。
【全文结束】