在复杂的医疗干预措施应用于患者之前，其有效性必须通过在实验室和研究设施等受控环境中的严格测试进行科学验证。但确保有效性的工作并不止于此。评估医疗治疗方法有用性的过程是多层次的，需要进行远超实验室范围的调查。它还必须评估该治疗方法在日常临床实践中对各种患者的成效。如今，随着AI在医疗服务交付中扮演越来越重要的角色，同样的需求也出现了。AI的性能必须在真实世界临床实践中进行评估，而不仅仅通过受控数据集或单一训练环境。
幸运的是，尽管AI是医疗工具箱中的新成员，但评估AI有效性的路线图已经存在于评估真实世界数据(RWD)和真实世界证据(RWE)的方法论中。RWE研究长期以来一直用于医疗干预措施的上市后监测和监管决策，是确保治疗方法安全性、有效性、普适性和公平性的持续、以结果为导向的评估的既定实践。但将这一实践应用于评估支持AI的治疗方法需要数据纪律和常规更新。AI有潜力彻底改变我们应对严重健康问题的方式。然而，为了安全地使用该技术，必须像对待真实临床实践中使用的任何其他治疗干预一样，对其进行同等水平的持续审查和真实世界纪律约束。
自适应工具需要自适应的监督和验证
许多AI模型并非静态的。它们的行为会随着数据变化和新信息的输入而演变。当重新训练或更新时，它们会发生变化，并通过一系列复杂且分层的步骤学习新模式。任何AI的性能，包括在医疗保健中使用的AI，也可能随着人群、诊断编码或实践模式的改变而退化（即经历"模型漂移"）。反馈循环可能放大错误，子群差距可能随时间悄悄扩大。版本更新和数据管道的微调也可能在没有明显信号的情况下改变行为。鉴于我们的医疗保健系统的关键要素处于风险之中，通过真实世界验证检测这些微妙但有影响的变化至关重要。这种验证不仅有助于证明算法在启动时有效，还能在模型演变和医疗环境变化时确保其安全、有效和公平。正确进行这种验证正是RWE研究的用武之地。
RWE在AI支持的医疗保健世界中的独特潜力
真实世界证据(RWE)是对真实世界数据(RWD)的严格分析，这些数据可以从电子健康记录(EHRs)、保险索赔、注册表、医疗设备和患者报告的信息中汇总，以评估日常实践中护理的安全性和有效性。RWE植根于药物流行病学和上市后监测，利用日常医疗服务提供的观察数据，发现严格控制的临床试验可能无法捕捉到的益处和风险。
随着电子健康记录的采用、通用数据标准、系统间数据链接以及现代因果方法的成熟，监管机构也开始正式将RWE与临床试验结合使用，最初用于安全性和标签，然后用于覆盖范围、质量和比较有效性。当与临床试验结合时，RWE通过展示干预措施在不同患者群体和环境中的表现，大规模且长期地增加了价值。
这种方法自然适用于医疗保健AI。RWE可以跨人群、工作流程和数据集测试算法。如果做得好，它可以显示诸如区分度、校准或漂移等技术指标如何与利用率和错误率等临床和质量结果相关联，随时间跟踪性能，并记录有意义的变化。RWE研究在遵循预先指定的分析计划时效果最佳，提供了一种透明且实用的方法来显示AI工具在真实世界护理中何时安全、有效和公平，以及在何处不是。
正确进行RWE研究及其重要性
RWE有助于回答关于医疗干预措施在受控试验之外的有效性的遗留问题，并确保其随着时间推移的持续有效性。但任何RWE研究的强度仅与其基础相当。适合目的的数据、明确的问题和透明的方法是进行强有力的可靠RWE研究所必需的。如果研究数据不完整、编码不一致或链接不良，结果可能会误导或放大残余混杂、选择偏倚和误分类等风险。可信的RWE通过记录数据来源、采用严格的设计和因果方法、进行敏感性分析以及选择在临床上重要的结果来展示其工作。
为了有效使用RWE来评估AI，研究必须在AI模型通常使用的环境中进行，针对其影响的患者和工作流程，并关注重要的结果。结果确保随着数据、实践和模型本身的发展，AI模型的输出保持安全、有效和公平。这是AI工具开发者必须进行的质量投资，也是用户必须对其引入实践的产品提出的要求。
在AI产品生命周期中应用RWE
美国食品药品监督管理局(FDA)认识到了这一需求，并已将RWE纳入其针对医疗设备（包括AI赋能的设备）的产品全生命周期(TPLC)框架中。该框架指导医疗器械制造商和监管机构通过医疗技术的设计、验证和上市后监测，并可作为未来开发其他形式医疗保健AI的路标。
在整个生命周期中整合RWE能够实现每个阶段的持续监督。
- 在设计和开发过程中，RWE帮助产品开发者了解用户需求、患者多样性和真实世界背景。
- 在测试和验证过程中，RWE可以通过外部验证、子群分析和工作流程评估，确认AI模型在不同人群和医疗环境中的表现是否一致。
- 市场发布后，RWE支持上市后监测，检测数据漂移、偏差或随时间推移的性能下降等问题。
RWE既是一种质量保证工具，也是一种反馈机制，确保AI系统负责任地发展并由真实的医疗场景提供信息。
最后的话：通过证据建立对AI的信任
医疗保健中AI的未来取决于创新与勤勉问责制和证据的深思熟虑的平衡。RWE研究框架提供了一条经过验证的、务实的途径，用于评估AI是否真正使患者受益于日常护理发生的环境中。但RWE研究本身必须被谨慎和一致地应用，以提供最大效益。
将既定的RWE原则应用于AI赋能的医疗治疗方法的验证，对于医疗保健组织、监管机构和开发者来说至关重要，以便围绕共同目标达成一致：确保AI改善所有人的健康结果。AI的潜力是非凡的。实现这一潜力需要与医学最佳实践所定义的相同纪律、透明度和持续学习。
捷安娜·布利茨是一位医师高管。
【全文结束】
