美国食品药品监督管理局（FDA）专员罗伯特·卡尔夫博士（Robert Califf, M.D.）和其他高级官员最近在《美国医学会杂志》（JAMA）上发表了一篇“特别通讯”，描述了FDA对人工智能（AI）在医疗器械开发、临床研究和临床护理中使用的担忧。我们在此前的文章中对此进行了总结，现在我们将更深入地探讨FDA在JAMA文章中提出的具体问题：（1）AI在临床试验中的潜在用途，例如使用“数字孪生”生成模拟临床记录；（2）AI在医疗器械中的应用；（3）AI在临床研究中的隐私考虑。
AI在临床试验中的潜在用途
在JAMA文章中，FDA列出了几个可以从AI受益的临床研究领域，包括参与者招募、试验参与者和地点的选择和分层、依从性和保留、临床试验数据收集、管理和分析以及上市后安全监测和评估。然而，我们不期望FDA会对这些领域的所有AI应用程序进行实质性监督。例如，通过挖掘各种来源的数据（如临床试验数据库、电子健康记录和社交媒体）来匹配患者与研究，通常不会影响临床试验的设计或实施，因此我们不认为FDA会对此类AI应用进行严格监管（除非它影响到受监管产品本身的软件算法）。同样，我们也不期望FDA会对仅用于简化临床试验常规操作的AI应用进行严格监管，例如使用AI或大型语言模型（LLM）进行数据清理或协助撰写临床研究报告。
另一方面，我们预计FDA会对直接影响临床试验设计和实施的AI应用进行重大监督。一个例子是使用“数字孪生”生成模拟临床记录以预测安慰剂组反应。FDA在其2023年5月的讨论文件中提到，“数字孪生”是“可以动态反映个体分子和生理状态随时间变化的计算机模拟表示或复制品”。FDA指出，“数字孪生”可以通过提供“描述该特定参与者如果接受安慰剂可能会发生什么情况的全面、纵向和计算生成的临床记录”来辅助临床试验分析。
去年，FDA讨论了一个赞助商提议在临床试验中使用数字孪生的例子。赞助商建议使用数字孪生生成“患者预后评分”，利用基线变量预测潜在的安慰剂结果，从而减少其二期和三期临床试验中安慰剂样本量。FDA通过应用基于风险的可信度评估框架对赞助商的数字孪生提案进行了评估，该框架包括两个因素：
-
模型影响：AI模型对决策的影响程度。这考虑了除了AI模型之外是否有其他可用数据来做出决策，以及AI模型在决策中的权重。
-
决策后果：这考虑了如果AI模型做出错误决策是否会有负面后果。
对于FDA认为高风险的AI模型，该机构可能在接受标准和模型文档方面提出更严格的要求，然后才会同意使用AI模型支持临床试验。对于赞助商提出的数字孪生模型，FDA认为“模型影响”较高，因为没有其他因素决定患者的预后评分。然而，FDA也认为数字孪生模型的“决策后果”较低，因为它对偏倚和第一类错误率的影响较小。最终，FDA同意赞助商可以在二期试验中进行探索性分析，并可能在三期试验的主要分析中使用数字孪生模型。但FDA还要求赞助商提供信息，证明训练数据集是否代表了计划招募的人群，并验证数字孪生模型能否为特定患者生成一致的预后评分。FDA还建议赞助商使用可解释的AI技术（使人类更好地理解和信任AI算法的过程和方法）来识别关键特征。
实际上，在新的《草案指南》中，FDA描述了使用基于风险的方法来支持药物和生物产品的监管决策，其中包含与上述数字孪生示例类似的要素。
FDA对临床试验中AI使用的医疗器械监管
正如FDA在JAMA文章中指出的那样，人工智能和机器学习（AI/ML）在临床研究中有许多潜在用途，包括受试者招募、试验管理（包括收集受试者的临床数据的方法）和试验监测。值得注意的是，FDA可能会将特定算法、应用程序、软件包或AI/ML工具视为医疗器械，即使是在临床试验环境中使用，因此需要遵守FDA的监管规定。在AI/ML软件应用未获得FDA市场授权的情况下，它将被视为FDA调查医疗器械权限下的产品。因此，了解当前监管医疗器械、软件作为医疗器械（SaMD）以及AI/ML在医疗器械中使用的框架是必要的，以确保在临床试验中使用这些技术时的合规性。事实上，FDA已经开始密切审查这些用途——包括发出警告信——进一步说明如下。
医疗器械定义与FDA执法自由裁量权
一般来说，如果AI在临床试验中的使用符合《联邦食品、药品和化妆品法》（FDCA）第201（h）节中医疗器械的定义，并不符合该定义的任何法定排除条件，则会被视为医疗器械。具体而言，医疗器械被定义为任何“仪器、装置、器具、机器、发明、植入物、体外试剂或其他类似或相关物品”，该物品：
-
被《国家药典》、《美国药典》或其增补本认可；
-
“旨在影响身体的结构或功能”；
-
“旨在用于诊断疾病或其他状况”；或
-
协助“治愈、缓解、治疗或预防疾病”。
为了避免歧义，FDA明确表示，当AI和ML“软件旨在治疗、诊断、治愈、缓解或预防疾病或其他状况”时，将被作为医疗器械进行监管。FDA通常将“筛查”特定疾病、状况或症状视为诊断过程的一部分，因此倾向于将筛查软件工具作为医疗器械进行监管。
然而，《21世纪治愈法案》于2016年缩小了医疗器械的定义，排除了一些软件功能：
-
提供医疗机构的行政功能；
-
促进健康生活，除非软件涉及“诊断、治愈、缓解、预防或治疗疾病或其他状况”；
-
作为某些类型的“电子病历”；
-
传输或显示数据；或
-
提供某些类型的临床决策支持。
因此，需要详细分析以确定软件是否满足医疗器械的定义，是否不满足定义而不在FDA的管辖范围内，或者特定AI的使用是否属于FDA打算行使执法自由裁量权的医疗器械软件。FDA当前关于SaMD的一般观点及其执法优先事项在各种指南（草案和最终版）和政策文件中有所阐述。
此外，FDA表示其对待SaMD的方式将大致符合国际医疗器械监管机构论坛（IMDRF）在2014年发布的《软件作为医疗器械：风险分类框架及相应考虑因素》中提出的基于风险的方法。（尽管FDA的最终临床决策支持指南显著偏离了IMDRF SaMD框架中最初包含的大量元素。）
总之，临床试验中AI的监管状态将由多层分析决定，主要取决于软件的组成和功能及其在研究中的特定用途，某些目的和功能可能不属于FDA的产品监管范围。当AI/ML基础软件符合医疗器械的定义且需要FDA的上市前授权但尚未获得此类授权时，该软件须遵守21 CFR Part 812的规定，该部分管理调查产品，并可能对临床试验主要关注的产品适用额外的监管要求。我们注意到，即使在非AI/ML背景下，FDA也质疑临床试验中使用的诊断工具是否已充分验证用于临床试验中的用途——我们认为同样的情况也将适用于可能是AI/ML算法的工具，该工具本身可能需要批准。值得注意的是，即使不触发产品监管的AI/ML在临床试验中的使用仍可能是FDA调查的主题，因为该机构希望了解AI使用对临床试验生成数据的影响。
示例与用例
正如上述，Dr. Califf的JAMA文章概述了AI/ML在临床试验中的多种用途。以下是潜在用例的概述，其中许多用例列在JAMA文章中，我们对其评论了特定用途是否可能满足医疗器械的定义，因此可能受到潜在的FDA监管。
确定临床试验地点
AI软件可用于识别临床试验地点的最佳位置。我们认为，在大多数情况下，如果该功能不用于诊断、治疗、缓解或管理疾病或其他状况，则不太可能满足医疗器械的定义。这与FDA对待类似类型的软件应用程序的方式一致，这些应用程序辅助行政功能。然而，在某些情况下，如果AI驱动的地点选择软件处理患者特定数据以确定个别患者是否具有罕见基因，发出测试该亚组患者的建议，并根据结果提供临床试验地点建议以招募目标患者，则可能会被视为医疗器械。
选择和招募试验对象
单独来看，用于选择和招募试验对象的AI软件可能根据研究设计满足医疗器械的定义。例如，根据以下情况选择和分配参与者到前瞻性研究中的特定治疗组的软件：（i）某些参与者患有某种疾病；或（ii）参与者疾病严重程度的分类，可能会被视为医疗器械，因为该软件可能被认为有助于疾病的治疗或诊断。相比之下，根据自我披露的标准（如预先存在的特定癌症诊断）简单招募参与者的软件，如果其输出不能用于诊断、治疗、缓解或管理参与者的疾病或其他状况，则不太可能满足医疗器械的定义。
由于JAMA文章预览了使用AI进行选择和招募的可能性广泛，难以应用统一规则。例如，从“临床试验数据库、试验公告、社交媒体、医学文献”和注册表编译数据以连接潜在试验参与者与试验，或通过“匹配算法”确保试验参与者多样性，这些类别大多不受监管，但在某些情况下，应用可能会进入受监管领域，通过筛选或诊断单个患者以评估是否符合纳入/排除标准。
增加参与者依从性和保留率
AI软件还可以通过使用智能手机提醒或警报、电子追踪药物工具或不依从性警报发送到电子平台来增加参与者依从性和保留率。更高级的软件可能能够识别面部或语音“数字生物标志物”以远程跟踪依从性；或在极端情况下，识别患者病情改善或进展的情况，并结合证据表明是否遵循或不遵循治疗方案。
虽然声称检测面部或语音数字生物标志物的产品的验证和准确性可能引起监管机构的关注，但提供提醒以增加协议依从性的AI驱动软件不太可能需要遵守FDA的监管要求，因为FDA的《医疗器械软件功能和移动医疗应用程序政策》提供了各种类似的无需遵守FDA监管要求的产品示例，包括“[跟]踪药物并提供用户配置的提醒以提高药物依从性。”相比之下，使用受试者的麦克风监测研究中慢性阻塞性肺病患者咳嗽症状恶化并发出警报以供患者和/或研究人员执行预设治疗方案的AI软件可能会成为受监管的医疗器械应用。
预测试验参与者的临床结果
AI还可用于预测试验参与者的“临床结果”，如果这些信息用于告知试验参与者的临床治疗决策，则有可能被视为医疗器械。目前，FDA将预测患者治疗反应的非AI基础软件视为医疗器械功能。因此，利用AI进一步实现相同预期用途几乎肯定会从监管角度得到相同对待，只是该机构可能会对AI的训练、调整和验证有更多担忧。我们还提醒，这类功能可能会引发对研究科学完整性的质疑，因为这些工具过早使用可能会引入偏差，并可能在将受试者分配到研究的不同组别时引入偏差。
数据清理和重复检测
一些AI驱动的软件有可能在临床试验中完成或协助管理任务，如“数据清理”和“重复检测”。我们认为，用于完成管理任务的AI，即使在临床试验中，也不太可能被视为医疗器械功能，因为它的意图不是影响身体的任何部分的结构或功能，也不是用于诊断、治愈、缓解、治疗或预防疾病。这一观点得到了《21世纪治愈法案》对医疗机构管理功能的豁免支持。然而，在确定特定功能是否纯粹是管理任务时应谨慎行事。此外，与使用非AI驱动的去重软件一样，赞助商应在利用去重功能对临床试验数据进行去重之前验证该功能，以确保数据完整性。
发现、预测和前瞻性使用
其他由Dr. Califf及其合著者确定的预测性、未来导向或发现性功能包括旨在发现未知症状或状况、预测治疗反应、识别“药物候选物和结果”或“预测安慰剂组反应”的软件，通过生成模拟/数字孪生临床记录。根据FDA当前框架，这些AI软件功能是否满足医疗器械的定义将主要取决于它们在临床试验中的具体使用方式、研究设计以及它们用于诊断、治疗或预防疾病或症状的程度。然而，使用这些应用程序识别产品开发机会并在支持最终营销申请之前进一步开发和测试这些机会，以支持特定适应症的研究，不太可能被视为医疗器械。
警示案例研究
即使AI/ML软件不符合医疗器械的定义，研究人员仍需监控这些系统的使用，因为研究人员和实验室可能会因违反临床试验的调查计划而收到FDA的警告信。例如，在2024年8月，FDA向朱利奥·R·弗拉米尼博士（Julio R. Flamini, M.D.）和亚特兰大临床综合研究中心发出了警告信，因为他们未能确保研究按照调查计划进行，因为用于临床研究的“电子分配算法”缺乏“防止错误的安全措施”，导致一名儿科患者接受了“大约最大每日剂量的十倍”的药物。除了Dr. Califf的文章外，这封警告信是另一个数据点，表明FDA对临床试验中使用AI感到担忧，并可能在这一不断发展的领域中发挥更积极的作用，以确保当前监管框架得到一致应用和执行。
因此，正确评估临床试验中使用AI的重要性不容忽视，因为研究人员在临床试验中使用AI软件作为医疗器械，且未能使其设备获得FDA豁免、清除或批准，可能会面临严重的执法后果。这可能包括一封“引起我们注意的信”，该信可能会发布在FDA的网站上；警告信，FDA将其公开发布在其网站上并用于识别重大违规行为；民事处罚；设备扣押；禁令；或在极端情况下，甚至刑事处罚。
临床研究中使用AI的隐私考虑
JAMA文章中提到的一些当前和潜在的AI在临床研究中的用途具有潜在的隐私影响和考虑。了解AI工具的使用方式，包括数据如何被工具摄取、数据来自何处以及数据如何通过工具随后被使用、存储和/或共享，以及任何法律、合同或其他对使用这些数据的限制，对于评估使用该工具相关的隐私和安全风险至关重要。
如上所述，JAMA文章提到从临床试验数据库、社交媒体、注册表和电子健康记录中挖掘数据以匹配潜在参与者与临床试验。虽然在这些设置中使用AI可能会在效率和改进合格参与者识别方面带来很大好处，但它也带来了潜在的隐私风险。特别是对于电子健康记录中的数据，《健康保险可携性和责任法案》（HIPAA）及其实施条例可能适用，并对数据使用施加限制。例如，虽然HIPAA允许研究人员访问受保护的健康信息（PHI）以进行研究准备（包括识别潜在研究参与者），但未经个人授权或IRB豁免HIPAA授权，PHI不得离开覆盖实体或由第三方研究人员用于联系潜在参与者。
此外，一些AI工具使用摄取的数据重新训练模型或响应后续查询。这可能被禁止适用的隐私法或需要额外的合规义务。此外，州级健康隐私和敏感条件法律也可能对保护患者隐私施加限制或要求。因此，如果使用AI工具，重要的是要了解工具的工作原理，包括数据流、摄取、存储和使用，以确认符合适用的隐私法并保护个人数据。
此外，即使是网络和社交媒体抓取也受到了监管机构的更多审查和诉讼。特别是华盛顿州和内华达州的新消费者健康数据隐私法要求收集消费者健康数据的同意和分享此类信息的单独同意。因此，公司和研究人员在进行抓取或其他数据收集活动之前，可能需要仔细考虑风险和缓解措施，我们在之前的在线文章中对此进行了更详细的讨论。
JAMA“特别通讯”进一步讨论了AI在临床试验数据收集、管理和分析中的使用，包括预测治疗状态和患者对治疗的反应以及通过屏蔽和去识别增强数据整理。对于这些AI的使用，确保通过AI工具使用的数据的隐私、保密性和安全性至关重要。公司和研究人员还可能希望减轻与使用AI（尤其是生成式AI）相关的风险，例如准确性、幻觉和虚构。虽然FDA承认AI的好处和可能的用途，如上所述，该机构可能会特别关注研究人员或公司为验证工具及其输出所采取的步骤，以减轻AI使用可能影响数据质量和准确性。因此，记录这些步骤以及AI工具的测试和验证尤为重要，特别是在AI用于分析提交给FDA的数据时。
最后，鉴于对使用AI的审查日益增加，以及在某些情况下使用AI需要透明度和同意，公司和研究人员可能希望通过在研究和试验的知情同意书中加入描述其使用AI工具和软件的语言来减轻风险。这尤其适用于研究数据将用于训练或改进AI算法或模型的情况，以及AI用于可能影响个人（例如，他们接受的治疗或剂量）的情况。
结论
医疗器械制造商、研究人员和赞助商应谨慎行事，以防止无意中实施FDA作为医疗器械监管的软件。即使在FDA不一定将特定AI/ML驱动软件作为医疗器械监管的情况下，使用此类软件进行临床试验可能会引发FDA关于数据有效性和适用性的问题。因此，在规划任何研究以支持FDA提交材料时，提前预见这些问题将是明智之举，特别要注意AI在临床试验中使用的隐私考虑。
如上所述，本周FDA还发布了关于使用AI支持药物和生物产品监管决策的新草案指南，以及AI赋能的医疗器械软件功能，我们将在即将发布的客户警报中进行审查。与此同时，我们的团队熟悉FDA当前对AI/ML软件的各种应用的看法，并经常就该领域的监管问题提供建议。如果您有关于临床试验中使用AI/ML的监管问题，请联系本文的任何Hogan Lovells作者寻求帮助。
(全文结束)