生成式人工智能（GenAI）有潜力彻底改变医疗保健行业，但也带来了独特的风险和复杂性，挑战了美国食品药品监督管理局（FDA或“该机构”）对医疗器械的传统监管方法。为此，FDA召开了数字健康咨询委员会（DHAC）的第一次会议，提供了关于如何审查和监管GenAI设备的指导和建议。
2024年11月20日至21日，FDA召开了DHAC的首次会议，以获得关于如何通过全产品生命周期方法审查和监管GenAI设备的反馈和建议。FDA局长罗伯特·卡利夫博士在开场致辞中表示，虽然该机构尚未授权任何GenAI设备，但必须拥抱像GenAI这样的新技术，“不仅是为了跟上我们所监管行业的步伐，还要利用监管渠道和监督来提高这些技术有效、一致和公平应用的机会。”
GenAI在医疗保健中有广泛的应用，包括简化临床工作流程、提高诊断准确性、辅助医学培训以及改善医疗服务效率和可及性，特别是在服务不足的社区。尽管它有很大的优势，但GenAI也引入了新的考虑因素，如预期用途范围、监督和透明度、数据的充分性和多样性，以及如何评估和监测真实世界的表现（例如，偏见和幻觉）。
FDA的监管监督适用于符合“设备”定义且具有特定预期用途和技术特征的GenAI产品，并采取基于风险的方法。正如FDA在会前发布的执行摘要中所指出的，GenAI的使用和采用带来了风险和复杂性，挑战了FDA对医疗器械的传统监管方法。具体而言，FDA在分类和确定GenAI设备的监管要求方面面临挑战，特别是考虑到GenAI产品的演变性质及其潜在的性能偏见或幻觉（通常难以识别或解释），这增加了不确定性和风险。
鉴于这些挑战，FDA在讨论问题中要求DHAC考虑在GenAI设备的全产品生命周期中进行全面风险管理所需的信息和实践，尤其是FDA需要评估哪些信息以支持安全性和有效性。在两天的会议中，DHAC成员提出了一个基于三个关键领域的框架：（i）上市前性能评估；（ii）风险管理；（iii）上市后性能监控。
上市前性能评估
会议第一天的大部分讨论集中在上市前性能评估上，DHAC向FDA提出了多项建议，涉及在评估GenAI设备的安全性和有效性时应要求赞助商提供的信息。
DHAC同意FDA的观点，即与非GenAI设备相比，GenAI设备的上市前提交材料需要提供更多的信息和更详细的细节，包括设备设计、性能测试要求、GenAI模型实现及其基础模型的描述，类似于FDA目前对包含现成软件的设备的上市前提交材料的做法。
具体而言，成员们认为重要的上市前提交信息包括预期用途、目标人群、设计规范、数据管理、初始基础模型的特性和发展，以及针对特定GenAI设备的基础GenAI模型的数据管理和微调的具体细节。这包括训练该模型的人群、测试方式、是否为动态或自主模型，包括用户对模型的控制程度以及是否有人员参与其中。此外，还需提供有关其输出是有界还是无界的、使用环境、错误率估计、幻觉率、数据不确定性（例如，压力测试结果）以及网络安全和数据隐私标准的信息。
与此相关的是，DHAC同意FDA应制定标准表格，供赞助商披露用于开发、测试和验证GenAI算法的数据，并指出上市前提交材料应描绘算法训练数据类型的边界，以控制错误输出、数据漂移和幻觉。其他重要考虑因素还包括不同的输入、人群、设置和温度参数如何影响性能或输出。
DHAC还建议FDA要求赞助商提交上市后性能监控计划（类似于II类设备的特殊控制）以及性能评估结果，例如与标准化参考数据集进行基准测试，以直接比较GenAI与已知性能参数的非GenAI模型。值得注意的是，某些成员质疑基准测试的有用性，因为GenAI模型随着时间的推移不断变化。因此，建议采用其他性能评估策略，如专家评估和基于模型的评估。成员们还讨论了是否应开发新的评估方法和性能指标。
风险管理
DHAC一致认为，需要新的控制措施来减轻与GenAI设备相关的风险，如治理策略、培训、反馈机制和真实世界性能评估。例如，DHAC普遍认为，GenAI设备的输出应根据风险进行分类。
此外，闭环反馈对于透明度至关重要，可以展示输出可靠性的置信水平，从而让用户了解输出的可靠性。DHAC考虑了FDA是否应建议或要求提供商和患者在接受GenAI设备培训之前接受培训，特别是由于自动化偏差和人类对GenAI输出的过度依赖带来的风险。
一些成员主张要求标签研究和具体的标签要求，告知用户GenAI设备的输出是由AI生成的。透明的水印也有助于区分GenAI和人工生成的输出，便于精确跟踪和审计相关性和准确性。
DHAC建议FDA创建一个集中数据库，供用户报告错误的存在和类型，如产品和实施故障。应建立不良事件报告的指标，如准确性、安全性和预期用途范围，以确保GenAI设备在其预期范围内正常运行，并迅速解决偏差。
DHAC认为，类似于价值导向护理的原则，制造商、部署者（如医疗系统）和提供商之间应共同承担问责制，以激励风险缓解。然而，其他人认为问责制不属于FDA的监管范围，因为它可能导致对医疗实践的监管。同样，禁止GenAI的超说明书使用被视为FDA越权干预医疗实践。
上市后性能监控
最后，DHAC强调，持续的上市后性能监控、监督和评估对GenAI设备至关重要，建议FDA制定统一的标准和基础设施，包括跟踪准确性和数据漂移、检测偏见以及解决多个站点之间的数据差异。上市后测试和临床验证必须频繁进行，以确保GenAI模型在市场上的表现与上市前版本一致，尽管其接收了额外的数据并适应了不同的站点或条件。
DHAC与FDA讨论了预定变更控制计划（PCCP）如何有效高效地监控和管理GenAI设备的变化。然而，要使PCCP适用于GenAI设备，FDA表示将考虑修改的具体性、PCCP中设定的边界或护栏以定义自动更新的范围、如何随时间监控上市后性能以确保性能的维护或改进、当自动实施修改时如何更新标签以通知用户，以及在设备未按PCCP预期功能时向FDA和用户发出适当的通知。
行业影响
DHAC对FDA的建议是联邦和州各级监管机构一系列政策、提案和法规中的最新举措，这些举措对GenAI设备制造商和使用这些设备照顾患者的提供者都有影响。这种监管的拼凑性和快速演变性质可能会使行业难以跟上。
例如，最近各州的政策努力强调了人类对GenAI设备使用的责任和问责制，与DHAC的建议相冲突，即责任应由制造商、部署者和提供者共同承担。虽然DHAC承认人类监督是降低风险的关键，但最初的州医疗委员会政策材料强调，提供者对其使用这些设备负最终责任，因此应对由此产生的危害负责。
同样，FDA要求对使用GenAI设备的提供者和/或患者进行培训（如DHAC会议期间所讨论的，可能针对制造商在此类培训中的作用），可能会与早期和不断发展的州立法以及州主导的努力调节提供者使用AI产生不一致。
结论
虽然尚不清楚FDA最终将采纳DHAC会议中的哪些想法或建议，但很明显，咨询委员会认为有必要制定新的或附加的监管控制措施，以确保GenAI设备在整个全产品生命周期中保持安全和有效，从而最终保护患者并造福公共健康。
FDA将在2025年1月21日前考虑公众对公共案卷（FDA-2024-N-3924）的额外评论。
三大要点
- DHAC会议强调了全产品生命周期方法在管理未来安全有效的GenAI设备中的重要性。
- GenAI设备可能需要新的监管方法，包括上市前性能评估、风险管理及上市后性能监控。
- 适当的GenAI监管对于实现其彻底改变医疗保健行业的潜力至关重要，因为这将促进这项技术在医疗环境中的负责任开发和部署，确保其安全、临床有用，并与患者安全和临床结果的改善保持一致。
(全文结束)