美国食品药品监督管理局（FDA）将于本周召开其首次数字健康咨询委员会（DHAC）会议，讨论该机构应如何审查依赖生成式AI的医疗设备，例如聊天机器人。会议将于周三和周四在马里兰州盖瑟斯堡的假日酒店举行，并将通过网络直播提供。会议对公众开放。
委员会的独立专家将向FDA提供关于数字健康技术和产品风险及FDA监管结构的建议和意见。首次会议的重点是生成式AI在医疗设备中的应用。
会议的执行摘要文件指出：“生成式AI的新功能可能为患者和公共健康带来独特的益处，但生成式AI的使用和采用也伴随着特定的风险和复杂性，这挑战了FDA对设备的监管方法。”FDA将生成式AI驱动的设备定义为那些生成式AI对其输出或功能至关重要的设备。生成式AI可以提供临床诊断，或通过聊天机器人诊断和治疗心理健康状况。DHAC成员将讨论哪些数据应提供给FDA进行上市前评估，以及FDA应如何评估设备的性能和训练数据。他们还将讨论哪些前瞻性性能指标对生成式AI最具信息价值。
此外，FDA还将要求小组讨论生成式AI与其已评估数十年的非生成式AI之间的差异。咨询委员会成员将讨论生成式AI与非生成式AI相比，哪些设备信息更有价值。委员会将讨论生成式AI与预测AI在可用性方面的风险差异，以及鉴于这些风险应向用户传达哪些信息。
除了生成式AI医疗设备上市前审查的考虑因素外，DHAC成员还将讨论设备在医疗实践中部署后的持续监控方式。他们将讨论哪些工具适用于上市后监控，以及如何跨区域监控性能。
FDA还发布了关于生成式AI的文件，供数字健康咨询委员会和公众在讨论中参考。执行摘要包括FDA当前的数字健康技术监管结构以及已确定的生成式AI监管挑战。FDA提出的主要关切之一是基础模型的不可预测性，当基础模型本身不是医疗级时，这可能会对医疗设备产生影响。FDA认为如何处理基础模型并确保其在上市前和上市后正常运行是一个问题。FDA在指导文件中明确，开发人员有责任确保使用现成软件时医疗设备的安全有效使用。生成式AI的基础模型可能引发类似的担忧，因为缺乏软件生命周期控制。基础模型本身可能受到FDA的设备监管监督。
FDA还担心输入到基础模型的数据如何可能导致医疗设备的偏见，而开发人员可能无法做太多来缓解这一点。为了解决这个问题，FDA表示可能需要有关用于构建应用程序的基础模型的信息。开发人员应该考虑如何管理基础模型，即使它不在他们的控制范围内。
FDA还提到生成式AI的生成性和创造性特性，这原则上预计会根据输入数据为用户生成新的输出。“生成式AI模型可以分析输入数据并生成上下文适当的输出，这些输出可能并未在其训练数据中明确出现。”11月20日至21日委员会会议的执行摘要中写道。FDA担心生成式AI可能会“幻想”并引入设备行为的不确定性。
关于生成式AI的担忧引发了对设备预期用途的问题。对于FDA而言，预期用途是理解应用于设备的风险框架、审批途径以及设备投放市场后使用的测试工具的关键。执行摘要指出：“生成式AI作为产品设计的一部分，如果没有适当的风险控制，可能会引入产品的输出不确定性，使确定产品预期用途的界限变得困难，因此，是否符合设备的定义并成为FDA设备监管监督的焦点。”
风险是文件的主题，也是FDA召开此次会议的主要原因。FDA已确定生成式AI产品存在多种潜在风险，包括其生成不准确内容的能力。还有基础模型的风险，医疗设备开发人员可能无法完全理解或访问这些模型。
FDA似乎在提醒开发人员在使用生成式AI时要谨慎，并决定是否适合在其设备中使用。FDA特别指出生成式AI传播错误信息和将已知信息操纵成错误信息的潜力。
FDA还暗示最终用户可能有权获得有关产品的某些信息。“这可能包括向最终用户提供有关生成式AI驱动设备的各种透明信息，例如设备设计、设备测试方式、自主程度以及用户如何与设备互动（例如通过提示工程），这些都可能影响设备输出。”执行摘要中写道。“了解生成式AI驱动设备的自主程度也很重要，以及它是否以及如何结合人在回路机制并赋予最终用户控制权。”
公众可以在Regulations.gov上提交评论，供FDA在会议后考虑。
(全文结束)
