当监管配备AI的医疗设备时，FDA可以参考交通部对配备AI的车辆的监管方式。这些车辆从辅助人类驾驶员到完全接管驾驶不等。这在机器学习使医疗软件产品越来越“智能”时尤为合理。这一建议来自Paragon健康研究所，这是一个位于华盛顿特区的智库，致力于促进创新、鼓励竞争并指出可削减的成本。“监管必须保护软件改进的激励机制，包括但不限于功能增强和已知软件异常的修复，这些异常不会影响系统的安全或有效性，”Paragon在一份新的文献综述中建议道。“监管机构应提供一条经济途径，让创新者在其设备功能保持不变但系统自主性随时间增加时重新申请FDA批准。”
在连续软件改进的部分，报告作者Kev Coleman基于研究提出了关于在现实世界环境中随着模型老化而监管医疗AI的建议和观察。
1. 有效的监管必须保留行业改进AI系统缺陷的动力
如果针对特定缺陷的法规增加了合规义务，而不考虑该问题是否已解决，那么行业就没有动力去纠正该缺陷，Coleman写道。具体来说，针对已知AI缺陷的监管义务（例如补充临床评估）不应再适用于能够令人满意地证明该问题已成功修复的AI系统。
2. 在缺乏关于幻觉的明确监管的情况下，AI领域在商业和学术背景下仍取得了进展
牛津大学的研究人员今年揭示了一种方法，可以估计问题的不确定性程度及其产生LLM幻觉的可能性，Coleman指出。“正在开发检索增强生成（RAG）系统，利用外部数据源（如同行评审的研究论文）对LLM输出进行系统内部的事实验证，”他补充道。“一些这样的系统通过知识图谱进一步增强，这些图谱结构化了从多个来源提取的语义实体（事物、想法、事件等）之间的关系。”
3. 在医疗AI系统的FDA审批路径中，风险在AI开发者改进其系统的过程中扮演核心角色
AI系统的患者伤害风险“影响FDA审批所用的路径以及与系统相关的数据和科学审查的广泛性，”Coleman写道。因此，未解决的问题如果对患者安全构成重大风险，则会未能通过FDA审查，但不会造成这种风险的轻微软件缺陷可能被允许。
4. 持续的软件改进当然不仅限于软件缺陷
新系统功能需要新的监管机构（如FDA）的批准，Coleman指出。“还有既不是缺陷也不是新功能的改进场景。”例如，AI系统在无需临床医生监督下运行的能力可能会随着时间的推移而增强。
5. FDA在医疗器械监管方面的历史工作为未来医疗AI改进的规则提供了几项教训
“首先也是最重要的是，该机构的方法不要求医疗器械完美，但确实将患者安全作为首要优先事项，”Coleman指出。“风险从发生概率和伤害严重性两个方面来考虑。”相反，FDA还考虑医疗器械的风险与收益，从而制定出处理医疗器械改进的细致策略。
Coleman强调，Paragon报告中提出的指南“为制定医疗AI监管提供了一个有效且不具破坏性的模式。”最重要的是，这些指南旨在维持现有具有医疗卫生事务历史经验的监管机构的治理，尽管建议反映了AI技术特有的新现实。
阅读完整论文。
(全文结束)
