2024年8月1日,《欧盟人工智能法案》(AI法案)正式生效。该法案为AI系统引入了一个基于风险的法律框架,这些系统被分为四个主要类别:(i)禁止的AI系统,(ii)高风险AI系统,(iii)具有透明度要求的AI系统,以及(iv)通用AI模型。AI法案适用于位于欧盟的公司。此外,AI法案具有域外效力,适用于所谓的AI提供商,即开发并在欧盟市场投放AI系统(包括通用AI模型)或以自己的名义或商标在欧盟提供AI系统服务的公司,无论其位置如何。AI法案还适用于任何AI系统输出在欧盟使用的场景,无论AI系统提供商或部署者的所在地。
AI法案的义务将分阶段适用。关于禁止AI系统和AI素养的规定将于2025年2月2日生效。通用AI模型的具体义务将于2025年8月2日生效。AI法案下的大多数其他义务,包括适用于高风险AI系统和特定透明度要求系统的规则,将于2026年8月2日生效。其余规定将于2027年8月2日生效。
AI法案如何适用于医疗器械
AI法案为高风险AI系统引入了准备、实施和持续监督的义务。根据AI法案第6(1)条和附件I,高风险AI系统包括旨在作为产品安全组件的AI系统,或本身是受欧盟医疗器械法规(2017/745)或欧盟体外诊断医疗器械法规(2017/746)管辖的产品。因此,AI赋能的医疗器械被视为高风险AI系统。在欧盟制造、投放市场或使用AI赋能医疗器械的公司必须遵守AI法案中关于高风险AI系统的相关要求。
医疗器械背景下高风险AI系统的关键义务
根据AI法案,具有AI功能的监管医疗器械的提供商在将其医疗器械投放欧盟市场或以自己的商标投入服务之前,必须遵守以下某些义务:
-
技术文件:提供商必须维护AI赋能医疗器械功能的全面技术文件(例如,设计规范、性能测试结果、系统架构)。
-
透明度和向部署者提供信息:提供商必须确保使用其AI赋能医疗器械的客户/部署者获得如何安全操作AI赋能医疗器械的充分信息,包括详细的系统使用说明、预期用途以及与AI系统相关的任何限制或潜在风险。
-
质量管理系统:提供商必须实施质量管理系统(QMS),确保符合AI法案。QMS应记录在明确的政策、程序和指示中。
-
事件报告:提供商必须在意识到严重事件后的15天内向相关市场监管机构(MSA)报告某些严重事件。严重事件是指直接或间接导致人员死亡或严重健康损害;关键基础设施管理或运营的严重不可逆中断;侵犯基本权利;或对财产或环境造成严重损害的AI系统事件或故障。
-
符合性评估:提供商必须进行全面的符合性评估,确保其高风险AI系统在投放市场或投入服务前满足AI法案的技术、法律和安全标准。
-
市场后监测程序:提供商必须建立市场后监测程序,以跟踪其高风险AI系统投放市场后的性能。这包括收集和审查系统性能数据、识别新兴风险,并根据需要更新AI模型。
-
AI素养:自2025年2月起,高风险AI系统的提供商必须确保处理和使用AI系统的员工和其他人员具备足够的AI素养,这些素养应与其技术知识、经验、教育以及AI系统使用背景相适应。必须实施稳健、最新的AI培训计划以满足这一要求。这是适用于任何AI系统的通用要求,不仅限于高风险AI系统。
如果组织从提供商处采购并部署AI赋能医疗器械,例如医疗机构从供应商处采购AI赋能医疗器械,部署者在AI法案下将有特定的义务。例如,部署者必须采取措施确保对AI赋能医疗器械的使用进行人工监督。此外,部署者必须告知患者等个人该医疗器械具有AI功能,确保设备收集用于训练AI系统的患者数据的相关性和充分代表性,并根据提供商的指示监控AI系统的运行。如果部署者发现AI系统中的任何风险,必须通知提供商和相关当局。如果AI系统(AI赋能医疗器械)处理个人数据,如患者信息,部署者必须进行数据保护影响评估。
不遵守AI法案可能导致投诉、调查、罚款、诉讼、运营限制以及公司声誉受损。当AI系统处理个人数据时,《通用数据保护条例》(GDPR)继续适用。
结论
开发和使用AI赋能医疗器械的组织应采取积极措施,根据AI法案的新要求审查其AI实践。这不仅是遵守新法律的要求,也是建立医疗保健提供者和患者对医疗器械中AI功能使用信任的必要步骤。他们应实施必要的合规措施,以适应其角色和责任。
(全文结束)