非营利组织健康AI联盟（CHAI）发布了如何认证独立保证实验室的详细信息，这些实验室将审查AI算法。CHAI计划通过“模型卡”来标准化这些实验室的输出，这些“模型卡”被描述为类似于成分和营养标签。CHAI的认证流程和模型卡设计预计将在2025年4月底前完成，经过CHAI成员、合作伙伴和公众的审查和反馈。
在最近接受《医疗创新》杂志采访时，CHAI首席执行官布赖恩·安德森博士（Brian Anderson, M.D.）解释了这项工作的及时性。“当医疗系统提供护理并不断扩展AI的使用案例时，他们希望与技术供应商合作，确保这些AI工具不会产生歧视，不会伤害人们，”他说。“为了使医疗系统能够与技术供应商进行透明对话，他们需要有共同的定义。因此，如果我是一个医疗系统，想要向技术供应商询问其训练数据的具体情况，像CHAI这样的组织描述这些标准是非常有帮助的，即训练数据描述的最低要求是什么，这在生成式AI领域尤为重要。”
安德森补充说，如果一个医疗系统希望确保模型不具有针对特定人群的歧视或不合理的偏见，他们希望能够向技术供应商提出要求：“给我看看针对特定人群的偏见测试评估。”“在生成式AI中，我们还没有能力做到这一点，因为我们还没有这些共同的定义，”他解释道。“所以这个保证标准指南是在建立这些共同定义和框架，以便医疗系统能够与技术供应商进行更知情、更严格的对话，从而提高模型开发某些重要部分的透明度。”
过去，CHAI曾表示，预计会创建多达30个保证实验室的联邦网络来审查AI算法。CHAI认证计划框架草案是在与ANSI国家认可委员会和几家新兴质量保证实验室合作下，使用ISO 17025标准制定的，该标准是全球测试和校准实验室的主要标准。其中的要求包括强制披露保证实验室与模型开发者之间的利益冲突，以及保护数据和知识产权。此外，认证计划还整合了FDA关于使用高质量真实世界数据的草案指导中的数据质量和完整性要求，CHAI从各个工作组获得的测试和评估指标，以及与国家医学科学院AI行为准则的一致性。
该组织表示，CHAI模型卡草案提供了一个标准模板，以提供关键信息，支持AI解决方案性能和安全性的评估。模型卡包括开发者的身份、预期用途、目标患者群体、AI模型类型、数据类型、关键性能指标、安全和合规认证、维护要求、已知风险和超出范围的用途、已知偏见和伦理考虑以及第三方信息（如相关临床研究）。模型卡由一个代表各种利益相关者的工作组设计，包括区域医疗系统、电子健康记录解决方案供应商、医疗器械制造商和健康AI领导者及初创公司。
该模型卡旨在作为采购过程中审查AI模型的起点，以及电子健康记录（EHR）供应商需要遵守ONC健康IT认证计划（HTI-1）的参考。CHAI完成了对所有HTI-1要求的评估，并从临床医生、医疗系统组织数据保管人和开发者那里收集了关于应包含哪些额外信息的共识建议，这些信息超出现有监管要求。认证计划和模型卡的初步草案将在拉斯维加斯HLTH 2024会议上的CHAI全球峰会上展示。CHAI表示，将与医疗生态系统中的利益相关者，包括患者倡导者、资源不足的当地医疗系统和初创公司，进一步征求反馈意见。
(全文结束)
