医疗保健行业一直处于人工智能革命的前沿。人工智能在医疗保健领域的好处显而易见——帮助患者克服健康知识水平不足的问题，加快研发并更快完成临床试验，更有效地诊断罕见疾病，减少跨组织和计算系统的患者数据交换中的错误，以及实现耗时业务流程的自动化——所有这些都有助于实现降低成本和风险，同时提高对监管合规的遵守这一乌托邦式的目标。
人工智能监管——现状与差距
缺乏明确的监管来规范医疗保健中人工智能的使用，这限制了其发展。一般来说，医疗保健一直是监管最严格的行业之一，具有诸如美国食品药品监督管理局（FDA）的 GxP 指南等框架，如 21 CFR Part 11 中所规定的。这些法规鼓励良好的实践，提高透明度，并使各利益相关者对管理患者健康承担更多责任。不幸的是，监管制度未能跟上技术进步的步伐，特别是人工智能。
加剧这一问题的是专注于将人工智能应用于医疗保健价值链不同方面的初创企业如雨后春笋般涌现。在天使投资者和风险投资基金的支持下，过去两年有超过 4000 家人工智能初创企业成立，分析师预计未来几年还将有 10000 家成立。随着如此多的创新和投资的发生，更有必要解决有关训练数据中的偏差、幻觉和错误结果的可能性、数据隐私和信息安全、各地区伦理标准的缺乏、医疗保健系统之间数据的互操作性等有效问题。
在缺乏联邦标准的情况下，许多州都提出了单独的人工智能法案和法规，如果通过，将无法创建推动行业采用所必需的整体方法。最近，美国最大的科技中心之一加利福尼亚州正试图通过 SB 1047 和 AB 2013 来解决这些问题，这两项人工智能监管法案目前摆在加利福尼亚州州长加文·纽瑟姆的办公桌上。SB 1047 不仅是一项雄心勃勃的法案，旨在为大型人工智能模型的开发执行安全标准，而且还可能成为未来人工智能监管的风向标，并影响美国医疗保健的未来。
在全球范围内，欧盟于 2024 年 3 月作为《人工智能法案》的一部分率先定义了人工智能法规。根据该法案，任何属于 IIa 类（或更高）医疗器械或使用人工智能系统作为安全组件的人工智能系统都被指定为“高风险”。此类系统需要遵守一系列额外要求，其中许多与欧盟医疗器械法规（MDR）和体外诊断医疗器械法规（IVDR）下当前严格的符合性评估要求重叠。然而，《人工智能法案》并未涵盖人工智能在许多关键领域的使用，例如药物发现、临床试验招募、药物警戒和成员登记。
对于医疗保健中的人工智能系统，关于 21 CFR Part 11 中审计和 CSV 要求（如 IQ/OQ/PQ 流程）的适用性也缺乏明确的指导方针。
训练中的偏差和错误数据集
另一个关键挑战是现有数据集中固有的偏差和错误信息。
剑桥大学的 ML 研究员德里克·德里格斯（Derek Driggs）的研究是突出这一挑战的最明显案例之一。德里格斯建立了一个用于疾病诊断的 ML 模型，其准确性高于医生。然而，进一步的调查显示，他的模型存在缺陷，因为它是在包含躺着和站着的患者扫描的数据集上进行训练的。躺着的患者更有可能病重，因此该算法学会了根据扫描中患者的位置来识别疾病风险。
这个案例听起来与另一个著名的实验惊人地相似，在该实验中，一个人工智能模型通过搜索雪来学习确定图像描绘的是狼还是哈士奇，因为该算法的原始训练数据集包含不成比例的冬季狼的图像，而不是专注于动物及其差异。
这些例子并非孤立的个案。偏差和错误数据集是每个人工智能模型固有的和持续的风险。一个强大的人工智能框架将有助于建立透明度和可预测性，使患者和监管机构能够信任人工智能模型。
人工智能驱动的诊断、自动化、药物发现
在患者护理、疾病诊断、工作流程自动化、药物发现等多个领域出现了更多人工智能的使用案例。这些使用案例主要可以归类为人工智能主要用于提高现有工作模式的速度和准确性的领域。让我们看几个这样的案例：
- 诊断患者：人工智能算法分析医学成像数据，如 X 射线、MRI 和 CT 扫描，以协助医疗保健专业人员进行准确和快速的诊断。
- 转录医疗文件：自动语音识别（ASR）技术采用先进的算法和机器学习模型将口语转换为书面文本，为记录医疗信息提供更高效和准确的方法。
- 药物发现和开发：人工智能通过分析大量数据集来加速药物发现过程，以识别潜在的药物候选者并预测其疗效。
- 行政效率：人工智能简化行政任务，如计费和调度，减少文书工作并提高医疗保健组织内的整体运营效率。
虽然使用案例的数量和使用正在增加，但这里存在一个基本的悖论。
当前的医疗保健监管方法基于可预测性。像 FDA 这样的监管机构根据在对照试验中产生的安全性和有效性数据审查药物和设备的批准请求（NDA/BLA/PMA）。
然而，人工智能的世界基于不断使用新数据集进行训练。将人工智能模型限制在受控数据集或受限环境中会破坏使人工智能有效的机器学习能力的目的。随着从周围环境中最细微的差异中学习，人工智能模型对同一问题的响应预计会发生变化。
这两种方法相互矛盾。在没有明确的监管框架的情况下，人工智能使用案例的发起者和用户承担责任和品牌风险。这确实是一个新的前沿，我们需要在卫生政策方面取得像人工智能一样巨大的突破。
结论
世界卫生组织最近的出版物列出了关于人工智能（AI）在健康方面的关键监管考虑因素，可以是解决这些复杂问题的良好开端。该出版物中讨论的 18 个监管考虑因素分为六大类：文档和透明度、风险管理、预期用途和验证、数据质量、隐私和数据保护以及参与和合作。
行业、监管机构、学术界、立法者和患者组织需要共同努力，以确保人工智能实现更美好（更健康）世界的承诺。
