人工智能有望对医学产生巨大影响。正如我在《掌控人工智能：面向超级力量未来的生存指南》一书中所写，这是我对该技术可能产生的影响最乐观的领域之一。
但要获得这些好处，我们应当谨慎对待如何设计人工智能医疗软件、如何使用以及如何监管。
糟糕（的人工智能）医疗并非我们所需
与所有人工智能应用一样，风险源自糟糕或有偏差的数据。医学研究在历史上一直存在女性和有色人种代表性不足的问题。基于此类数据训练人工智能可能导致模型对这些患者效果不佳。
分析医学图像的计算机视觉系统很容易遭受“过拟合”——在特定测试数据集上表现良好，但这种方式在临床上不相关，在现实世界中也无法成立。著名的是，一个旨在通过胸部 X 光片识别严重肺炎病例的人工智能模型学会了高度重视 X 光片边缘表明图像是由便携式胸部 X 光机还是标准 X 光机拍摄的字母。当然，便携式胸部 X 光机用于病情最重的患者。因此，人工智能学会了字母“P”（代表便携式）是严重肺炎病例的最佳预测因子，而不是更多地了解患者肺部的外观。在没有此类标记的图像上，人工智能毫无用处。
标题准确率数字也可能具有误导性。一个能正确识别胸部 X 光片中 95%病变的人工智能听起来很棒——除非它大部分时间都错过了一种特别具有侵袭性的肺部肿瘤。太多的假阳性也很重要。往好了说，它们会惹恼医生，使他们不太可能使用该软件。往坏了说，它们可能导致错误的诊断。
幸运的是，您可能认为，我们有医疗监管机构来防范这些危险，同时确保重要的医疗人工智能创新能迅速惠及患者。您错了。我们目前的监管程序不太适合人工智能。
缺乏临床验证
在美国，食品药品监督管理局已经批准了近 1000 款启用人工智能的“医疗设备”（包括软件以及具有人工智能功能的硬件）。其中绝大多数（97%）是通过 510(k)流程批准的，只要软件供应商表明其产品与先前批准的设备“实质上等效”，就可以加快批准速度。
但人工智能的最新技术变化迅速，很难说新的人工智能模型的性能与旧的软件形式等效。
更重要的是，供应商被允许在历史数据上测试他们的人工智能软件。他们不需要证明它在现实世界的临床环境中能改善患者的治疗效果。在最近发表在《自然医学》上的一篇论文中，研究人员发现，43%获得美国食品药品监督管理局批准的人工智能医疗设备缺乏任何临床验证数据。在研究人员检查的 521 款人工智能设备中，只有 22 款提交了随机对照试验的结果，这是验证疗法的黄金标准。
美国食品药品监督管理局的规则是为硬件设计的，硬件通常很少升级。它从未预见到每周应用程序更新的敏捷软件开发世界。美国食品药品监督管理局推出了“预定变更控制计划”（PCCP），允许按照预设时间表进行小型软件更新，但这仍然不能完全满足人工智能模型的需求，其中一些模型可以持续学习。
一家英国初创公司认为有更好的方法
在英国和欧洲，情况更加灵活，但仍有缺点。在这里，政府医疗监管机构将医疗器械的授权外包给指定的私营公司，称为“公告机构”。
我最近会见了 Scarlet 公司，这是一家为英国和欧盟服务的公告机构，专门从事人工智能医疗软件。它正在创建一个技术平台，使人工智能供应商更容易提交其市场授权申请进行审查，并在几天内获得批准，而不是过去需要的六到八个月。
Scarlet 公司的联合创始人兼首席执行官詹姆斯·杜瓦尔（James Dewar）告诉我，该公司的技术有助于标准化提交文件，并自动检查供应商的申请是否完整，节省数天至数周的时间。最重要的是，软件开发人员可以根据需要随时提交软件更新。
杜瓦尔和他的联合创始人杰米·考克斯（Jamie Cox）此前都在英国公司 BenevolentAI 从事医疗人工智能模型的工作。但 Scarlet 公司的平台本身并不使用人工智能——至少目前还没有，尽管杜瓦尔表示公司正在考虑大型语言模型可能会如何提供帮助。他说，人类专家会审查每个申请的实质内容，这一点不太可能改变。
买家需谨慎
更令人不安的是，杜瓦尔告诉我，像 Scarlet 这样的公告机构不需要检查产品在患者亚组或疾病亚型中的表现如何——只需要检查供应商是否符合安全的文件标准，并能够合理声称至少与先前批准的产品一样有效。
例如，供应商不需要提交混淆矩阵，这是一个显示在不同患者群体中性能差异（如假阳性和假阴性率）的表格。
“存在买家需谨慎的因素，”杜瓦尔谈到人工智能医疗设备时说，“目前，监管并未要求我们对偏差做任何处理。我们欢迎这些变化，但这不是当前法规所规定的。”他还表示，在提高临床有效性要求和“将创新推向市场”的需求之间需要“取得平衡”。
欧盟人工智能法案的模式？
Scarlet 刚刚从伦敦的风险投资公司 Atomico 获得了 1750 万美元的 A 轮风险投资，此前的投资者 Kindred Capital、Creandum 和 EF（Entrepreneur First）也参与其中。该公司希望扩展到美国，在美国，食品药品监督管理局使用经过认证的私人组织对 510(k)申请进行初步审查——尽管与欧洲不同，在美国，这些私人公司对授权没有最终决定权。
杜瓦尔表示，Scarlet 还在考虑将业务扩展到医疗以外的其他高风险环境中的人工智能软件认证。根据欧盟人工智能法案，任何在高风险领域（如控制电力或水供应，或大学入学考试评分）部署人工智能软件的公司都必须有外部方验证其风险评估和缓解流程。一个大问题是：哪些组织将具备进行这些检查的专业知识？好吧，Scarlet 可能是其中之一。 《财富》
相关主题：
接下来 医生对芬兰禁止移民获得医疗保健的决定表示反对
不要错过 AMS 引起私募股权兴趣