理查德·福特：AI在医学中是如何使用的？
米歇尔·梅洛：和其他许多行业一样，AI已经变得无处不在。在医疗器械方面，最常见的用途是将其嵌入放射影像设备中。如果你今天在美国进行乳腺X光检查，有90%的几率这项检查会由AI辅助完成，这是一件好事。研究表明，AI加上放射科医生的表现优于仅靠放射科医生。
还有用于帮助外科医生可视化解剖结构的手术设备。这些设备可以预测肉眼无法看到的解剖部分，从而指导外科医生。甚至有AI辅助的手术机器人在人类监督下开始投入使用。另一些常见的用途涉及生成式AI的应用，以减少医生的一些繁琐工作。美国的医生每花一小时看病人，就要花大约两小时的“睡衣时间”来写病历、回复患者邮件、输入计费代码等。这导致了目前医疗行业超过40%的倦怠率。因此，AI有很大的潜力通过生成初稿来简化这些任务，医生可以审查并接受这些初稿。
尼尔·古哈：另一种在医学中使用的AI形式不是生成式AI，而是预测性AI。它提升了医生长期以来用于分类患者的预测模型，无论是预测患者手术后的恢复情况，还是判断患者是否可能患有某种疾病。他们长期以来一直使用基于规则和有限变量的简单算法，但现在他们使用数百万数据点的大数据集来发现以前未被纳入预测模型的关联。
米歇尔·梅洛：我认为大多数人还没有听说过AI在健康保险中的应用。我们大多数人都经历过试图获得某些医疗服务的预先授权这一令人头疼的过程。医生非常讨厌这个过程，它耗时巨大，拒绝率很高，但其中90%的拒绝最终会被推翻，因此这是医疗系统中的一个巨大低效。简而言之，我们现在的情况类似于“机器大战”，医院现在使用AI生成和提交这些请求，保险公司有自己的算法来审查这些请求，然后由人类处理存在分歧的部分。
理查德·福特：那么，有哪些负面影响呢？
米歇尔·梅洛：负面影响在于，医生和护士工作过度、时间紧张，而这些模型的整个框架依赖于假设人类将在某种程度上持续参与，这意味着当AI为患者生成电子邮件草稿时，医生将仔细审查并编辑后再发送。但实证研究发现，你不能同时拥有节省时间和让人类花时间审查的AI。因此，自动化偏见的风险在于，随着时间的推移，人们要么过于信任AI，要么根本不在乎它是否正确。由于AI大多数时候都是正确的，如果没有人类的警惕或另一个系统来捕捉第一个系统的错误，担心的是会导致造成伤害的错误。
理查德·福特：那么，有没有可能产生法律责任？也许你可以告诉我们，我们已经看到哪些问题，这对AI的未来意味着什么？
尼尔·古哈：我们一直在研究AI导致患者伤害并引发诉讼的情况。我们能否更好地了解法院如何思考由此产生的责任问题？谁应承担责任，依据什么标准或标准来确定责任？为此，我们查阅了许多案例，寻找涉及AI系统或复杂软件系统在医疗或非医疗环境中造成伤害的实例。
我们注意到一些趋势，关于原告和被告的身份以及出现的索赔类型。首先，当医院使用AI系统管理患者护理或运营时，如果出现错误导致患者伤害，患者通常会对医院提起过失诉讼。其次，当医生依赖错误的AI预测，例如AI建议特定治疗策略或提供诊断时，原告将对医生提起医疗过失诉讼，指控他们本应发现AI系统的错误或独立得出正确的结论。他们还会对开发该软件AI系统的开发商提起产品责任诉讼。最后一种索赔类型涉及AI嵌入某种植入患者体内或在手术或其他操作过程中使用的设备中，并产生错误。在这种情况下，原告将对医生和医院提起过失诉讼或医疗过失诉讼，指控他们在维护、安装和更新设备方面存在疏忽。他们还会对这些设备的开发商提起诉讼，指控他们应该设计得更好或更清楚地说明潜在风险。
帕姆·卡尔兰：在AI和歧视领域，我们看到的一个问题是，在某个时刻，你无法“深入”AI内部弄清楚发生了什么。例如，在案件中，你需要证明存在歧视目的，但机器在决定针对哪些人投放特定广告或在保释决定中使用何种指标时，经过多次迭代，你无法再弄清楚机器“实际上”在看什么。
尼尔·古哈：绝对存在这个问题。如果你看看30到40年前的AI系统，它们看起来更像是我们通常认为的程序员编写代码，一系列逻辑步骤：如果你看到这个，就做这个决定；如果你看到那个，就做那个决定。现代AI系统基于机器学习，构建方式完全不同。我们不再告诉程序如何执行任务，而是给出大量输入和输出的例子，让它们通过复杂的试错过程自行学习，这个过程如此数学化和复杂，以至于我们很难解释。所以，我们能做的最好的就是从输入和输出的角度来思考。如果我给定这些类型的输入，会观察到哪些类型的输出，我对这些结果满意还是不满意？
帕姆·卡尔兰：对这些系统作为医疗设备是否有监管？还是只是监管嵌入系统的设备？
米歇尔·梅洛：确实存在对作为医疗设备的AI系统的监管。有软件作为医疗设备的一部分受到FDA的监管，也有软件本身被视为可监管的医疗设备。例如，有一类临床决策支持工具，软件本身已被认定为可监管的医疗设备。这只是目前医疗保健中使用AI工具的冰山一角。因此，迫切需要使FDA或其他机构能够应对这项技术的挑战。
我们的医疗设备监管方案可以追溯到1976年。目前没有法定权限允许FDA进行更严格的监管，更不用说最高法院最近的裁决削弱了机构在解释法定权限方面的自由裁量权。因此，这里确实需要额外的干预。
理查德·福特：我很好奇在侵权责任方面是否需要改变。每当新技术出现时，总有人声称我们需要彻底改革法律体系。这种情况是否需要专门制定AI法律？
米歇尔·梅洛：目前，我只希望看到少数几项变化。一个问题是精明的AI开发者在其与医院的许可协议中越来越多地使用免责声明和责任限制条款。医院似乎还没有意识到这一点，也没有充分利用其相当大的议价能力。每个AI开发者都希望斯坦福大学或梅奥诊所采用他们的工具，但我们似乎没有在合同中争取有利条件。因此，在缺乏强有力的监管方案或大量侵权诉讼的情况下，开发者通过合同重塑了责任格局，我不喜欢这一点。另一个问题是医院和医生之间如何分配责任。我们强烈认为医生将成为责任的主要承担者，然而许多医院没有建立审查这些工具和监控它们的流程，以至于要求医生承担审查后剩余的所有潜在错误责任是不合理的。因此，某种形式的企业责任转移，使医院能够承担更多法律责任，可能会创造正确的激励机制，促使医院进行更多的私人治理。
帕姆·卡尔兰：是否应该对AI模型进行临床测试？
米歇尔·梅洛：现在医学研究界的一个大辩论是，AI是否应该像其他医疗疗法一样接受相同的测试标准，其中临床试验是黄金标准。事实上，大多数AI在医疗保健中的实施根本没有进行任何研究。它是在质量改进的名义下进行的，即向领导推销一个对患者有益的想法，然后实施并进行观察研究。因此，我们在上市前的科学研究水平远远落后于其他领域。
帕姆·卡尔兰：什么是AI的超适应症使用？
米歇尔·梅洛：有许多模型是基于成人数据开发的，但被用于儿童。儿童不是小大人。我们不允许基于成人研究给他们开药，因为他们的解剖结构和生理功能不同。但我们没有大规模的儿科数据集。因此，现在的情况是，开发者开发了一种产品，卖给健康系统用于成人，然后儿科医生也想使用它，他们就这么做了。没有任何规定说他们不能这样做。
理查德·福特：鉴于所有这些情况，我们有理由感到乐观吗？一方面，似乎我们处于不利地位。AI的发展速度远快于监管的思考。而且每个医院的情况都不同。你对能否发展出有效的监管和法律责任制度有多乐观？
米歇尔·梅洛：我是乐观的，如果你研究患者安全，你必须保持乐观。我花了25年的时间研究医疗保健中出错的原因，我无法告诉你为了使医院更安全投入了多少努力、时间和金钱。在某些领域我们取得了很大进展，但在一些真正顽固的领域仍然存在问题。无论AI是否存在安全问题，我们都必须继续推动，因为它的潜力巨大，例如，可以解决诊断遗漏和延迟这一顽固问题。我们大多数人都认识生活中有人经历过诊断遗漏或延迟。
(全文结束)
