人工智能已成为现代医疗保健领域最具颠覆性的技术之一。从放射学和病理学到患者分诊和药物发现，人工智能系统越来越能够执行曾经被认为是训练有素的医疗专业人员专属领域的任务。下一个前沿是自主人工智能：这些系统不仅仅是为临床医生提供建议，而是积极执行临床功能、提供建议，并在某些情况下在有限的人类监督下启动行动。
关于自主医疗人工智能的日益增长的辩论已不再是理论性的。包括以色列、美国、加拿大和欧盟在内的几个司法管辖区的监管机构正在积极开发新的框架来管理日益自主的医疗系统。这些努力反映了对现有医疗器械法规并非为能够学习、适应并在某些情况下独立做出决策的系统而设计的认识。
从决策支持到决策制定的演变
如今部署的大多数医疗人工智能作为临床决策支持系统发挥作用。此类系统可以识别医学图像上的可疑病变、帮助优先安排患者或标记潜在的药物相互作用。临床医生仍然对最终决定负有明确责任。
自主系统代表着一个根本性的转变。它们不仅提供信息，还可能推荐治疗方案、调整用药方案、解释诊断测试结果，或远程监测患者并触发干预措施。以色列最近推出的医疗人工智能监管沙盒包括自主妊娠超声评估和人工智能支持的心力衰竭管理试点项目，展示了该技术的快速发展。
全球医疗系统面临着劳动力短缺、成本上升和人口老龄化的问题。自动化似乎通过提高效率和扩展临床能力提供了解决方案。然而，更大的自主性不可避免地引入了额外的风险。
当算法出错时
人类临床医生会犯错误，但他们通常理解其决策背后的推理，并能在错误发生时解释该推理。人工智能系统则以不同的方式运作。
许多高级机器学习模型作为所谓的"黑匣子"运行，产生的输出甚至连其开发者都难以解释。如果一个自主系统推荐了不适当的治疗或未能识别临床恶化，确定错误发生的确切原因可能会很困难。
这给患者安全带来了重大担忧。医疗专业人员可能会发现初级同事的明显错误；而识别由在统计上看起来很复杂的算法产生的细微错误则要困难得多。此外，过度依赖自动化会产生研究人员称之为"自动化偏见"的现象，即人类不太可能质疑机器生成的输出。
人工智能的有效性在很大程度上取决于用于训练它的数据质量。
医疗数据集通常不完整、不一致或偏向特定人群。主要在一个特定人口群体上训练的算法在应用于其他群体时可能表现不够准确。种族、社会经济地位、地理位置、年龄和医疗保健获取方面的差异都可能影响临床结果并影响模型性能。
当在一个国家开发的技术在全球部署时，这一挑战尤其显著。使用北美、欧洲或以色列患者群体验证的人工智能系统可能不会自动在其他地区达到相同标准。
因此，低质量的数据可能会在大规模上产生系统性的不良决策，这种风险远大于孤立的人为错误，因为算法可以在数千名患者身上重复相同的错误。加拿大卫生部关于机器学习医疗设备的指导特别强调了数据管理、验证、透明度和持续监测的重要性。
围绕自主人工智能最棘手的问题涉及责任。如果医生做出了不良的临床决策，责任框架已经很完善。如果自主人工智能系统导致患者受到伤害，责任就变得不那么明确了。
是临床医生因为依赖软件而承担责任吗？医院对部署该系统负责吗？责任属于软件开发者吗？如果算法自最初批准以来已经改变和演变怎么办？
随着监管机构开发能够支持自适应机器学习系统的框架，这些问题变得越来越重要。美国食品药品监督管理局和加拿大卫生部都已探索了诸如预先确定的变更控制计划等机制，以管理未来的修改，同时保持监管监督。
更复杂的因素是，医疗保健已经成为网络攻击最频繁针对的行业之一。自主人工智能引入了额外的漏洞。对抗性攻击可能会通过以对人类不可察觉但能够产生错误输出的方式微妙地改变输入来操纵人工智能系统。攻击者可能试图破坏诊断算法、危及患者监测系统或干扰治疗建议。
随着医疗保健通过智能手机、可穿戴设备、云计算平台和远程监测技术变得更加互联，攻击面继续扩大。受损的自主临床系统可能会以远超传统软件故障的规模影响患者护理。
人在回路中
世界卫生组织一再强调，人工智能应在尊重透明度、责任和人权原则的同时支持人类福祉。人类临床医生提供情境理解、道德判断、同理心和专业责任。这些品质通过算法仍然难以复制。
挑战在于确定人类参与必不可少的地方以及自动化可以安全提高效率的地方。监督不足会引入风险。过多的监督可能会消除自主系统承诺的许多好处。
【全文结束】