导丝的感觉不对。我的双手经过二十多年、数千例手术的磨练，感知到了一种导航屏幕否认的阻力。系统的三维重建图像，清晰地呈现出患者鼻窦解剖结构的自信渲染图。然而，我的本体感觉却告诉我，我即将刺穿骨骼。我停了下来，撤出器械，并用传统的透视成像重新评估。屏幕出错了。我的手是对的。这一次，是一次幸免。而下一个病人，在其他外科医生手下，结果可能就是一例脑脊液漏或颅底穿孔。
这就是人工智能手术室的新现实。作为一名同时也验证这些算法工具的心脏外科医生，我并非AI怀疑论者。我是一个AI现实主义者，并且深感担忧。我们正在采用强大的手术AI，却没有认识到其独特且知之甚少的故障模式。不良事件已经在发生，而我们用于检测和从中学习的系统并不适用。
我们的雄心规模已经超出了科学的严谨性。监管机构正在努力跟上步伐。美国食品药品监督管理局授权的AI和机器学习设备数量现已超过700个，然而支撑这场革命的证据基础却极其薄弱。《自然·医学》杂志2023年的一项分析显示，这些设备中只有不到10%有任何形式的临床试验数据支持，更不用说随机对照试验了。大多数设备是通过诸如510(k)等途径获批的，该途径仅要求与先前设备“实质性等同”。这种为物理硬件渐进式更新而设计的框架，危险地不适配自适应软件的新颖复杂性，造成了一种虚假的安全感。
其后果正在被记录，尽管是悄无声息的。以强生旗下的Acclarent TruDi导航系统为例。路透社的调查性新闻，虽未经同行评审，却已揭示出一系列故障和伤害的模式，这些模式似乎得到了FDA自身上市后监测数据中趋势的证实。这并非孤立案例。《美国医学会杂志·健康论坛》近期的一项调查发现，在涉及182次召回的60个FDA授权的AI设备中，43%的召回发生在获批后的第一年内。这表明上市前评估存在系统性失败。这些并非抽象的统计数据。对于手术台上的病人而言，它们代表着算法犯错，做出人类不会犯的细微误判所带来的、未经量化的风险。
当前的监管框架并非为此挑战而设计。在美国，FDA正在开发一种“全产品生命周期”方法来管理能学习和进化的算法。在英国，药品和健康产品管理局的“软件和人工智能作为医疗器械变革计划”是朝着正确方向迈出的一步。然而，其焦点仍停留在上市前合规，而非部署后的性能漂移。这留下了一个关键缺口。例如，护理质量委员会的检查员目前缺乏评估医院数字安全的工具，即便这些AI系统正成为护理不可或缺的一部分。欧盟具有里程碑意义的AI法案预示了一个更稳健的未来，它将手术导航辅助设备归类为高风险系统，要求其获得CE标志需要更严格的证据。
这场辩论不能只停留在“黑箱”算法或外科医生技能退化的遥远威胁上。危险更为直接。它是悄无声息的误校准，是微妙的数据库漂移，是对于解剖结构偏离均值三个标准差的病人不成立的算法假设。当AI驱动的错误发生时，谁该负责？相信了屏幕的外科医生？采购该系统的医院？其责任常被模糊的用户协议所屏蔽的制造商？
我们不会接受新药或人工心脏瓣膜存在这样的证据缺陷。然而，航空领域提供了一个向前发展的有力模式。几十年来，飞行员一直使用如英国的CHIRP或美国的ASRS等保密、非惩罚性的近失事件报告系统。这些计划之所以成功，是因为它们促成了文化转变，将关注点从个人指责转移到系统级分析。它们创建了一个庞大的、共享的安全情报库，使整个行业能从一次机组的险情中学习。医学界没有针对AI驱动手术错误的类似系统。我们都在盲目飞行，每一次幸免都只是一次私人教训，而非公共警示。
解决方案不是放弃创新，而是拥抱一种更复杂的工程安全模型。答案的一部分在于全面的计算机仿真验证与确认。领先的研究中心正在构建患者和病理的数字孪生。这些不仅仅是模拟，而是高保真的虚拟病人，由真实的临床数据构建而成。AI导航系统可以针对数百万计的解剖变异和手术场景进行测试。这些虚拟试验场可以探测罕见的边缘案例，诱发器械应力，并在传统临床试验永远无法达到的人口多样性广度上验证性能。这不是对试验的补充。这是一种严格的、详尽的上市前评估，旨在发现并修复故障，然后才让算法进入人类手术室。
前进的道路需要三项紧急行动。首先，我们必须要求我们的监管机构，从英国MHRA到美国FDA，将稳健的计算机仿真验证视为批准任何高风险导航或自主AI的道德前提，而非可选项目。其次，我们必须建立一个强制的、保密的AI不良事件登记系统，类似于航空业的近失事件系统，在这里诚实得到保护，每次错误都能成为所有人的教训，而非一个人的责任。第三，这种新的监督生态系统不能被委托。它必须由外科医生主导。我们这些对病人生命负有最终责任的人，必须成为定义标准和剖析失败的人。
AI在外科领域的前景是巨大的，它预示着更精确、更易获得和更好结果的未来。但这个前景是有条件的。它完全取决于我们是否愿意正视一个事实：我们当前的安全方法正在失败。我们正使用强大的工具在一片全新且复杂的领域中航行。是时候承认，没有更好的地图，我们最先进的仪器也可能让我们误入歧途。
Zain Khalpey 医学博士、哲学博士、美国外科医师学会会员 | Khalpey AI实验室主任 | CTSNet高级AI编辑 | HonorHealth，亚利桑那州斯科茨代尔
利益冲突：无声明。
【全文结束】