犹他州允许人工智能续开处方,结果出人意料
今年1月,犹他州成为全美第一个允许自主人工智能系统续开处方的州。此事引发了一场争论,卷入其中的包括美国医学会、该州医学委员会、美国食品药品监督管理局(FDA),以及越来越多的学术期刊,而它们对刚刚发生的一切各执一词。
根据该州人工智能政策办公室与 AI 公司 Doctronic 达成的协议,犹他州同意允许这家机构在没有任何医生参与的情况下续开部分处方——而在美国其他地区,目前仍要求必须有医生介入。
所使用的监管机制是一份来自州政府的协议:只要 Doctronic 遵守一份设有安全与隐私护栏的合同,州政府就不对其适用“不专业行为”相关法律。
在这份合同中,Doctronic 的 AI 智能体获准处理30天、60天和90天的续方,每张处方收费4美元,覆盖约190种用于治疗高血压、糖尿病和抑郁症等慢性病的药物。这些都是持照医生此前已经开具的药物,而非新的治疗决策。
具体流程是:患者确认本人身处犹他州境内,回答一组临床问题;如果系统判定通过,续方就直接发送到药房;如果不通过,聊天机器人会把该病例转交给 Doctronic 自有远程医疗服务中的医生。
这一流程只涉及医生及其诊所工作的一小部分。但据斯坦福大学的米歇尔·梅洛(Michelle Mello)评价,这仍是医疗 AI 领域的重大一步,因为它是“医学领域最早大规模部署的自主智能体系统之一”。到7月,美联社的一篇报道询问医生、律师和公共卫生专家:美国是否在无意之中,把某种近乎行医执照的东西交给了一台机器。
为什么犹他州允许 AI 续开处方
该项目想要解决的问题是:只有持照开方者才有权授权续方。当患者给医生诊所发邮件或打电话要求续方时,产生的是没有报酬的行政工作量,因为这一请求并不对应一次就诊。
与此同时,许多慢性病处方在一次次续方之间往往很少变化。其设想是:一个受到良好监督的 AI 系统可以承接这类重复性工作,从而释放医生的时间。Doctronic 联合创始人亚当·奥斯克维茨(Adam Oskowitz)医生对公司的雄心表述得更为宏大,他告诉美联社,他设想的未来是,开检查单、审阅结果这类常规任务都交给 AI,这样医生就能“管理比今天多出数千名的患者”。
犹他州 AI 开方试点的早期结果
犹他州商务厅在5月公布了五个月的试点数据。结果颇为微妙。在72%的病例中,Doctronic 的 AI 建议批准续方,并将其转交给人类医生签字确认。医生有91%的情况下同意这一建议;另外9%的情况下,医生要求提供更多信息,比如最新的化验结果。
在其余28%的病例中,AI 自行将病例上报给医生,标记出并发症或需要新检查的情况。在这些病例中,医生有69%的情况下认为上报是必要的;另外31%的情况下,医生判断系统过于谨慎。
负责犹他州人工智能办公室的扎克·博伊德(Zach Boyd)表示,Doctronic 如果有偏差,也是偏向了过度谨慎,经常把毫无争议的决定推给医生。州政府认为,对一个如此之新的系统来说,这种谨慎是恰当的,尽管它削弱了试点在效率方面的说服力。
就目前而言,该州自身的设计保证了 AI 与医生之间的这种重叠。按照协议,任何处方在送达药房之前,前250例必须由一名犹他州持照临床医生亲自审核。预计该系统在达到某一准确率门槛后,将朝着无需直接人工审核的方向运行。
该项目已引发卫生专业人士的反对
该项目的目的就是用 AI 自动化人类的工作。这招致了相当大的阻力,其中批评最尖锐的是犹他州医学执照委员会,该委员会称,他们是从新闻报道而非州政府官员那里得知这一项目的。“我们基本上被告知:‘是的,这事正在推进。而且,不行,你对此没有发言权。’”委员会主席艾伦·史密斯(Alan Smith)医生对美联社说。
在4月的一封信中,11名委员会成员要求暂停该项目,指出在没有察觉患者病情变化的情况下续开药物存在风险——其中包括 Doctronic 清单上的血液稀释剂。
“很多时候,我在六个月后见到患者时,会发现他们的病史或处境已经改变了,”史密斯说,“某种药以前开过,并不意味着现在开就合适。”美国医学会也表达了同样的担忧,警告说“续方不是什么例行勾选框”。
州人工智能政策办公室回应称,该项目仍处于完全由人工审核的阶段,系统被禁止涉及管制药品、改变治疗方案或开具新处方。5月,公益组织 Public Citizen 进一步升级了这场争议,致函支持医学委员会要求暂停的呼吁,并警告说,随着业务量增长,“医生监督”式试点有滑向对机器输出盖橡皮图章的风险。
据梅洛说,还存在两个结构性风险。第一是问责问题。犹他州与 Doctronic 之间的合同对以下问题含糊不清:如果 AI 驱动的开方错误伤害了患者,责任由谁承担。
第二是“范围蔓延”:一旦某家供应商的工具通过监管变通手段得以部署,它就可能扩大该工具的功能,而不再面对初次上线时所受到的那种审视。梅洛说:“如果犹他州的试点项目是那句谚语里骆驼伸进帐篷的鼻子,那么当骆驼全身进来时,得有人牢牢握住缰绳,这一点很重要。”
而事实上,这种情况已经开始出现。3月,犹他州签署了第二份协议,这次是与 Legion Health。协议涵盖一份明确列出的非管制维持性精神科药物目录,如 SSRI 和 SNRI 类药物,并对任何自杀倾向、躁狂或严重副作用的迹象规定必须上报。
它的护栏更严:前250例要求医生一致率达到98%,接下来1000例要求达到99%。
AI 取代人类任务造成了监管空白
该项目提出的一个问题是:医生有行医执照,而 AI 没有。宾夕法尼亚大学的埃里克·布雷斯曼(Eric Bressman)说:“我们已经跨过了一道门槛,把某种并非人类的东西授予了行医执照,不管我们愿不愿意这么称呼它。”
他把当下的监管拼凑状态比作全国性执照标准出现之前的美国医学,并批评犹他州没有要求在上线前——而非上线后——提交续方的结果数据。“他们大多是在善意地采信公司的说法,认为公司能够胜任这项工作,”他说——并指出,迄今为止关于 Doctronic 临床准确性的唯一已发表证据,是一项由公司自己撰写、未经同行评审的研究,该研究发现其诊断在500次远程医疗问诊中有80%与人类医生一致。
还有一个管辖权问题。医疗设备由 FDA 在联邦层面监管,而医疗行为则由各州分别监管。Doctronic 尴尬地处在两者之间。Doctronic 高管告诉美联社,他们认为自己的工具属于由州监管的行医行为,并拒绝透露是否曾申请 FDA 许可。FDA 一位发言人只表示,该机构“尚未授权任何 AI 聊天机器人”,目前采取不插手的姿态。
AI 取代医疗领域人类员工这一理念接下来走向何方
犹他州不会孤单太久。据报道,得克萨斯州和怀俄明州正把类似的 AI 豁免条款编织进各自的规则中。此外,艾奥瓦州、爱达荷州及其他一些州的立法者已提出法案,拟正式为 AI 医疗服务发放许可。其中许多法案基于西塞罗研究所(Cicero Institute)的一份模板——这是一家对 AI 友好的智库,由 Palantir 联合创始人乔·朗斯代尔(Joe Lonsdale)创办。
西塞罗研究所的卫生政策主任亚当·迈尔(Adam Meier)用更为直白的经济语言概括了这种抵制:“谁先走,谁就得承受明枪暗箭,因为存在经济利益、对劳动力的担忧,以及这对就业意味着什么。”
犹他州已表示将公布其研究结果。Doctronic 则表示,同行评审研究将在今年晚些时候出炉。这些证据是在项目越过人工审核阶段之前还是之后到来,很可能决定事态的走向。正如丹尼尔·艾伦(Daniel Aaron)对美联社所说:“企业短期内可能通过扩展商业模式、让技术某种程度上超前于证据而获益。但长期来看,我认为它们有可能损害公众信任、加剧反弹。”
本文最初发表于福布斯网站。
【全文结束】

