美国医疗系统已正式进入人工智能（AI）时代。各类组织、从业人员和患者不再仅仅尝试一种新潮流，而是开始将这一工具投入运营。
根据凯撒家庭基金会（KFF）的调查数据：约三分之一的美国成年人曾使用AI查找健康信息。超过40%的健康AI使用者表示，他们曾将个人医疗信息上传到AI工具中。
在诊所和医院里，AI被用于撰写病历、分诊消息、预测再入院率、总结图表、提出鉴别诊断建议，甚至做出此前由医生做出的处方决策。环境临床智能已减轻了文书工作负担，并在许多情况下改善了临床医生的体验。
尽管AI有潜力改善患者预后、提升医疗服务可及性、降低整体医疗成本并缓解临床医生职业倦怠，但行业也需要就AI的采用提出一些尖锐的问题。这不仅适用于临床场景，也适用于保险公司。
健康保险公司如何利用AI
健康保险公司正越来越多地部署算法工具来评估索赔、指导预先授权决策，并预测患者“应该”需要哪些护理。理论上，其理由很简单：提高效率、一致性和成本控制。
但临床医生担心保险公司正在用AI取代临床审查，且人工监督极少。根据美国医学会（AMA）的一项调查，61%的医生表示他们担心支付方使用不受监管的AI已经或将增加预先授权的拒绝次数。他们的担忧是有道理的。在一些已被报道的案例中，拒绝决策的处理速度快到不可能进行有意义的医生审查。
“一个运转良好的、由AI驱动的保险生态系统的愿景已经出现了几处裂痕，”斯坦福大学实证健康法学者米歇尔·梅洛（Michelle Mello，法学博士、哲学博士）写道。“一个主要的担忧是，由于缺乏对AI所提建议的有意义的人工审查，可能正在发生错误的拒赔。”
这个问题值得我们所有人深思。医疗决策并非像许多AI系统设计运行方式那样是一种概率性练习。AI系统基于大量人群进行训练，经过优化以识别模式，并基于统计可能性生成建议或决策。如果使用得当，这种评估可以非常强大。如果使用不当，则可能非常危险。患者不仅仅是几个数字的总和；他们是无法总是完美映射到某个模型中的个体。
然而，这恰恰是一些保险公司对待他们的方式。
当AI被用作看门人而非工具时会发生什么
核心问题不在于AI是否被部署到医疗环境中，而在于它被如何使用。将AI视为增强人类技能和知识的工具，与将AI用作医疗服务的看门人，两者存在根本性区别。
工具支持人类判断，而看门人则取代人类判断。
正如前一节中的证据所示，我们正在目睹一场悄然而有意义的转变，朝着后一种模式发展。幸运的是，监管机构开始注意到这一点。
医疗保险和医疗补助服务中心（CMS）已表示，虽然可以使用算法来辅助覆盖范围决策，但不能凌驾于患者的个体情况之上，也不能替代临床判断。美国医学会（AMA）已呼吁加强对保险公司使用AI的监管，强调透明度、减少偏见，以及在影响患者护理的决策中进行人工审查的必要性。患者也开始反击，提起多起诉讼，指控由AI驱动的决策不当拒绝了医疗护理。
由于这些动向，关于保险公司和从业者使用AI的问题现在转向了责任归属。当AI系统导致不良后果时，谁该负责？如果临床医生遵循了AI的建议但导致了糟糕的健康结果，那是临床判断错误还是算法错误？如果保险公司使用AI拒绝护理，而这种拒绝导致了伤害，那么责任在哪里？是保险公司？AI开发者？还是数据提供者？
医疗AI的有限法律框架
AI在信息与行动之间引入了一个新的层级，这个层级往往不透明、难以追问，并且不断演变。这些特征是故意构建到AI系统中的。
考虑到这些现实情况，是导致AI法律框架落后于技术发展的原因之一。正如近期学术著作（包括哈佛大学Petrie-Flom中心的分析）所讨论的，AI时代的责任归属极不确定，因为传统的医疗事故模型假设存在人类决策者，而AI消除了这一特征。
医疗系统需要一套清晰的界限。监管机构需要回答这样的问题：AI应该自主使用吗？在哪些环节必须保留人类作为决策者？临床医生和患者需要何种程度的透明度才能信任这些系统？最关键的是，当事情出错时，谁该负责？
如果我们不为AI在医疗中的角色划定边界，它就会自己定义——由那些并不总是与患者利益一致的激励因素所驱动。
在临床环境中，前进的道路相对清晰：AI应增强、而非取代临床医生判断。AI输出应当是可审查、可解释、可质疑的，并且临床医生应保持最终决策权。
在支付方环境中，标准必须同样严格，甚至更严格。覆盖范围决策不能简化为算法输出而缺乏有意义的人工监督。模型在使用方式上必须透明，必须根据临床标准进行验证，并持续监控其偏见。而且，当涉及影响时，必须有明确的责任归属。否则，我们就有可能构建出一个系统，其中决定医疗可及性的决策是由无人完全理解、无人完全拥有的工具做出的。
AI不是医疗保健的未来，而是我们的现在。问题在于，我们是建造一个服务于患者的系统，还是一个迫使患者服务于系统的系统。
现在做出决定还为时未晚，但时间不多了。
【全文结束】