我热爱AI。我用它来构建系统。但如果你在医疗保健行业，却不问一些关于AI代理的艰难法律问题，你将很快并公开地失败。
让我们明确一点，医疗保健中的AI代理不仅仅是未来的想法，它们已经在诊断、药物发现和患者互动方面改变游戏规则。市场也认同这一点。预计到2030年，代理型AI医疗保健行业的市场规模将从2024年的5.38亿美元增长到49.6亿美元，复合年增长率为45.56%。如果这个数字不能引起你的注意，那你真的没有关注。
但这个大机会的问题在于：技术发展迅速，而法律却不然。在急于实施AI驱动的自动化过程中，许多组织跳过了问最重要的问题：
- 我们真的被允许这样做吗？
- 这能在法庭上站得住脚吗？
- 如果不行，会发生什么？
我们来谈谈这个问题。
真正的风险：你如何使用AI以及当它失败时会发生什么
我们已经进入了AI代理做出临床决策、自动化拒绝索赔和推荐护理时间表的时代。这是权力。但没有清晰性的权力会变成责任。
在过去两年中，像UnitedHealth、Humana和Cigna这样的公司都因他们的AI系统而卷入诉讼。一起诉讼声称，Cigna的PXDX算法允许医生在2023年拒绝超过30万份索赔，每项决定平均只需1.2秒。虽然表面上看起来很高效，但这种方法引发了关于监督和问责的重要问题。
UnitedHealth Group的nH Predict模型也受到了抨击。据称，它推翻了临床建议，迫使护理经理遵循AI生成的指示。根据法院文件，其中90%的决定在上诉中被撤销。这表明所谓的优化实际上可能需要更加谨慎和平衡的方法。
这些不是孤立事件。这些都是真实的法庭案件，法官们正在让它们继续进行。
大多数技术领导者忽视的法律漏洞
我遇到的大多数CTO和CIO都专注于AI能做什么。很少有人问AI被允许做什么，更少的人考虑当AI出错时谁来负责。
让我为你简化一下。以下是一些当前最大的法律陷阱：
- 缺乏人类监督：加利福尼亚州和马萨诸塞州等州正在提议立法，以监管AI在做出医疗决策中的使用。如果没有真正的人类审查，你就会暴露在外。
- 未披露AI的使用：不告诉患者或监管机构AI在保险决策中的使用可能会违反联邦贸易委员会关于欺骗性行为的规定。
- 高错误率：如果你的AI系统有已知的错误历史，而你继续使用它，这就为疏忽索赔打开了大门。这种情况已经在发生。
- 黑箱系统：如果你的系统无法解释自己，你的团队也无法解释，那么你就建立了一个没有人能够辩护的东西。这会使你的组织处于风险之中。
拼凑的法规变得越来越严格
在美国没有统一的AI法律。相反，有一张日益复杂的重叠规则网。
在联邦层面，2023年10月发布的关于AI的行政命令要求各机构为医疗保健和其他部门制定AI标准。这是一个起点，而不是解决方案。
像2023年的《健康技术法案》这样的法案提议允许AI开具处方。但由于关于法律责任和患者安全的问题尚未解决，该法案尚未通过。
像加利福尼亚州这样的州已经走在前面。2024年12月生效的新立法规定，必须由持牌医生审查每个AI驱动的拒绝决定。这才是真正的变化发生的地方。
再加上HIPAA、FDA法规、FTC规则和《共同规则》，突然间，你必须应对五个不同层次的合规性。
明智的领导者现在正在做的事情
这不是减缓AI发展的理由。而是要以纪律和清晰度向前推进。
如果你正在考虑在医疗保健中部署AI代理，请记住以下几点：
- 人类监督是强制性的。有些州禁止仅靠AI做出医疗决策。
- 对你的算法进行内部审计。如果你不做，别人也会做。
- 使你的AI使用透明。告诉患者何时涉及机器。
- 可审计性优于性能。如果黑箱模型无法解释其决策，就是一种责任。
- 法规是分散的。你必须遵守HIPAA、FDA、FTC、州法律和《共同规则》。
如果你的代理型AI触及临床研究工作流程、预测试验或超出传统HIPAA使用的敏感患者数据，即使你不是大学或研究医院，也可能需要遵守《共同规则》。
你不希望以这种方式学到的教训
代理型AI已经在改变医疗保健。资金正在流动，用例正在增长，采用的压力是真实的。
但49.6亿美元的困境在于：有多少这些系统是为了在法律、临床和伦理审查下经得起考验而设计的？
明智的领导者不仅会问他们的AI能做什么。
他们还会问，当关键时刻到来时，他们是否准备好为其辩护。
(全文结束)
