2024年9月28日，加利福尼亚州州长加文·纽森签署了加州议会法案3030（AB 3030），该法案被称为《医疗保健服务中的人工智能法案》。自2025年1月1日起生效，AB 3030 是一项更广泛努力的一部分，旨在减轻生成式人工智能（GenAI）在加利福尼亚州可能带来的潜在危害，并引入了医疗保健提供者使用该技术的新要求。
AB 3030 概述
AB 3030 要求利用GenAI生成书面或口头患者通信的医疗机构、诊所、单独执业和团体执业的医生（统称为“受监管实体”）必须包括以下内容：
- 声明，告知患者该通信是由人工智能生成的（具体要求包括声明的显示和时间，取决于消息是以书面、音频还是视觉形式呈现）；
- 明确的指示，说明患者如何联系人类医疗保健提供者、设施员工或其他适当人员以获取有关消息的信息。
AB 3030 试图通过确保患者了解其护理中使用了AI生成的响应来增强透明度和患者保护。该法律不适用于由持证或认证的人类医疗保健提供者审查和批准的AI生成通信。这一规定得到了多个州级医学协会的支持，因为这些协会担心，否则提供者可能会被阻止利用AI节省时间的优势来辅助临床决策。此外，AB 3030 不适用于涉及行政和业务事项的通信，如预约安排、检查提醒和账单。该法律将通信范围限制为“患者临床信息”，这意味着与患者健康状况相关的信息，因为护理相关通信中的错误可能导致更大的患者伤害。
GenAI 定义
AB 3030 将GenAI定义为“能够生成衍生合成内容的人工智能，包括图像、视频、音频、文本和其他数字内容”。该定义的关键方面是“合成”，意味着系统生成的是全新的内容，而不是对现有数据集的预测或建议。一个熟悉的例子是大型语言模型（LLMs），它们生成原始文本。
违反规定的处罚
违反AB 3030 的医生将受到加利福尼亚州医疗委员会或加利福尼亚州整骨医学委员会的管辖。违反该法律的持证医疗机构和诊所将根据《加利福尼亚州健康与安全法》第2章和第1章的第3条接受执法。
使用GenAI的益处和风险
AB 3030 试图平衡减轻医疗保健工作者行政负担、增加GenAI使用透明度和减轻GenAI使用潜在危害等相互竞争的目标。该法律并不直接监管患者临床信息通信的具体内容。因此，只要涉及患者临床信息的通信包含所需的免责声明和指示，受监管实体可以使用GenAI工具。
医疗保健提供者可以从这种工具中受益的原因有很多。例如，医疗记录（如就诊笔记和医疗总结）长期以来一直困扰着临床医生，使他们有更少的时间与患者互动。然而，在临床环境中使用GenAI也存在风险，可能为医疗保健提供者带来潜在责任，而AB 3030 并未对此进行缓解。2024年8月19日，加利福尼亚州参议院在审议该法案时指出，AI生成的内容可能因训练数据的历史不准确性而带有偏见，导致某些患者群体的护理质量下降。另一个风险是“幻觉”，即GenAI生成看似连贯但事实上没有任何现实基础的输出。这种现象常见于GenAI模型，包括LLMs，这些模型已知会在响应查询时编造可信的事实。最后，还存在隐私问题，因为无法从训练好的GenAI模型中删除数据而不擦除其先前的训练，这可能导致大量患者数据在这些模型中不必要的长时间保留。
医疗保健提供者和机构的考虑
AB 3030 的通过，加上加利福尼亚州最近出台的其他AI法律，清楚地表明了加利福尼亚州立法者对AI透明度作为必要行业标准的关注。这些法规与美国医学协会（AMA）的《增强智能开发、部署和使用原则》相吻合，后者将透明度确定为在医疗保健中实施AI工具的优先事项。加利福尼亚州的方法也大致遵循白宫的《人工智能权利蓝图》，该蓝图指出人们有权知道何时以及如何使用影响其生活的自动化系统。
在加利福尼亚州运营或向加利福尼亚州居民提供服务的医疗保健机构应采取措施，以应对新的要求，确保其AI使用符合加利福尼亚州的新法规。这些机构还应加强对其AI工具的审查和监督，确保持续的临床医生记录和审查不会成为一种形式上的批准。这有助于回应对AB 3030 免除提供商审查的AI通信可能给患者带来虚假安全感的担忧。
展望未来，我们可能会看到其他州探索医疗保健行业中类似的AI监管。我们的Sheppard Mullin Healthy AI团队将继续关注这些发展。
(全文结束)
