随着人工智能深入融入医疗保健运营，各组织必须管理部署、合同和监督方面的法律、监管和数据治理风险。
人工智能正迅速整合到医疗保健服务、运营和患者互动中，增加了法律和合规的复杂性。本检查清单重点介绍了数据使用、合同、治理和监管监督方面的关键风险和考虑因素。探索我们"医疗保健中的人工智能"系列的所有文章。
关键要点
- 组织在部署人工智能系统前必须确立数据使用的合法依据。
- 人工智能合规性取决于清晰的数据治理，包括数据映射、质量控制和监督。
- 合同和业务关联协议必须明确定义数据权利、允许用途和供应商责任。
- 人工智能输出需要人工监督，因为模型存在局限性且性能会不断演变。
- 人工智能治理是持续性的，需要监控、再训练和跟踪法规发展。
支持人工智能的工具正迅速进入医疗保健服务、质量改进、运营、收入周期管理和患者互动领域。随着技术更加深入地嵌入，法律、监管、合同和数据治理的风险大幅增加。以下检查清单综合了从法律、合规、合同和操作角度识别的AI部署中的关键考虑因素和常见风险。
1. 确立数据使用的合法依据并验证监管路径
在数据被人工智能系统处理之前，组织必须确定其是否有权合法使用这些信息。对于受1996年《健康保险可携性和责任法案》(HIPAA)监管的受保护健康信息(PHI)，这可能源自HIPAA的治疗、付款或医疗保健运营(TPO)路径，来自有效授权，或在适用情况下，源自根据数据使用协议用于研究、公共卫生或医疗保健运营目的的有限数据集。如果以上均不适用，数据必须按照HIPAA标准进行去标识化。
这一决定应指导早期的架构和合同决策。人工智能解决方案往往基于业务目标和技术可行性进行部署，而合规性决定往往滞后——在数据集已经移动到与监管约束相悖的环境中之后才做出。
2. 明确数据实践并使其符合患者和公众期望
组织不应假设其现有的隐私声明或内部文档涵盖了支持人工智能的数据处理。人工智能引入了新的数据处理方法，可能涉及新的第三方，以及常常与组织现有公开声明的实践不符的新数据流。消费者期望透明度，会将缺乏清晰度归因于不信任或不当行为。
人工智能部署不仅需要符合法规，还需要明确组织实际做什么、承诺不做什么以及个人保留哪些权利。
3. 将合同视为合规保障，而非采购检查框
人工智能协议从根本上说是合规工具。传统的技术合同方法往往强调许可和服务可用性，但人工智能需要对数据权利、允许用途、模型训练、衍生作品所有权、监督权和责任分配进行详细处理。
合同应：
- 规定供应商可以访问或操作数据的限制和条件；
- 分配谁承担HIPAA、消费者隐私法和新兴人工智能特定义务下的合规责任；
- 要求持续监控和系统验证；以及
- 解决数据保留、可移植性和退出计划。
未能就这些问题进行谈判会带来不确定性，并使组织面临潜在的重大监管和运营风险。
4. 执行专为人工智能设计的业务关联协议(BAA)
当涉及PHI时，组织必须确定供应商是否符合业务关联方的定义。如果是，则需要业务关联协议(BAA)。然而，人工智能使普通的BAA结构变得复杂。
组织应确保BAAs：
- 明确考虑人工智能使用案例；
- 定义专有、托管或分包AI环境中的允许数据流；
- 限制供应商的重用权利；
- 禁止将PHI披露给超出预期设计的环境；以及
- 通过同等保护约束分包商。
通用BAA通常无法满足这些义务，使组织面临重大风险。在人工智能背景下，应特别关注涉及数据聚合、业务关联方用于适当管理和管理的PHI使用(根据45 CFR § 164.504(e)允许)以及PHI去标识化的条款，所有这些都会显著影响数据的使用、披露或保留方式。
5. 实施数字治理和质量控制
人工智能输出质量取决于输入质量。无纪律地摄取不完整、有偏见、不准确、不一致或结构不良的数据会增加输出不准确或临床不安全的风险。数据质量差也会削弱结果的可辩护性，如果受到质疑。
组织应实施包括以下内容的治理框架：
- 在摄取前验证数据；
- 跟踪用于生成建议的源数据；
- 定义错误检测、升级和修复的控制措施；以及
- 维护用于模型再训练的数据集的规则。
组织在使用非结构化数据(如自由文本临床记录)时也应保持高度警惕，这些数据可能不完整、模糊或难以验证。在使用非结构化数据时，应实施额外的控制措施(如预处理、规范化和人工审查)以降低风险。
不应允许人工智能在没有适当监督的情况下消耗数据，也不应依赖其输出而不进行有意义的验证和审查。
6. 避免过度依赖具有未知局限性的模型
人工智能系统不能保证准确性。对算法输出的过度自信，特别是在涉及临床或财务决策时，会带来持续的风险。组织必须了解模型的预期用途、局限性以及其输出应触发人工干预的情况。
这不仅仅是一项技术要求；它是一种责任缓解策略。
7. 将人工智能视为持续的治理义务，而非一次性安装
人工智能系统是动态的。它们必须被监控、评估和重新训练。合同需要明确分配部署后的责任，确保：
- 监控在定义的时间间隔内进行；
- 性能下降得到评估和纠正；
- 当数据集变化出现时进行再训练；以及
- 升级路径得到明确定义。
假设人工智能在第300天的功能与第1天相同的组织误解了该技术，并面临增加的风险。
8. 监控法规发展
医疗保健人工智能正日益成为政府监督的目标。尽管目前还没有全面的联邦人工智能法规，且最近的联邦政策强调减少创新的监管障碍(同时依靠联邦贸易委员会等现有机构来监督不公平或欺骗性行为并评估州级要求的影响)，但各州继续推进自己的人工智能框架。这种分散且不断发展的合规环境使全国部署策略变得复杂。
实际上，组织应预期州级人工智能法规的持续增长，包括(1)适用于一般用途的人工智能法律法规，(2)如科罗拉多州等州正在出现的更全面的框架，以及(3)适用于支付方、提供商和健康数据的医疗保健特定要求。此外，州监管机构(如卫生部门和医疗保健机构)的指导将继续塑造对人工智能治理和使用的期望。
组织应持续监控：
- HIPAA指导的修改；
- 新兴的州法律，包括规范健康相关数据流的法律；
- 联邦机构对算法公平性和数据欺骗的扩展关注；以及
- 食品药品监督管理局(FDA)对接近临床决策支持的系统的监督。
- 人工智能合规不是静态的；它是一个活跃且不断发展的风险环境。
9. 提前解决所有权和控制问题
输入、模型、改进和输出必须通过合同进行管理。各方应避免在以下方面存在歧义：
- 谁拥有优化的模型权重或参数；
- 谁可以利用输出获取商业利益；
- 终止后保留哪些权利；以及
- 如何进行可移植性和过渡。
这里的清晰度可以防止下游争议并加强可辩护性。
本检查清单绝非全面，适用法律仍在不断变化。要解决合规问题，请联系经验丰富的医疗保健和隐私律师。
【全文结束】
