人工智能工具正迅速融入医疗服务提供、质量改进、运营、收入周期管理和患者参与等环节。随着技术的深度嵌入，相关的法律、监管、合同和数据治理风险大幅增加。以下清单综合了从法律、合规、合同和运营角度在医疗系统AI部署中识别的关键考虑因素和常见风险。
关键要点
- 组织必须在部署AI系统前建立数据使用的合法权限
- 人工智能合规性取决于清晰的数据治理，包括数据映射、质量控制和监督
- 合同和业务关联协议必须明确定义数据权利、允许用途和供应商责任
- 人工智能输出需要人工监督，因为模型存在局限性和性能变化
- 人工智能治理是持续的过程，需要监控、再训练和跟踪监管发展
1. 建立数据使用的合法权限并验证监管路径
在数据被AI系统处理之前，组织必须确定其是否拥有使用该信息的合法权限。对于受1996年《健康保险流通与责任法案》(HIPAA)监管的受保护健康信息(PHI)，这种权限可能来源于HIPAA的治疗、支付或医疗保健运营(TPO)途径，来自有效授权，或在适用情况下，根据数据使用协议将有限数据集用于研究、公共卫生或医疗保健运营目的。如果以上都不适用，数据必须按照HIPAA标准进行去标识化处理。
这一决定应指导早期的架构和合同决策。通常情况下，AI解决方案是基于业务目标和技术可行性部署的，而合规性决定却滞后——在数据集已经转移到与监管约束相悖的环境之后才进行。
2. 澄清数据实践并与患者和公众期望保持一致
组织不应假设其现有的隐私声明或内部文档涵盖了AI支持的数据处理。人工智能引入了新的数据处理方法，可能涉及新的第三方，以及通常与组织现有公开声明的做法不一致的新数据流。消费者期望透明度，并将缺乏清晰度归因于不信任或不当行为。
AI部署不仅需要符合监管要求，还需要明确组织实际做什么、承诺不做什么，以及个人保留哪些权利。
3. 将合同视为合规保障工具，而不仅仅是采购检查
AI协议本质上是合规工具。传统的技术合同方法往往强调许可和服务可用性，但AI需要对数据权利、允许用途、模型训练、衍生作品所有权、监督权和责任分配进行详细处理。
合同应：
- 明确供应商访问或操作数据的限制和条件；
- 分配谁承担HIPAA、消费者隐私法和新兴AI特定义务下的合规责任；
- 要求持续监控和系统验证；以及
- 解决数据保留、可移植性和退出计划。
未能协商这些问题会带来不确定性，并使组织面临潜在的重大监管和运营风险。
4. 执行专为AI设计的业务关联协议(BAAs)
当涉及PHI(受保护的健康信息)时，组织必须确定供应商是否符合业务关联方的定义。如果是，则需要业务关联协议(BAA)。然而，AI使普通的BAA结构复杂化。
组织应确保BAAs：
- 明确考虑AI用例；
- 定义专有、托管或分包AI环境中的允许数据流；
- 限制供应商重用权利；
- 禁止向超出预期设计的环境披露PHI；以及
- 通过同等保护约束分包商。
通用BAA通常无法满足这些义务，使组织面临实质性风险。在AI背景下，应特别注意涉及数据聚合、将PHI用于业务关联方的适当管理和行政(如45 CFR § 164.504(e)所允许的)，以及PHI去标识化的条款，所有这些都可能显著影响数据的使用、披露或保留方式。
5. 实施有意义的数据治理和质量控制
AI输出质量取决于输入质量。无纪律地摄入不完整、有偏见、不准确、不一致或结构不良的数据会增加产出不准确或临床不安全结果的风险。如果受到质疑，低质量数据也会削弱结果的可辩护性。
组织应实施包括以下内容的治理框架：
- 在摄入前验证数据；
- 用于生成建议的源数据的可追溯性；
- 定义错误检测、升级和修复的控制措施；以及
- 用于模型再训练的数据集维护规则。
组织在使用非结构化数据(如自由文本临床笔记)时也应提高警惕，因为这些数据可能是不完整的、模糊的或难以验证的。在使用非结构化数据的地方，应实施额外的控制措施(如预处理、规范化和人工审查)以减轻风险。
不应允许AI在没有适当监督的情况下消费数据，也不应在没有有意义的验证和审查的情况下依赖其输出。
6. 避免过度依赖具有未知限制的模型
AI系统不能保证准确性。对算法输出过度自信，特别是在涉及临床或财务决策时，会带来持续的风险暴露。组织必须了解模型的预期用途、局限性以及其输出应触发人工干预的情况。
这不仅是一项技术要求，更是一项责任减轻策略。
7. 将AI视为持续的治理义务，而不仅仅是一次性安装
AI系统是动态的。它们必须被监控、评估和再训练。合同需要明确分配部署后的责任，确保：
- 监控在定义的时间间隔内进行；
- 性能下降得到评估和纠正；
- 当数据集发生变化时进行重新训练；以及
- 升级路径得到明确定义。
认为AI在第300天的功能与第1天相同，是对技术的误解，会增加风险。
8. 监控监管发展
医疗保健AI越来越成为政府监管的目标。尽管目前仍没有全面的联邦AI法规，且近期联邦政策强调减少对创新的监管障碍(同时依靠联邦贸易委员会等现有机构来监督不公平或欺骗性行为并评估州级要求的影响)，但各州仍在推进自己的AI框架。这种分散且不断发展的合规环境使全国部署策略变得复杂。
实际上，组织应预期州级AI监管的持续增长，包括：(1)适用于AI使用的通用法律，(2)更全面的框架，如科罗拉多州等州正在出现的框架，以及(3)适用于支付方、提供商和健康数据的医疗保健特定要求。此外，州监管机构(如卫生部门和医疗保健当局)的指导将继续塑造对AI治理和使用的期望。
组织应持续监控以下方面：
- HIPAA指导的修改；
- 新兴的州法律，包括监管健康相关数据流的法律；
- 联邦机构对算法公平性和数据欺骗的扩大关注；以及
- 食品药品管理局对接近临床决策支持系统的监管。
- AI合规不是静态的；它是一个动态发展的风险环境。
9. 提前解决所有权和控制问题
输入、模型、优化和输出必须通过合同进行管理。各方应避免在以下方面的模糊性：
- 谁拥有优化后的模型权重或参数；
- 谁可以利用输出获取商业利益；
- 终止后保留哪些权利；以及
- 可移植性和过渡如何进行。
在此方面的清晰度可以防止后续争议并增强可辩护性。
该清单绝非详尽无遗，适用法律仍在不断变化。如需解决合规性问题，请联系我们的医疗保健和隐私法律专业律师之一。
【全文结束】