风险管理者对医疗环境中人工智能工具的治理表示担忧：公开可访问的聊天机器人可能会分享敏感的患者信息，黑客可能将伪造的医学图像数据插入AI放射学工具中。
最坏的情况是：大型语言模型可能会"幻觉"出错误的诊断或药物建议，导致患者受到伤害甚至死亡。
律师事务所Akerman LLP的合伙人、法规律师Jordan Cohen表示："随着AI的应用，医疗机构中的数据治理变得更为复杂，因为数据在组织内部和第三方之间流动。随着这些工作流程，尤其是代理式工作流程变得更加复杂，将会引入新的风险。"
根据医疗卫生协调委员会周一发布的一份新指南，医疗机构在将AI工具用于业务运营、临床及其他用途时，面临着一系列复杂的网络安全、隐私、患者安全、供应链和弹性问题。
该组织87页的《医疗卫生行业AI网络治理框架实施指南》旨在帮助安全领导者及其团队应对治理和AI相关风险。
该指南解决了医疗领域部署的各种AI技术所涉及的网络治理挑战，从传统AI（如机器学习、反应式和非代理模型），到能够自主行动的新型生成式AI和代理式AI系统。
指南指出："每种技术类别都涉及不同的网络风险问题，需要治理监督和控制。医疗领域的AI治理与其他领域有根本不同，因为医疗决策关乎生死，且患者护理受到复杂的监管环境约束。"
因此，AI应被视为一种企业技术风险，必须像电子健康记录系统、医疗设备、云平台和第三方供应商一样进行同等严格的治理，但需要针对AI特定威胁和风险增加额外控制措施。
这包括潜在危险的临床AI"幻觉"、可能影响临床工作流程的提示注入、模型漂移、输出变异性、数据中毒、受保护健康信息泄露、对抗性攻击以及许多与AI相关的问题。
指南称："正如网络安全是医疗机构和供应商（包括设备制造商）共同承担的责任一样，AI工具的网络安全也是如此。"
"医疗机构内部各个独立组件之间的协调是必要的，以确保当这些单元对不同工具负责时，能够承担全面责任。"
指南中涉及的主题包括：依赖AI的临床工作流程的运营弹性、AI供应链和集中风险、非人类身份管理、患者参与和透明度义务、责任和保险考虑、研究AI的治理要求以及许多其他问题。
这份最新的指南是HSCC已经发布的一系列针对AI的文件的一部分——包括4月份发布的《AI第三方风险指南》，并计划在未来几个月内发布更多文件，以解决医疗保健领域其他新兴的AI问题。
HSCC是一个由500名私营部门关键医疗基础设施组织组成的联盟，作为国家公私合作伙伴关系，向政府提供建议，识别和减轻该部门向公众提供服务和资产的能力所面临的策略性威胁和漏洞。
新的AI网络治理框架是由HSCC网络安全工作组内的AI特别工作组开发的。
【全文结束】