平衡创新与患者安全的人工智能监管框架A regulatory framework for AI that balances innovation with patient safety

环球医讯 / AI与医疗健康来源:medicalxpress.com美国 - 英语2026-08-20 11:45:21 - 阅读时长5分钟 - 2033字
犹他州率先建立了平衡创新与患者安全的人工智能心理健康监管框架,通过多利益相关方参与的方式,制定包括部署前安全测试、危机升级协议、临床监督和持续监测在内的安全护栏。该框架旨在鼓励负责任的创新,避免消费者转向风险更高的通用聊天机器人,为其他地区监管心理健康领域的人工智能技术提供了可借鉴的路线图。文章强调了利益相关方观点分歧对政策制定的重要意义,指出适应性监管不是软弱监管的委婉说法,而是需要构建能够跟上技术快速发展的监管框架,以确保AI工具在改善人群心理健康结果的同时保护最脆弱的用户。
心理健康患者安全心理健康护理行为健康护理精神病学心理学心理健康AI心理健康聊天机器人精神疾病焦虑抑郁临床监督
平衡创新与患者安全的人工智能监管框架

随着生成式人工智能迅速扩展到心理健康领域,犹他州已成为制定务实、前瞻性监管框架的全国领导者,该框架平衡了创新与患者安全。在《npj Digital Medicine》的一篇评论文章中,研究人员和政策制定者详细介绍了该州对心理健康AI代理的早期监管审查及其所塑造的立法方法。

该论文由犹他大学亨茨曼心理健康研究所的Nina de Lacy医学博士和犹他州人工智能政策办公室的Zachary Boyd博士撰写,总结了来自临床医生、有实际体验者、技术人员、学者和监管机构的全州多利益相关方审查经验。研究结果既强调了AI驱动的心理健康工具的前景,也突显了对其进行审慎监管的紧迫性。

de Lacy表示:"我们正处于监管的转折点。提供心理健康支持的聊天机器人已经进入数百万人的口袋——问题不再是是否要监管它们,而是我们能否足够智能地监管它们,以保护最脆弱用户的同时保留真正的访问益处。"

医生不在,但聊天机器人在

心理健康聊天机器人和AI代理正越来越多地用于解决行为健康护理中长期存在的差距,包括劳动力短缺、漫长的等待时间和可负担性障碍。美国一半居民生活在心理健康专业人员短缺地区,许多焦虑或抑郁患者仍未得到治疗。

犹他州就是这些短缺地区之一,尽管犹他大学继续优先培训更多心理健康专业人员,但眼前的需要是不可否认的。证据表明,设计良好的心理健康AI工具可以为某些用户,特别是轻度至中度症状的用户,显著减轻症状。

de Lacy表示:"医生不在——但对全球需要心理健康护理的大多数人来说,这一直是事实。聊天机器人不可阻挡地填补这些服务缺口,是更古老问题的症状。我们讨论了将聊天机器人安全整合到心理健康护理连续体中的具体最佳实践。"

Boyd表示:"这种服务的需求信号肯定存在。心理健康支持仍然是AI在更广泛人群中的主要应用案例。在未来的几年里,我们可能会看到人们获取护理和支持自己心理健康旅程的方式发生深刻而持久的变化。政府应该为这项技术的发展提供明确的路径,使其可能惠及我们的居民。"

从利益相关方紧张关系中学习

犹他州最引人注目的见解之一是利益相关方观点之间的分歧程度。临床医生倾向于强调潜在危害和专业风险,而有实际体验者则经常强调赋能、可访问性和实际效益。学者们对偏见和长期影响表示担忧,而普通用户则对对AI工具的"情感依赖"既表示热情又感到不安。

de Lacy表示:"犹他州的监管审查教会我们,利益相关方的分歧不是良好政策的障碍——它代表了重要的信号。当临床医生、患者、技术人员和立法者对同一项技术有不同的期望时,这种紧张关系告诉了你关于风险和收益的重要信息。"

犹他州的审查有意提升了代表性不足的声音,特别是那些有实际体验者的观点,这在传统上由专业和机构利益相关方主导的政策环境中尤为突出。

Boyd表示:"专业协会组织良好并在政治上活跃,但实际接受服务的人,即有实际体验者,很容易被排除在对话之外。我们与独立生活的精神疾病患者、护理机构中的人、受影响儿童的父母以及其他通常不会被询问的人进行了交谈,他们表达了自己的利益,与护理人员截然不同。这深刻地影响了我们的观点。"

为负责任创新提供安全港湾

犹他州没有禁止或严格限制心理健康AI,而是采用了创新的监管方法。该州加强了围绕数据隐私和广告的消费者保护,同时为实施明确定义的安全护栏的心理健康AI代理创建了"安全港湾"。这些护栏包括部署前安全测试、危机升级协议、临床监督和持续监测。

这种方法旨在鼓励负责任的创新,同时避免意外后果——例如,在缺乏更安全的专用工具的情况下,将消费者推向风险更高的通用聊天机器人。

"适应性监管不是软弱监管的委婉说法。让我们从社交媒体中学习,为生成式AI构建监管框架,激励安全创新,并能够跟上比任何立法周期都快的技术变化。"

为全国政策制定者提供模型

作者认为,犹他州的经验为其他州和国家提供了一个路线图,帮助它们应对如何在心理健康等敏感领域监管快速发展的AI技术。核心建议包括从仅考虑风险转向风险-收益分析,制定详细且基于证据的最佳实践,以及设计能够随着技术发展而演变的法规。

作者总结道:"完全消除AI在心理健康领域的使用是不可能的。挑战在于引导其发展,使其成为更安全、更有效的工具,真正改善人群心理健康结果。"

出版详情

Nina de Lacy等人,《医生不在,但聊天机器人在:犹他州监管心理健康AI的经验》,《npj Digital Medicine》(2026)。DOI: 10.1038/s41746-026-02580-y

期刊信息:《npj Digital Medicine》

关键医学概念

心理健康护理

临床类别

精神病学

心理学与心理健康

提供方:犹他大学健康科学学院

【全文结束】

猜你喜欢
  • 工会称心血管专家下周罢工可能导致手术取消工会称心血管专家下周罢工可能导致手术取消
  • 小罗伯特·F·肯尼迪推出计划遏制精神类药物"过度处方"小罗伯特·F·肯尼迪推出计划遏制精神类药物"过度处方"
  • 富兰克林记忆护理中心老年人为MADACC制作狗零食创造欢乐与新记忆富兰克林记忆护理中心老年人为MADACC制作狗零食创造欢乐与新记忆
  • 小罗伯特·肯尼迪计划限制抗抑郁药使用 错误地将其与海洛因相提并论小罗伯特·肯尼迪计划限制抗抑郁药使用 错误地将其与海洛因相提并论
  • 家居环境是否影响你的情绪?专家分享真正有效的简单改善方法家居环境是否影响你的情绪?专家分享真正有效的简单改善方法
  • 宾夕法尼亚州起诉AI公司 称其聊天机器人非法冒充持证医生宾夕法尼亚州起诉AI公司 称其聊天机器人非法冒充持证医生
  • 学生更喜欢AI聊天机器人,直到他们知道那是机器人学生更喜欢AI聊天机器人,直到他们知道那是机器人
  • 安大略省医生使用的医疗AI转录工具出现"幻觉"并生成错误:审计长报告安大略省医生使用的医疗AI转录工具出现"幻觉"并生成错误:审计长报告
  • 干燥综合征中脑雾负担凸显干燥综合征中脑雾负担凸显
  • 小罗伯特·F·肯尼迪推出计划应对精神科药物"过度使用"问题小罗伯特·F·肯尼迪推出计划应对精神科药物"过度使用"问题
热点资讯
全站热点
全站热文