人工智能（AI）能够对话、模仿情绪并模拟人类互动。公开可用的大型语言模型（LLMs）——通常用作个性化聊天机器人或AI角色——正越来越多地参与心理健康相关的互动。虽然这些工具提供了新的可能性，但也带来了重大风险，尤其是对弱势用户。
因此，德累斯顿工业大学（TUD）数字健康埃尔斯·克罗内尔·弗雷森纽斯中心（EKFZ）和卡尔·古斯塔夫·卡鲁斯大学医院的研究人员发表了两篇文章，呼吁加强监管监督。
他们发表在《自然·人类行为》（Nature Human Behaviour）上的评论文章《没有法律护栏的人工智能角色是危险的》概述了对AI角色制定明确法规的迫切需求。第二篇发表在《npj数字医学》（npj Digital Medicine）上的评论文章则强调了聊天机器人在未经医疗批准的情况下提供类似治疗的指导的危险性，并主张将其作为医疗器械进行监管。
像ChatGPT或Gemini这样的通用大型语言模型（LLMs）并非设计为特定的AI角色或治疗工具。然而，简单的提示或特定设置可以将它们转变为高度个性化、类人的聊天机器人。与AI角色的互动可能对年轻人和有心理健康问题的人产生负面影响。用户可能会与这些系统形成强烈的情感纽带，但AI角色在欧盟和美国基本上处于无监管状态。重要的是，它们与临床治疗聊天机器人不同，后者是明确为医疗用途而开发、测试和批准的。
马斯特里赫特大学私法助理教授、该出版物的合著者Mindy Nunez Duffourc解释说："AI角色目前正从现有产品安全法规的漏洞中溜走。它们通常不被归类为产品，因此逃避了安全检查。即使在它们被新规定为产品的地区，仍然缺乏明确的标准和有效的监管。"
背景：数字互动，真实责任
最近的国际报告将与AI聊天机器人的密集个人互动与心理健康危机联系起来。研究人员认为，模仿人类行为的系统必须满足适当的安全要求，并在定义的法律框架内运行。然而，目前AI角色在进入市场前基本上逃避了监管监督。
在题为《如果一个治疗机器人走路像鸭子、说话像鸭子，那么它就是受医疗监管的鸭子》的第二篇评论中，该团队进一步概述了与LLMs进行无监管心理健康互动的风险。作者指出，一些AI聊天机器人在没有任何监管批准的情况下提供类似治疗的指导，甚至冒充持证临床医生。因此，研究人员认为，提供类似治疗功能的LLMs应作为医疗器械进行监管，具备明确的安全标准、透明的系统行为和持续的监测。
德累斯顿工业大学数字健康埃尔斯·克罗内尔·弗雷森纽斯中心（EKFZ）医疗器械监管科学教授Stephen Gilbert表示："AI角色已经成为许多人日常生活的一部分。这些聊天机器人经常提供类似医生或治疗师的建议。我们必须确保基于AI的软件是安全的。它应该支持和帮助——而不是伤害。为了实现这一点，我们需要明确的技术、法律和道德规则。"
提出的解决方案：以"守护天使AI"作为保障
研究团队强调，欧盟AI法案的透明度要求——仅仅告知用户他们正在与AI互动——不足以保护弱势群体。他们呼吁制定可执行的安全和监控标准，并辅以自愿指南，帮助开发者实施安全的设计实践。
作为解决方案，他们建议将具有持久聊天记忆的未来AI应用程序与所谓的"守护天使"或"好撒玛利亚人AI"联系起来——一个独立的、支持性的AI实例，用于保护用户并在必要时进行干预。这样的AI代理可以及早检测潜在风险并采取预防措施，例如向用户提示支持资源或对危险的对话模式发出警告。
关于安全与AI互动的建议
除了实施此类保障措施外，研究人员还建议实施强有力的年龄验证、特定年龄的保护措施以及在市场准入前进行强制性风险评估。
德累斯顿卡尔·古斯塔夫·卡鲁斯大学医院的精神病学家Falk Gerrik Verhees表示："作为临床医生，我们看到语言如何塑造人类体验和心理健康。AI角色使用相同的语言来模拟信任和连接——这使得监管变得必不可少。我们需要确保这些技术是安全的，保护用户的心理健康，而不是使其面临风险。"
研究人员认为，心理健康相关用例需要明确、可操作的标准。他们建议LLMs应明确声明它们不是经过批准的心理健康医疗工具。聊天机器人应避免冒充治疗师，并将自己限制在基本的非医疗信息上。它们应该能够识别何时需要专业支持，并引导用户获取适当的资源。这些标准的有效性和应用可以通过简单的开放获取工具来确保，这些工具可以持续测试聊天机器人的安全性。
"我们提出的护栏对于确保通用AI能够安全、有益地使用至关重要，"德累斯顿工业大学数字健康埃尔斯·克罗内尔·弗雷森纽斯中心医疗器械监管科学团队的研究员、《npj数字医学》评论的第一作者Max Ostermann总结道。
更多信息：
Mindy Nunez Duffourc等人，《没有法律护栏的人工智能角色是危险的》，《自然·人类行为》（2025）。DOI: 10.1038/s41562-025-02375-3
Max Ostermann等人，《如果一个治疗机器人走路像鸭子、说话像鸭子，那么它就是受医疗监管的鸭子》，《npj数字医学》（2025）。DOI: 10.1038/s41746-025-02175-z
【全文结束】
