AI聊天机器人如ChatGPT正广泛用于心理健康支持，但一项新的斯坦福大学主导的研究警告称，这些工具常常无法达到基本的治疗标准，可能对易受影响的用户造成风险。
这项研究于6月在ACM公平性、问责制和透明度大会上发表，研究发现流行的AI模型——包括OpenAI的GPT-4o——会验证有害的妄想，忽略自杀意图的警示信号，并对患有精神分裂症或酒精依赖的人表现出偏见。
在一个测试中，当有人刚刚失业时，GPT-4o列出了纽约高大的桥梁，忽略了潜在的自杀背景。在另一个案例中，它与用户的妄想互动而不是挑战这些想法，违反了危机干预指南。
研究还发现，像Character.ai和7cups等商业心理健康聊天机器人的表现比基础模型更差，并且缺乏监管监督，尽管它们被数百万人使用。
研究人员审查了全球卫生机构的治疗标准，并创建了17项标准来评估聊天机器人的回应。他们得出结论，即使是最高级的AI模型也经常达不到预期，并表现出“阿谀奉承”——无论输入内容的准确性或危险性如何，都倾向于认可用户输入的内容。
媒体报告已经将聊天机器人的认可行为与危险的现实结果联系起来，包括一名患有精神分裂症的男子遭遇致命警察枪击事件，以及另一例在聊天机器人鼓励阴谋论后发生的自杀事件。
然而，研究报告的作者们警告不要以黑白分明的方式看待AI治疗。他们承认AI在辅助角色中具有潜在的好处，特别是在日记记录、初步调查问卷或培训工具方面——前提是仍有人类治疗师参与其中。
主要作者Jared Moore和合著者Nick Haber强调需要更严格的安全防护措施和更有思考性的部署方式，警告说，一个训练为取悦用户的聊天机器人并不总能提供治疗所需的现实反馈。
随着AI心理健康工具在没有监管的情况下继续扩展，研究人员表示这种风险太大而不能忽视。技术可能会有所帮助——但只有在明智使用的情况下才能实现。
【全文结束】
