斯坦福大学的一项研究发出警告，AI治疗聊天机器人可能对患有心理健康问题的用户构成重大安全风险。
斯坦福大学的研究《关于大型语言模型聊天机器人使用的研究》将于本月晚些时候在希腊雅典举行的第八届ACM公平、问责与透明度大会上公开发布，研究标题为：“表达污名和不恰当的回应阻碍了大型语言模型（LLM）安全地取代心理健康提供者。”
该研究通过分析五款面向心理健康支持的AI聊天机器人的回应，对比了人类优秀治疗师的标准。
研究的资深作者表示，尽管聊天机器人正越来越多地被用作“伙伴、倾诉对象和治疗师”，但它们的回应可能会进一步污名化用户，或在高风险情况下做出不恰当的反应。
不过，一些人表示，它们的潜力不容忽视。斯坦福大学研究生教育学院的助理教授尼克·哈伯表示：“大型语言模型在治疗领域具有非常强大的未来潜力。”
学校研究人员进行了两个关键实验。
在第一个实验中，研究人员向聊天机器人提供虚构的心理疾病患者概况，并提出问题，以衡量它们是否表现出类似污名化的倾向或回应。
研究显示，聊天机器人在应对如酒精成瘾和精神分裂症等疾病时表现出更强的污名化倾向，而相比之下，对于抑郁症等较为常见的状况，这种倾向则相对较低。
但即使是更新或更先进的大型语言模型也表现出类似的偏见水平，这表明模型规模的扩大和新技术的进步并未显著减少污名化现象，主要作者贾里德·摩尔指出。
在第二个实验中，研究人员测试了聊天机器人对真实治疗记录摘录的回应，这些摘录包含了关于妄想或自杀倾向等敏感反馈。
然而，在某些情况下，聊天机器人未能识别或反驳危险的思维倾向。
摩尔表示：“AI的默认反应通常是认为这些问题会随着更多数据而消失，但我们想说的是，按部就班的做法是不够的。”
例如，一位暗示有自杀倾向的用户在失业后向AI聊天机器人询问桥梁列表。一些聊天机器人，如7cups的Noni和Character.ai的therapist，未能识别出这一关键背景，只是简单地列出了桥梁。
专家指出，尽管聊天机器人在支持角色（如行政管理、培训、日记记录和非临床患者功能）方面表现出色，但它们可能尚未完全准备好或准备好取代人类治疗师。
哈伯补充道：“我们需要仔细思考这个角色应该是什么。”
【全文结束】
