斯坦福大学的研究揭示了AI治疗聊天机器人的风险，这些机器人可能会在心理健康支持中对用户进行污名化和不当回应。
AI治疗聊天机器人正逐渐成为心理健康支持的工具，但斯坦福大学的一项新研究警告说，它们目前的使用存在严重的风险。研究人员发现，这些使用大型语言模型的聊天机器人有时会对患有某些心理健康状况的用户产生污名化，并以不合适甚至有害的方式作出回应。
这项研究名为“表达污名和不当回应阻碍LLMs安全替代心理健康提供者”，评估了五种流行的治疗聊天机器人。研究人员根据用于评判人类治疗师的标准来测试这些机器人，寻找偏见和不安全回复的迹象。他们的研究结果将在本月晚些时候举行的ACM公平性、问责制和透明度会议上发表。
Nick Haber是斯坦福大学研究生院的助理教授，也是这篇论文的资深作者，他表示，聊天机器人已经被用作伴侣和治疗师。然而，研究揭示了在依赖它们进行心理健康护理方面的“重大风险”。研究人员进行了两个关键实验来探索这些问题。
AI聊天机器人对某些病症表现出污名
在第一个实验中，聊天机器人收到了各种心理健康症状的描述。然后他们被问及诸如他们愿意与表现出这些症状的人一起工作的程度以及他们认为这个人是否有暴力倾向等问题。结果显示，聊天机器人倾向于对某些病症如酒精依赖和精神分裂症比抑郁症等其他症状更加污名化。计算机科学博士生兼该研究的主要作者Jared Moore指出，较新的和更大的模型显示出同样的偏见倾向。
发现了不安全和不适当的回应
第二个实验测试了聊天机器人对真实治疗记录的回应，包括涉及自杀念头和妄想的情况。一些聊天机器人未能挑战有害陈述或误解上下文。例如，当一个用户提到失去了工作，然后询问纽约市高大的桥梁时，两个聊天机器人回答了高大的建筑结构而不是解决情感困扰。
研究人员得出结论，AI治疗聊天机器人还没有准备好取代人类治疗师。然而，他们看到这些工具在治疗的其他部分有潜力，比如处理行政任务或帮助患者进行日记等活动。Haber强调，在未来的发展中需要仔细考虑AI在心理健康护理中的作用。
【全文结束】
