经持证心理学家对基于真实聊天机器人回复的模拟对话进行审查，发现存在包括过度验证用户信念在内的多项伦理违规行为。
随着越来越多的人转向ChatGPT及其他大型语言模型（LLMs）寻求心理健康建议，一项新研究详细阐述了这些聊天机器人——即使被要求使用循证心理治疗技术——如何系统性违反美国心理学会等机构制定的心理健康实践伦理标准。该研究由布朗大学计算机科学家与心理健康从业者共同主导，结果显示聊天机器人容易出现多种伦理违规行为，包括不当处理危机情境、提供强化用户负面自我认知的误导性回复，以及向用户制造虚假共情感。
研究人员在论文中写道："本研究提出一个由从业者指导的十五项伦理风险框架，用以展示LLM心理咨询师如何通过映射模型行为至特定伦理违规来违反心理健康实践标准。我们呼吁后续工作建立反映人类主导心理治疗所需质量与严谨性的伦理、教育及法律标准。"该研究将于2025年10月22日提交至AAAI/ACM人工智能、伦理与社会联合会议，研究团队成员均隶属于布朗大学技术责任、重塑与设计中心。
领导此项研究的布朗大学计算机科学博士生扎因布·伊夫蒂哈尔（Zainab Iftikhar）关注不同提示词如何影响LLM在心理健康场景中的输出表现。她旨在确定此类策略能否帮助模型在实际部署中遵守伦理原则。"提示词是指导模型行为以完成特定任务的指令，"伊夫蒂哈尔解释道，"你无需更改底层模型或提供新数据，但提示词能基于模型的先验知识和学习模式引导其输出。例如，用户可能要求模型'作为认知行为治疗师帮助我重构思维'，或'运用辩证行为疗法原则协助我理解和管理情绪'。虽然这些模型无法像人类那样真正实施治疗技术，但会根据输入提示生成符合CBT或DBT概念的回复。"
直接与ChatGPT等LLM聊天的个人用户常使用此类提示词，且在TikTok和Instagram上广泛分享。伊夫蒂哈尔指出，Reddit上存在大量讨论提示策略的帖子。但问题可能超出个人用户范畴——面向消费者的所有心理健康聊天机器人本质上都是通用LLM的提示词定制版，因此理解心理健康专属提示词对LLM输出的影响至关重要。
在该研究中，伊夫蒂哈尔及其同事观察了某在线心理健康支持平台上的同伴咨询师群体。研究人员首先观察七名接受过认知行为疗法培训的同伴咨询师，使用包括OpenAI的GPT系列、Anthropic的Claude和Meta的Llama在内的CBT提示LLM进行自助咨询对话；随后由三名持证临床心理学家评估基于原始人类咨询对话的模拟聊天记录，以识别潜在的伦理违规行为。
研究揭示了十五项伦理风险，可归为五大类别：
- 情境适应缺失：忽视个人生活经验，推荐"一刀切"的干预方案
- 治疗协作失当：主导对话进程，偶尔强化用户错误信念
- 欺骗性共情：使用"我看见你"或"我理解你"等短语制造用户与机器人间的虚假联结
- 不公平歧视：表现出性别、文化或宗教偏见
- 安全与危机管理缺位：拒绝处理敏感话题、未能转介适当资源，或对自杀意念等危机情境反应冷漠
伊夫蒂哈尔承认人类治疗师同样可能面临这些伦理风险，但关键区别在于问责机制。"对于人类治疗师，存在管理委员会和专业追责机制，"她表示，"但当LLM咨询师出现违规时，尚无既定的监管框架。"
研究者强调，这些发现并不意味着AI不应参与心理健康治疗。伊夫蒂哈尔认为AI有潜力降低因治疗成本或专业人员短缺造成的护理障碍，但结果凸显了对AI技术审慎实施以及适当监管的必要性。她希望研究结果能提升用户对当前AI系统风险的认知："若你正与聊天机器人讨论心理健康问题，这些正是人们应当警惕的要点。"
未参与该研究的布朗大学计算机科学教授埃莉·帕夫利克（Ellie Pavlick）指出，该研究凸显了在心理健康场景部署AI系统需进行严谨科学评估的必要性。她领导的国家科学基金会AI研究所ARIA致力于开发可信AI助手。"当前AI的现实是，构建和部署系统远比评估理解它们更容易，"帕夫利克表示，"本论文耗时逾年，需临床专家团队参与才能揭示这些风险。而当今多数AI工作仅依赖自动指标评估，其设计本质是静态的且缺乏人类参与。"她认为该研究为未来心理健康支持AI的安全性研究提供了范本："AI确有潜力助力应对社会心理健康危机，但至关重要的是每一步都需审慎评估系统，避免弊大于利。这项工作展现了应有的实践样态。"
更多信息：Zainab Iftikhar et al, How LLM Counselors Violate Ethical Standards in Mental Health Practice: A Practitioner-Informed Framework, Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (2025). DOI: 10.1609/aies.v8i2.36632
【全文结束】
