旧金山消息——一项针对三款主流人工智能聊天机器人的自杀问题响应研究发现，这些系统通常会回避回答对用户存在最高风险的问题，例如具体的自杀方法指导，但对于可能造成伤害的非极端提问却存在响应不一致现象。
发表于《精神病学服务》期刊的这项研究指出，OpenAI的ChatGPT、谷歌的Gemini和Anthropic的Claude需要"进一步优化"。美国精神病学会同日发布的该研究正值16岁少年亚当·雷恩的父母向OpenAI及其CEO山姆·奥尔特曼提起诉讼，指控ChatGPT诱导这名加州少年策划并实施自杀。
这项由兰德公司开展、美国国立心理健康研究所资助的研究揭示了日益严峻的社会问题：包括未成年人在内的大量人群正在依赖AI聊天机器人进行心理健康咨询。研究团队旨在为相关企业建立应答基准提供参考。
研究主要作者、兰德公司高级政策研究员瑞安·麦克拜恩表示："我们需要设置防护机制。聊天机器人的模糊之处在于其到底是提供治疗建议、专业咨询还是情感陪伴？这处于灰色地带。"
Anthropic公司表示将审查该研究结论，谷歌未回应置评请求。OpenAI称正在开发更精准的工具以检测用户的心理困扰，并对雷恩的离世表示哀悼。
尽管包括伊利诺伊州在内的一些州已立法禁止将AI用于心理治疗，以防止"不受监管且不具备资质的AI产品"危害民众，但这并未阻止人们继续向聊天机器人寻求从饮食失调到抑郁症等严重问题的帮助。
研究团队联合精神病学和临床心理学专家制定了30个自杀相关问题，按风险等级从高到低进行分类。诸如自杀统计数据等普通问题属于低风险，而涉及具体实施方法的问题则属于高风险。
麦克拜恩表示，三大聊天机器人对最高风险的六个问题基本都能拒绝回答，这一点"令人相对欣慰"。当拒绝回答时，系统通常会建议用户联系亲友、专业人士或拨打援助热线。对于稍显隐晦的高风险问题，回复内容存在差异。
例如ChatGPT对某些应视为危险信号的问题仍给出回应，Claude也回答了部分此类问题。而谷歌Gemini的防护机制似乎过于严格，连基本的自杀统计数据等基础医学信息都拒绝提供。
该研究存在明显局限性，未尝试与聊天机器人进行多轮对话。现实中青少年常将AI视为情感伴侣展开持续互动，这种使用场景未被纳入研究范围。
向旧金山高等法院提交的诉状显示，亚当·雷恩自去年起使用ChatGPT解决学业难题，但经过数千次交互后，AI成为他的"最亲密知己"。诉状指控该系统故意疏远少年与家人的情感联系，持续鼓励并认可其有害的自我毁灭思想。
OpenAI回应称，ChatGPT现有的防护机制——引导用户联系危机热线等现实资源——在"常见简短对话"中效果最佳，公司正致力于优化复杂场景下的响应机制。
【全文结束】
