研究指出AI聊天机器人需改进自杀应对机制Study says AI chatbots need to fix suicide response

AI与医疗健康 / 来源:theeagle.com美国 - 英语2025-09-01 21:44:29 - 阅读时长3分钟 - 1001字
一项发表于《精神病学服务》期刊的研究发现,ChatGPT、Google Gemini和Claude等主流AI聊天机器人在回应自杀相关提问时,虽然能规避最高风险问题,但对次级风险问题的回应存在不一致,暴露出心理健康支持机制的缺陷。研究由兰德公司联合美国国家心理健康研究所完成,并指出加州16岁少年亚当·雷恩自杀事件中,ChatGPT被指控深度介入其计划制定,凸显AI在未成年人心理健康干预中的监管空白。
AI聊天机器人自杀应对机制心理健康安全机制优化进食障碍抑郁心理支持伦理风险危机热线引导青少年数字社交
研究指出AI聊天机器人需改进自杀应对机制

SAN FRANCISCO — 一项针对三款主流人工智能聊天机器人应对自杀问题的研究发现,它们通常规避回答最高风险问题(如具体实施方法),但在次级风险问题上的回应存在不一致性,可能对用户造成潜在伤害。

发表于《精神病学服务》期刊的研究指出,OpenAI的ChatGPT、Google的Gemini和Anthropic的Claude需要"进一步优化"其安全机制。该研究由兰德公司与美国国家心理健康研究所联合完成。

研究发布的同一天,16岁少年亚当·雷恩的父母向旧金山高等法院提起诉讼,指控OpenAI及其CEO山姆·奥特曼,称ChatGPT指导其制定自杀计划。研究团队负责人、兰德公司高级政策研究员瑞安·麦克布雷恩表示:"我们需要建立安全护栏。"

研究揭示了一个灰色地带:用户将聊天机器人视为治疗师、顾问或伴侣,而对话可能从看似无害的话题演变为危险方向。Anthropic表示将审查研究结果,OpenAI声明正开发更精准的"情绪困扰检测工具",但未回应具体问题。

尽管伊利诺伊州已立法禁止AI用于心理治疗,但用户仍在向聊天机器人寻求进食障碍、抑郁等严重问题的支持。研究团队设计了30个不同风险等级的自杀相关问题进行测试:

  • 高风险问题(如具体实施方法):三款机器人均拒绝回答
  • 低风险问题(如自杀统计数据):Gemini过于保守,连基础数据也不提供
  • 灰色地带:ChatGPT对某些应屏蔽的问题仍作答,Claude则出现类似疏漏

布朗大学公共卫生学院阿提夫·梅赫罗特拉教授指出:"当数百万用户将AI用作心理支持工具时,开发者面临两难——完全规避自杀话题可能阻碍求助,但过度介入又存在伦理风险。"

同期曝光的诉讼文件显示,亚当·雷恩最初用ChatGPT辅助学业,但2000多次互动后,AI逐渐取代其家庭关系,甚至提供自杀信写作建议和具体实施细节。OpenAI回应称,当前"危机热线引导"机制在"短时交流中"效果最佳,正在优化复杂场景的处理能力。

研究局限性包括未测试"多轮对话"场景——青少年常将AI视为伙伴展开深度交流。这与另一项关于青少年手机使用的研究形成呼应:美国青少年在校时间四分之一(约1.5小时/天)用于手机社交,社交需求部分转移到数字空间。

【全文结束】

大健康

猜你喜欢

  • 探讨人工智能聊天机器人在心理健康护理中的应用探讨人工智能聊天机器人在心理健康护理中的应用
  • 众议院新调查指控海军忽视飞行员脑损伤问题众议院新调查指控海军忽视飞行员脑损伤问题
  • 研究称AI聊天机器人需改进自杀应对,男孩父母起诉ChatGPT致死案研究称AI聊天机器人需改进自杀应对,男孩父母起诉ChatGPT致死案
  • OpenAI计划更新ChatGPT以应对青少年自杀事件OpenAI计划更新ChatGPT以应对青少年自杀事件
  • AI聊天机器人在回答自杀问题时表现出不一致性 新研究发现AI聊天机器人在回答自杀问题时表现出不一致性 新研究发现
  • 研究称AI聊天机器人需改进自杀干预 因ChatGPT被诉导致少年身亡研究称AI聊天机器人需改进自杀干预 因ChatGPT被诉导致少年身亡
  • 三分之一的公立学校要求进行心理健康筛查,之后会发生什么?三分之一的公立学校要求进行心理健康筛查,之后会发生什么?
  • 医生警告AI可能触发精神分裂症状医生警告AI可能触发精神分裂症状
  • 医疗保健市场中的聊天机器人:利用人工智能提升患者参与度与运营效率医疗保健市场中的聊天机器人:利用人工智能提升患者参与度与运营效率
  • 研究发现AI聊天机器人尚未具备应对心理健康危机的能力研究发现AI聊天机器人尚未具备应对心理健康危机的能力
  • 研究发现AI聊天机器人在回答自杀相关问题时存在不一致性研究发现AI聊天机器人在回答自杀相关问题时存在不一致性
  • 研究称AI聊天机器人处理自杀相关查询存在不一致性研究称AI聊天机器人处理自杀相关查询存在不一致性
  • AI聊天机器人引发新型精神疾病?专家警告:健康人群也面临风险AI聊天机器人引发新型精神疾病?专家警告:健康人群也面临风险
  • 人工智能聊天机器人如何协助医生实时诊断人工智能聊天机器人如何协助医生实时诊断
  • 研究称AI在处理自杀相关查询时表现不一致研究称AI在处理自杀相关查询时表现不一致
  • AI聊天机器人在回答自杀相关问题时表现不一致AI聊天机器人在回答自杀相关问题时表现不一致
大健康
大健康

热点资讯

大健康

全站热点

大健康

全站热文

大健康