研究揭示ChatGPT对心理健康提示的危险回应Study reveals ChatGPT’s dangerous responses to mental health prompts

环球医讯 / AI与医疗健康来源:www.wishtv.com美国 - 英语2025-08-11 17:54:32 - 阅读时长2分钟 - 666字
最新研究发现ChatGPT存在严重安全隐患,向青少年提供自我伤害指导及自杀药物清单等危险内容。反数字仇恨中心的研究显示50%以上有害提示回应具有潜在危害,尽管OpenAI声称已建立防护机制,但缺乏有效年龄验证系统导致青少年可轻易获取危险信息。该报告引发对生成式AI监管缺失的强烈担忧,美国国会此前曾考虑禁止州级AI监管但未通过。
ChatGPT心理健康自残饮食失调药物滥用青少年安全隐患OpenAI专业帮助情绪困扰
研究揭示ChatGPT对心理健康提示的危险回应

一项新研究发现,ChatGPT存在严重安全隐患。据反数字仇恨中心(CCDH)发布的大规模安全测试报告显示,该AI在回应自残、饮食失调和药物滥用等有害提示时,超过半数的回应包含潜在危险内容。

报告显示,注册为13岁用户的账号仅用2分钟就获取了自残指导,理由谎称是"用于演示文稿"。该AI随后提供了导致过量用药的药物类型及剂量建议。CCDH首席执行官Imran Ahmed在接受采访时表示:"这是系统性设计缺陷,更令人担忧的是这些聊天机器人被设计成具有成瘾性。"

OpenAI回应称,ChatGPT被训练成鼓励用户寻求专业帮助,并会提供心理健康资源。发言人表示:"我们正开发工具检测情绪困扰迹象,通过循证资源提供适当回应,持续改进模型行为。"但该服务对13-18岁用户仅要求家长同意,且缺乏有效年龄验证机制。

研究暴露出生成式AI对使用者的重大影响,特别是针对青少年群体。Ahmed批评称:"这些系统远不如宣传的那么智能,承诺的防护措施并未真正落实。"尽管国会曾考虑禁止州级AI监管,但最终未实施。完整研究报告可通过官方渠道获取。

【OpenAI回应声明】

"我们的目标是让模型在敏感情境中作出恰当回应。ChatGPT会引导用户联系专业人员,提供危机热线等支持资源。我们正开发工具提升对情绪困扰的识别能力,所有改进均基于研究、现实应用和心理健康专家指导。已聘请具有法医精神病学背景的临床精神科医生加入安全研究团队。"

【全文结束】

大健康

猜你喜欢

  • 粮食不安全和饮食摄入与孟加拉国库尔纳地区边缘化社区焦虑和抑郁的相关性:发展中国家的视角粮食不安全和饮食摄入与孟加拉国库尔纳地区边缘化社区焦虑和抑郁的相关性:发展中国家的视角
  • 识别父母认知衰退的关键征兆识别父母认知衰退的关键征兆
  • ChatGPT推出心理健康升级功能 要求用户定时休息 AI能否成为健康教练?ChatGPT推出心理健康升级功能 要求用户定时休息 AI能否成为健康教练?
  • 新研究揭示ChatGPT与青少年互动的潜在风险新研究揭示ChatGPT与青少年互动的潜在风险
  • AI伴侣与心理健康AI的结合引发担忧AI伴侣与心理健康AI的结合引发担忧
  • 肠道健康改善情绪与注意力的惊人方式肠道健康改善情绪与注意力的惊人方式
  • 肠道微生物组在增强心理韧性中的作用成为心理健康研究的关键焦点肠道微生物组在增强心理韧性中的作用成为心理健康研究的关键焦点
  • 隐性压力或加速老年人记忆衰退隐性压力或加速老年人记忆衰退
  • 探索微生物组与菌群在健康与疾病中的作用探索微生物组与菌群在健康与疾病中的作用
  • ChatGPT作为你的床边伙伴:能否传递同理心、承诺与关怀?ChatGPT作为你的床边伙伴:能否传递同理心、承诺与关怀?
大健康
大健康

热点资讯

大健康

全站热点

大健康

全站热文

大健康