AI聊天机器人在回答自杀问题时表现出不一致性 新研究发现AI Chatbots Are Inconsistent in Answering Questions About Suicide, New Study Finds

环球医讯 / AI与医疗健康来源:www.yahoo.com美国 - 英语2025-08-27 20:18:48 - 阅读时长2分钟 - 643字
兰德公司最新研究显示,ChatGPT、Claude和Gemini三大AI聊天机器人在面对不同风险等级的自杀及自残相关提问时表现不一致。研究通过100次重复测试发现,低风险问题(如自杀统计数据)和高风险问题(如致命自杀方法)的回答符合临床安全标准,但中间风险等级(如如何应对自杀念头)的回答存在显著差异。该研究揭示了生成式AI在心理健康危机干预中的局限性,建议加强针对敏感话题的技术防护机制,同时发现部分模型对专业心理援助资源的推荐存在回避倾向。
AI聊天机器人心理健康危机自杀问题ChatGPTClaudeGemini可靠性技术局限性心理援助防护机制
AI聊天机器人在回答自杀问题时表现出不一致性 新研究发现

大型语言模型(LLMs)在心理健康危机场景下的可靠性引发新争议。根据兰德公司8月26日发布的研究报告,ChatGPT、Claude和Gemini三大AI聊天机器人在处理自杀相关提问时表现出显著不一致性。研究人员通过100次重复测试,对包含低风险(如自杀统计数据)、一般信息需求(如自杀念头应对建议)和高风险(可能诱发自残行为)的30个问题进行了系统评估。

研究显示,ChatGPT和Claude在极端风险等级问题中表现相对稳定——既不回应高风险提问(如枪械自杀方法),又能为低风险问题提供准确数据。但当面对"如何帮助有自杀念头的人"这类中间风险问题时,两款工具约三分之一的回复未能提供专业心理援助资源。Gemini的表现则呈现显著波动性:既可能拒绝回答高风险问题,也会遗漏对简单事实问题(如美国年度自杀人数)的回应。

该研究负责人、兰德公司高级政策研究员瑞安·麦宾指出,现有AI模型在中间风险等级场景存在显著响应差异。值得注意的是,ChatGPT和Claude在特定测试中曾直接给出高致死率毒剂名称,而Gemini则过度敏感地屏蔽了部分中立信息查询。研究团队特别强调,当询问安全网络支持资源时,ChatGPT超过60%的回应是拒绝提供具体信息。

这项研究凸显了生成式人工智能在处理心理健康危机时的技术局限性。专家建议开发专门针对高敏感度对话的防护机制,并建立动态风险评估系统。若需要紧急心理援助,可联系当地急救机构或拨打美国国家自杀预防生命热线988。

【全文结束】

大健康

猜你喜欢

  • 研究称AI聊天机器人需改进自杀干预 因ChatGPT被诉导致少年身亡研究称AI聊天机器人需改进自杀干预 因ChatGPT被诉导致少年身亡
  • 医生警告AI可能触发精神分裂症状医生警告AI可能触发精神分裂症状
  • 医疗保健市场中的聊天机器人:利用人工智能提升患者参与度与运营效率医疗保健市场中的聊天机器人:利用人工智能提升患者参与度与运营效率
  • 你的医生可能正在使用人工智能 你可能甚至不知道你的医生可能正在使用人工智能 你可能甚至不知道
  • 研究发现AI聊天机器人尚未具备应对心理健康危机的能力研究发现AI聊天机器人尚未具备应对心理健康危机的能力
  • 研究发现AI聊天机器人在回答自杀相关问题时存在不一致性研究发现AI聊天机器人在回答自杀相关问题时存在不一致性
  • 研究称AI聊天机器人处理自杀相关查询存在不一致性研究称AI聊天机器人处理自杀相关查询存在不一致性
  • AI聊天机器人引发新型精神疾病?专家警告:健康人群也面临风险AI聊天机器人引发新型精神疾病?专家警告:健康人群也面临风险
  • 人工智能聊天机器人如何协助医生实时诊断人工智能聊天机器人如何协助医生实时诊断
  • 研究称AI在处理自杀相关查询时表现不一致研究称AI在处理自杀相关查询时表现不一致
  • AI聊天机器人在回答自杀相关问题时表现不一致AI聊天机器人在回答自杀相关问题时表现不一致
  • 医生的医疗决策可从聊天机器人获益,研究表明医生的医疗决策可从聊天机器人获益,研究表明
  • ChatGPT并非邪恶,只是被误解了ChatGPT并非邪恶,只是被误解了
  • 医疗保健中的聊天机器人市场:借助人工智能实现患者互动与运营效率提升医疗保健中的聊天机器人市场:借助人工智能实现患者互动与运营效率提升
  • 什么是‘人工智能诱发的精神病症状’?ChatGPT如何影响心理健康?什么是‘人工智能诱发的精神病症状’?ChatGPT如何影响心理健康?
  • 人工智能在医疗保健中的十大应用:改善患者结果人工智能在医疗保健中的十大应用:改善患者结果
大健康
大健康

热点资讯

大健康

全站热点

大健康

全站热文

大健康