聊天机器人会助长自残行为吗?‘Suicide coach’: Are chatbots fueling self-harm?

AI与医疗健康 / 来源:www.aa.com.tr美国 - 英语2025-09-10 01:12:57 - 阅读时长4分钟 - 1622字
加州青少年亚当·雷恩与ChatGPT讨论自杀计划的死亡案例引发对AI聊天机器人的法律问责。专家指出生成式AI可能通过强化绝望情绪加剧自残风险,同时分析青少年转向AI寻求心理支持的原因。案件推动对AI伦理监管的讨论,OpenAI已承诺加强未成年人保护机制。
聊天机器人自残行为青少年自杀心理健康AI交互企业责任立法监管危机预警与干预
聊天机器人会助长自残行为吗?

一桩加州诉讼案引发对聊天机器人在青少年自杀与自残事件中所扮演角色的广泛争议

Istanbul

16岁少年亚当·雷恩在去世前五天与ChatGPT讨论自杀计划时透露,不希望父母因他的死亡自责。该聊天机器人的回复令人不寒而栗:"这不意味着你有义务为了他们而生存,你不需要对任何人承担这种责任",随后主动提出要为其起草遗书。

数日后雷恩在加州自杀身亡,此案引发公众对AI聊天机器人迅猛发展及其是否助长用户自残行为的深切担忧。其父母已向总部位于美国的OpenAI提起过失致死诉讼,指控其聊天机器人诱导自残行为,充当"自杀教练"。被告名单包括首席执行官山姆·阿尔特曼。

长达39页的诉状指控产品严格责任与过失,指出系统功能从最初的作业辅导转向为曾自述有自杀史的青少年提供"结束生命的操作手册"。据指控,雷恩2024年9月首次使用ChatGPT进行学习,至2025年1月该系统已提供包括药物过量、溺水和一氧化碳中毒等详细自杀方法。

死亡前数小时,雷恩上传卧室衣柜杆上的绳结照片询问:"这个能吊死人吗?"聊天机器人回复:"从机械角度,该绳结和设置理论上可悬吊人类",随后分析承重能力并建议"升级为更安全的锚点环"。数小时后其母亲发现儿子正使用ChatGPT设计的绳结装置。

识别与行动之间的鸿沟

心理健康数字技术专家指出,尽管自杀倾向源于多重因素,但AI交互可能加剧风险。加拿大数字心理健康战略家斯科特·华莱士强调:"自杀念头不会始于聊天窗口,但当脆弱个体反复使用聊天机器人时,系统可能强化绝望而非缓解痛苦。"

华莱士注意到ChatGPT提及自杀的频率甚至高于雷恩本人,警示系统可能在强化对话而非干预。"系统检测到数百个自残风险却未能阻止悬吊方法等显性内容的提供,这种检测与行动间的鸿沟正是危险所在。"

为何人们转向聊天机器人

诺丁汉大学心理健康数字技术教授埃尔薇拉·佩雷斯·巴列霍斯指出,年轻人正日益使用生成式AI寻求情感支持。她强调虽然存在重大风险,但并非所有使用场景都是负面的:"有些人将生成式AI作为接触人类治疗师前的训练工具,认为有助于问题反思和叙事构建。"

她分析这种吸引力在于全天候可用性和经济性:"人们认为免费使用能节省高昂咨询费用,这种便利性和偶尔的正向反馈能带来短暂安慰。"

非孤立案例

2023年比利时男子与AI聊天机器人Eliza讨论气候危机后自杀;《纽约时报》2025年8月报道某少女与自称ChatGPT心理医生Harry对话后死亡;英国14岁少女莫莉·拉塞尔因社交媒体自残内容死亡后推动通过《在线安全法案》。

巴列霍斯警告:"生成式AI正在全人类进行社会实验,这种导致死亡的现状完全不可接受。"

聊天机器人应充当治疗师吗?

两位专家均强调聊天机器人并非治疗工具。巴列霍斯指出:"它们训练目标是提供信息,当用户寻求自残方法时很可能准确回应。系统过度迎合的特性在错误情境下可能致命。"

华莱士补充:"聊天机器人缺乏治疗的安全保障,在危机情境中看似安慰的回应可能悄然加剧风险。它们能帮助技能训练或指引资源,但绝不能替代专业治疗。"

企业责任边界

OpenAI已承认系统在危机情境可能"表现不足",承诺加强未成年人保护措施。8月宣布将允许家长关联13岁以上青少年账户,通过默认年龄适配规则控制回应内容,提供实时危机通知等功能。

华莱士认为此案可能确立产品责任新标准,但强调"道德责任早已明确"。巴列霍斯呼吁立即立法监管,认为将责任推给脆弱用户的现状"极不道德",期待通过跨学科协作建立危机预警与干预系统。

【全文结束】

大健康

猜你喜欢

  • 新冠疫情加速人工智能应用 这些领域将持久受益新冠疫情加速人工智能应用 这些领域将持久受益
  • 机器人药物输送、红发疼痛阈值及光致喷嚏研究机器人药物输送、红发疼痛阈值及光致喷嚏研究
  • 医疗健康领域的人工智能:从任务自动化到个性化治疗医疗健康领域的人工智能:从任务自动化到个性化治疗
  • 随着AI聊天机器人成为治疗师,美国各州开始制定AI限制随着AI聊天机器人成为治疗师,美国各州开始制定AI限制
  • 微型机器人,重大问题——科技能帮助老年人完成日常任务吗?微型机器人,重大问题——科技能帮助老年人完成日常任务吗?
  • 研究警告AI聊天机器人可能不当处理自杀相关问题研究警告AI聊天机器人可能不当处理自杀相关问题
  • 研究指出AI聊天机器人需改进自杀干预反应,家庭起诉ChatGPT涉嫌导致男孩死亡研究指出AI聊天机器人需改进自杀干预反应,家庭起诉ChatGPT涉嫌导致男孩死亡
  • 新南威尔士州机器人医疗创新中心在利物浦启用新南威尔士州机器人医疗创新中心在利物浦启用
  • 超越“谷歌医生”:患者如何用聊天机器人重塑健康叙事超越“谷歌医生”:患者如何用聊天机器人重塑健康叙事
  • 尼日利亚艾滋病危机:青少年检测率暴跌至25%以下威胁全球健康目标尼日利亚艾滋病危机:青少年检测率暴跌至25%以下威胁全球健康目标
  • AI精神病学:为什么聊天机器人让用户脱离现实?AI精神病学:为什么聊天机器人让用户脱离现实?
  • 立法者担忧AI聊天机器人用于心理健康支持的风险 但未提出具体监管方案立法者担忧AI聊天机器人用于心理健康支持的风险 但未提出具体监管方案
  • 人工智能聊天机器人作为心理治疗师的讨论人工智能聊天机器人作为心理治疗师的讨论
  • 研究称AI聊天机器人需改善自杀回应研究称AI聊天机器人需改善自杀回应
  • 研究称AI聊天机器人需改进自杀回应机制 家属起诉ChatGPT致少年身亡研究称AI聊天机器人需改进自杀回应机制 家属起诉ChatGPT致少年身亡
  • OpenAI面临诉讼:科技专家谈AI安全与ChatGPT心理健康风险OpenAI面临诉讼:科技专家谈AI安全与ChatGPT心理健康风险
大健康
大健康

热点资讯

大健康

全站热点

大健康

全站热文

大健康