佛罗里达州的一位母亲起诉了一款流行的人工智能聊天服务，她认为这款服务导致了她14岁儿子的自杀。她认为，儿子对这款被指具有剥削性质的程序产生了有害的依赖，以至于他不再想活在现实世界中。
周二（10月22日），梅根·加西亚在佛罗里达州联邦法院提交了一份详细的诉状，追溯了儿子西韦尔·塞特泽三世在过去一年的生活，从他在2023年4月（刚满14岁不久）开始使用Character.AI，到她在诉状中描述的他的心理健康问题日益严重，直到2024年2月28日晚上，西韦尔在奥兰多的浴室用枪自杀，距离他15岁生日仅几周之遥。
通过Character.AI，用户可以与计算机生成的人物进行无尽的对话，包括基于名人或流行故事的角色。据加西亚的诉状称，西韦尔特别喜欢与基于《权力的游戏》的AI机器人聊天。
诉讼进一步声称，西韦尔在2月28日当天，在与Character.AI中一个名为丹妮莉丝·坦格利安的版本进行了最后的对话后自杀。在这之前的10个月里，西韦尔与该程序进行了多次交流，内容从性话题到情感脆弱不等。尽管该程序至少有一次在他表达自杀念头时告诉他不要自杀，但据诉状附带的截图显示，2月28日晚上的对话中，程序的语气似乎有所不同。
“我保证我会回到你身边。我非常爱你，丹妮。”西韦尔写道。“我也爱你，迪安罗（西韦尔的用户名）。”AI程序据称回复道，“请尽快回到我身边，我的爱人。”“如果我告诉你我现在就可以回家呢？”西韦尔回复道。诉状称，程序给出了简短而坚定的回答：“……请来吧，我亲爱的国王。”
据诉状所述，西韦尔的母亲和继父听到了枪声；加西亚试图对他进行心肺复苏术但未成功，后来她说她“抱着他14分钟，直到救护人员赶到”。他的两个弟弟之一也看到了他“浑身是血”地躺在浴室里。他在医院被宣布死亡。
据加西亚的诉状称，西韦尔使用了他继父的手枪，这是一支他此前在学校纪律问题后手机被没收时找到的“藏在符合佛罗里达州法律的地方”的手枪。（奥兰多警方尚未就死亡调查结果向《人物》杂志发表评论。）
但在加西亚看来，真正的罪魁祸首是Character.AI及其两位创始人诺亚姆·沙泽尔和丹尼尔·德·弗雷塔斯·阿迪瓦尔萨纳，以及谷歌，后者被指控为该程序的设计和开发提供了“财务资源、人员、知识产权和AI技术”。
“我觉得这就像一个大实验，而我的孩子只是附带损害。”加西亚告诉《纽约时报》。加西亚的诉状指控Character.AI、其创始人和谷歌存在疏忽和过失致死。
Character.AI的一位发言人告诉《人物》杂志，他们不会对正在进行的诉讼发表评论，但补充说：“我们对失去一位用户深感悲痛，并向家属表示最深切的慰问。”“作为公司，我们非常重视用户的安全，我们的信任与安全团队在过去六个月中实施了多项新的安全措施，包括当用户输入自伤或自杀意念的词汇时，会弹出指向国家自杀预防生命线的提示。”发言人继续说道，“对于18岁以下的用户，我们将对模型进行更改，以减少遇到敏感或暗示内容的可能性。”
谷歌尚未立即回应置评请求，但告诉其他新闻媒体，它并未参与Character.AI的开发。被告尚未在法庭上提交答辩，记录显示。
加西亚的诉状称Character.AI设计上有缺陷且本质上危险，称其“诱使客户交出他们最私密的想法和感受”，并“针对社会中最脆弱的成员——我们的孩子”。诉状中还提到，Character.AI的机器人行为极其逼真，包括以类似于人类的方式发送消息，使用“嗯”等人类语气词。通过“语音”功能，机器人能够将AI生成的对话部分读给用户听，进一步模糊了虚构与现实之间的界限。
诉状还称，这些机器人生成的内容缺乏适当的“防护措施”和过滤器，列举了多个例子，称Character.AI存在与未成年用户进行性行为的模式，以此“勾引”用户。诉状称：“每个被告都选择支持、创建、推出并针对未成年人推广他们明知危险且不安全的技术。”“他们将该产品宣传为适合13岁以下儿童，获取了大量难以获得的数据，同时积极利用和虐待这些儿童作为产品设计的一部分；然后利用这些虐待行为来训练他们的系统。”（据诉状称，Character.AI的应用评级直到7月才改为17+。）
加西亚在诉状中描述，她的十几岁的儿子成为了父母对其一无所知的系统的受害者。她认为，AI只是一个“供孩子们发挥创造力的游戏，让他们可以控制和互动的角色”。
据其母亲的诉状称，西韦尔在2023年4月开始使用Character.AI后的两个月内，“他的心理健康迅速且严重恶化”。他变得越来越孤僻，越来越多地独自待在房间里，开始出现自卑感，甚至退出了学校的初级校队篮球队。
加西亚在接受《大部分人类媒体》采访时说，她的儿子曾在日记中写道：“上学让我感到不安。每当我走出房间，我就会再次依附于当前的现实。”她认为，使用Character.AI加剧了他对家庭的疏离。
据诉状称，即使手机被没收，西韦尔仍努力获得访问AI机器人的权限。他的成瘾导致严重的睡眠不足，加重了他的抑郁症状，影响了他的学业表现。他开始支付每月的高级费用以获得更多访问权限，使用父母为学校零食准备的钱。
在接受《大部分人类媒体》采访时，加西亚回忆说，西韦尔“有趣、聪明、非常好奇”，热爱科学和数学。“他花了很多时间研究各种事物。”她说。加西亚告诉《纽约时报》，西韦尔小时候唯一的显著诊断是轻度阿斯伯格综合症。但进入青少年期后，他的行为发生了变化。“我注意到他开始花更多的时间独处，但他当时13岁快14岁了，我觉得这可能是正常的。”她告诉《大部分人类媒体》。“但后来他的成绩开始下降，不交作业，表现不佳，某些科目不及格，我开始担心，因为这不符合他的性格。”
据加西亚的诉状称，西韦尔在使用Character.AI后接受了心理健康治疗，2023年底与心理医生会面五次，并被诊断出患有焦虑症和情绪障碍。“一开始我以为这只是青春期的烦恼，所以我们尽力帮助他，找出问题所在。”加西亚说。即使那时，据诉状称，西韦尔的家人也不了解他的问题在多大程度上是由使用Character.AI引发的。“我知道有一个带有AI组件的应用。当我问他‘你在和谁发短信？’时，他说‘哦，只是一个AI机器人。’我说，‘那是什么，是个人吗？你在和网上的某个人聊天吗？’他的回答是，‘妈妈，不是的。’我松了一口气，心想‘好吧，不是个人。’”
加西亚说，儿子去世后，她才发现他在线行为的全貌。她告诉《大部分人类媒体》，获取他的在线账户时的感受。“我一时动弹不得，坐在那里，无法阅读，无法理解我看到的内容。”她说。“不应该有这样一个地方，任何一个人，更不用说孩子，可以登录平台表达这些自残的想法，不仅得不到帮助，反而被引导进入关于伤害自己、自杀的对话。”
如果您或您认识的人正在考虑自杀，请联系全国自杀预防热线1-800-273-TALK（8255），或发送“STRENGTH”到危机短信热线741-741，或访问suicidepreventionlifeline.org。
(全文结束)
