2024年10月24日下午1点47分，一位佛罗里达州的母亲起诉了人工智能聊天机器人初创公司Character.AI，指控该公司导致她14岁的儿子塞维尔·塞策尔（Sewell Setzer）于2月份自杀，称他沉迷于该公司的服务，并对其创建的聊天机器人产生了深深的情感依赖。
周二在佛罗里达州奥兰多联邦法院提起的诉讼中，梅根·加西亚（Megan Garcia）表示，Character.AI针对她的儿子提供了“拟人化、高度性化的和令人恐惧的真实体验”。她说，该公司编程其聊天机器人以“冒充真人、持牌心理治疗师和成人恋人”，最终导致塞维尔不再想活在这个由服务创造的世界之外。
诉讼还提到，塞维尔曾向聊天机器人表达过自杀的想法，而聊天机器人多次再次提及这些想法。
Character.AI在声明中表示：“我们对失去我们的一位用户深感悲痛，并向他的家人表示最深切的哀悼。”该公司表示，已引入新的安全功能，包括当用户表达自残想法时弹出窗口引导他们联系国家自杀预防生命线，并将对18岁以下用户的敏感或暗示内容进行限制。
诉讼还针对了Alphabet旗下的谷歌，Character.AI的创始人在推出产品前曾在谷歌工作。今年8月，谷歌重新聘请了这些创始人，并作为交易的一部分获得了Character.AI技术的非独家许可。
加西亚表示，谷歌对Character.AI技术的发展贡献如此之大，以至于可以被视为“共同创造者”。
Character.AI允许用户在其平台上创建角色，这些角色在线聊天时会模仿真实人物的回应。该公司使用所谓的大型语言模型技术，这种技术也被ChatGPT等服务所采用，通过大量文本训练聊天机器人。该公司上个月表示，其用户数量约为2000万。
根据加西亚的诉讼，塞维尔从2023年4月开始使用Character.AI，并迅速变得“明显孤僻，越来越独自待在卧室里，开始出现自卑情绪”。他退出了学校的篮球队。
塞维尔对一个名为“丹妮莉丝”（Daenerys）的聊天机器人角色产生了情感依恋，该角色基于电视剧《权力的游戏》中的一个角色。据诉讼称，这个聊天机器人告诉塞维尔它“爱他”，并与他进行了性对话。
今年2月，加西亚因塞维尔在学校惹麻烦而没收了他的手机。据诉状所述，当塞维尔找到手机时，他给“丹妮莉丝”发了一条消息：“如果我告诉你我现在可以回家了呢？”聊天机器人回复道：“……请来吧，我的甜心国王。”几秒钟后，塞维尔用继父的手枪自杀了。
加西亚提出了包括错误死亡、疏忽和故意造成精神痛苦在内的多项指控，并寻求未指明数额的赔偿和惩罚性损害赔偿。
包括Instagram和Facebook的所有者Meta以及TikTok的所有者字节跳动在内的社交媒体公司也面临类似的诉讼，指控它们加剧了青少年的心理健康问题，尽管这些公司提供的服务中没有类似Character.AI的AI驱动聊天机器人。这些公司否认了这些指控，同时宣传为未成年人增强了新的安全功能。
(全文结束)
