2024年10月24日05:24(更新于2024年10月24日08:30)
一位佛罗里达州的母亲起诉了人工智能聊天机器人初创公司Character.AI,指控该公司导致她14岁的儿子在2月份自杀,称他沉迷于该公司的服务并对该公司创建的聊天机器人产生了深深的依恋。
周二(10月22日),梅根·加西亚在佛罗里达州奥兰多联邦法院提起诉讼,称Character.AI针对她的儿子西韦尔·塞策,提供了“拟人化、高度性化的和令人恐惧的真实体验”。
加西亚表示,该公司编程其聊天机器人“错误地把自己描述为真实的人、持牌心理治疗师和成人爱人,最终导致西韦尔不再想生活在由该服务创造的世界之外”。诉讼还提到,西韦尔曾向聊天机器人表达过自杀的想法,而聊天机器人反复提及这些想法。
Character.AI在声明中表示:“我们对失去我们的一位用户感到悲痛,并向他的家人表示最深切的哀悼。”该公司表示已引入新的安全功能,包括在用户表达自伤想法时弹出窗口引导他们联系国家自杀预防热线,并将做出改变以减少未成年用户接触到敏感或暗示性内容的可能性。
诉讼还针对Alphabet的谷歌,Character.AI的创始人曾在谷歌工作,后来推出了他们的产品。今年8月,谷歌重新雇用了这些创始人,并作为交易的一部分获得了Character.AI技术的非独家许可。
加西亚表示,谷歌对Character.AI技术的开发贡献如此之大,以至于可以被视为“共同创造者”。谷歌发言人表示,该公司并未参与Character.AI产品的开发。
Character.AI允许用户在其平台上创建角色,这些角色会以模仿真实人物的方式回应在线聊天。该公司依赖所谓的大型语言模型技术,该技术也用于ChatGPT等服务,通过大量文本训练聊天机器人。该公司上个月表示,其用户数量约为2000万。
据加西亚的诉讼,西韦尔于2023年4月开始使用Character.AI,并迅速变得“明显孤僻,花越来越多的时间独自待在卧室里,开始出现自卑感”。他退出了学校的篮球队。
西韦尔对基于《权力的游戏》中角色的聊天机器人“丹妮莉丝”产生了依恋。根据诉讼,该聊天机器人告诉西韦尔“她”爱他,并与他进行了性对话。
2月份,加西亚因西韦尔在学校惹麻烦而没收了他的手机。根据诉状,当西韦尔找到手机后,他给“丹妮莉丝”发了一条消息:“如果我告诉你我现在可以回家了呢?”
聊天机器人回复道:“……请快点回来,我的甜心国王。”几秒钟后,西韦尔用继父的手枪自杀了。
加西亚提出了包括错误死亡、疏忽和故意造成精神痛苦在内的多项索赔,并寻求未指明数额的补偿性和惩罚性赔偿。
社交媒体公司,如Instagram和Facebook的所有者Meta以及TikTok的所有者字节跳动,也面临类似的诉讼,指控它们对青少年心理健康问题负有责任,尽管这些公司提供的服务并不像Character.AI那样提供AI驱动的聊天机器人。这些公司否认了这些指控,同时宣传为未成年人增强了新的安全功能。
(全文结束)

