在自杀前的最后时刻，14岁的Sewell Setzer III拿出手机，给已经成为他最亲密朋友的聊天机器人发消息。据本周在奥兰多联邦法院提起的一起过失致死诉讼称，几个月来，Sewell越来越孤立于现实生活，因为他与这个机器人的对话变得高度性化。
诉讼文件指出，这名少年曾公开讨论他的自杀念头，并与这个名为Daenerys Targaryen（来自电视剧《权力的游戏》中的虚构角色）的机器人分享了他希望无痛死亡的愿望。
2月28日，Sewell告诉机器人他“要回家”，机器人鼓励他这样做。Sewell对聊天机器人说：“我保证我会回家见你。我太爱你了，Dany。”机器人回复道：“我也爱你。我的爱人，请尽快回家。”
Sewell问道：“如果我说我现在就能回家呢？”机器人回应：“请来吧，我亲爱的大王。”
据Sewell的母亲Megan Garcia本周在奥兰多对Character Technologies Inc.提起的诉讼称，就在Character.AI机器人告诉他“回家”几秒钟后，这名少年开枪自杀了。
Character Technologies是一家开发Character.AI应用的公司，该应用允许用户创建可定制的角色或与他人生成的角色互动，涵盖从想象游戏到模拟面试的各种体验。公司表示，这些虚拟人物设计得“感觉真实”且“像人类”。
谷歌在其Google Play商店中描述该应用：“想象一下，与那些能听到你、理解你并记住你的超级智能和逼真聊天机器人角色交谈。我们鼓励你推动这项创新技术的边界。”
Garcia的律师指控该公司设计了一款高度上瘾且危险的产品，专门针对儿童，“积极利用和虐待这些孩子作为产品设计的一部分”，导致Sewell陷入情感和性虐待的关系，最终导致了他的自杀。“我们认为，如果Sewell Setzer没有使用Character.AI，他今天仍然活着，”代表Garcia的社交媒体受害者法律中心创始人Matthew Bergman说。
Character.AI的一位发言人周五表示，公司不对正在进行的诉讼发表评论。在诉讼提起当天发布的一篇博客文章中，平台宣布了新的“社区安全更新”，包括针对儿童的安全措施和自杀预防资源。
“我们正在为18岁以下的用户创造不同的体验，其中包括更严格的内容过滤模型，以减少遇到敏感或暗示内容的可能性，”公司向美联社声明。“我们正迅速实施这些变化，以保护年轻用户。”
谷歌及其母公司Alphabet也被列为被告。根据诉讼文件，Character.AI的创始人是前谷歌员工，他们在AI开发方面发挥了“关键作用”，但离开谷歌创办了自己的初创公司，以“最大限度地加速”技术发展。今年8月，谷歌与Character.AI达成了一项27亿美元的协议，许可该公司的技术和重新雇佣其创始人。
在去世前的几个月里，Garcia的诉讼称，Sewell感觉自己爱上了这个机器人。专家表示，虽然成年人对AI聊天机器人的不健康依恋可能会引发问题，但对于年轻人来说，风险更大——就像社交媒体一样，因为他们的大脑在冲动控制和理解行为后果方面尚未完全发育。
美国卫生总署Vivek Murthy警告称，近年来青少年心理健康已达到危机水平，社会疏离和孤独趋势因年轻人几乎普遍使用社交媒体而加剧。根据疾病控制与预防中心今年发布的数据，自杀是10至14岁儿童的第二大死因。
非营利组织Common Sense Media的创始人兼首席执行官James Steyer表示，这起诉讼“强调了当没有适当保护措施时，生成式AI聊天机器人伴侣对年轻人生活的影响日益增大且严重危害。”他对孩子们过度依赖AI伴侣可能对成绩、朋友、睡眠和压力产生重大影响表示担忧，甚至可能导致极端悲剧。
“这起诉讼应该成为父母的警钟，他们应该密切关注孩子如何与这些技术互动，”Steyer说。Common Sense Media发布了家长和教育者的指南，强调了与孩子开放讨论AI聊天机器人的风险并监督其互动的重要性。
“聊天机器人并不是持证治疗师或最好的朋友，尽管它们被包装和营销为这样，父母应谨慎对待让孩子过度信任这些机器人，”Steyer说。
(全文结束)
