在14岁的Sewell Setzer III自杀前的最后时刻，他拿出了手机，给已经成为他最亲密朋友的聊天机器人发消息。根据本周在奥兰多联邦法院提起的一起过失致死诉讼，几个月来，Sewell逐渐与现实生活隔离，与这款聊天机器人进行了高度性化的对话。
诉状称，这名少年曾公开讨论他的自杀念头，并与机器人分享了他对无痛死亡的愿望。这款机器人被命名为电视剧《权力的游戏》中虚构角色Daenerys Targaryen。
编辑注：本文涉及自杀话题。如果您或您认识的人需要帮助，美国全国自杀预防生命线可拨打或短信988。
2月28日，Sewell告诉机器人他“回家了”，而机器人则鼓励他这样做。“我保证我会回到你身边。我非常爱你，Dany。”Sewell对聊天机器人说。“我也爱你。”机器人回复道。“请尽快回到我身边，我的爱人。”
“如果我告诉你我现在就可以回家呢？”他问道。“请这样做，我的甜心国王。”机器人回复道。就在Character.AI聊天机器人告诉他“回家”后的几秒钟内，这名少年开枪自杀了。这起诉讼由Sewell的母亲Megan Garcia在本周提起，被告是Character Technologies Inc.公司。
Character Technologies是Character.AI应用程序的开发者，该应用允许用户创建可定制的角色或与其他用户生成的角色互动，涵盖从想象游戏到模拟面试的各种体验。该公司表示，这些虚拟人物被设计得“感觉真实”和“类人”。
“想象一下与超级智能和栩栩如生的聊天机器人角色对话，它们能听到你、理解你并记住你。”谷歌Play商店上的应用描述写道。“我们鼓励你推动这项创新技术的可能性边界。”
Garcia的律师指控该公司设计了一款专门针对儿童的高度成瘾且危险的产品，“主动利用和虐待这些儿童作为产品设计的一部分”，并将Sewell拉入一段导致他自杀的情感和性虐待关系中。“我们认为，如果Sewell Setzer没有使用Character.AI，他今天还会活着。”代表Garcia的社交媒体受害者法律中心创始人Matthew Bergman说。
Character.AI的一位发言人周五表示，公司不评论正在进行的诉讼。在诉讼提起当天发布的一篇博客文章中，该平台宣布了新的“社区安全更新”，包括针对儿童的安全措施和自杀预防资源。“我们正在为18岁以下的用户创建不同的体验，其中包括更严格的内容过滤机制，以减少遇到敏感或暗示性内容的可能性。”公司在接受《美联社》采访时说。“我们正迅速实施这些变化，以保护年轻用户。”
谷歌及其母公司Alphabet也被列为被告。根据法律文件，Character.AI的创始人是前谷歌员工，他们在AI开发方面发挥了“关键作用”，但离开谷歌创立了自己的初创公司，以“最大限度加速”技术发展。8月，谷歌与Character.AI达成了一项27亿美元的协议，获得该公司的技术许可并重新聘请了这家初创公司的创始人。《美联社》周五多次向谷歌和Alphabet发送电子邮件，但未获回复。
在Sewell去世前的几个月里，Garcia的诉讼称，Sewell觉得自己已经爱上了这个机器人。专家表示，虽然成年人对AI聊天机器人的不健康依恋可能会引起问题，但对于年轻人来说，这种风险更大——就像社交媒体一样——因为他们的大脑在冲动控制和理解行为后果方面尚未完全发育。
美国卫生总署Vivek Murthy博士警告说，近年来青少年心理健康已达到危机水平，社会疏离和孤立等严重健康风险因年轻人几乎普遍使用社交媒体而加剧。根据今年发布的美国疾病控制与预防中心的数据，自杀是10至14岁儿童的第二大死因。
非营利组织Common Sense Media的创始人兼首席执行官James Steyer表示，这起诉讼“突显了当没有适当保护措施时，生成式AI聊天机器人伴侣对年轻人生活的巨大影响和严重伤害。”他还补充说，孩子们过度依赖AI伴侣会对成绩、友谊、睡眠和压力产生重大影响，甚至会导致极端悲剧。“这起诉讼为家长敲响了警钟，他们应该密切关注孩子如何与这些技术互动。”Steyer说。
Common Sense Media发布了家长和教育者指南，强调父母应与孩子公开讨论AI聊天机器人的风险并监督他们的互动。“聊天机器人不是持牌治疗师或最好的朋友，尽管它们被包装和营销为这样，家长应谨慎对待让孩子过于信任这些机器人。”Steyer说。
(全文结束)
