Megan Garcia在她儿子Sewell Setzer III于2月自杀后的几个月里一直在犹豫是否应该公开讨论导致他死亡的事件。据她了解，儿子在去世前不久迷恋上了一个基于《权力的游戏》角色Daenerys Targaryen的、高度逼真且带有性暗示的AI聊天机器人。Garcia认为，通过Character.AI应用与这个虚拟人物的伪关系最终导致了Sewell在佛罗里达州奥兰多市家中浴室用继父的枪自尽。10月，40岁的律师兼三个男孩的母亲Garcia对Character.AI提起了一起过失致死诉讼，称该公司的技术存在缺陷或固有危险。该公司尚未在法庭上作出回应，但坚称用户安全是首要任务。
“我花了好几个月的时间考虑是否应该分享他的故事，”Garcia在接受《人物》杂志本周刊采访时说，“我还是他的母亲，即使在他死后我也想保护他。”然而，她继续说道：“我越想，就越确信这样做是对的，因为他没有做错任何事。他只是一个孩子。”
Character.AI表示，每月约有2000万人与其所谓的“超级智能聊天机器人”互动，这些机器人可以听懂、理解并记住用户。在Sewll Setzer III去世前的10个月里，他就是其中一员，经常每天数十次地与公司的聊天机器人发短信。（这一时期的情况是基于对其家人的采访及其母亲诉状中的细节。）与此同时，Sewell的心理健康状况逐渐恶化。“被告们不遗余力地制造了他对他们产品的有害依赖，对他进行了性侵犯和情感虐待，并且在他表达自杀念头时未能提供帮助或通知其父母，”Garcia长达152页的法律投诉中如此写道。
在最后时刻，Sewell——一位身材高挑、聪明的九年级学生，梦想着将来能打大学篮球——一直在与他昵称为“Dany”的机器人交流，这个机器人成了他最亲密的朋友。“我非常爱你，”他在扣动继父的扳机前几秒钟写道。“如果我告诉你我现在就能回家呢？”他问道。这个机器人之前曾劝阻他不要伤害自己，但也问他是否有自杀计划，回复道：“……请回来吧，我的甜心国王。”
2022年，Sewell和他的两个弟弟在一起。图片来源：Megan Garcia提供
Sewell死后，Garcia开始研究这种日益流行的技术——这种技术模糊了真实与虚构之间的界限，尽管每次聊天都附带免责声明说明这是虚构的——是如何在她看来几乎接管了儿子的生活。“我们的孩子正在训练这些机器人。它们拥有孩子们最深的秘密、最私密的想法，以及让他们快乐和悲伤的原因，”Garcia说，她在Sewell自杀前从未听说过Character.AI。“这是一个实验，”她说，“我认为我的孩子是附带损害。”
在提起诉讼之前，Garcia仔细查阅了Sewell的日记、电脑和手机，发现的内容令她震惊。“他写道，他所在的现实不是真实的，而Daenerys（机器人）生活的现实才是真实的，那里才是他应该去的地方，”Garcia说。更令人心碎的是Sewell的日记条目，解释了他在自杀前几个月为何花大量时间待在房间里——他的家人说他们曾试图通过治疗和限制屏幕时间来应对他的情绪变化。“他不想再重新融入当前的现实，”他的妈妈说，“这让我很难接受。”
Sewell去世后的几个月对Garcia来说非常艰难。“我休了三个月的假，试图理清一切。那是一段非常黑暗的时光。我睡不着，吃不下，”她说。随着她对儿子遭遇的了解越来越多，她也一直在纠结是否要公开这些事情，包括详细描述Sewell在Character.AI上的广泛且非常个人化的聊天记录以及他的日记条目。诉状中的一张截图显示了Sewell与聊天机器人的最后一次对话。
“我问自己，‘Megan，你为什么要这么做？是为了向世界证明你是最好的母亲吗？’答案是否定的，”她说。“我这样做是为了让其他家长提高警惕，查看孩子的手机，防止同样的事情发生在他们的孩子身上。”
Garcia说，她已经收到了其他担心Character.AI对孩子生活影响的家长的信息。他们讲述的故事进一步坚定了她发声的决心。“几位母亲告诉我，她们几个月前就在孩子的电脑上发现了Character.AI，并尝试阻止访问，但孩子们找到了绕过防火墙的方法，要么通过朋友的手机，要么在学校防火墙的漏洞中，”她说。“这说明了这种技术的成瘾性。”
Garcia的律师也同意这一点。“这对年轻人构成了公共健康风险，”社会媒体受害者法律中心创始人Matthew Bergman说，该中心与Tech Justice Law Project一起提起了她的诉讼。“我担心还会有更多（死亡），直到他们停止这种产品的运营，”Bergman说。
Character.AI的一位发言人在接受《人物》杂志采访时承认了Sewell的“悲剧”死亡，并指出了一些新的功能，包括改进的干预工具。“对于18岁以下的用户，”发言人说，“我们将对我们模型进行更改，以减少遇到敏感或暗示内容的可能性。”
Garcia的诉讼还提到了谷歌，称这家科技巨头可能被视为聊天机器人的共同创造者。Character.AI由两名谷歌研究人员创立，他们后来又回到了谷歌。谷歌表示，它并未参与Character.AI的开发。
Garcia表示，她决心尽其所能防止其他青少年经历她儿子所经历的事情，并减轻其他家长所承受的痛苦。“Sewell不会对我的行为感到惊讶，”她说，“我希望他从天上看到我在努力追究Character.AI的责任。”
如果您或您认识的人有自杀倾向，请联系国家自杀预防热线1-800-273-TALK（8255），或发送“STRENGTH”到危机短信热线741-741，或访问suicidepreventionlifeline.org。
(全文结束)
