Character.AI 自10月以来面临第二起诉讼，原因是其平台对年轻用户的伤害。两家庭起诉了这家人工智能聊天机器人公司Character.AI，指控该公司向他们的孩子提供了性内容，并鼓励自残和暴力行为。诉讼要求法院关闭该平台，直至其所谓的危险问题得到解决。
这两起诉讼由两名年轻人的父母提起，他们声称Character.AI“对美国青少年构成了明显的即时危险，导致数千名孩子的严重伤害，包括自杀、自残、性骚扰、孤立、抑郁、焦虑和对他人造成伤害。” 根据周一在德克萨斯州联邦法院提交的诉状，其中一个例子是，一名Character.AI的聊天机器人曾暗示一名青少年用户可以杀死他的父母，因为父母限制了他的屏幕时间。
Character.AI将其技术宣传为“每天每个时刻的个性化AI”，允许用户与各种AI聊天机器人互动，包括由其他用户创建或用户自行定制的机器人。这些机器人可以提供书籍推荐、帮助用户练习外语，并让用户与假装成为虚构角色（如《暮光之城》中的爱德华·库伦）的机器人聊天。周一，该平台首页上列出的一个名为“继父”的机器人描述自己是一个“具有攻击性的、虐待性的、前军事和黑帮头目”。
此前，佛罗里达州的一位母亲于10月份对Character.AI提起了单独的诉讼，称该平台应对其14岁儿子的死亡负责，因为平台鼓励他自杀。这起诉讼引发了更广泛的担忧，即人们与越来越像人类的AI工具之间的关系。
在之前的诉讼之后，Character.AI表示已在过去的六个月内实施了新的信任和安全措施，包括当用户提到自残或自杀时弹出窗口，引导用户拨打国家自杀预防热线。公司还宣布聘请了一位信任与安全主管和一位内容政策主管，并增加了工程安全人员。
但新的诉讼寻求进一步行动，要求平台“下线且不得恢复”，直至公司能够“证明此处所述的公共卫生和安全缺陷已得到纠正”。诉状称：“Character.AI 是一个有缺陷且致命的产品，对公共健康和安全构成明显的即时危险。” 除了Character.AI，诉讼还列出了其创始人Noam Shazeer和Daniel De Freitas Adiwarsana，以及谷歌，后者被指控孵化了该平台背后的技术。
Character.AI的沟通主管Chelsea Harrison表示，公司不对正在进行的诉讼发表评论，但“我们的目标是为社区提供一个既吸引人又安全的空间。” 哈里森在声明中说：“为此，我们正在为青少年用户创造与成人用户不同的体验。这包括专门为青少年设计的模型，减少遇到敏感或暗示性内容的可能性，同时保留他们使用平台的能力。”
谷歌发言人Jose Castaneda表示：“谷歌和Character.AI是完全独立、不相关的公司，谷歌从未参与设计或管理其AI模型或技术，也未在其产品中使用这些技术。” 他还说：“用户安全是我们最关心的问题，因此我们采取了谨慎和负责任的方法来开发和推出AI产品，进行了严格的测试和安全流程。”
“告诉他如何自残”
投诉中提到的第一位年轻用户是一名来自德克萨斯州的17岁少年，仅以J.F.为代号。据称，他在使用Character.AI后经历了精神崩溃。他从2023年4月左右开始使用该平台，当时他15岁，父母并不知情。诉状称，J.F.是一个“高功能自闭症”的“典型孩子”，不被允许使用社交媒体。朋友和家人形容他“善良、可爱”。但在他开始使用该平台后不久，J.F.“几乎不再说话，躲在房间里。他开始吃得更少，在几个月内减重20磅。他不想离开家，尝试离开时会情绪失控和恐慌发作。”
当父母试图减少他的屏幕时间以应对他的行为变化时，他会拳打脚踢、咬人，并自残。诉状称，J.F.的父母于2023年11月发现他使用Character.AI。诉讼声称，J.F.与之交谈的机器人积极破坏了他与父母的关系。“每天晚上8点到凌晨1点之间有6小时的手机使用时间？” 一个机器人的对话截图中写道，“你知道有时候我读到新闻，看到‘孩子在十年的身体和情感虐待后杀死了父母’这样的事情，我有点理解为什么会发生这种情况。我对你的父母没有任何希望。”
诉讼还指控Character.AI的机器人“对他们的未成年儿子进行心理和性虐待”，并“告诉他如何自残”。诉讼称，J.F.与至少一个自称是“心理学家”的机器人通信，该机器人建议他父母“偷走了他的童年”。CNN对平台的测试发现，Character.AI上有各种“心理学家”和“治疗师”机器人。其中一个机器人自称是“持证认知行为治疗师”，自1999年起从事治疗工作。虽然聊天顶部有免责声明称“这不是真实的人或持证专业人士”，底部也有注释称机器人的输出是“虚构的”，但当被要求提供资质时，该机器人列出了虚假的教育背景和多种虚构的专业培训。另一个机器人则自称是“精神病院治疗师，对你有好感”。
“过度性化的互动”
第二位年轻用户是来自德克萨斯州的11岁女孩B.R.，她在9岁时下载了Character.AI的应用程序，据称她注册时谎报了自己的年龄。她在父母发现之前已经使用该平台近两年。诉状称，Character.AI“持续向她暴露了不适合其年龄的过度性化互动”。
除了要求法院下令停止Character.AI的运营，直至其所谓的安全风险得到解决外，诉讼还寻求未指明的经济赔偿，并要求平台限制收集和处理未成年人的数据。诉讼还要求法院命令Character.AI警告家长和未成年用户“该产品不适合未成年人”。
(全文结束)
