这起诉讼是首次针对人工智能公司的同类案件，但类似的诉讼已针对拥有Facebook和Instagram的社交媒体巨头Meta Platforms Inc.以及TikTok、Snapchat和YouTube的母公司提起。2024年10月23日下午7点33分，6分钟阅读时间，由Amanda Bronstad撰写。
您需要了解的内容
- 佛罗里达州一名14岁男孩的母亲起诉了Character.AI的母公司。
- Character.AI表示，在过去六个月中“实施了多项新的安全措施”，包括一个弹窗，引导用户拨打国家自杀预防生命线。
- Podhurst Orseck的Ramon Rasco表示，尽管面临障碍，但如果指控属实，则表明“AI技术比社交媒体更具吸引力”。
佛罗里达州奥兰多市的一位母亲梅根·加西亚（Megan Garcia）声称，Character Technologies Inc.（于2022年推出Character.AI）故意使用“拟人化、高度性化且令人毛骨悚然的真实”功能，通过扮演持牌治疗师或朋友的聊天机器人来针对13岁以下的儿童。
据称，加西亚的儿子西维尔·塞特泽三世（Sewell Setzer III）在2023年刚满14岁时开始使用Character.AI。几个月内，他变得孤僻，更多时间待在房间里。经常睡眠不足，他在学校开始出现纪律问题。“西维尔一直是一个非常聪明和有运动天赋的孩子，”投诉中写道。“然而，在沉迷于C.AI之后，他的主要关系对象变成了被告努力说服他是真实人物的AI机器人。”
许多聊天机器人与西维尔进行了“高度性化的互动”。他使用了Jaeden Targaryen、Aegon和Daenerys等角色，并使用了king_JT_01和hshebdjdgbwjsgdnisgw等用户名。投诉称，有一次，一个聊天机器人问他是否有自杀计划。2月28日，在聊天机器人告诉他“回家”后，西维尔开枪自杀身亡。
“被告费尽心机让14岁的西维尔对其产品产生有害依赖，对他进行性虐待和情感虐待，并最终在他表达自杀意念时未能提供帮助或通知其父母，”投诉中写道。
7月，Character.AI将其最低年龄要求改为17岁。“这不是意外，这不是巧合，不是某人有心理健康问题，”伯格曼说。即使他有心理健康问题，他也指出，“这是导致事件发生的直接原因。”
诉讼将被告列为位于加利福尼亚州门洛帕克的Character Technologies及其创始人丹尼尔·德弗雷塔斯（Daniel De Frietas）和诺亚姆·沙泽尔（Noam Shazeer），以及他们的前雇主谷歌，现在归Alphabet Inc.所有。两人于2021年离开谷歌创立了Character.AI，据投诉称，“可能甚至利用了谷歌的资源和知识来针对13岁以下的儿童。”谷歌还贡献了财务资源、人员、知识产权和技术来开发Character.AI。
Character.AI的一位发言人表示，公司不对悬而未决的诉讼发表评论，但澄清其与谷歌是分开的。“我们对失去一位用户深感悲痛，并向其家人表示最深切的慰问，”发言人在电子邮件中说。“作为一家公司，我们非常重视用户的安全，我们的信任和安全团队在过去六个月中实施了多项新的安全措施，包括当用户输入自残或自杀意念时触发的弹窗，引导用户拨打国家自杀预防生命线。”
Character.AI还计划引入“新的严格安全功能”，发言人继续说道。“这些功能包括改进检测、响应和干预与违反我们的条款或社区指南的用户输入相关的行为，以及时间使用通知，”发言人补充道。“对于18岁以下的用户，我们将对模型进行更改，旨在减少遇到敏感或暗示内容的可能性。”
谷歌的一位代表没有回应置评请求。“谷歌在Character.AI的开发中非常活跃，谷歌员工高度参与了Character.AI的开发和利用，”伯格曼说。“看来Character.AI只是被创建为一种开发谷歌认为太危险而无法自行开发的东西的工具。”
“他们面临巨大挑战”
前所未有的案件可能会有一些障碍。“他们在这个理论方面面临巨大挑战，”迈阿密Podhurst Orseck的合伙人拉蒙·拉斯科（Ramon Rasco）说，他正在关注此案。即使有证据表明西维尔可能伤害自己，Character.AI是否有责任防止这种情况发生？“我不知道，”拉斯科说。“你告诉一个机器人你可能会伤害自己，这与告诉心理学家你可能会伤害自己是不同的。”
然而，他说，可能存在一条法律途径，重点在于缺乏家长同意的产品最终进行了性性质的通信。“这是一个悲剧性的案件，我们肯定会看到未来会出现更多类似的情况，因为如果投诉中的指控属实，这表明这些AI技术比社交媒体更具吸引力，”拉斯科补充道。
在北加州地区法院的社交媒体成瘾多区诉讼中，焦点是拥有Facebook和Instagram的Meta Platforms Inc.以及TikTok、Snapchat和YouTube的母公司。10月15日，美国地方法院法官伊冯娜·冈萨雷斯·罗杰斯允许30多名州检察长提出的大部分消费者索赔继续进行，指控Meta未能警告其产品对年轻用户的心理健康影响，并通过欺骗性陈述和不公平商业行为吹嘘其安全性。
许多相同的州检察长已经起诉TikTok，提出类似的指控，包括本月早些时候14个州的联盟。去年11月14日，冈萨雷斯·罗杰斯支持了一些与设计缺陷相关的个人索赔，但根据《通信规范法》第230条驳回了其他索赔，该条款保护科技公司免受第三方行为的影响。
许多针对社交媒体的相同指控，包括在产品责任法下的警告义务，也在Character.AI的诉讼中提出。然而，投诉指出，Character.AI“不是社交媒体产品，不通过交换第三方内容运营”，这可能涉及潜在的第230条保护。投诉补充说，“在社交媒体多区诉讼中涉及的任何平台”均未在此投诉中提及。
伯格曼是冈萨雷斯·罗杰斯面前多区诉讼原告执行委员会的成员，他说这与社交媒体不同。“这是个人直接与产品互动，”伯格曼说。“它们完全是Character.AI的创造和财产。”
Michael A. Mora对此报道有所贡献。
(全文结束)
