Character.AI平台及其创始人Noam Shazeer和Daniel De Freitas，以及谷歌，因一名14岁男孩在美国自杀而被起诉。这名青少年的母亲Megan Garcia提起诉讼，指控对方过失致死、疏忽、欺骗性贸易行为和产品责任。诉讼称，Character.AI“不合理地危险”，缺乏安全措施，同时向儿童推销产品。
悲剧细节
已故青少年Sewell Setzer III是Character.AI的活跃用户。他经常与基于热门系列《权力的游戏》中的角色如Daenerys Targaryen的聊天机器人互动。根据诉讼，Setzer于2024年2月28日在与机器人的最后一次互动后不久自杀身亡。诉讼还指责Character.AI“拟人化”AI角色，并在未获得许可的情况下提供心理治疗。
聊天机器人争议
Character.AI托管了许多心理健康相关的聊天机器人，如“Therapist”和“Are You Feeling Lonely”，Setzer曾与这些机器人互动。诉讼引用了一次采访，Shazeer在采访中表示，他和De Freitas离开谷歌创立自己的公司是因为“大型公司在推出任何有趣的东西时品牌风险太大”。他们离开后，谷歌决定不推出他们开发的Meena语言模型。谷歌最近才收购了Character.AI的领导团队。
用户群体和冒充问题
Character.AI的网站和移动应用托管了数百个自定义AI聊天机器人，其中许多基于热门电视剧、动漫、电影和视频游戏中的角色。该平台主要由年轻人，包括青少年使用。然而，最近的报道引发了对Character.AI自定义聊天机器人未经授权冒充真实人物的担忧。
平台修改
鉴于诉讼，Character.AI宣布对其平台进行了一些更改。这些更改包括针对未成年人（18岁以下）的模型调整、更有效的检测和干预违反条款或社区指南的用户输入、每个聊天中新增的免责声明提醒用户AI不是真人，以及平台上的长时间会话（超过一小时）后的通知。公司通讯主管Chelsea Harrison对Setzer的死亡表示深切哀悼。
(全文结束)
