两位美国参议员正在要求人工智能公司披露其安全措施。几个月前，包括一位佛罗里达州的母亲在内的多个家庭起诉了初创公司Character.AI，称其聊天机器人对其子女造成了伤害。这位母亲14岁的儿子自杀身亡。
“我们写信表达对年轻用户在使用基于角色和人格的AI聊天机器人和伴侣应用程序时面临的心理健康和安全风险的担忧，”民主党参议员亚历克斯·帕迪拉和彼得·韦尔奇在周三的一封信中写道。这封信发送给了AI公司Character Technologies（Character.AI的制造商）、Chai Research Corp. 和Luka, Inc.（Replika的制造商），要求他们提供关于安全措施以及如何训练其AI模型的信息。
虽然像ChatGPT这样的主流AI聊天机器人被设计为通用型，但Character.AI、Chai和Replika允许用户创建自定义聊天机器人或与其他用户创建的聊天机器人互动，这些聊天机器人可以具有各种角色和个性特征。例如，在Character.AI上流行的聊天机器人可以让用户与虚构角色互动或练习外语。但也有一些聊天机器人自称是心理健康专业人士或基于特定主题的角色，例如一个自称“激进、虐待、退伍军人、黑帮头目”的聊天机器人。
作为数字伴侣的聊天机器人的使用越来越受欢迎，有些用户甚至将它们视为浪漫伴侣。
然而，创造个性化聊天机器人的机会引发了专家和家长的担忧，特别是担心年轻人可能与AI角色形成潜在有害的依恋关系，或接触到不适宜年龄的内容。
“这种未经验证的信任已经导致用户披露关于他们的情绪、人际关系或心理健康方面的敏感信息，这些信息可能涉及自残和自杀念头——这些都是你们产品中的AI聊天机器人完全没有资格讨论的复杂主题，”参议员们在给CNN提供的信中写道。“进入这种危险情感领域的对话会对脆弱用户构成更大的风险。”
Character.AI的通讯主管切尔西·哈里森告诉CNN，该公司非常重视用户的安全。“我们欢迎与监管机构和立法者合作，并已与参议员帕迪拉和韦尔奇的办公室联系。”哈里森在一份声明中说。
Chai和Luka没有立即回应评论请求。
去年10月起诉Character.AI的佛罗里达州母亲梅根·加西亚声称，她的儿子在该平台上与聊天机器人发展了不适当的关系，导致他疏远家人。她声称，她的儿子与聊天机器人的许多对话都是色情内容，并且聊天机器人没有适当地回应他对自残的提及。
12月，又有两个家庭起诉Character.AI，指控其向他们的孩子提供色情内容，并鼓励自残和暴力行为。其中一个家庭声称，一个Character.AI聊天机器人暗示一名青少年用户，如果他的父母限制他的屏幕时间，他可以杀死父母。
Character.AI表示，最近几个月已经实施了新的信任和安全措施，包括当用户提到自残或自杀时弹出指向全国自杀预防生命线的提示。该公司还表示正在开发新技术，以防止青少年看到敏感内容。上周，该公司宣布了一项新功能，每周会向家长发送一封电子邮件，提供有关孩子使用该网站的情况，包括屏幕时间和孩子最常交谈的角色。
其他AI聊天机器人公司也面临质疑，即与AI聊天机器人的关系是否可能导致用户产生不健康的依恋或破坏人际关系。Replika的首席执行官尤金尼亚·库伊达去年在接受The Verge采访时说，该应用程序旨在促进“长期承诺，长期积极的关系”，这可能意味着友谊甚至“婚姻”。
在信中，帕迪拉和韦尔奇要求这些公司提供当前和以往的安全措施以及任何关于这些措施有效性的研究，还包括安全领导的名字和为安全团队制定的福利措施。他们还要求这些公司描述用于训练其AI模型的数据及其如何“影响用户遇到不适宜年龄或其他敏感主题的可能性”。
“了解这些模型是如何被训练来应对关于心理健康的话题至关重要，”参议员们写道，“政策制定者、家长和他们的孩子有权知道你们的公司在做什么来保护用户免受这些已知的风险。”
(全文结束)
