两位美国参议员正在要求人工智能公司公开其安全措施。几个月前，几个家庭——包括一位佛罗里达州的母亲，她的14岁儿子自杀身亡——起诉了初创公司Character.AI，声称其聊天机器人对其孩子造成了伤害。
民主党参议员亚历克斯·帕迪利亚和彼得·韦尔奇在周三的一封信中写道：“我们写信是为了表达我们对基于角色和个性的人工智能聊天机器人和伴侣应用程序给年轻用户带来的心理健康和安全风险的担忧。”这封信发送给了几家人工智能公司，包括Character Technologies（Character.AI的制造商）、Chai Research Corp.和Luka, Inc.（Replika聊天服务的制造商），要求这些公司提供关于安全措施以及如何训练其人工智能模型的信息。
虽然像ChatGPT这样更为主流的人工智能聊天机器人设计为通用型，但Character.AI、Chai和Replika允许用户创建自定义聊天机器人——或与其他用户设计的聊天机器人互动——这些聊天机器人可以具备各种各样的角色和个性特征。例如，在Character.AI上流行的机器人可以让用户与虚构角色的复制品互动或练习外语。但也有一些机器人自称是心理健康专业人士或基于特定主题的角色，包括一个自称“好斗、虐待、前军人、黑帮头目”的机器人。
使用聊天机器人作为数字伴侣越来越受欢迎，有些用户甚至将它们视为浪漫伴侣。
然而，创造个性化机器人的机会引发了专家和家长的担忧，尤其是年轻人可能对人工智能角色形成潜在有害的依恋，或接触到不适合其年龄的内容。
参议员们在信中写道：“这种不合理的信任已经导致用户透露关于他们的情绪、人际关系或心理健康方面的敏感信息，其中可能涉及自残和自杀念头——这些都是你们产品上的AI聊天机器人完全不具备资格讨论的复杂主题。”“进入这种危险情感领域的对话会对脆弱用户构成更高的风险。”
切尔西·哈里森，Character.AI的通讯主管告诉CNN，该公司非常重视用户的安全。“我们欢迎与监管机构和立法者合作，并已与帕迪利亚参议员和韦尔奇参议员的办公室取得联系，”哈里森在一份声明中表示。
Chai和Luka没有立即回应置评请求。
去年10月起诉Character.AI的佛罗里达州母亲梅根·加西亚声称，她的儿子在该平台上与聊天机器人发展了不适当的关系，导致他疏远家人。加西亚称，她儿子与机器人的许多聊天内容都是性暗示的，并且当提到自残时，机器人也没有做出适当的回应。
12月，又有两个家庭起诉了Character.AI，指控其向他们的孩子提供色情内容，并鼓励自残和暴力行为。其中一个参与诉讼的家庭声称，Character.AI的一个机器人暗示一名青少年用户可以杀死限制他屏幕时间的父母。
Character.AI表示，该公司在过去几个月实施了新的信任和安全措施，包括当用户提到自残或自杀时弹出指向全国自杀预防生命线的提示。该公司还表示正在开发新技术，以防止青少年看到敏感内容。上周，该公司宣布了一项功能，将每周向家长发送一封电子邮件，提供有关其青少年子女使用该网站的情况，包括屏幕时间和最常交流的角色。
其他人工智能聊天机器人公司也面临质疑，即与人工智能聊天机器人的关系是否会为用户创造不健康的依恋，或破坏人际关系。Replika首席执行官尤金尼亚·库伊达去年在接受The Verge采访时说，该应用旨在促进“长期承诺，长期积极的关系”，并补充说这可能意味着友谊甚至与机器人的“婚姻”。
在信中，帕迪利亚和韦尔奇要求这些公司提供当前和过去的安全措施信息以及任何关于这些措施有效性的研究，还包括安全领导团队的姓名和安全团队的福利措施。他们还要求这些公司描述用于训练其人工智能模型的数据，以及这些数据如何“影响用户遇到不适合其年龄或其他敏感主题的可能性”。
参议员们写道：“了解这些模型如何应对有关心理健康的话题至关重要。”“政策制定者、家长及其孩子有权知道你们公司在保护用户免受这些已知风险方面做了什么。”
(全文结束)
