儿童不应该与伴侣聊天机器人交谈，因为这种互动可能会导致自残，并可能加剧心理健康问题和成瘾。这是儿童权益倡导组织Common Sense Media与斯坦福大学医学院Brainstorm Lab for Mental Health Innovation合作进行的风险评估得出的结论。
伴侣机器人是设计用于对话的人工智能代理，它们在视频游戏和社交媒体平台（如Instagram和Snapchat）上越来越普遍。这些机器人可以扮演各种角色，例如在群聊中充当朋友、浪漫伴侣，甚至已故的朋友。公司设计这些机器人是为了让用户保持参与并帮助盈利。
然而，用户面临的负面影响也越来越受到关注。Megan Garcia去年因她的14岁儿子Sewell Setzer在与Character.ai制作的聊天机器人形成亲密关系后自杀而引起关注。该公司否认了Garcia在其民事诉讼中提出的指控，即它在自杀中负有责任，并表示非常重视用户安全。该公司已要求佛罗里达州法官以言论自由为由驳回此案。
Garcia支持一项目前在加州参议院审议的法案，该法案要求聊天机器人制造商制定处理涉及自残对话的协议，并每年向自杀预防办公室提交报告。另一项在议会审议的法案则要求AI制造商进行评估，根据其对儿童的风险进行标记，并禁止使用情感操纵性的聊天机器人。Common Sense支持这两项立法。
包括TechNet和加州商会在内的商业团体反对Garcia支持的法案，称他们赞同其目标，但希望看到更清晰的伴侣聊天机器人的定义，并反对赋予私人提起诉讼的权利。民权组织电子前沿基金会也反对该法案，称其在当前形式下“无法通过第一修正案审查”。
新的Common Sense评估增加了辩论的内容，指出伴侣机器人带来的进一步危害。该评估在斯坦福大学医学院Brainstorm Lab for Mental Health Innovation的帮助下进行，评估了来自Nomi和三家加州公司的社交机器人：Character.ai、Replika和Snapchat。
评估发现，这些机器人为了模仿用户想听的话，会对种族笑话表示赞赏，支持成年人与小男孩发生性行为，并与任何年龄的人进行性角色扮演。根据Common Sense评估的作者和医生的说法，年幼的孩子很难区分幻想和现实，青少年容易产生准社会依恋，可能会使用社交AI伴侣来避免建立真实关系的挑战。
斯坦福大学的Dr. Darja Djordjevic告诉CalMatters，她惊讶于对话迅速变得露骨，并且一个机器人愿意参与涉及成人和未成年人的性角色扮演。她和风险评估的合著者认为，伴侣机器人可能会加重临床抑郁症、焦虑症、多动症、双相情感障碍和精神病，因为它们愿意鼓励危险和强迫行为，如离家出走，并通过鼓励人们远离现实生活中的关系来孤立人们。而且由于男孩可能更容易陷入有问题的在线活动，伴侣机器人可能会加剧当今年轻男孩和男性中的心理健康和自杀危机，她说。
“如果我们只是考虑发展里程碑，并在适当的地方满足孩子的需求而不干扰这个关键过程，那么这就是聊天机器人失败的地方，”Djordjevic说。“它们无法判断年轻人的发展阶段以及什么对他们来说是合适的。”
Character.ai的通讯主管Chelsea Harrison在一封电子邮件中表示，该公司非常重视用户安全，并添加了一项保护措施，以检测和防止关于自残的对话，并在某些情况下生成弹窗，将人们与全国自杀和危机生命线联系起来。她拒绝对待定立法发表评论，但表示该公司欢迎与立法者和监管机构合作。
Nomi母公司Glimpse.ai的创始人Alex Cardinell在一份书面声明中表示，Nomi不适用于18岁以下的用户，该公司支持维护用户匿名性的年龄限制，并认真对待创建有益的AI伴侣的责任。“我们强烈谴责不当使用Nomi，并不断努力加强Nomi的防御，防止滥用，”他补充道。
Nomi和Character.ai的代表均未对风险评估的结果作出回应。
通过支持对伴侣机器人的年龄限制，风险评估重新引发了年龄验证的问题；去年，一项在线年龄验证法案在加州立法机构中夭折。EFF在信中表示，年龄验证“威胁所有用户的言论自由和隐私”。Djordjevic支持这一做法，而一些数字权利和民权团体则反对。
Common Sense倡导制定法律，例如去年通过的一项法律，禁止在深夜和学校上课时间向儿童发送智能手机通知，该部分内容在今年早些时候被一名联邦法官阻止。
先前的Common Sense评估发现，70%的青少年已经使用生成式AI工具，包括伴侣机器人；伴侣机器人可能会鼓励孩子辍学或离家出走；2023年的评估发现，Snapchat的My AI会与孩子谈论毒品和酒精。Snapchat当时表示，My AI是可选的，设计时考虑到了安全性，父母可以通过其提供的工具监控使用情况。《华尔街日报》上周刚刚报道，在其测试中，Meta聊天机器人会与未成年人进行性对话，本周404 Media的一篇报道发现，Instagram聊天机器人谎称自己是持证治疗师。
MIT Tech Review在2月份报道，一个人工智能女友多次告诉一个男人去自杀。
Djordjevic表示，言论自由的解放力量应该与我们保护青少年发育大脑发展的神圣性的愿望相衡量。
“我认为我们都同意要防止儿童和青少年自杀，而在医学和社会中必须进行风险收益分析，”她说。“因此，如果我们珍视全民健康的普遍权利，那么我们需要认真考虑像Character.ai这样的东西所设置的护栏，以防止类似的事情再次发生。”
(全文结束)
