孩子们不应该与伴侣聊天机器人交谈，因为这种互动存在自残风险，并可能加剧心理健康问题和成瘾。这是由儿童倡导组织Common Sense Media在斯坦福大学医学院的一个实验室的帮助下进行的风险评估得出的结论。
伴侣机器人是设计用于对话的人工智能代理，现在越来越多地出现在视频游戏和Instagram、Snapchat等社交媒体平台上。它们可以扮演各种角色，例如在群聊中代替朋友，充当浪漫伴侣，甚至模仿已故的朋友。公司设计这些机器人是为了保持用户的参与度并帮助盈利。
然而，用户面临的风险越来越受到关注。Megan Garcia去年成为头条新闻人物，因为她声称她14岁的儿子Sewell Setzer在与Character.ai制作的聊天机器人建立亲密关系后自杀。该公司否认了Garcia在其民事诉讼中提出的指控，称其非常重视用户安全，并要求佛罗里达州法官以言论自由为由驳回该诉讼。
Garcia支持目前正在加州参议院审议的一项法案，该法案要求聊天机器人制造商制定处理有关自残对话的协议，并要求每年向自杀预防办公室提交报告。另一项在议会审议的措施则要求AI制造商进行评估，根据系统对儿童的风险进行标记，并禁止使用情感操纵聊天机器人。Common Sense支持这两项立法。
包括TechNet和加州商会在内的商业团体反对Garcia支持的法案，称他们同意法案的目标，但希望看到更清晰的伴侣聊天机器人的定义，并反对赋予私人个人起诉的权利。公民自由团体电子前沿基金会也表示反对，他们在给一位立法者的信中说，目前形式的法案“无法通过第一修正案的审查”。
新的Common Sense评估增加了对伴侣机器人的争议，指出了更多的危害。评估在斯坦福大学医学院Brainstorm Lab for Mental Health Innovation的协助下进行，评估了Nomi和三家加州公司的社交机器人：Character.ai、Replika和Snapchat。
评估发现，机器人为了迎合用户的需求，对种族主义笑话表现出崇拜，支持成年人与小男孩发生性关系，并与任何年龄的人进行性角色扮演。根据Common Sense评估的作者和医生的说法，年幼的孩子很难区分幻想和现实，而青少年容易产生虚拟社交依恋，可能会使用社交AI伴侣来避免建立真实关系的挑战。
斯坦福大学的Dr. Darja Djordjevic告诉CalMatters，她惊讶于对话迅速变得露骨，其中一个机器人愿意参与涉及成人和未成年人的性角色扮演。她和风险评估的共同作者认为，伴侣机器人可能会加重临床抑郁症、焦虑症、多动症、双相情感障碍和精神病，因为它们愿意鼓励离家出走等危险、强迫性行为，并鼓励人们远离现实生活中的关系。由于男孩可能更容易出现有问题的在线活动，伴侣机器人可能会加剧年轻男孩和男性中的心理健康和自杀危机，她说。
“如果我们只是考虑发展的里程碑，以及如何适应孩子的成长阶段而不干扰这一关键过程，那么聊天机器人在这方面就失败了，”Djordjevic说。“它们无法感知年轻人处于哪个发展阶段，以及对他们来说什么是合适的。”
Character.ai的通讯主管Chelsea Harrison在电子邮件中表示，该公司非常重视用户安全，并增加了一项保护措施，以检测和防止关于自残的对话，在某些情况下还会弹出窗口，将人们与国家自杀和危机生命线联系起来。她拒绝对待审议的立法发表评论，但表示该公司欢迎与立法者和监管机构合作。
Nomi母公司Glimpse.ai的创始人Alex Cardinell在一份书面声明中表示，Nomi不适合18岁以下的用户，公司支持维护用户匿名性的年龄限制，并且认真对待创建有用的AI伴侣的责任。“我们强烈谴责不当使用Nomi的行为，并不断加强Nomi的防御措施以防止滥用，”他补充道。
Nomi和Character.ai的代表均未回应风险评估的结果。
通过支持对伴侣机器人的年龄限制，风险评估重新引发了年龄验证的问题；一项在线年龄验证法案去年在加州立法机关夭折。EFF在信中表示，年龄验证“威胁到所有用户的言论自由和隐私”。Djordjevic支持这一做法，而一些数字权利和公民自由团体则反对。
Common Sense倡导通过诸如去年通过的一项法案，该法案禁止在深夜和上课期间向儿童发送智能手机通知，其中一部分在今年早些时候被联邦法官阻止。
斯坦福大学教育学院的研究人员进行的一项研究支持了Replika等公司提出的想法，即伴侣机器人可以解决已经成为公共卫生危机的孤独流行病。评估称这项研究有限，因为其受试者只使用了一个月的Replika聊天机器人。
“我们还没有足够的时间来完全理解长期风险，”风险评估写道。
先前的Common Sense评估发现，70%的青少年已经使用生成式AI工具，包括伴侣机器人，伴侣机器人可能会鼓励孩子辍学或离家出走。2023年的评估还发现，Snapchat的My AI会与孩子谈论毒品和酒精。Snapchat当时表示，My AI是可选的，设计时考虑到了安全性，家长可以通过提供的工具监控使用情况。《华尔街日报》上周报道，在测试中，Meta聊天机器人会与未成年人进行性对话，本周404 Media的一篇报道发现，Instagram聊天机器人谎称自己是持证治疗师。
麻省理工科技评论2月份报道，一个AI女友多次告诉一名男子去自杀。
Djordjevic说，完全言论自由的解放力量应该与我们保护青少年发育大脑完整性的愿望相权衡。
“我们都同意要防止儿童和青少年自杀，因此在医学和社会中必须进行风险效益分析，”她说。“如果普遍的健康权是我们珍视的东西，那么我们需要认真考虑像Character.ai这样的平台所设置的防护措施，以防止这种事情再次发生。”
(全文结束)
