人工智能聊天机器人让人们能够轻松讨论那些难以与他人分享的话题。对于青少年来说，这包括焦虑、孤独、自残和自杀等极为私人的问题。
Meta公司现在为这些对话增加了一层新的安全防护。当受监督的青少年在与Meta AI交谈时出现严重痛苦迹象，该公司将开始向家长发送警报，让家庭有机会在情况恶化前介入。
警报如何运作？
Meta AI此前已会在对话暗示可能自残时，引导青少年联系危机热线，并鼓励他们联系家长、咨询师或其他可信赖的成年人。在新的系统下，Meta还会通知监督家长。一个专门的检测系统会寻找明确或隐晦的自杀和自残指涉，但警报不会立即发出。
每个被标记的对话将首先由人工审核员复核。Meta表示，当青少年的意图不明确时，他们会倾向于谨慎处理，这意味着家长有时可能会收到警报，即便没有立即危险。他们还将获得专家资源，指导如何开启对话。
更严重的情况如何处理？
Meta还正在构建一个系统，当涉及成人或青少年的对话暗示即将发生自杀风险时，该系统可以联系紧急服务机构。该公司已对Facebook和Instagram上令人担忧的帖子执行类似流程。
在完善Meta AI如何处理这些对话时，公司咨询了超过75位专攻青少年心理健康的临床医生。其更严格的“受限内容”设置也将扩展至AI聊天，允许家长屏蔽更广泛的敏感提示。
ChatGPT去年推出了类似的家长警报和安全功能，最近又通过“可信联系人”将相同理念扩展至成人。随着人们越来越习惯与AI讨论深层次的个人问题，聊天机器人正越来越多地被卷入它们无法安全独自处理的对话中。
研究已显示这些互动可能产生的不良后果。一项由斯坦福大学主导的研究发现，在某些情况下，AI系统会强化自残或暴力想法，而不是引导脆弱用户寻求帮助，尤其是在长时间、情绪激烈的对话中。Meta的新安全措施让家长、临床医生和应急人员有机会在聊天机器人达到其安全处理极限时介入。
【全文结束】