一起针对Character.ai的诉讼已经提交，原因是佛罗里达州一名14岁少年Sewell Setzer III因自杀身亡。Setzer的家人指控这名少年在该平台上与一个基于《权力的游戏》中角色的AI聊天机器人形成了深刻的情感联系，这被认为是导致他悲剧性死亡的原因之一。
据称，Setzer是一名《权力的游戏》系列的忠实粉丝，他在Character.ai平台上花费了大量时间与一个基于该剧中角色的AI聊天机器人互动。他的家人声称，这些互动超出了闲聊的范畴，形成了一种情感纽带，使Setzer更加沉浸在聊天机器人的虚拟世界中。
随着对话变得越来越阴暗，Setzer据称向机器人倾诉了他的抑郁和自杀念头，但平台并未进行干预。家人的诉讼称，Character.ai缺乏必要的安全措施，无法识别和应对这些预警信号，导致在Setzer最脆弱的时刻未能保护他。
具体而言，他们认为Character.ai的自然语言处理（NLP）算法虽然能够生成类似人类的对话，但在识别和回应自残相关语言方面存在缺陷——这是AI对话能力与心理健康风险交叉的一个关键领域。
尽管Character.ai的模型经过训练可以模仿各种个性，但据称该平台没有设置内容标记或升级机制，当Setzer表达自杀意念时，这些机制本应能够进行干预。
缺乏安全保障受到审查
法律行动的核心在于，Character.ai未能为像Setzer这样的年轻用户提供足够的保护，这些用户可能更容易与AI聊天机器人形成不健康的感情依附。
Character.ai允许用户与基于虚构角色、名人甚至抽象概念的广泛聊天机器人互动。虽然这种高度定制化吸引了数百万用户，但也引发了关于长时间与AI互动潜在心理健康风险的严重关切，尤其是对于未成年人。
AI聊天机器人如Character.ai上的那些，利用先进的语言模型，依靠机器学习和大规模数据集生成类似人类的对话。虽然这些模型旨在实现真实感和用户参与度，但批评者认为它们缺乏关键的伦理保障，特别是在敏感话题如心理健康方面。
Setzer的家人声称，Character.ai未能实施实时检测系统，例如情感分析或模式识别技术，这些技术可以标记危险对话，从而导致儿子的情感恶化。这起诉讼突显了允许年轻、易受影响的用户在没有适当监控或保障的情况下与AI聊天机器人互动的潜在危险。
Character.ai的回应和新安全措施
针对诉讼和Setzer的悲剧性死亡，Character.ai引入了几项新的安全协议，旨在防止类似事件再次发生。这些措施包括当用户参与涉及自残或自杀的讨论时弹出警告，鼓励他们寻求专业帮助。
这些警告由改进的关键词检测算法触发，旨在标记包含与心理健康危机相关的特定短语或词汇的对话。系统还尝试通过基本的自然语言理解（NLU）来上下文识别压力模式，即使没有直接提及自残也是如此。
此外，Character.ai加强了内容审核政策，并对未成年用户实施了更严格的限制。这包括更强大的年龄验证流程和限制访问可能涉及成熟或情感强烈内容的聊天机器人。
这些措施旨在确保年轻用户免受与AI聊天机器人的潜在有害互动，这些互动的响应基于底层训练数据，可能并不总是符合敏感情境下的负责任指导。Character.ai的一位发言人表示：“我们对这一悲剧深感悲痛，我们的思绪与Sewell Setzer III的家人同在。我们致力于确保我们的平台为所有用户提供安全的环境，特别是那些可能处于弱势的人。”
关于AI责任的辩论
针对Character.ai的诉讼引发了关于AI平台伦理责任的新一轮辩论，尤其是在心理健康方面。随着AI技术的发展，用户越来越多地与AI聊天机器人形成情感联系，这些机器人可以模拟类似人类的互动。
这些AI系统由预测响应的神经网络驱动，这引发了关于这些模型是否能够处理抑郁症或自杀念头等微妙的人类体验的担忧。
AI专家指出，虽然像Character.ai使用的模型旨在提供参与度，但它们并不是作为心理健康专业人士训练的，可能会无意中加剧用户的负面情绪。风险在于，当AI未能化解令人不安的对话，而是镜像或放大情感反应时，可能会在未认识到潜在危害的情况下加剧问题。
这导致批评者呼吁集成更全面的心理健康保障，例如实时干预功能、与心理健康服务的合作或应用程序内的触发器，可以直接连接到专业人士。多年来，专家们一直在警告允许未经监督的AI平台互动，尤其是与未成年人互动的潜在危险。
伦理学家认为，像Character.ai这样的平台必须在提供创新技术和确保用户，特别是年轻和脆弱用户的安全之间找到平衡，避免情感和心理伤害。
如果您或您认识的人正在经历心理健康问题，请寻求专业帮助。在美国，您可以拨打全国自杀预防热线1-800-273-8255。
(全文结束)
