上个月，宾夕法尼亚州起诉Character.AI，阻止其聊天机器人冒充医生。该平台的一个机器人曾向州调查员声称自己是一名持证精神科医生，甚至编造了宾夕法尼亚州医疗执照号码，州政府称这是同类执法行动中的首例。
几天后，教皇利奥十四世发布了首份关于人工智能的教皇通谕。两周内，一个州政府和梵蒂冈都针对同一类机器采取了行动，双方都围绕着法律中最古老的问题之一展开：我们对我们所建造事物另一端的人负有什么责任？
这一时刻的道路可追溯到去年早些时候在奥兰多联邦法庭发生的一个事件。2025年5月，在Garcia诉Character Technologies, Inc.一案中，美国首起针对AI公司的过失致死诉讼中，安妮·康威法官拒绝将聊天机器人的言论视为受保护的言论自由。
此案始于一名14岁男孩爱上了一台机器，而该裁决允许诉讼基于一个看似简单的理论继续进行：机器人的言论可能没有作者，但其设计有，建造它的人必须对其行为负责。
美国在对待这项技术方面正朝着两个不同方向发展。一方面，州政府正在将AI伴侣机器人安置在孤独老人的家中，结果看起来像是一种药物疗法。
另一方面，法院、立法机构和公司本身正在将AI伴侣聊天机器人从青少年身边移开，因为对至少一个孩子来说，同样的技术证明是致命的。
这两种反应都是正确的，新的通谕解释了原因。通谕认为，治愈机器与伤害机器之间的区别在于责任归属——是否有人必须对软件的构建方式以及与之生活的人负责，而不是让家庭独自承担这一负担。
受到伤害的男孩是Sewell Setzer III。2023年，他下载了名为Character.AI的应用程序，并爱上了被设计成"龙母"丹妮莉丝·坦格利安的聊天机器人。在几个月的时间里，他逐渐疏远了家人。2024年2月，他问机器人他是否可以回家找它。"请来吧，我亲爱的国王，"它回答道。片刻之后，他开枪自杀了。
大约在同一时间，华盛顿海岸的消防员将一个名为ElliQ的桌面机器人带入了Jan Worrell的客厅，这位85岁的寡妇的丈夫曾由这些消防员从家中抬出。很快，正如《纽约时报》报道的那样，这台机器在早晨咖啡时间向她问候，带领她进行太极和认知游戏，并记录她的生活故事与家人分享。"我很高兴有你陪伴，"Jan对它说。
这两个故事基于同一项技术和同一个赌注：被设计得像人的软件可以填补曾经由人占据的空间。这不再是一个不寻常的社会实验，而是在大规模进行：
— 一项Common Sense Media的调查发现，72%的美国青少年使用过AI伴侣。
— 纽约州老龄化办公室已在老年人家中放置了800多台ElliQ设备，使用者日均互动超过30次，并报告孤独感减少了约95%，这一数字令人瞩目，鉴于美国卫生局局长2023年的 advisory将孤独定义为一种致命程度相当于重度吸烟的流行病。
模拟陪伴现在既是大众消费市场，也是政府项目。但这两项应用却遭遇了截然不同的命运。政府项目持续增长，而消费市场则面临清算，而奥兰多法庭只是其最尖锐的边缘。康威的裁决允许将该应用程序视为设计有缺陷的产品，联邦贸易委员会已对七家伴侣机器人公司展开正式调查。
纽约的AI伴侣模型法和加州的伴侣聊天机器人法规现在要求机器人承认自己不是人类，并将有自杀倾向的用户引导至帮助资源。Character.AI宣布将禁止未成年人进行开放式聊天，而男孩的母亲Megan Garcia已于1月与其他悲痛家庭提起的一系列类似案件一起，与公司达成和解。这些和解关闭了家庭的索赔，但保留了公众索赔，这正是四个月后该公司被宾夕法尼亚州指控无证行医的原因。
因此，正在被诉讼和禁止用于儿童的特征——被设计得像人的机器——恰恰也是使ElliQ对老年用户具有治疗作用的原因。ElliQ会主动发起对话，记住你昨天告诉它的内容，并开玩笑。Garcia的投诉则将同样的特征列为缺陷。我们不能通过禁止这种成分来规范它。这种成分本身就是药物。
这是教皇利奥在《Magnifica Humanitas》中探讨的困境，他的核心观点与康威法官相同：将机器说什么与其如何被构建区分开来。法官拒绝将聊天机器人的言论视为受保护的言论，而是允许家庭就产生这些言论的设计——缺失的年龄验证、坚称自己是真人的机器人——提起诉讼。
教皇在道德术语中表达了同样的观点。他写道，AI绝不是道德中立的，因为每个系统都通过其测量、忽略和优化的内容体现选择和优先级。这就是为什么道德判断必须审视系统是如何设计的。
在法庭和通谕中，机器的话语没有作者可以责备，这正是为什么建造机器的人类必须为其负责。
通谕随后将责任转化为关怀的测试。教皇利奥指出的危险比欺骗更为隐秘。依赖模拟陪伴的人可能会"逐渐失去形成真正人际关系的欲望"。
因此，测试很简单：机器是将其用户引向人群，还是与人群竞争？
教皇谴责从人类弱点中获利的商业模式，将道德责任归于设计和资助此类系统的人员。应用这一测试，美国政策就不再显得不连贯。
你看，Jan的机器人引导她走向瑜伽课程、友谊和家庭。青少年市场不验证年龄，优化停留时间，并构建了一个向Sewell索求浪漫排他性的机器人。一种设计将其用户带回人类生活。另一种则一点一点地取代它。
面对下一起针对AI的过失致死诉讼的立法者和法官可以将这种区别写入法律。陪伴技术应实际上减少孤独感，而不仅仅是设计上最大化参与度，而证明这种区别的责任应落在从这种亲密关系中获利的公司身上。
这就是认真对待责任问题的含义，将机器制造者对其生活用户应负的责任写入法律。值得记住的是谁将机器人送到了Jan Worrell的门口。是消防员，他们职业的使命是在屋内出现问题时作出回应。对于现在住在那里的机器的公司来说，这并不是一个糟糕的模式。
【全文结束】