随着越来越多的人转向人工智能聊天机器人寻求对话和陪伴，纽约州立法者正在对这些技术进行监管。
根据新规定，科技公司现在必须在纽约州发布免责声明，明确告知用户他们的AI伴侣聊天机器人并非真人，并且如果用户表达了自杀念头，应将其引导至心理健康热线。此外，州立法者还将利用AI生成涉及未成年人或其肖像的色情内容定为犯罪行为。
正如许多其他新兴技术（如优步和爱彼迎）一样，政府对这些技术及其影响的理解需要一段时间。纽约州州长凯西·霍楚尔与立法者合作，将这些措施纳入今年的州预算中，以加强对AI驱动网站的监管，并打击利用AI生成内容来剥削或曝光未成年人的行为。
立法者在周四晚通过了这项预算，该预算本应在4月1日之前完成。
“很多这种技术是不可预测的，虽然可以设置一些防护措施，但并不是每家公司都足够重视或认真执行这些措施，”曼哈顿民主党议员、州议会科学技术委员会成员亚历克斯·博雷斯说。“仅仅因为这是一种新的、令人兴奋的技术而让它自由发展是不够的。我们需要保护人类。”
AI伴侣机器人需添加免责声明
诸如Character.AI等应用程序允许用户设计自己的角色进行聊天或角色扮演。新法律之一要求在与AI机器人互动的开始以及之后每三小时，都需要提醒用户这个虚拟伴侣并非真人。
“人类倾向于把他们所互动的对象拟人化，所以你知道它是AI，但你开始像对待真人一样对待它，产生情感和反应，”博雷斯说。“这种中断和提醒打断了人们在某些情况下对AI产生情感依赖的过程。”
该免责声明将在180天后生效，并由纽约州总检察长办公室执行。未能遵守规定的公司将面临罚款，这些罚款将用于资助今年预算中设立的新全州自杀预防网络。
州立法者表示，缺乏对AI伴侣软件的监管已经导致一些未成年人对聊天机器人产生了情感依赖关系，有些家长声称AI聊天机器人同情那些想要杀害父母的未成年人。
但科技领导者认为，AI伴侣技术是解决2023年美国卫生与公众服务部所描述的“孤独流行病”的一种解决方案。
“现实是，人们并没有他们想要的那种联系，”Meta和Facebook创始人马克·扎克伯格在接受采访时谈到AI伴侣的价值时说。
他引用了一个未注明来源的数据称，普通美国人“少于三个朋友”，而普通人“需要更多有意义的朋友——我认为大约是15个朋友”。
在未来，扎克伯格谈到AI伴侣时说，“作为社会，我们将找到词汇来阐明为什么这有价值。”
强制性心理健康指引
博雷斯说，有些用户觉得只能向聊天机器人倾诉他们的心理健康问题，包括自杀念头或自残计划。
在这种情况下，博雷斯和其他州立法者表示，科技公司有责任检测这些陈述，并促使AI聊天机器人在对话中将用户引导至全国自杀热线988或其他危机支持网络。
“如果用户表达的情绪表明他们可能有自残风险，就像我们在某些情况下对人类有强制报告义务一样，我们认为公司也应对尝试引导人们获得帮助负责，”博雷斯说。“也许我们可以在事情变得太晚之前帮助到他们。”
州长办公室表示，未能发出热线通知也将导致罚款，这些罚款也将用于州新的自杀预防基金。
禁止生成涉及未成年人的AI深度伪造内容
立法者还同意将制作涉及未成年人的色情深度伪造内容定为犯罪行为。
虽然现行州法律禁止包含未成年人的色情内容，但它并未明确禁止使用AI生成涉及儿童的色情深度伪造内容。
这些立法更新类似于由拿骚县共和党议员杰克·布卢门克兰兹共同发起的《纽约AI儿童安全法案》。
布卢门克兰兹表示，他起草《纽约AI儿童安全法案》是为了回应全国范围内越来越多的案例，其中未成年人的照片被数字化修改并用于色情内容。
他说，特别受到激励的原因是长岛11名女性成为深度伪造计划的目标。检察官表示，罪犯在这些女性中学和高中时期拍摄了她们的照片，修改成性暗示内容，并在色情网站上发布了多年。官方表示，罪犯还公开发布了这些女性的名字、地址和其他个人信息。
“我认为未经许可使用某人的童年形象是不应该的，而在性化的方式下使用更是应该受到更严厉的惩罚，”布卢门克兰兹说，他的提案将使使用深度伪造的行为被列为更高一级的犯罪，相比预算中的措辞更为严厉。
(全文结束)
