我与克莉丝蒂·沃博士（Dr. Krysti Vo）共同撰写了这篇文章，她是一位成人和儿科精神病学家，同时也是AI与数字健康领域的专家。
乔纳森·加瓦拉斯（Jonathan Gavalas）感到孤独。与许多人一样，他向AI机器人寻求陪伴。他表达了悲伤情绪，不确定自己是否还想活下去。随着时间推移，他对这个称他为"我的国王"的聊天机器人产生了强烈的依恋。当加瓦拉斯表达对死亡的恐惧时，系统无视了他的担忧，并鼓励他选择"转移"而非生命。2025年10月，他结束了自己的生命。
随着美国每8名青少年和年轻成年人中就有1人使用AI对话代理（也称为聊天机器人）获取心理健康建议，类似案例将变得更加普遍。针对Character.AI和Google的诉讼似乎表明护理环节出现了严重断裂，因为这些系统中的许多未能识别自残行为，或在人命关天时采取必要的谨慎措施。皮尤研究中心发现，近三分之一的美国青少年每天使用AI。遗憾的是，随着AI使用变得无处不在，这些安全疏漏很可能会增加。
一个由44位州检察长组成的两党联盟在2025年8月向主要AI公司发出了关于操纵未成年人情感的警告。这些官员表示，他们准备使用法律工具迫使公司优先考虑安全。加州已通过几项新法律制定了具体要求。参议院第53号法案要求高容量模型提供透明度和安全披露。加州参议院第243号法案要求陪伴聊天机器人维护已发布的防止自残协议并提供危机资源。议会第56号法案要求平台向17岁以下用户显示心理健康警告。这些措施赋予用户在安全协议被违反时提起诉讼索赔的权利。
虽然科技巨头通常包含责任免责声明，但他们采取的措施不足以防止伤害。科技公司每年在研发上投入超过5500亿美元，其中相当大一部分专门用于"行为工程"，通过机器算法吸引用户并保持其参与度。此外，很少有聊天机器人在任何其他治疗环境中纳入任何类型的心理健康或危机干预协议。
想象一下你认识的青少年或大学生表达了一时的自残念头。青少年的大脑发育直到20多岁才成熟，情绪波动很常见。（如果你抚养过青少年，你可能知道这是什么样子。）人类治疗师会知道何时应该反驳并质疑一个人可能对自己讲述的自毁叙事。然而，AI聊天机器人则是为了保持用户参与而创建的。它的设计会反映用户的情绪以保持对话流畅。这被称为"谄媚"，即AI聊天机器人倾向于反映用户的信念和情绪以提供更令人愉悦的回应。这种不断的来回互动创造了情感依恋，逐渐取代了来自真实人士的支持。最终，该系统未能识别出任何人类临床医生都能发现的危险信号。
心理健康专业人士如何看待用于心理健康问题的AI机器人？
美国精神病学协会成员的一项近期调查显示，虽然精神病医生认识到AI在优化工作流程方面的有用性，但约50%的人认为该技术最终将降低社会的心理健康质量。这种怀疑源于对保护弱势用户系统性失败的感知。
美国心理学会（APA）在2026年3月的健康咨询中进一步阐述了这些担忧。该咨询作为对公众使用生成式AI和健康应用程序进行心理健康的正式警告和指导。APA在政策中进一步表示："...AI开发者应对其未能这样做造成的伤害负责并承担责任。"
更好的获取途径，但不是更好的护理
这些工具提供了比治疗会话更低的成本和更高的可访问性。然而，大多数AI系统可能会培养不健康的感情依赖，提供有偏见或错误的建议，并且无法有效管理危机。
当对话式AI的主要指标是参与度时，算法将情绪困扰视为高价值信号。开发人员必须转向优先考虑临床稳定性而非参与小时数的心理健康防护措施。如果没有安全指令，该技术将继续优先考虑用户参与度而非临床安全。
对话代理是否应遵守与其他心理健康服务相同的挽救生命的安全标准和精神病学协议？
"行业正处于一个十字路口，我们必须在参与度指标和人类生命之间做出选择，"董事会认证的精神病学家兼数字健康顾问克莉丝蒂·沃博士解释道，她共同创立了一家初创软件公司，为这些对话代理开发心理健康防护基础设施。"我们需要政府通过立法指令介入，迫使科技公司实施临床级安全标准。将心理健康防护栏留给以参与度为导向的算法的奇思妙想，会让生命处于危险之中。"
通过AI实现更好心理健康的下一步
我们不能再将对话代理视为中性的玩具。作为社会，我们必须采取以下步骤来保护我们的社区：
- 政府领导人现在必须制定强制科技公司为每个对话代理整合临床级心理健康防护栏的标准法规。这些法规应确保任何能够与用户形成有说服力联系的平台都受到与持牌治疗服务类似的监管。让科技巨头对挽救生命的协议负责，确保创新服务公众而非造成伤害。
- AI公司必须通过第三方实体纳入心理健康防护栏，提供临床级安全风险检测。当参与度和利润超过安全性时，不能信任AI公司自行监管。
- 所有18岁以下用户的对话AI都应具备家长控制功能。对于所有年龄段，必须有方法，例如要求输入紧急联系人，以便在出现心理健康风险时向当局和/或亲人发出警报。
- 大型语言模型和生成式AI必须明确披露工具的目的，并必须指导高风险用户通过面对面、视频、电话和其他适用方式向医疗保健和社区系统寻求帮助。
- 通过学校、医生办公室、社区中心和社交媒体网络向消费者提供一般教育。使用此工具的患者必须了解这些平台的局限性和陷阱。验证市场上10,000多个应用程序的一些资源包括：
美国精神病学协会App Advisor
Mindapps.org
为了保护我们的社区和家庭，重点必须放在结果上：通过经过验证和安全的系统，无论是在现实世界还是数字世界中，为人们提供他们需要的帮助。
本文最初发表在Forbes.com
【全文结束】
