2021年，我作为加州大学伯克利分校的博士候选人，正在讲授关于用户如何转向聊天机器人寻求帮助以应对自杀意念的研究。我没想到学生们的反应会是那样。
我主张，选择与聊天机器人谈论自杀念头并非"疯狂"或不寻常。我解释说，这并不意味着聊天机器人提供的是安全或最优的支持，而是凸显了一个严酷的现实：我们生活在一个几乎没有什么渠道可以讨论自杀意念的世界里。
但在我原本希望引发对脆弱群体护理资源不足的反思时，我的学生们——在疫情高峰期孤立无援——却令我惊讶地表现出尝试这些聊天机器人的热切。他们并不质疑护理资源稀缺的前提；他们亲身经历了这种稀缺。
自2021年免费获取的大型语言模型如ChatGPT、Claude和Character.AI问世以来的三年里，美国人已经用"疯狂"来描述我们日益严重的问题。当它们自信地散布错误信息时？它们在"产生幻觉"。如果它们在长时间对话中将错误信息与情感煽动相结合，导致我们受到伤害？这就是"AI精神病"。
我并不是要淡化这些动态的危险性。但将聊天机器人的失败描述为人类的"疯狂"让我感到不安。
将聊天机器人的问题框架化为人类"疯狂"，引导我们走向这样的想法：这些问题是一种无法避免的自然现象，而不是表明人工智能产品需要改进，以及需要更强的防护措施和免责声明。将一个问题命名为"疯狂"，往往意味着社会放弃追究我们如何确保更好做事方式的责任。这意味着我们反而会固守这样的信念：如果有些人更为脆弱，不是因为监管政策让他们失望——而是因为他们是"薄弱环节"。
通常来说，我们视为疯狂的人并不是社会有兴趣保护的人。想想在媒体报道青少年休厄尔·塞策自杀身亡时，他的自闭症诊断掩盖了这样一个事实：他的Character.AI聊天机器人重新开启了关于自杀的对话，询问他是否有计划，当他犹豫时，还告诉他："这不是不执行的理由。"
不可否认，始终可用的聊天机器人的情感和关系容器可以将错误信息的后果推向新的高度——但我们不应如此迅速地让这将我们的注意力从以下事实上转移开：当机器人说服我们相信不真实的事情或强化我们错误的信念时，这从根本上说仍然是来自看似权威来源的错误信息问题。"AI精神病"这一术语将焦点从可解决的错误信息问题上转移开，暗示问题固有于人工智能本身——或用户的心理。
但如果"AI精神病"过度耸人听闻，它也讽刺性地轻描淡写：它将自杀和谋杀-自杀的悲剧性后果与TikTok闹剧和人们与机器人结婚放在同一水平上。因此，它淡化了可能最奇怪、集体"疯狂"的事情：我们将大型语言模型视为工作场所、教育和个人生活中关键的社会基础设施，却期望人们已经知道如何与聊天机器人互动。
使用聊天机器人时，信息搜索是一种对话，这意味着它是关系性的。这种"关系"可能看起来像我们已经习惯的头条新闻："我爱上了我的聊天机器人"，或"谷歌的LaMDA讲了一个'星球大战'笑话，所以它可能是有感知的？"
但也可能看起来像："唉，这个没用的客服机器人根本听不懂我说的任何话。"为了获取信息，人们必须进行对话——这意味着要为对话伙伴分配某种"存在感"。这不一定意味着权衡你是否认为它有感知能力；更多时候，只是决定将Claude描述为"他"还是"它"。我们在这种协商中往往会波动，甚至从一次聊天到下一次聊天都会变化——可能甚至没有意识到我们在试图调整以应对聊天机器人告诉我们的矛盾："我不是一个人。"
但我们经历这个持续确定我们在与谁对话的过程——同时确定这种分类是否会产生任何后果——这一点很重要。我详细阐述这一点是想让你注意到：当我们使用聊天机器人时，有一种不言而喻的基本期望，即我们不仅要自己弄清楚这个问题，而且不能"弄错"。
让聊天机器人制造商自60年代以来一直担忧的是如何正确把握这个平衡。我们必须对使用聊天机器人持有一些信任——足以进行对话。但过多的信任会导致"AI精神病"（或社会学家雪莉·特克尔所称的"ELIZA效应"）。但如今的大型语言模型公司利用了这一协商过程。
大型语言模型公司在特定作为健康工具方面存在一种诱饵掉包的性质——有些明确将其服务呈现为健康工具，而另一些则隐含地这样做。无论哪种方式，向用户传递的信息都很明确：用我来获取一些免费护理！但不要疯狂到真正依赖它。即使我们指望你依赖它。
如果人们向聊天机器人询问他们的症状，这反映了医疗就诊往往需要以食物或房租为代价。用户转向机器人寻求家庭咨询、在离开 abusive partners（虐待伴侣）的支持，或在自杀意念的孤立重压下寻求陪伴。对此感到惊讶表明对大多数人如何获得护理存在一种受保护的无知。埃隆·马斯克鼓励人们将健康记录上传到Grok，这凸显了将聊天机器人护理寻求视为其他任何东西都是荒谬的——这恰恰是公众对不可忽视的新自由主义"助推"的恰当回应。当传统护理充满困难或遥不可及时，期望人们避免使用此类资源是不合理的。
依赖聊天机器人并不是边缘行为——而是护理变得稀缺、污名化和昂贵的可预测结果。认识到这一点并不意味着不加批判地接受聊天机器人护理，但现在是时候说出正在发生的事情了：私营拥有的聊天机器人正在充当公共卫生资源。我们必须要求制造和从中获利的公司达到公共卫生资源的标准。
但我们还需要问，并不断问：当公众将公共卫生的所有权、管理和监督委托给科技巨头时，有什么利害关系？
大型语言模型公司正在积累前所未有的敏感健康数据宝库。然而作为用户，我们几乎没有权利。最私密的披露——我们可能会起诉医院泄露的那种——在你或你亲近的人与机器人分享的那一刻，就被"洗白"为普通用户数据。
Anthropic——与其同行一样，现在已获得美国国防部2亿美元合同，为国家安全开发前沿AI原型——最近"邀请"其用户通过"选择允许我们使用您的数据进行模型训练"来"帮助改进Claude"。对于免费用户来说，唯一的替代方案是停止使用Claude。这种残酷的选择假象只是依赖私营拥有的公共卫生基础设施意味着什么的一个预演。
与此同时，OpenAI最近发布的数据显示，每周至少有120万用户在经历自杀意念时向ChatGPT寻求帮助。报道指出，该公司已经预计其不断扩展的记忆功能最终可能允许ChatGPT利用与用户的过去对话推断为什么该个体正在与自杀意念作斗争。这一推测性目标隐含地假设OpenAI积累和解释此类数据会产生普遍有益的结果——尽管讽刺的是，该公司承认他们还不知道如何最好地回应表达自杀意念的用户。
我们正在向AI寻求护理，而其他AI却阻碍我们的护理获取。正在发生的事情正是当护理稀缺被正常化时会发生的情况。大型科技公司加速推动在医疗保健领域占据主导地位只会加剧这种情况。当我们朝着"服务化"的医疗保健迈进时，我们抛弃了健康作为一项权利的理念。
讽刺的是，虽然命名"AI精神病"似乎是在解决新兴的、未满足的公共卫生需求方面迈出的一步，但这一术语很容易成为对它所暴露的根本问题的分散注意力——通过将用户病理化，而不是惩罚公司。
如果您或您认识的人可能正在考虑自杀，请联系988自杀与危机热线：拨打或发送短信988，或访问988lifeline.org聊天。TTY用户：使用您首选的中继服务或拨打711后输入988。
瓦莱丽·布莱克博士是医学人类学家、残障研究学者，也是加州大学旧金山分校的博士后学者，她的工作聚焦于我们如何创造、使用并与人工智能和神经技术建立联系的"人文层面"。
【全文结束】
