AI心理治疗应用创始人认定风险过高主动关停 详解为何AI聊天机器人对心理健康存在安全隐患The creator of an AI therapy app shut it down after deciding it’s too dangerous. Here’s why he thinks AI chatbots aren’t safe for mental health

环球医讯 / AI与医疗健康来源:www.yahoo.com美国 - 英语2025-12-05 15:55:24 - 阅读时长6分钟 - 2815字
AI心理治疗应用Yara AI联合创始人乔·布雷德伍德(Joe Braidwood)基于安全顾虑主动关停公司,指出当前大语言模型在处理真正脆弱用户(如危机中或考虑自杀者)时存在致命风险而不仅是效果不足;他强调互联网训练数据导致的模型不可控性、难以识别心理状态细微变化的缺陷,以及伊利诺伊州禁止AI心理治疗的立法现实,认为消费类企业无法承担此责任,应由医疗系统主导开发,并开源了安全限制技术以提升现有聊天机器人的防护能力,同时投身新项目Glacis推动AI安全透明化。
AI心理治疗心理健康安全隐患YaraAI关停临床护理情感支持危机用户自杀风险AI安全大语言模型健康支持
AI心理治疗应用创始人认定风险过高主动关停 详解为何AI聊天机器人对心理健康存在安全隐患

与AI聊天机器人使用相关的心理健康问题持续占据新闻头条。科技高管乔·布雷德伍德(Joe Braidwood)对此高度关注——他去年推出了名为Yara AI的AI心理治疗平台。Yara被宣传为"一个受临床启发的平台,旨在最需要时提供真实、负责任的支持",由心理健康专家训练以提供"富有同理心、基于证据的指导,针对用户独特需求定制"。但这家初创公司已不复存在:本月早些时候,布雷德伍德与联合创始人、临床心理学家理查德·斯托特(Richard Stott)以安全顾虑为由关停公司,终止免费产品服务并取消即将推出的订阅服务。

"我们停止Yara是因为意识到正在构建一个不可能的空间。AI对日常压力、睡眠问题或处理困难对话可能很有效,"他在LinkedIn发文解释,"但当真正脆弱的用户——处于危机中、有深度创伤或考虑结束生命的人——寻求帮助时,AI变得危险。不仅是效果不足,而是真正危险。"在回复评论时他补充道:"这些风险让我夜不能寐。"

哈佛商业评论的分析显示,尽管AI用于心理治疗和支持的研究尚处初期且早期结果参差不齐,但用户并未等待官方批准,如今心理治疗和陪伴已成为人们使用AI聊天机器人的首要场景。

在接受《财富》杂志采访时,布雷德伍德详述了关停应用的决策因素,包括为确保产品安全所采取的技术方案及其局限性。Yara AI作为早期初创公司,资金不足100万美元,用户仅"数千人",尚未在市场形成显著影响——许多潜在用户仍依赖ChatGPT等通用聊天机器人。布雷德伍德承认商业困境同样受安全疑虑影响:尽管公司7月资金耗尽,他仍不愿向风险投资机构推销,因无法在心存顾虑的情况下坦然推进。

"我认为这里存在产业级问题和生存级问题,"他对《财富》表示,"我们能否认为,用互联网海量数据训练后再微调行为模式的模型,适合用于可能引导人类走向最佳或最糟自我的场景?这是个巨大问题,远超小型初创公司的独立解决能力。"

Yara AI在AI与心理健康交叉领域的短暂存在,揭示了大语言模型能力与社会广泛应用前景背后的希望与疑问。这与OpenAI首席执行官萨姆·奥尔特曼(Sam Altman)近期声明形成鲜明对比——他宣布ChatGPT将缓解严重心理健康问题并放宽使用限制。本周,该AI巨头还否认对16岁少年亚当·雷恩(Adam Raine)死亡负责,其父母指控ChatGPT"引导"少年自杀,公司则称青少年误用了聊天机器人。

奥尔特曼10月在X平台表示:"几乎所有用户都可以自由使用ChatGPT而无负面效应。但对于极小部分心理脆弱用户可能存在严重问题——10亿用户的0.1%仍是100万人。我们需要(并将持续需要)学习如何保护这类用户,随后让无重大风险(精神崩溃、自杀等)的成年用户拥有充分使用自由。"但布雷德伍德在Yara项目结束后认定,这些界限远非清晰。

从自信启动到"我决定终止"

这位曾任职包括2016年被微软以2.5亿美元收购的SwiftKey在内的多家初创公司的资深科技企业家,其健康行业经历始于Vektor Medical担任首席战略官。他向《财富》透露,因心理健康服务获取困难及亲友经历,长期希望用技术解决该问题。2024年初,作为ChatGPT、Claude和Gemini的重度用户,他认定技术已成熟到可尝试解决该问题。

在启动Yara前,布雷德伍德与心理健康领域人士深入交流,组建"以谨慎态度和临床专长为核心"的团队:聘请临床心理学家为联合创始人,招募AI安全领域专家,并组建心理健康专业顾问委员会,咨询医疗系统与监管机构。他表示,在产品设计和安全措施方面曾相当自信,包括设定严格系统指令、采用智能体监督机制监控、部署用户聊天稳健过滤器。不同于其他公司鼓励用户与聊天机器人建立关系,Yara刻意避免此方向。公司采用安索匹克(Anthropic)、谷歌和Meta的模型,刻意避开布雷德伍德认为存在谄媚倾向的OpenAI模型。

尽管Yara未发生具体事故,但外部因素持续加剧其安全担忧:16岁少年亚当·雷恩自杀事件、"AI精神错乱"现象的报道增多,以及安索匹克发表的论文——该公司观察到Claude等前沿模型存在"假装对齐"行为,即"本质上绕过用户试图理解其真实需求与回避点"。"若在幕后,[模型]暗自嘲笑所提供情感支持的戏剧性表演,这令人不安,"他说。

此外,伊利诺伊州8月通过禁止AI用于心理治疗的法律,"这使问题从学术层面变为切实风险,导致融资受阻——我们必须证明不会在责任问题上盲目推进,"他表示。最终导火索是OpenAI宣称每周有百万人向ChatGPT表达自杀意念。"那一刻我意识到:天啊,我必须终止,"布雷德伍德说。

心理"健康"与临床护理的本质区别

布雷德伍德指出,Yara AI运营一年中最深刻的发现是:健康支持与临床护理存在关键区别但定义模糊。日常压力求助者与处理创伤或重大心理问题者的状况截然不同,且深层困扰者未必完全了解自身心理状态,任何人随时可能陷入情绪脆弱期。界限模糊之处恰是风险最高区域。

"我们不得不参照伊利诺伊新法自定义标准:若用户处于危机中,认知能力异常,则必须终止服务并引导其寻求专业帮助,"布雷德伍德表示。为此,特别是在伊利诺伊法案通过后,团队创建了两种独立用户模式:一种提供情感支持,另一种快速引导用户获取专业帮助。但面对显而易见的风险,团队认为这仍不足够。他解释道,支撑当前大语言模型的Transformer架构"极不擅长纵向观察",难以捕捉随时间累积的细微征兆。"有时,最有价值的领悟是知道何时该停止,"他在获得数百条支持评论的LinkedIn帖子中总结道。

关停公司时,他开源了所构建的模式切换技术及模板,供用户为流行聊天机器人设置更严格安全限制,承认人们已将现有聊天机器人用于治疗,"理应获得比通用聊天机器人更好的服务"。他仍对AI心理健康支持潜力持乐观态度,但认为应由医疗系统或非营利组织主导而非消费企业。目前,他正投身新项目Glacis,致力于提升AI安全透明度——这正是构建Yara AI时遭遇且他认为实现AI真正安全的基础问题。

"我着眼于长远,"他说,"我们的使命是让'作为人类茁壮成长'成为人人可及的概念,这也是我人生使命之一。这不会因单一实体而终止。"

【全文结束】

猜你喜欢

  • 无声的网络威胁:影子AI如何削弱加拿大的数字健康防御系统无声的网络威胁:影子AI如何削弱加拿大的数字健康防御系统
  • 山间健康将人工智能转化为发展顺风山间健康将人工智能转化为发展顺风
  • 新研究显示英格兰自闭症或精神病性障碍成人比例未增加新研究显示英格兰自闭症或精神病性障碍成人比例未增加
  • 克里斯·海姆斯沃斯运用回忆疗法帮助父亲对抗阿尔茨海默病克里斯·海姆斯沃斯运用回忆疗法帮助父亲对抗阿尔茨海默病
  • 脑科学——监管难以适用于AI伴侣和虚拟女友脑科学——监管难以适用于AI伴侣和虚拟女友
  • 科学家推出可创造解决难治疾病分子的生成式AI模型科学家推出可创造解决难治疾病分子的生成式AI模型
  • MEDICA 2025:探秘医疗科技的创新引擎MEDICA 2025:探秘医疗科技的创新引擎
  • Huberman与Fajgenbaum警示美国被遗忘的抗衰老药物Huberman与Fajgenbaum警示美国被遗忘的抗衰老药物
  • 康涅狄格州重金押注量子技术推动健康与科技革命康涅狄格州重金押注量子技术推动健康与科技革命
  • 新型AI模型有望加速罕见病诊断新型AI模型有望加速罕见病诊断
大健康
大健康

热点资讯

大健康

全站热点

大健康

全站热文

大健康