辛辛那提学校使用应用程序识别自杀倾向儿童但并非所有人都信服 - AI与医疗健康

辛辛那提学校正在使用一款应用程序来识别有自杀倾向的孩子，但并非所有人都信服。这款名为Clairity的应用程序由初创公司Clarigent Health开发，通过语音录音检测心理健康问题。目前，该应用已在辛辛那提地区的约80所学校以及加州、北卡罗来纳州和俄亥俄州的大学、医生办公室、心理健康中心和青少年司法项目中使用。

我坐在厨房的柜台前，与一只戴眼镜的蓝色猫头鹰Claire交谈。她一动不动地盯着电脑屏幕上的我。“你有希望吗？感觉如何？”她问道。“有，”我有些不确定地回答，接着又说了几句关于希望来自家人和朋友的感觉。最后，我停了下来，心想：“我说得够多了吗？”Claire似乎对我的回答感到满意。“谢谢，”她僵硬地说，“现在我们将讨论秘密。”

在讨论完秘密之后，她问我是否有愤怒（“是！”），这种感觉如何（“生气？”），是否有恐惧（“有”），最后是情感痛苦（“谁没有呢？”）。最终，Claire告诉我面试结束了。很快，我将收到180美元的心理健康风险评估结果，这些结果是由人工智能确定的。

我并不是唯一一个接受AI心理健康评估的人。Clairity这款可以通过语音录音检测心理健康问题的AI应用程序已被辛辛那提地区的约80所学校使用。据开发该应用的Clarigent Health公司称，它还被用于加州、北卡罗来纳州和俄亥俄州的大学、医生办公室、心理健康中心和青少年司法项目中。

然而，在研究人员首次将这项技术誉为心理健康领域的科学突破近十年后，很难说Clairity是否实现了其预防青少年自杀的目标。从2016年开始测试该技术的辛辛那提学校都无法证明AI的有效性。《辛辛那提问询报》联系的临床医生和学校管理人员也无法提供独立于Clairity开发者资助研究的数据，以证明该应用的效果。

尽管该应用主要是在白人人群中训练的，但它现在被用于各种种族和背景的孩子身上，这使一些专家对其有效性表示怀疑。尽管如此，Clarigent仍在努力将其推广到更多孩子中。据Clarigent首席执行官Don Wright称，西班牙语版本的Clairity和另一个分析孩子语言以判断其暴力倾向风险的算法正在研发中。

学校无法拒绝的提议

青少年心理健康危机的到来让学校迫切需要解决方案。根据疾病控制与预防中心的数据，2021年，自杀成为10至14岁孩子死亡的第二大原因。

在Three Rivers Local School District的一名学生自杀身亡后，前学监Craig Hockenberry表示社区深受打击。“如果我们能做些什么来防止这种情况发生，那就是双赢，”Hockenberry说，“不管是什么项目都无所谓。”

就在那时，位于梅森的初创公司Clarigent Health推出了Clairity，这个解决方案看起来太好了，不像是真的。据Clarigent称，Clairity可以帮助临床医生发现自杀风险的最细微迹象，帮助那些受苦的青少年。虽然任何人都可以花180美元从其网站上购买Clairity评估，但参加Clarigent研究的学校可以免费使用。

Clarigent Health的技术最初由辛辛那提儿童医院的研究员John Pestian开发。Pestian花了十多年时间分析自杀语言。辛辛那提儿童医院多次拒绝了《询问报》采访Pestian的请求，并将所有有关Clairity的问题转给了Clarigent。

在分析了1300多封自杀遗书并收集了在辛辛那提儿童医院急诊科治疗的自杀青少年的访谈后，Pestian开发了一种算法，用于寻找人们通过言语表达自杀倾向的方式。机器学习算法将利用这些数据预测某人是否在考虑自杀。Pestian表示，人工智能的强大计算能力可以识别出人类无法察觉的语音数据模式。

“这些都是你在对话中无法察觉的东西，”Pestian在2016年告诉《询问报》。根据他的研究，该算法不仅能识别词汇，还能识别停顿和语气等非语言线索，这些都表明了自杀倾向。

“无论我们多么聪明，无论我们多么优秀，无论我们受过多么好的训练，任何决策所需的信息量已经超出了人类的能力范围，”辛辛那提儿童医院研究基金会的儿童神经学家兼副主管Tracy Glauser博士在2023年医院主办的一个小组讨论会上说，“这是我们前进的动力。”

Pestian研究的成果是Clairity的前身，最初被称为Spreading Activation Mobile（SAM），后来称为MHSAFE。该想法是，辅导员可以在手机上下载该应用程序，快速识别有高自杀风险的孩子。

学校只需让孩子参加研究并获得家长和学生的同意即可获得这项技术。第一次试验由辛辛那提儿童医院在2016-17学年进行，第二次试验由Clarigent Health在2019-2020学年进行。

在自杀预防感到脆弱和不可预测的时候，这些应用程序提供了确定性、科学和具体数字。它们的合法性得到了辛辛那提儿童医院专家的支持。此外，这项尖端技术得到了国家卫生研究院近百万美元的研究资金支持，将免费提供给学校。

“我们都放下了笔，”Hockenberry说。“如果他们能在潜在的自杀事件中发挥作用，他们也可能预防校园枪击案，”他回忆道。

学校无法提供AI效果的数据

《询问报》向俄亥俄州西南部近50个学区和肯塔基州北部15个学区请求记录。文件显示，Deer Park High School和四所辛辛那提公立学校——创意与表演艺术学校、Dater High、Walnut Hills High和Aiken High——测试了2016年版的应用程序。在2019-20学年，Three Rivers Local School District和Lebanon City Schools也使用了Clairity。

但没有一个学区能提供有关AI效果的数据。大多数学区表示，这些数据是私人的，只有临床医生和孩子的家庭可以访问。创意与表演艺术学校是测试早期版本Clairity的学校之一，这是一个通过语音数据检测精神疾病的AI应用程序。

前Oak Hills Local School District和Lebanon City Schools学监Todd Yohey表示，他对该算法持“相对乐观”的态度。但他不确定有多少孩子真正接触到了该应用程序，学校也没有关于其使用的数据。“我们有数百名学生接受了临床医生的治疗，”Yohey说，他曾与辛辛那提儿童医院合作，将临床医生嵌入他的学校。“我不知道他们是否使用了该应用程序。”

现任Youngstown郊区学监的Hockenberry在Clairity推出前离开了Three Rivers。“我不了解任何结果，”他说。

前创意与表演艺术学校辅导员Ben Crotte记得在2016年测试了早期版本的Clairity。Crotte估计，作为参与SAM研究的一部分，他获得了15到20名学生及其家长的同意，录制了与他们的对话。

虽然他没有实时收到应用程序的建议，但Pestian后来告诉他，AI识别出两名学生有较高的自杀风险，而这正是Crotte已经知道的。“应用程序似乎很好地识别了他们，”Crotte说。尽管如此，Crotte并没有建议这两名学生住院治疗。如果他在会话期间收到了应用程序的结果，他可能会感到更大的压力去建议住院治疗，但他当时认为这是“临床不必要的”。

Best Point是一家非营利性的儿童心理健康服务提供商，曾参与2016年辛辛那提儿童医院的早期研究，现在其临床医生在辛辛那提约80所学校中使用Clairity作为12岁以上孩子的标准筛查工具。

“我们相信它已经经过了试验和测试，”该组织的项目总监Debbie Gingrich说。Gingrich表示，学习使用Clairity对Best Point的临床医生来说是一个“学习曲线”，但Clairity帮助他们识别了一些原本不会预期到的风险孩子。

当被问及没有Clairity的帮助会有多少孩子的自杀风险未被发现时，Gingrich没有回复多封电子邮件请求数据。

法院尝试Clairity，两年后终止合同

汉密尔顿县是全国第一个在少年法庭使用Clairity的县。新闻头条宣布了这一合作，这标志着人工智能在解决日益严重的青少年心理健康危机方面的潜力，引起了广泛的关注和兴奋。

“我们很自豪能成为全国第一个使用这些尖端工具更好地理解和帮助我们的孩子，”汉密尔顿县检察官Melissa Powers（当时是汉密尔顿县少年法庭的高级法官）在2021年表示。法院与Clarigent签订了2021-22财年的20,000美元合同，希望该算法能帮助法院进行心理健康服务和治疗干预的转介。

汉密尔顿县少年法庭评估中心的工作人员使用Clairity评估了超过200名少年法庭的孩子。少年法庭的行为健康服务和特殊项目主任Deanna Nadermann表示，一些少年法庭的孩子不太愿意坦诚表达自己的感受。她看到Clairity如何帮助接触这些孩子，并加快了被关押孩子的转介过程。

对于那些孩子和其他患有心理健康问题的人来说，Nadermann表示，让他们进入住院治疗的过程非常漫长。

持有执照的社会工作者Megan Taylor是法院评估中心的经理，该中心帮助孩子联系咨询、治疗和个案管理服务，她分享了Deanna的兴奋。“我们都认为这将是一件伟大的事情，”Taylor说。

Taylor负责监督使用Clairity与客户的六名工作人员团队，她记得Clarigent Health对应用程序的培训简单直观。但在实际操作中，情况完全不同。出现了技术故障和连接WiFi的问题。他们购买了Kindle和麦克风来帮助录音，Nadermann说，但她的工作人员仍然遇到了问题。Clairity频繁出现错误，提示无法识别说话者、说话时间过短或过长。“一半的时间它都不工作，”Taylor说。“应用程序只是不断缓冲。”

Clairity提出的一些问题也让一些孩子感到困惑。“你有情感痛苦吗？”Taylor记得其中一个问题是这样问的。“他们就像，‘什么？’”

汉密尔顿县少年法庭的工作人员使用模糊的麦克风记录了Clairity所需的数据，以评估客户的自杀风险，但这并不总是奏效。

Taylor并不责怪Clarigent Health，她认为主要是由于法院不可靠的WiFi网络。她补充说，与少年法庭的孩子们合作面临的挑战是独特的，因此Clairity可能在有临床训练的工作人员的医院环境中表现更好。

Clarigent表示，他们试图与法院工作人员合作解决IT问题和安全协议，这些协议使得青少年无法靠近设备“带来了独特的挑战”。Clarigent提供的数据显示，Clairity评估了222名少年法庭的孩子的心理健康状况。其中三分之一被标记为中到高自杀风险。但由于法院没有收集有关应用程序效果的数据，很难确定Clairity的评估是否与工作人员的评估一致，或者这些孩子是否会无论如何都会得到心理健康帮助。

Nadermann表示，她对Clarigent Health建议对中到高风险的孩子进行自杀问卷调查感到失望。“为什么不一开始就做那个评估呢？”法院在第二年后终止了与Clarigent的合同。

人工智能能否预测自杀？专家意见和种族偏见

纽约大学社会工作副教授Jordan DeVylder表示，人们通常会对临床医生坦诚地谈论自己的自杀念头。但临床医生“很难预测”哪些人会付诸行动。“这就是这类机器学习方法的吸引力所在，”DeVylder说。

计算机善于检测人们声音中的细微差异，DeVylder对AI检测自杀语言的能力充满信心。但他担心使用过于有效的AI带来的伦理影响。“仅仅基于算法就要求某人接受治疗，而这个人甚至没有真正谈论过自杀，这样做是否合乎道德？”他问道。

另一个需要考虑的潜在限制是训练数据的偏见。宾夕法尼亚大学计算机与信息科学系的博士后研究员Sunny Rai表示，关于非白人如何通过语言表达心理疾病的研究很少，而大多数机器学习算法都是在白人人群中训练的。这同样适用于Clairity。根据《询问报》对Clarigent Health提供的研究的审查，四项关于Clairity的研究中有三项公布了种族人口统计数据，研究对象中74%以上是白人。

Rai的研究使用机器学习展示了黑人和白人在社交媒体上表达抑郁的不同方式。在他的研究中，患有抑郁症的白人参与者倾向于使用更多的“I”代词，表明过度自我关注，而黑人参与者则不然。

尽管如此，Clarigent首席执行官Don Wright坚持认为Clairity的算法“没有偏见”。（他没有提供数据或2021年NIH资助研究的结果来证明这一点）。后来，公司在声明中表示，他们“采取积极措施减少偏见”，包括定期测试AI的“公平性和意外偏见”等。

北方肯塔基大学医疗保健伦理学教授Augustine Frimpong-Mansoh表示，如果算法训练数据不代表将要使用该算法的人群，那么使用AI检测自杀风险在科学和伦理上都是可疑的。

Northern Kentucky University社会学、人类学和哲学系代理系主任Frimpong-Mansoh教授表示，Clairity的使用提出了科学和伦理问题。

还有关于知情同意的问题。迫切希望孩子接受心理健康治疗的父母可能会在不了解风险的情况下同意使用Clairity，他说。“他们很可能听从你的建议并签署同意书，”他说。

“我们不可能知道Clairity是否真的帮助学校预防了自杀，因为没有办法知道被标记的学生是否会自杀，”美国公民自由联盟高级政策顾问Chad Marlow说。Marlow表示，像Clarigent这样的公司“利用了学校的恐惧和强烈希望保护孩子的愿望。”“这更多是基于希望和营销口号，而不是经过测试的数据，”他说。