犹他州官员表示，这些应用程序有很大的潜力帮助许多犹他人，但他们也必须保护人们免受聊天机器人提供的错误建议的影响。
该州已与一家总部位于犹他的公司达成协议，旨在为学童提供支持。这家公司需要做些什么来确保他们不会把孩子们引向错误的方向？
当州政府与任何公司达成协议时，他们会尽量确保公司遵循行业最佳实践。然而，随着心理健康支持公司ElizaChat的推进，州官员承认他们仍在努力确定最佳实践。
Woebot、Talkspace、Happify，这些只是众多旨在帮助人们保持更好心理健康的应用程序中的一部分。
犹他州商业部总监Margaret Woolley-Busse说：“有很多不同的应用程序正在涌现，其中一些实际上明确进入了通常只有持牌心理健康治疗师才能做的事情的范畴。”
州政府如何可能监管所有这些应用程序？Woolley-Busse表示，他们正在尝试开发某种框架，以确定何时AI聊天机器人可以提供建议，何时应将案件报告给持牌专业人士。
她问道：“生成式AI会失控并开始编造事情，或实际建议对使用该应用程序的个体有害的事情吗？”
确实有案例表明AI给出了错误的建议。例如，去年，《Psychiatrist.com》报道，全国饮食障碍协会因一人报告称AI告诉她可以在减肥的同时恢复饮食障碍，而暂停了其聊天机器人。
该女性表示，聊天机器人建议的这种类型的建议导致了她的饮食障碍，她说：“如果我在饮食障碍最严重的时候访问了这个聊天机器人，我将无法获得ED的帮助。”
家庭精神病医生Douglas Goldsmith表示，他理解为什么有人会转向AI寻求心理健康支持。
他说：“我们可以进行非常温暖的简短对话。已经有一些研究表明，人们更喜欢与聊天机器人交谈而不是他们的医生。”
然而，Goldsmith还表示，青少年和家长了解聊天机器人的局限性也很重要。
他说：“‘我只从聊天机器人那里接受治疗’将是有问题的。”
根据ElizaChat与州政府之间的协议，该公司必须制定计划，在学生有严重情况（包括自杀念头或虐待）时告知可信的成年人。此外，如果出现问题，ElizaChat有30天的时间来解决。
我们通过电子邮件向ElizaChat首席执行官Dave Barney提出了以下问题：
- ElizaChat如何确保在需要时始终将案件转介给持牌专业人士？
- 公司如何确保AI提供的建议不会有害？
- 如果AI给出错误建议，公司将如何纠正问题？
我们没有收到该公司的回复。
州官员表示，这些应用程序有很大的潜力帮助许多犹他人，但他们也必须保护人们免受聊天机器人提供的错误建议的影响。
Woolley-Busse说：“我们已经进行了非常详细的讨论……关于到底哪些情况需要提升到持牌从业者。”
与此同时，Woolley-Busse表示，他们正在测试其他AI聊天机器人，以查看它们是否会按照预期行事。
据她介绍：“我们用更通用的ChatGPT进行了内部测试，看看我们能否推动它开始做出只有治疗师才能做的建议。它们通常有很好的防护措施，但并不总是如此。”
此外，作为协议的一部分，ElizaChat必须能够识别有问题的聊天记录，并且必须从密集的人类监督开始，随着时间的推移可以减少。州官员表示，此类协议的目的是发现AI的潜在问题区域，同时让技术公司找出如何创新新产品的办法。
如果有人认为自己因AI聊天机器人而受到伤害，他们被鼓励向职业许可部门报告。
(全文结束)
