在早期,让像 ChatGPT 或其竞争对手 Cohere 这样的人工智能模型给出类似人类的回答,需要大量低成本的工作人员帮助模型区分诸如一张图像是汽车还是胡萝卜这样的基本事实。
但在竞争激烈的人工智能领域,对人工智能模型进行更复杂的更新,现在需要一个迅速扩大的具有专业知识的人类训练师网络,从历史学家到科学家,有些拥有博士学位。Cohere 的联合创始人 Ivan Zhang 谈到其内部的人类训练师时说:“一年前,我们可以聘请本科生来一般性地教导人工智能如何改进。”“现在我们有持牌医生教模型在医疗环境中的表现,或者金融分析师或会计师。”
为了进行更多的训练,Cohere 与一家名为 Invisible Tech 的初创公司合作。Cohere 是 OpenAI 的主要竞争对手之一,专门从事面向企业的人工智能。这家名为 Invisible Tech 的初创公司雇佣了数千名远程工作的培训师,并已成为从 AI21 到微软等人工智能公司的主要合作伙伴之一,以训练他们的人工智能模型减少错误,在人工智能领域被称为幻觉。
Invisible 创始人 Francis Pedraza 说:“我们在全球 100 多个国家拥有 5000 人,他们是博士、硕士学位持有者和知识工作专家。”
Invisible 根据工人的位置和工作的复杂性,每小时支付高达 40 美元。一些公司如 Outlier 每小时支付高达 50 美元,而另一家名为 Labelbox 的公司表示,对于像量子物理这样的“高专业知识”科目,每小时支付高达 200 美元,但基础主题从 15 美元开始。Invisible 成立于 2015 年,是一家为食品配送公司 DoorDash 等提供服务的工作流自动化公司,以将其配送菜单数字化。但在 2022 年春季,在 ChatGPT 公开推出之前,一家相对不知名的研究公司 OpenAI 联系了他们,情况发生了变化。
“OpenAI 来找我们,说他们有一个问题,就是当你向早期版本的 ChatGPT 提问时,它会产生幻觉。你不能相信答案,”Pedraza 告诉路透社。
“他们需要一个先进的人工智能训练合作伙伴,以提供人类反馈的强化学习。”
OpenAI 未回应置评请求。生成式人工智能根据用于训练它的过去数据生成新内容。然而,有时它无法区分真假信息,并产生被称为幻觉的错误输出。在一个显著的例子中,2023 年,谷歌的一个聊天机器人在一个宣传视频中分享了关于哪个卫星首先拍摄到地球太阳系外行星的不准确信息。
人工智能公司意识到幻觉可能会破坏生成式人工智能对企业的吸引力,并正在尝试各种方法来减少它,包括使用人类训练师来教导事实和虚构的概念。自从与 OpenAI 合作以来,Invisible 表示它已成为包括 Cohere、AI21 和微软在内的大多数生成式人工智能公司的人工智能训练合作伙伴。Cohere 和 AI21 证实他们是客户。微软未确认它是 Invisible 的客户。
“这些都是有培训挑战的公司,他们的首要成本是计算能力,其次是优质培训,”Pedraza 说。
OpenAI 开启了生成式人工智能的热潮,它有一个恰如其分地名为“人类数据团队”的研究团队,该团队与人工智能训练师合作,为像 ChatGPT 这样的模型收集专门数据进行训练。
一位熟悉该公司流程的消息人士称,OpenAI 研究人员进行了各种实验,如减少幻觉或改善写作风格,并与来自 Invisible 和其他供应商的人工智能训练师合作。
在任何时候,都有数十个实验正在进行,有些使用 OpenAI 开发的工具,有些使用供应商的工具。
根据人工智能公司的需求——从更好地了解瑞典历史或进行金融建模——Invisible 为这些项目雇佣具有相关学位的工人,减轻了人工智能公司管理数百名培训师的负担。“OpenAI 拥有一些世界上最令人难以置信的计算机科学家,但他们不一定是瑞典历史或化学问题或生物学问题或任何你可以问的问题的专家,”Pedraza 说,并补充说,仅 OpenAI 就有 1000 多名合同工。
Cohere 的 Zhang 说,他个人曾使用 Invisible 的培训师来寻找一种方法,教其生成式人工智能模型从大数据集中找到相关信息。
在这个领域的竞争对手中,Scale AI 是一家私人初创公司,上次估值为 140 亿美元,为人工智能公司提供一系列训练数据。它也冒险进入提供人工智能培训师的领域,并将 OpenAI 视为客户。Scale AI 没有回应为这个故事接受采访的请求。
Invisible 自 2021 年以来一直盈利,仅筹集了 800 万美元的原始资本,“我们 70%归团队所有,只有 30%归投资者所有,”Pedraza 说。“我们确实促进了第二轮融资,最近的交易价格估值为 5 亿美元。”路透社无法确认该估值。人类训练师最初通过数据标注工作进入人工智能培训,这需要较少的资格,报酬也较低,有时低至 2 美元,主要由非洲和亚洲国家的人完成。
随着人工智能公司推出更先进的模型,对专业培训师和数十种语言的需求正在上升,创造了一个高薪的利基市场,来自各种学科的工人可以成为人工智能培训师,甚至不知道如何编码。
人工智能公司的需求导致了更多提供类似服务的公司的创建。“我的收件箱基本上被到处涌现的新公司淹没了。我确实认为这是一个新的空间,公司雇佣人类只是为我们这样的人工智能实验室创建数据,”Zhang 说。

