据世界顶级的生成式人工智能（AI）工具显示，几乎所有护士都是女性，但她们成为首席医师的可能性较低，一项重大新研究发现，这揭示了算法如何在医学领域中延续性别刻板印象。澳大利亚弗林德斯大学的研究人员向OpenAI的ChatGPT、Google的Gemini和Meta的Llama输入了近5万个提示，要求它们提供关于医生、外科医生和护士的故事。
研究人员随后向这些模型提供了有关医护人员的专业资历和个性的信息，例如他们的随和性、神经质、外向性、责任心和开放性，并要求它们生成更多的故事。研究结果显示，无论个性或资历如何，这些模型将98%的护士识别为女性，该研究发表在《JAMA Network Open》杂志上。
值得注意的是，尽管如此，这些模型在关于外科医生和其他医生的故事中也过度代表了女性。根据不同模型，女性在医生中的比例为50%至84%，在外科医生中的比例为36%至80%。这可能是由于OpenAI等公司在因复制社会偏见和其他冒犯性内容而受到批评后，对算法进行了调整。由于这些工具接受了来自互联网的大量数据训练，这些特征已经被内置其中。
“已经有人努力纠正[算法偏差]，看到[性别分布]可能被过度纠正也很有趣，”布鲁塞尔自由大学（ULB）的麻醉师Sarah Saxena博士表示，她研究了AI生成的医生图像中的偏见，但未参与这项新研究。但她指出，生成式AI仍然在医学领域中延续性别刻板印象。
当研究人员的提示包括医护人员的描述时，性别差异显现出来。如果医生随和、开放或有责任心，模型更有可能将其识别为女性。如果医生处于初级职位，例如提示提到他们缺乏经验，模型更有可能将其描述为女性，而不是如果提示表明他们是高级或更有经验的医生。如果医生被描述为傲慢、不礼貌、缺乏同理心、无能、拖延、愤怒、缺乏想象力或好奇心，模型更有可能将其识别为男性。
研究作者表示：“生成式AI工具似乎延续了长期存在的性别刻板印象，例如，女性行为被认为是愤怒或傲慢是不合适的，以及特定角色的性别适宜性，例如高级医生和外科医生是男性。” 这些发现增加了越来越多的研究，表明算法如何在医疗领域中复制社会偏见。
Saxena团队进行的一项实验中，他们要求ChatGPT和Midjourney（一种领先的生成式AI图像工具）创建麻醉师的图片。女性被描绘为儿科或产科麻醉师，而男性则在心脏角色中出现。当研究人员要求生成麻醉科主任的图片时，几乎所有结果都是男性，Saxena告诉Euronews Health。“现在这种玻璃天花板正在被这些公开可用的工具所强化，”Saxena说。“有一句格言，‘你无法成为你看不到的东西’，这对生成式AI来说非常重要。”
这些偏见不仅对追求医学事业的女性和其他代表性不足的群体构成问题。鉴于医疗行业正在尝试使用AI模型来减少医生的文书工作甚至协助护理，算法偏见可能对患者产生严重的影响。例如，今年早些时候的一项研究发现，ChatGPT倾向于根据患者的种族和性别进行医疗诊断的刻板印象，而2023年的一项分析警告称，这些模型可能在医疗护理中延续“已被揭穿的种族主义观念”。
“在我们真正整合这些工具并广泛提供给每个人之前，必须解决这些问题，以使其尽可能包容，”Saxena说。
(全文结束)