密歇根大学的研究人员表明，黑人患者比白人患者更少接受医生用于诊断严重疾病（如败血症）的医疗测试。由于这种偏见，一些生病的黑人患者在用于训练AI的数据中被误认为是健康的，因此生成的模型可能低估了黑人患者的病情。但这并不意味着这些数据无法使用——同一研究团队已经开发出一种方法，可以纠正用于训练AI的数据集中的这种偏见。
这些新见解在两篇研究中报告：一篇今天发表在《PLOS全球公共卫生》上，另一篇在2024年7月于奥地利维也纳举行的国际机器学习会议上展示。
在《PLOS》的研究中，研究人员发现，对于年龄、性别、医疗投诉和急诊科分诊评分（衡量患者医疗需求紧急程度的指标）相同的患者，白人患者的医疗测试率比黑人患者高出4.5%。这种偏见部分可以通过住院率来解释，因为白人患者更有可能被评估为患病并被收入医院。
“如果某些患者亚群系统性地被少测试，那么你就将这种偏见植入了你的模型中，”该研究的通讯作者、密歇根大学计算机科学与工程副教授Jenna Wiens说。“调整这些混杂因素是一种标准的统计技术，但在训练AI模型之前通常不会这样做。在训练AI时，承认可用数据中的缺陷并思考其下游影响真的很重要。”
研究人员在两个地点的医疗测试记录中发现了这种偏见：密歇根州安阿伯市的密歇根医学和最广泛使用的临床数据集之一——重症监护医疗信息市场。该数据集包含波士顿贝斯以色列女执事医疗中心急诊室就诊患者的记录。
计算机科学家需要考虑这些偏见，以便AI能够准确且公平地预测患者的病情。一个选择是用一个较少偏见的数据集来训练AI模型，例如仅包括已接受诊断医疗测试的患者记录的数据集。然而，这样训练的模型可能对病情较轻的患者不准确。
为了在不省略患者记录的情况下纠正偏见，研究人员开发了一种计算机算法，该算法根据患者的种族和生命体征（如血压）判断未接受测试的患者是否可能患病。该算法考虑了种族，因为被认定为黑人的患者的记录健康状况更可能受到测试偏见的影响。
研究人员使用模拟数据测试了该算法，在这些数据中，研究人员通过重新标记被认定为患病的患者为“未测试且健康”引入了一个已知的偏见。然后，他们使用这个数据集训练了一个机器学习模型，结果在2024年7月的国际机器学习会议上进行了展示。
当使用算法纠正了研究者施加的偏见后，一个标准的机器学习模型能够准确地区分有无败血症的患者约60%的时间。而没有算法的情况下，偏见数据使模型的表现不如随机猜测。
改进后的准确性与用无偏见的模拟数据训练的标准模型相当，后者假设每个人都能平等地接受测试。虽然在现实世界中不太可能存在这样的无偏见数据集，但研究人员的方法允许AI在处理有偏见的数据时达到与理想化场景相当的准确性。
“考虑到数据中的系统性偏见的方法是纠正医疗保健交付中某些不公平现象的重要一步，特别是随着越来越多的诊所转向基于AI的解决方案，”该研究的第一作者、密歇根大学计算机科学与工程博士生Trenton Chang说。
密歇根医学和位于安阿伯市的VA临床管理研究中心的研究人员也参与了《PLOS》的研究。
(全文结束)
