在今天的《Eye on AI》中，一个国际倡议旨在解决医疗AI算法中的偏见问题；欧洲隐私监管机构表示，基于互联网数据进行训练可能符合GDPR要求——但这样做存在很高的障碍；地缘政治紧张局势阻碍了中国向美国的人才流动；Character.ai因令人不安的内容再次受到批评；AI初创公司吸引了大部分融资。
正如我在本通讯中多次提到的，AI正在席卷医疗行业——从药物发现到AI增强的乳腺X光检查再到临床医疗文件的转录。在生成式AI热潮带来的幻觉和许多风险变得明显之前，我们就已经广泛证据表明AI算法存在偏见，这些算法往往对某些群体（如女性和有色人种）的准确性较低。现在，随着AI公司和医疗服务提供者越来越多地将AI整合到患者护理中，评估和解决这些偏见的方法比以往任何时候都更加重要。
昨天，一个名为“STANDING Together（数据多样性、包容性和泛化标准）”的国际倡议发布了建议，旨在“推动进一步进展，使AI医疗技术不仅总体上安全，而且对所有人都安全。”这些建议发表在《柳叶刀数字健康》和《NEJM AI》上，同时还有该倡议的患者代表在《自然医学》上发表的评论文章。这些建议基于一项涉及超过30个机构和来自58个国家的350位专家的研究。
问题
在介绍建议之前，让我们回顾一下问题。
总体而言，用于检测疾病和伤害的算法在少数群体（如女性和有色人种）中表现较差。例如，使用算法检测皮肤癌的技术被发现对肤色较深的人群准确性较低，而一种用于检测肝病的算法在女性中的表现较差。一项重磅研究揭示了一种在医院广泛使用的临床算法，该算法要求黑人患者病情更严重才能获得与白人患者相同的护理建议。类似的偏见也在用于确定资源分配的算法中被发现，例如残疾人可以接受多少援助。这只是众多例子中的几个。
这些问题的原因通常在于用于训练AI算法的数据。这些数据本身往往是不完整或扭曲的——女性和有色人种在医学研究中历来代表性不足。在其他情况下，算法失败是因为它们是在用作某些信息代理的数据上进行训练的，但这些数据未能恰当地捕捉AI系统需要解决的问题。该医院算法之所以未能为黑人患者提供与白人患者相同水平的护理，是因为它在训练过程中使用了医疗费用作为患者护理的代理指标。事实证明，医院系统在每个护理级别上对黑人患者的医疗支出历来较少，这意味着AI未能准确预测黑人患者的需求。
建议的解决方案
研究背后的集体提出了29项建议——18项针对数据集管理者，11项针对数据使用者。
对于数据集管理者，论文建议数据集文档应包括用简单语言编写的摘要，指出数据集中存在的群体，处理任何缺失的数据，识别已知或预期的偏差或错误来源，明确说明谁创建了数据集、谁资助了它，并详细说明数据集使用应避免的目的，以及其他增加透明度和提供上下文的步骤。
对于数据使用者，建议他们应识别并透明报告代表性不足的领域，评估特定群体的性能，承认已知的偏差和限制（及其影响），并在AI医疗技术的整个生命周期中管理不确定性和风险，包括每一步的记录。
总体主题包括呼吁积极询问和透明，以及需要对上下文和复杂性敏感。“如果在算法阶段无法避免编码偏见，其识别可以使与AI医疗技术使用相关的利益相关者（开发人员、监管机构、卫生政策制定者和最终用户）承认并减轻偏见转化为危害的风险，”论文写道。
指南能否转化为行动？
像每一项新兴的AI应用一样，潜在的好处、已知的风险和负责任的实施之间需要微妙的平衡。利害关系很高，尤其是在医疗护理方面。
这篇论文并不是第一个试图解决AI医疗技术偏见的论文，但它是最全面的之一，且出现在一个关键时期。作者写道，这些建议不是为了成为一个清单，而是为了促进积极的探究。但现实是，只有通过监管才能确保这些教训得到应用。
(全文结束)
