人工智能（AI）正越来越多地应用于医疗决策中，从诊断到治疗决策再到机器人手术。雅虎正在使用AI生成这篇文章的要点。这意味着信息可能不总是与文章完全一致。报告错误有助于我们改进体验。
你好，欢迎来到Eye on AI。在今天的版本中……一项国际倡议旨在解决医疗AI算法中的偏见；欧洲隐私监管机构表示，基于互联网数据的训练可能符合GDPR的要求——但这样做存在很高的障碍；地缘政治紧张局势阻碍了中国向美国的人才流动；Character.ai因令人不安的内容再次受到批评；AI初创公司吸引了所有的资金。
正如我在本通讯中多次提到的，AI正在席卷医疗行业——从药物发现到AI增强的乳腺X光检查再到临床医疗文件的转录。早在生成式AI热潮带来的幻觉和许多风险变得明显之前，我们就已经广泛证明了AI算法中的偏见，这些算法往往对某些群体（如女性和有色人种）的准确性较低。现在，随着AI公司和医疗服务提供者越来越多地将AI整合到患者护理中，评估和解决这些偏见的方法比以往任何时候都更加重要。
昨天，一个名为“STANDING Together（STANdards for data Diversity, INclusivity and Generalizability）”的国际倡议发布了建议，旨在解决医疗AI技术中的偏见，希望“推动进一步进展，使AI健康技术不仅总体上安全，而且对所有人都安全。”这些建议发表在《柳叶刀数字健康》和《NEJM AI》上，同时在《自然医学》上发表了该倡议的患者代表评论。这些建议基于涉及超过30个机构和来自58个国家的350位专家的研究。
问题
在介绍建议之前，让我们先回顾一下问题。
总体而言，用于检测疾病和伤害的算法在代表性不足的群体（如女性和有色人种）中表现较差。例如，使用算法检测皮肤癌的技术被发现对肤色较深的人群准确性较低，而用于检测肝病的算法对女性的表现较差。一项重磅研究揭示了一种广泛使用的医院临床算法要求黑人患者病情更严重才能获得与病情较轻的白人患者相同的护理。类似的问题也在用于确定资源分配的算法中被发现，例如残疾人能获得多少援助。这只是众多例子中的一小部分。
这些问题的原因通常在于用于训练AI算法的数据。这些数据本身往往是不完整或扭曲的——女性和有色人种在医学研究中历来代表性不足。在其他情况下，算法失败是因为它们是在用作某些信息代理的数据上进行训练的，但这些数据未能适当捕捉AI系统应解决的问题。那个导致黑人患者无法获得与白人患者相同水平护理的医院算法之所以失败，是因为它在训练过程中使用了医疗保健成本作为患者护理的代理。事实证明，医院系统在每个护理级别上为黑人患者花费的医疗费用较少，这意味着AI未能准确预测黑人患者的需求。
建议的解决方案
该研究背后的集体提出了29项建议——其中18项针对数据集策展人，11项针对数据用户。
对于数据集策展人，论文建议数据集文档应包括用平实语言编写的摘要，指出数据集中存在的群体，处理任何缺失的数据，识别已知或预期的偏见或错误来源，明确谁创建了数据集，谁资助了它，并详细说明数据集使用应避免的任何目的，以及其他增加透明度和提供背景的步骤。
对于数据用户，建议指出他们应识别并透明报告代表性不足的领域，评估特定群体的性能，承认已知的偏见和限制（及其影响），并在AI健康技术的整个生命周期中管理不确定性和风险，包括每一步的文档记录。
总体主题包括主动询问和透明化，以及对上下文和复杂性的敏感性。“如果在算法阶段无法避免偏见编码，其识别使与AI健康技术使用相关的各种利益相关者（开发者、监管机构、卫生政策制定者和最终用户）能够承认并减轻偏见转化为危害的过程，”论文写道。
指南能否转化为行动？
就像AI的每一项新兴应用一样，潜在的好处、已知的风险和负责任的实施之间需要谨慎平衡。利害关系很高，尤其是在医疗护理方面更是如此。
这篇论文并不是第一个试图解决AI健康技术中偏见的论文，但它是最全面的之一，出现在一个关键时期。作者写道，这些建议并非旨在成为清单，而是为了促进主动探究。但现实情况是，只有通过监管才能确保这些教训得到应用。
这就是更多AI新闻。
Sage Lazzaro
sage.lazzaro@consultant.fortune.com
sagelazzaro.com
本文最初发表于Fortune.com
(全文结束)
