由AI in Healthcare and Medicine教授Daniel Rückert（照片）和波茨坦Hasso-Plattner研究所的Georg Kaissis教授领导的团队发现，医疗AI对某些攻击的脆弱性比以往认为的更高。
图片来源：慕尼黑工业大学；摄影：Juli Eberle
用于癌症检测等的AI模型是使用患者的健康数据进行训练的。个人信息一旦被纳入模型，如果落入不法分子手中，可能会对相关患者产生负面影响。《自然》杂志近期发表的一项研究显示，通过适当方法，攻击者能够比之前认为的更有效地从这些模型中提取敏感信息。
慕尼黑工业大学、伦敦帝国理工学院和波茨坦Hasso-Plattner研究所的研究人员表明，以往对AI模型安全性的计算具有误导性。在专业术语中，能够确定某人数据是否被纳入模型的攻击被称为"成员推断攻击"。迄今为止，常见的医疗AI模型被认为在很大程度上能够抵御此类攻击。
"遗憾的是，相关测试一直只评估了对所有患者的平均风险。我们首次考察了对个别患者的风险——结果呈现出完全不同的图景，"该研究的第一作者、慕尼黑工业大学科学家Moritz Knolle表示。虽然攻击对大部分数据集都未能成功，但某些患者被模型识别出的概率接近百分之百。"这不是可以忽略的风险。健康数据高度敏感，"慕尼黑工业大学医学AI与计算机科学教授Daniel Rückert表示，他与Hasso-Plattner研究所的Georg Kaissis教授共同担任该研究的通讯作者。
研究人员对基于七个已建立的医疗数据集的模型进行了攻击测试。这些模型的基础分别是不同的数据类型，如影像数据、心电图或电子病历。"执行成员推断攻击需要三个条件，"Hasso-Plattner研究所数字健康教授Georg Kaissis解释道："首先，需要访问要攻击的AI模型，例如通过医院网络；其次，需要访问一个想确定是否已纳入模型的数据点，这些数据点可能在黑客攻击中被窃取；第三，需要自己的AI基础设施——运行基于相同数据类型的AI模型的计算机。"
举例来说，可以利用这种设置攻击一个通过血液检测结果推断癌症免疫治疗成功率的AI模型。血液检测结果本身并不能表明患者是否患病。但如果攻击者能够证明某个数据点已被纳入模型，那么该患者曾患或正在患癌症的可能性就会大大增加。
此类数字攻击可能带来严重的实际后果，Moritz Knolle通过一个假设案例进行了说明："想象一下，您曾因癌症接受治疗，并将您的数据提供给研究使用，"这位医学信息学家说。"几年后，癌症没有复发，您想购买私人补充保险。然而，攻击者发现您的数据被用于肿瘤分析模型的训练。这一信息通过第三方数据分析或相应风险档案传递给保险公司。您随后被归类为高风险患者，需要支付更高保费——而且可能永远不知道原因。"
当被攻击的个体属于数据集中代表性不足的群体时，成员推断攻击尤其容易成功。这可能包括影像中特定的器官特征，也可能包括少数群体的数据。"这尤其严重，因为AI在医疗领域中的歧视问题确实存在，例如某些模型在面对少数群体患者时预测准确性较低，"Daniel Rückert表示。
研究人员发现，攻击的成功率随着模型规模和复杂度的增加而提高。研究人员认为，正是高性能模型容易受到攻击这一事实表明，如果没有应对措施，未来几年这一问题可能会显著加剧。
因此，他们建议在发布新模型之前，始终在个体层面评估其风险。其他应对措施包括严格控制对AI模型的访问权限。"此外，目前已有有效的保护措施可以用于对抗成员推断攻击，这些措施可以直接在模型训练过程中应用。例如，在'差分隐私'技术中，向训练数据添加微小变化，这些变化不会干扰模型计算，但会使攻击显著困难，"Georg Kaissis说。
【全文结束】