人工智能模型——例如用于癌症检测的模型——是基于患者的健康数据进行训练的。即使仅仅是个人数据被纳入模型这一事实，如果这些信息落入不法分子手中，也可能对相关患者造成负面影响。《自然》杂志近日发表的一项研究显示，使用正确的方法，这些敏感信息可以从模型中被提取出来的效率远超此前预期。
慕尼黑工业大学(TUM)、伦敦帝国理工学院和哈索·普拉特纳研究所(HPI)的研究人员证明，之前对AI模型安全性的计算存在误导。旨在确定某个人的数据是否被用于训练模型的攻击被称为成员推断攻击(MIAs)。到目前为止，常见的医疗AI模型被认为在很大程度上能够抵御此类攻击。
"不幸的是，之前的风险评估只测量了所有患者的平均风险。我们首次在个体患者层面考察了风险——结果呈现了非常不同的图景，"该研究的第一作者、慕尼黑工业大学研究员Moritz Knolle表示。虽然对大部分数据集的攻击都未成功，但某些患者的数据与模型的关联度却接近100%。"这不是可接受的风险。健康数据极其敏感，"慕尼黑工业大学医疗与医学人工智能教授Daniel Rückert说道，他与哈索·普拉特纳研究所的Georg Kaissis教授共同担任该研究的资深作者。
不同数据类型的测试
研究人员基于七个已建立的医疗数据集对模型进行了攻击测试。每个模型都依赖于不同类型的数据，如影像数据、心电图或电子健康记录。"攻击者要实施MIA需要三样东西，"哈索·普拉特纳研究所数字健康：以人为中心的变革性人工智能教授Georg Kaissis解释道。"首先，访问目标AI模型的权限，例如通过医院网络。其次，获取他们想要知道是否被纳入模型的数据点，例如通过网络攻击获取的数据。第三，他们自己的AI基础设施——即运行基于与目标模型相同类型数据的模型的计算机。"
在此设置下，例如，可能会攻击一个使用血液检测结果来预测癌症免疫治疗成功可能性的AI模型。单独来看，血液检测并不能揭示一个人是否患病。然而，如果攻击者能够证明特定数据点被用于训练模型，那么该患者曾经或现在患有癌症的可能性就会增加。
对个人的潜在影响
此类数字攻击可能带来严重的现实后果，正如Moritz Knolle通过一个假设性例子所说明的那样："假设你曾接受癌症治疗并将你的数据用于研究，"这位医学信息学专家表示。"几年后——自那以后癌症没有复发——你想购买私人补充保险。然而，攻击者发现你的数据被用于训练肿瘤分析模型。这些信息通过第三方提供商的数据分析或相应的风险画像传递给保险公司。于是你被归类为高风险患者，需支付相应高额保费——甚至可能永远不知道原因。"
当目标个体属于数据集中代表性不足的群体时，MIAs特别成功。这可能包括影像数据中的某些解剖特征，也可能包括少数群体的数据。"这尤其严重，因为AI中的歧视在医学中也扮演着角色，例如，当患者属于少数群体时，一些模型的预测准确性会降低，"Daniel Rückert说。
大型模型显示更大漏洞
研究人员表明，随着模型变得更大更复杂，攻击的成功率也会提高。在研究人员看来，高性能模型特别容易受到攻击这一事实表明，如果不采取对策，问题在未来几年可能会显著加剧。
因此，他们主张在发布新模型之前，在个体患者层面上评估其风险。额外的对策包括严格控制对AI模型的访问。"已经存在可以在模型训练期间应用的有效防护措施来对抗MIAs。例如，差分隐私会在训练数据中引入微小修改，这些修改不会影响模型的计算，但会使MIAs变得更加困难，"Georg Kaissis说。
出版物：
Knolle, M.A., Menten, M.J., Jungmann, F. 等. 医疗人工智能的差异化隐私风险. 《自然》(2026). DOI:10.1038/s41586-026-10688-0.
更多信息：
- Daniel Rückert教授在慕尼黑工业大学医学院和健康学院担任医疗与医学人工智能讲席教授，同时也是慕尼黑工业大学计算、信息与技术学院、慕尼黑数据科学研究所以及慕尼黑机器学习中心的成员。
【全文结束】