在医疗诊断等高风险情况下，理解AI模型为何做出某个决策与决策本身一样重要。一种新的框架称为“约束概念细化”（Constrained Concept Refinement, CCR），提供了准确且可解释的预测，同时计算成本较低。
这种新的可解释AI技术能够透明地分类图像而不牺牲准确性。该方法由密歇根大学开发，适用于需要理解决策原因的情况，如医疗诊断。
如果一个AI模型将肿瘤标记为恶性但没有说明其依据（例如大小、形状或图像中的阴影），医生无法验证结果或向患者解释。更糟糕的是，模型可能从数据中捕捉到了误导性的模式，而这些模式对人类来说是无关紧要的。
“我们需要可以信任的AI系统，尤其是在医疗保健等高风险领域。如果我们不理解模型是如何做决策的，我们就不能安全地依赖它。我希望能够帮助构建不仅准确而且透明且易于解释的AI。”密歇根大学工业与运营工程助理教授Salar Fattahi说，他也是将在7月17日下午在加拿大不列颠哥伦比亚省温哥华举行的国际机器学习会议上展示的研究的高级作者。
在分类图像时，AI模型将数字向量与特定概念相关联。这些数字集被称为概念嵌入，可以帮助AI在X射线中定位“骨折”、“关节炎”或“健康骨骼”。可解释的AI旨在使概念嵌入可解释，即一个人可以理解这些数字代表什么以及它们如何影响模型的决策。
以前的可解释AI方法是在模型已经构建后添加可解释性特征。虽然这些方法可以识别影响模型预测的关键因素，但它们本身并不具有可解释性。这些模型还将概念嵌入视为固定的数值向量，忽略了其中可能存在的错误或误表示。
例如，这些模型使用预训练的多模态模型（如CLIP）来嵌入“健康骨骼”的概念。与精心策划的数据集不同，CLIP是在从互联网上抓取的大规模、嘈杂的图像-文本对上进行训练的。这些配对通常包括错误标记的数据、模糊描述或生物学上不正确的关联，导致生成的嵌入存在不一致性。
发布在arXiv预印本服务器上的新框架——约束概念细化（CCR）——通过将可解释性直接嵌入并优化到模型架构中来解决第一个问题。通过引入概念嵌入的灵活性，使其适应特定任务，解决了第二个问题。
用户可以切换框架以优先考虑可解释性，增加对概念嵌入的限制，或者优先考虑准确性，允许概念嵌入稍微偏离初始嵌入。这种额外的灵活性使得从CLIP获得的潜在不准确的“健康骨骼”概念嵌入能够根据可用数据自动调整和纠正。通过利用这种额外的灵活性，CCR方法可以同时增强模型的可解释性和准确性。
“最让我惊讶的是，可解释性并不一定以牺牲准确性为代价。事实上，通过正确的方法，完全有可能同时实现清晰、可解释的决策和强大的性能，简单而有效。”Fattahi说。
CCR在三个图像分类基准测试（CIFAR10/100、ImageNet、Places365）中，比两种可解释方法（CLIP-IP-OMP和无标签CBM）在预测准确性方面表现更好，同时保持了可解释性。重要的是，新方法将运行时间减少了十倍，提供了更好的性能和更低的计算成本。
“尽管我们目前的实验集中在图像分类上，但该方法的低实施成本和易调性表明其在多样化的机器学习领域具有广泛的应用潜力。”密歇根大学工业与运营工程博士毕业生Geyu Liang说，他是这项研究的主要作者。
例如，AI越来越多地被用于决定谁有资格获得贷款，但如果没有可解释性，被拒绝的申请人将无法了解原因。可解释的AI可以提高金融领域的透明度和公平性，确保决策基于收入或信用记录等具体因素，而不是偏见或无关信息。
“我们只是触及了表面。最让我兴奋的是，我们的工作提供了强有力的证据，证明可解释性可以以一种令人惊讶的高效和低成本的方式引入现代AI。”Fattahi说。
(全文结束)
