医学成像中的模糊性对试图识别疾病的临床医生来说是一个重大挑战。例如，在胸部X光片中，胸腔积液（肺部异常积液）看起来可能与肺浸润（脓液或血液的积聚）非常相似。
人工智能模型可以通过帮助识别细微细节并提高诊断过程的效率来辅助临床医生进行X光分析。但由于一张图像中可能存在许多可能的病症，临床医生可能希望考虑一组可能性，而不是只评估一个AI预测。
一种产生一组可能性的有前景的方法是共形分类，因为它可以方便地在现有的机器学习模型上实现。然而，它可能会产生不切实际的大规模预测集。
麻省理工学院的研究人员现在开发了一种简单而有效的方法，可以将预测集的大小减少多达30%，同时使预测更加可靠。
较小的预测集可能有助于临床医生更高效地确定正确的诊断，从而改善和简化患者的治疗。这种方法在各种分类任务中都有用处，例如识别野生动物公园图像中的动物种类，因为它提供了一个更小但更准确的选项集。
“由于需要考虑的类别较少，预测集自然更具信息量，因为你是在更少的选项中进行选择。从某种意义上说，你并没有为了获得更多信息而在准确性上做出牺牲。”麻省理工学院研究生、现为康奈尔科技博士后的Divya Shanmugam说。
Shanmugam与Helen Lu、前麻省理工学院博士后Swami Sankaranarayanan（现为Lilia Biosciences的研究科学家）以及高级作者John Guttag（麻省理工学院计算机科学与电气工程Dugald C. Jackson教授，也是麻省理工学院计算机科学与人工智能实验室成员）共同撰写了这篇论文。这项研究将在6月份的计算机视觉和模式识别会议上发表。
预测保证
用于高风险任务（如在医学图像中分类疾病）的人工智能助手通常设计为每个预测都附带一个概率分数，以便用户可以衡量模型的信心度。例如，模型可能会预测某个图像对应于特定诊断（如胸膜炎）的概率为20%。
但是很难信任模型的预测信心度，因为大量先前的研究表明这些概率可能是不准确的。使用共形分类，模型的预测被一组最可能的诊断所取代，并且保证正确诊断在该集合中。
但由于人工智能预测的固有不确定性，模型往往会输出过大而无法使用的集合。
例如，如果模型正在将图像中的动物分类为10,000个潜在物种之一，它可能会输出包含200个预测的集合以提供强有力的保证。
“对于某人来说，要从中筛选出正确的类别，这实在是太多了。”Shanmugam说。
该技术也可能不可靠，因为输入的微小变化（如稍微旋转图像）可能会导致完全不同的预测集。
为了使共形分类更有用，研究人员应用了一种旨在提高计算机视觉模型准确性的技术，称为测试时增强（TTA）。TTA创建了数据集中单个图像的多个增强版本，可能通过裁剪图像、翻转图像、放大等操作。然后它将计算机视觉模型应用于同一图像的每个版本，并聚合其预测。
“通过这种方式，你可以从一个示例中获得多个预测。这样聚合预测可以提高预测的准确性和鲁棒性。”Shanmugam解释道。
最大化准确性
为了应用TTA，研究人员保留了一些用于共形分类过程的标记图像数据。他们学会在这些保留的数据上聚合增强，自动以最大化基础模型预测准确性的方式增强图像。
然后他们在模型的新TTA转换预测上运行共形分类。共形分类器输出更小的一组可能预测，同时保持相同的置信度保证。
“将测试时增强与共形预测结合起来简单易行，在实践中有效，并且不需要重新训练模型。”Shanmugam说。
与之前在几个标准图像分类基准上的共形预测工作相比，他们的TTA增强方法在实验中减少了10%到30%的预测集大小。
重要的是，该技术在减少预测集大小的同时，保持了概率保证。
研究人员还发现，尽管他们牺牲了一些通常用于共形分类过程的标记数据，但TTA足以提高准确性，以抵消丢失这些数据的成本。
“这提出了关于如何在模型训练后使用标记数据的有趣问题。在不同后训练步骤之间分配标记数据是未来工作的一个重要方向。”Shanmugam说。
在未来，研究人员希望验证这种方法在文本分类模型中的有效性。为了进一步改进工作，研究人员还在考虑减少TTA所需计算量的方法。
(全文结束)
