自适应生成对抗网络与多模态Transformer在脑疾病预测中的应用 - AI与医疗健康

自适应生成对抗网络与多模态Transformer在脑疾病预测中的应用A Multimodal Transformer with Adaptive GAN for Brain Disease Prediction - ScienceDirect

环球医讯 / AI与医疗健康来源：www.sciencedirect.com突尼斯 - 英语2025-11-11 01:17:36 - 阅读时长2分钟 - 732字

本文提出了一种结合自适应条件感知生成对抗网络(GAN)与多模态时空Transformer的创新方法用于脑疾病预测。该方法能动态生成缺失的脑部成像模态（如从MRI生成PET或CT），并整合多源数据（包括MRI、PET、CT、基因和临床数据）。通过创新的压缩-激励模块和多交叉融合机制，该模型在阿尔茨海默病和脑肿瘤数据集上分别达到99.05%和98.9%的高准确率，有效解决了数据不平衡和模态缺失问题，为脑疾病早期诊断和进展追踪提供了新思路，展现了人工智能在医疗健康领域的巨大应用潜力，标志着脑疾病智能诊断技术的重大突破。

摘要

自适应生成式人工智能正成为提高脑疾病检测的重要方法，它通过模态合成提供创新的脑数据增强方法，并处理不完整和不平衡的数据集。本文提出了一种自适应条件感知生成对抗网络(GAN)，该网络能够通过为阿尔茨海默病(AD)和脑肿瘤创建特定疾病阶段的真实脑部成像模态来生成脑部模态。此外，它能动态学习并捕捉不同模态之间的映射关系，以生成缺失的脑部模态，例如为阿尔茨海默病检测从MRI生成PET图像，为脑肿瘤检测从MRI生成CT图像。另外，我们将这种自适应GAN与一种新的多模态时空Transformer模型相结合，该模型整合了不同的脑部模态，如用于AD检测的MRI和PET，以及用于脑肿瘤检测的CT与MRI，还包括基因和临床数据等其他数据类型。该方法使用卷积神经网络(CNN)并结合创新的压缩-激励(SE)模块进行了增强。所提出的多模态Transformer编码器结合了多头线性自注意力和增强记忆自注意力模块，以处理传统视觉Transformer的二次复杂度问题。设计了多交叉融合模块来提取脑部模态与基因和临床数据之间的交互。我们使用分层5折交叉验证在三个数据集上评估了我们的模型，包括用于阿尔茨海默病检测的阿尔茨海默病神经影像计划(ADNI)数据集，平均准确率达到99.05±0.08；以及两个脑肿瘤数据集，如癌症基因组图谱低级别胶质瘤集合(TCGA-LGG)数据集，我们在Kaggle脑肿瘤数据集上分别获得了98.9±0.12%和97.50±0.15%的准确率。这些结果证明了我们所提出模型在疾病预测和进展追踪方面的有效性，为更先进的脑疾病检测开辟了新途径。