背景:全球糖尿病患者超过5.37亿,该疾病悄然引发三大严重并发症:糖尿病视网膜病变(DR)、糖尿病肾病(DN)和心血管疾病(CVD)。目前每种并发症都需要不同专科医生进行诊断,导致早期筛查成本高昂、速度缓慢,在资源匮乏地区难以实施。此前,尚未有开源系统能够同时覆盖图像和临床表格数据,实现对三种并发症的统一AI诊断并提供可解释性和实时部署功能。
方法:我们提出D2RNC-AI,这是一种跨六种模态的多模态深度学习与机器学习框架,涵盖眼底图像(DR)、肾脏超声图像(DN)、心电图图像(CVD)以及三个临床/电子健康记录表格数据集。图像模型采用混合CNN-Transformer架构(包括EfficientNetB3、DenseNet121、EfficientNetB3+ViT)。针对每个表格数据集,我们对九种机器学习分类器进行了基准测试,其中XGBoost和梯度提升表现最佳。SHAP值和Grad-CAM热图提供了预测结果的临床可解释性。通过微调Llama-3-8B大型语言模型(LoRA)和Flask网页门户,完成了端到端部署流程。
结果:在五个严重程度等级上,DR图像分类测试准确率达到87.40%(AUC 0.951)。DN图像分类在五类肾脏超声图像上准确率达到79.61%(AUC 0.937)。CVD心电图分类使用EfficientNetB3-ViT混合模型,准确率达到88.51%,平均AUC值为0.974。在表格数据方面,DN梯度提升模型准确率达到98.99%(AUC 0.999);CVD随机森林模型准确率为85.00%(AUC 0.895);DR XGBoost模型准确率约为83%。每位患者的SHAP置信度范围为82%-96%,Grad-CAM激活图始终能准确突出解剖学上正确的病理区域。
结论:D2RNC-AI证明,单一、连贯的开源框架能够以临床医生级别的准确度同时筛查三种主要糖尿病并发症。六个公开可用的数据集、训练好的模型检查点和可部署的网页门户使该系统能够直接复制并扩展到实际临床应用中。
【全文结束】

