AI与医学影像的现状与可能性_2024年版 - AI与医疗健康

自我介绍

所属
本职：医疗设备制造商 - AI研究员：负责医疗设备搭载AI算法的研究开发
项目负责人：负责面向海外的新医疗设备业务(产品化项目)启动
其他所属：东京大学医学部附属医院生物设计部门外部研究员；外资AI开发企业医疗事业研究开发支援
兴趣爱好
健康护理和最新技术信息收集
葡萄酒、足球观赛、麻将、跑步
其他
通过演讲活动和兴趣研究收集信息进行总结
联系方式：tdys13@gmail.com或X私信

AI概述

AI发展阶段

当前的AI热潮正从第三次AI热潮（以深度学习为主导的机器学习时代）向第四次AI热潮（生成式AI）转变。

人工智能定义

人工智能≈"各种技术的综合体的总称"，目前特指主要使用"深度学习"&"其他技术"的系统。

深度学习

深度学习作为机器学习技术的一种方法，是人工智能的基石技术。

深度学习模型选择

根据最终目标、可用数据等条件，选择使用哪种深度学习模型和学习方法。

深度学习的演变

从零开始训练的AI模型：仅使用自身数据量(1G~100G)，调整参数(10^2~10^6)
使用预训练模型进行迁移学习的AI模型：使用大量数据训练(100G~1000G)，调整参数(10^8~10^10)
使用大规模数据训练的AI模型(基础模型、LLM、LVM等)：使用超大规模数据训练(1000G~100P)，调整参数(10^11~10^20)

2024年深度学习×医学影像处理研究趋势

从精度追求到解决临床实际问题

新生儿病房环境及新生儿特征考虑的人脸识别研究：在MICCAI 2024上发表的"新生儿病房中更深入的人脸检测研究"，针对NICU特殊环境下新生儿面部特征与成人不同的特点，构建专门数据集并开发新算法，解决了遮挡物多、面部小等难点。
腹腔镜手术中烟雾去除尝试：MICCAI 2024上发表的"腹腔镜图像去烟新基准体内配对数据集"，构建了真实手术图像的烟雾有无配对数据集，用于评估现有算法的烟雾去除能力。
机器人手术中组织和器械遮挡考虑的姿态估计：MICCAI 2024上发表的"精确机器人手术姿态估计：引入遮挡感知损失"，通过新定义的损失函数，提高了机器人手术中被遮挡器械的姿态估计精度。
非增强CT中主动脉瓣重建：MICCAI 2024上发表的"非增强CT中主动脉瓣重建：看见不可见"，提出利用刚性配准和ICP算法，通过非增强CT实现主动脉瓣的精确分割。

细分场景与对象的研究应用

光学流不损失的动态数据增强：MICCAI 2024上发表的"VideoCutMix：稀缺数据场景下的手术视频时间分割"，开发了维持光学流的同时进行视频数据增强的技术。
B模式超声图像中检测精度提升：MICCAI 2024上发表的"拓扑GCN提升B模式超声图像髋部标记检测"，针对婴儿发育性髋关节发育不良诊断，提出结合U-Net和Transformer的TGCN-ICF架构。
X线血管造影领域中的Sim2Real应用：MICCAI 2024上发表的"XA-Sim2Real：X线血管造影中血管分割的自适应表征学习"，利用数字重建血管造影(DRVR)生成模拟数据，通过两阶段适应过程实现高精度血管分割。

新技术引入带来的突破①

专为外科手术设计的Transformer：MICCAI 2024上发表的"Surgformer：具有层次时间注意力的外科手术Transformer用于手术阶段识别"，引入层次时间注意力(HTA)和聚合空间注意力(ASA)，实现高效准确的手术阶段识别。
LLM应用于肺部癌症5年预后预测：MICCAI 2024上发表的"LLM引导的多模态多实例学习用于肺部癌症5年总体生存率预测"，整合CT图像、病理图像和临床信息，实现高精度的5年生存率预测。
用于疾病进展预测的扩散模型：MICCAI 2024上发表的"通过扩散模型从病理转变生成渐进图像"，提出自适应深度控制扩散(ADD)网络，实现病理图像进展阶段的模拟和生成。

新技术引入带来的突破②

脑损伤分割的基础模型：MICCAI 2024上发表的"具有模态专家混合的脑损伤分割基础模型"，通过模态专家混合(MoME)框架和层次门控网络，整合多种MRI模态信息。
专为超声图像优化的SAM：MICCAI 2024上发表的"超越适应SAM：通过自动提示实现端到端超声图像分割"，提出SAMUS和AutoSAMUS架构，实现超声图像的高精度自动分割。
适用于医学图像的Med-CLIP SAM：MICCAI 2024上发表的"Med-CLIP SAM：连接文本和图像实现通用医学图像分割"，结合Med-CLIP和SAM，实现零样本和弱监督下的高精度分割。
SAM用于伪标签的鲁棒性提升：MICCAI 2024上发表的"IPLC：由SAM引导的迭代伪标签校正用于医学图像分割中的无源域适应"，通过多次随机采样和熵权重估计，提升伪标签质量。

医学视觉问答任务

大规模医学视觉问答数据集：Nature Communications Medicine上发表的"大规模医学视觉问答数据集的开发"，构建了包含149,000张图像和227,000对问答的大规模数据集。

个人关注的研究领域

皮肤疾病诊断领域中兼顾公平性和精度的模型构建：MICCAI 2024上发表的"通过通道剪枝实现公平性用于皮肤疾病诊断"，使用通道剪枝技术减轻肤色和性别等敏感属性导致的偏差。
医疗领域中世界模型的应用：MICCAI 2024上发表的"心脏副驾驶：使用世界模型实现自动超声心动图探头引导"，将世界模型应用于心脏超声检查中的自动探头引导。
研究中的技术评估方法与产品化性能评估之间的差距：MICCAI 2024上发表的"置信区间揭秘：我们准备好用于真实世界的医学影像AI了吗？"，提出新的方法来估计标准偏差和置信区间，以准确评估模型性能波动。

2024年日本医疗AI业务(企业/机构)

脑部

富士胶片株式会社×国立癌症研究中心：利用云AI技术开发支持服务"SYNAPSE Creative Space"，共同开发从MRI图像中精确提取疑似神经胶质瘤区域的AI技术
富士胶片株式会社×名古屋市立大学：利用"SYNAPSE Creative Space"开发从MRI图像中自动提取脑脊液腔各区域的AI技术，用于特发性正常压力脑积水的鉴别

眼部

广岛大学：提出使用图像生成AI的眼底疾病诊断训练新方法，学生诊断性能大幅改善
DeepEyeVision株式会社×自治医科大学：构建基于LMM(大规模多模态模型)的眼底读影结果自动生成功能，将于2024年内在自治医科大学健康检查中心开始试用
AI inside株式会社×京都府立医科大学：开发指定难治性疾病Stevens-Johnson综合征(SJS)和中毒性表皮坏死溶解症(TEN)的预后预测AI
株式会社OUI×医疗法人庆眼会横滨庆眼眼科：开发从Smart Eye Camera(OUI inc.制造)图像中估计前房深度的AI
株式会社OUI：成功开发使用Smart Eye Camera进行角膜混浊检测的AI

口腔内

艾里斯株式会社：

与6所大学医院共同启动咽部图像数据库(注册表)
开发新型新冠病毒相关新功能AI，并申请药事批准
与朝日集团日本公司合作，开始面向护理/看护机构的口腔状态评估应用程序的实证实验

媒体株式会社：获得牙科用骨形态评估程序PanoSCOPE的药事批准
NTT DOCOMO株式会社×东北大学：开发使用AI技术的口腔癌诊断辅助技术，口腔癌检测模型达到敏感度93.9%、特异度81.2%

乳腺

Smart Opinion株式会社：获得乳腺癌超声图像AI诊断辅助软件"Smart Opinion METIS Eye"的药事批准，可疑病变候选部位检测敏感度94.4%，医生使用该程序读片的正确诊断率从69.3%提高到73.1%

心脏

M3 AI株式会社×顺天堂大学×Us2.ai：宣布开始合作推广AI心超声自动分析软件Us2.ai在日本的应用
富士通株式会社×国立癌症研究中心×理化学研究所×昭和大学：获得胎儿心脏超声筛查辅助系统的药事批准，该系统于2018年开始联合研究

胃部

株式会社两备系统×冈山大学：

获得早期胃癌深度诊断辅助系统Deepth-EGC的药事批准，专业医生正确诊断率约72%，该产品达到82%
开发日本首个使用AI诊断辅助胆道癌的系统，并在Gastrointestinal Endoscopy上发表研究成果

AI医疗技术服务株式会社：获得AI内窥镜图像诊断辅助软件的制造销售批准，可在内窥镜检查时实时检测疑似早期胃癌和腺瘤的区域

消化器部

奥林巴斯株式会社：销售搭载AI的内窥镜图像诊断辅助软件"EndoBRAIN-X"，该产品于2023年1月17日获得药事批准
日本消化器内窥镜学会：奥林巴斯、富士胶片、Elice株式会社生产的大肠内窥镜诊断辅助AI医疗器械3种产品的保险覆盖完成

上半身其他部位

兵库县立大学×兵库医科大学：开发从超声波图像中早期检测"棒球肘"的算法，对196名儿童的超声波图像进行评估，判定精度达97%

病理部

日本IBM株式会社×东京大学医学部附属医院：开发从脂肪肝病理图像预测癌症的AI模型，对58例肝活检标本数字病理图像进行分析，准确率82.3%、AUC 0.84%
大阪大学×九州大学：开发从少量数据高精度分析肾疾病的AI，通过自监督学习应用于肾病理图像分析

手术辅助

Anaut株式会社×20多家合作研究机构：获得日本首个外科医生视觉识别实时辅助程序医疗设备"Eureka α"的药事批准，该程序在手术中实时估计疏松结缔组织的位置和区域
Jmees株式会社×国立癌症研究中心东医院：获得"内窥镜手术辅助程序SurVis-Hys"的药事批准，该程序在腹腔镜和机器人辅助子宫全切术中检测尿管和膀胱部位

其他

日本眼科学会AI项目：开发健诊用视网膜疾病诊断辅助AI应用程序，计划于2024年6月申请药事批准；前眼部疾病诊断辅助AI"CorneAI"正在进行性能评估测试
产业技术综合研究所：开发通过图像基础模型达到专业医生水平的膀胱内窥镜诊断辅助AI，使用200万张自动生成的图像构建基础模型，再用约9,000张膀胱内窥镜图像进行额外学习，实现敏感度94.3%、特异度99.4%的诊断精度
Alm株式会社：在智利实施智能手机一体式眼底相机"Eyer"与医疗工作者间通信应用"Join"联动的远程糖尿病视网膜病变检查
癌症研究有明医院：与Google合作研究使用AI的乳腺癌筛查，确认了乳腺癌筛查的精度和筛查过程的效率提升
AI医疗技术服务株式会社：其第一产品gastroAI-modelG在巴西和新加坡也获得批准
Jmees株式会社：发布开发用于判断大肠内窥镜检查前排便状况的AI应用程序
Boston Medical Sciences株式会社：宣布其正在开发的完全无需泻药的虚拟内窥镜检查系统"AIM4CRC"获得了优先SaMD指定
Care Viewer株式会社：与芬兰国内市场份额第一的Gillie.AI公司合作，开始"健康预测AI"的实证实验
Ridge-i株式会社：开发从猫胸部X线图像中高密度去除骨骼的AI技术
Surg Storage株式会社：开始向法国IHU Strasbourg和北美内窥镜外科学会提供医疗视频数据
Zotius Japan株式会社：开始销售具有AI功能的数字显微镜，可识别白细胞、血小板、多染性红细胞等
Acompany株式会社：与名古屋大学医院和东北大学医院合作，使用联合学习对消化道出血患者数据进行保密化学习，构建预测是否需要额外医疗行为的AI模型
BioSono株式会社：发布通过AI自动观察喉咙声音、判定进食形态的产品"食通"

AI医疗器械介绍

医疗器械分类

医疗器械根据对人体风险分为I~IV类，按照国际标准进行分类和监管。

医疗器械适用性判断

程序是否属于医疗器械有明确的判断流程，需按照规则确认其适用性。

AI医疗器械开发模式

AI医疗器械开发大致可分为6种模式，各公司根据自身情况制定产品化战略和开发组合。

日本获批的医学影像AI医疗器械

截至2024年12月，日本国内已获得药事批准的医学影像AI医疗器械共计37种，包括：

脑部：5种
眼部：4种
乳腺：2种
心脏：3种
胃部：4种
消化器部：6种
上半身其他：1种
病理部：1种
手术辅助：2种
其他：3种
新冠相关：6种

此外，还有9种非医学影像AI医疗器械获得批准。

美国AI医疗器械列表

美国FDA已批准1,016种AI/ML搭载医疗器械，其中部分也获得日本药事批准。

总结

2024年动向（个人观点）

研究方面：从单纯追求精度提升转向解决泛化性能提升和临床实际问题；研究领域从主流方向（精度提升、新技术应用）向更多细分领域（罕见疾病、特定问题、只有临床才能发现的问题）延伸。
业务方面：除AI医疗器械外，各公司还开展了非医疗器械AI服务、进口AI医疗器械等多种业务；大企业从2018年左右开始的研究正逐渐转化为产品。