研究人员开发了首个可以理解和解释医学影像的双语AI模型,特别是在阿拉伯语内容方面取得了显著成果。由Mohamed Bin Zayed大学领导的国际研究团队开发了BiMediX2,这是第一个可以分析并用英语和阿拉伯语描述医学影像的AI系统。
该系统可以处理从X光片、MRI扫描到显微图像等各种类型的医学影像,提供详细的描述并回答有关图像的问题,无论使用哪种语言。在测试中,BiMediX2的表现超过了现有技术,在处理英文文本时性能提高了9%,而在处理阿拉伯语内容时性能更是提升了20%。
BiMediX2的成功源于其基于160万份医学记录的大规模训练数据集。为了确保两种语言的准确性,研究团队首先使用GPT-4o生成初始的阿拉伯语翻译,然后由医学专家进行质量审查。系统底层运行的是专门为医学应用调整的Llama 3.1架构,并在检测不正确的医学信息方面优于GPT-4o。
BiMediX2结合了视觉编码器、Meta Llama 3.1和GPT-4o,提供了无缝的双语分析功能,能够在英语和阿拉伯语之间自动翻译发现结果,并经过专家验证。尽管结果令人鼓舞,但研究人员强调,BiMediX2目前仅限于研究用途,尚未用于临床实践。像所有AI系统一样,它仍然可能存在错误或生成不正确的信息。
研究团队已在Hugging Face上发布了BiMediX2模型,并引入了BiMed-MBench,这是一个新的双语基准测试工具,用于评估类似系统。
(全文结束)

