IEEE:新进展!AI 模型可以生成 3D 脑部MRI 图像,同时解决数据稀缺和隐私问题
医学成像对于医疗保健至关重要,但该领域的人工智能(AI)应用通常受到数据稀缺和患者隐私问题的限制。一种新颖的人工智能方法可以使用语义分割掩码生成 3D 脑部磁共振(MRI)图像,在医学图像合成和隐私保护方面取得了突破。
2024年7月2日,国立台湾科技大学的Zolnamar Dorjsembe博士和国立台湾大学的肖福仁博士及其研究团队在IEEE journal of biomedical and health informatics(IF=6.7)上发表了题为“Frontostriatal salience network expansion in individuals in depression”的文章,研究人员提出了一种被称为 Med-DDPM 的新扩散模型,该模型通过“语义条件反射”解决了数据稀缺等挑战。“语义调节”是一种将像素掩码图像纳入扩散过程以指导生成解剖学相干的 3D MRI 的方法。
Med-DDPM 通过避免模式崩溃和空间不一致等常见问题,将自己与现有的生成模型(例如生成对抗网络 (GAN))区分开来。它还能够仅使用掩模输入生成多种模态(T1、T1CE、T2 和 FLAIR)的脑部 MRI。
方法架构
在脑肿瘤分割任务中,Med-DDPM 的合成图像获得了 0.6207 的 dice 分数,与真实图像的性能 (0.6531) 非常接近。此外,当合成图像与真实数据相结合时,分割精度提高到 0.6675,证明了该模型在数据增强方面的潜力。
使用掩模生成的合成图像的比较
它能够从面罩生成正常和病理的脑部图像,使其在各种医学成像应用中具有高度的通用性。此外,Med-DDPM 对医疗数据进行匿名化处理的潜力确保了共享临床信息时的隐私。
结果可视化呈现
研究团队已公开提供脑病理 MRI 和分割掩码的合成数据集。此外,可以在 GitHub 上访问 Med-DDPM 的代码和模型权重,从而鼓励在该领域的进一步研究和开发。
总的来说,Med-DDPM不仅展示了扩散模型在生成高质量医学图像方面的能力,而且还解决了医疗保健领域的数据稀缺和隐私等挑战。未来的工作应该集中在扩大其应用和完善其能力,以进一步推进医学成像。
参考文献
Zolnamar Dorjsembe et al, Conditional Diffusion Models for Semantic 3D Brain MRI Synthesis, IEEE Journal of Biomedical and Health Informatics (2024). DOI: 10.1109/JBHI.2024.3385504