Nature Medicine：瞿佳/张康/王劲卓团队开发全球首个通用大型生成式AI医学影像模型，帮助提高癌症患者生存率

温州医科大学瞿佳、张康、北京大学未来技术学院王劲卓等人在国际顶尖医学期刊 Nature Medicine 上发表了题为：Self-improving generative foundation model for synthetic medical image generation and clinical applications 的研究论文。

研究团队开发了一种统一的医学图像-文本生成模型——MINIM。MINIM模型集成了医学图像与文本描述，涵盖了多种模式和器官，包括光学相干断层扫描（OCT）、眼底、胸部X光和胸部计算机断层扫描（CT）等，能够基于文本指令在不同的成像模式下合成不同器官的医学图像，具有作为通用医学人工智能（generalist medical AI，GMAI）的潜力。

大型医疗数据集的可用性对于推动人工智能（AI）模型开发和临床应用至关重要。然而，隐私问题带来了重要的道德和法律问题，使得共享此类数据变得困难。由于缺乏高质量的影像数据集，阻碍了前沿AI技术与医学及医疗应用的整合。

为了解决这一挑战，数据增扩（Data Augmentation）和使用生成式人工智能（Generative AI）的合成图像已成为关键解决方案。生成式AI在医学影像学研究中取得了重大突破，增强了对病历和图像的分析，改善了诊疗计划。

生成式对抗网络（GAN）已被广泛用于生成合成医学图像，在提高AI模型的数据可用性方面取得了显著进展。此外，建立在GAN基础上的新管线还纳入了分割技术，以进一步减少所需的训练数据集数量，特别适用于数据稀缺场景（例如罕见病）。这些研究表明，在单一的医学成像模式中，生成式AI可以生成高质量的合成图像，这些图像可作为支持医学成像研究的宝贵资产。

然而，传统的基于GAN的图像生成难以生成不同维度的图像，因此，往往限于单一成像模式。对单一模式的有限探索和对不同医学影像模式之间关系的缺乏研究，进一步阻碍了广泛的多模态医学影像数据集的充分利用和通用医学生成式模型的发展。

为了解决上述问题，研究团队开发了一种统一的医学图像-文本生成模型——MINIM。MINIM集成了医学图像与文本描述，涵盖了多种模式和器官，包括光学相干断层扫描（OCT）、眼底、胸部X光和胸部计算机断层扫描（CT）等。

MINIM模型能够基于文本指令在不同的成像模式下合成不同器官的医学图像。研究团队评估了MINIM基于文本输入生成合成图像的性能，并在不同的医学影像场景中与其他最新生成模型进行了性能测试。临床医师的评估和严格的客观测量验证了MINIM模型生成的合成图像的高质量。

研究团队还通过纳入额外的脑部和乳腺磁共振成像（MRI）数据集，探索了MINIM模型的适应性，从而评估MINIM模型在持续学习和整合新医学知识方面的潜力。

MINIM在数据域上表现出更强的生成能力，显示出其作为通用医学人工智能（generalist medical AI，GMAI）的潜力。

研究结果表明，MINIM模型生成的合成图像有效地增强了现有的数据集，提高了诊断、报告生成和自我监督学习等多种医疗应用的性能。平均而言，MINIM模型能提高12%的眼科、15%的胸部、13%的大脑和17%的乳房相关任务的表现。此外，该研究还证明了MINIM模型在从磁共振成像（MRI）图像中准确预测HER2阳性乳腺癌方面的潜在临床应用。通过大型回顾性模拟分析，研究团队证明了MINIM模型的临床潜力，该模型通过肺癌CT图像准确识别了靶向治疗敏感的EGFR突变，这可能提高患者的5年生存率。

总的来说，该研究开发了在真实数据和合成数据上训练的生成式AI模型，显示出更好的预测能力，在罕见病诊断、报告生成和自我监督学习的背景下非常有益。在临床中证明了MINIM模型可以显著提高乳腺HER2突变的检测。此外，在临床研究中，将MINIM模型应用于EGFR突变癌症的靶向治疗，在两个独立的队列中证实了能够提高患者的5年生存率。