多聚焦图像融合领域取得进展
来源:苏州医工所 2023-11-23 09:59
在MFIF领域中,深度学习方法的效果明显优于传统算法。近年来,基于深度学习的MFIF算法发展迅速,但科学家往往致力于设计越来越复杂的网络结构
目前,在MFIF领域中,深度学习方法的效果明显优于传统算法。近年来,基于深度学习的MFIF算法发展迅速,但科学家往往致力于设计越来越复杂的网络结构、模块和损失函数来提升算法的融合性能。这意味着必须花费大量的时间来设计巧妙的网络结构,并完成足够多的对比实验。而这不利于算法性能的提升,导致当前的MFIF算法性能遇到了瓶颈。
为此,中国科学院苏州生物医学工程技术研究所付威威团队重新考虑了图像融合任务,并将其建模为一种条件生成模型。该团队结合当前图像生成领域效果最好的扩散模型(Diffusion Models),提出了一种基于扩散模型的MFIF算法——FusionDiff(FusionDiff的图像融合原理如图1所示)。这是该扩散模型在多聚焦图像融合领域的首次应用,为该领域的研究提供了新思路。
经过实验验证,FusionDiff在融合效果和小样本学习性能上均优于其他MFIF算法。FusionDiff在8种评价指标上与13种代表性的MFIF算法进行了对比,取得了最好的融合效果(表1、2)。同时,FusionDiff是一种小样本学习的MFIF算法,仅需要100对训练集就能够取得良好的融合效果。表3展示了不同MFIF算法的训练集规模,FusionDiff的训练集规模降低为其他算法的2%以内。这意味着该算法可能适用于样本稀缺的应用场景,如显微图像融合。
相关研究成果以FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models为题,发表在《专家系统与应用》(Expert Systems with Applications)上。研究工作得到山东省自然科学基金和中国科学院青年创新促进会的支持。
版权声明 本网站所有注明“来源:生物谷”或“来源:bioon”的文字、图片和音视频资料,版权均属于生物谷网站所有。非经授权,任何媒体、网站或个人不得转载,否则将追究法律责任。取得书面授权转载时,须注明“来源:生物谷”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。