本文主要是介绍UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation论文译读笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
摘要
许多医学图像分割的SOTA模型都是UNet网络和FCN网络的变体。尽管这些模型十分成功,但仍然有两个限制:(1)这些模型的最佳深度是先验未知的(即网络深度是无法预知的超参数),需要广泛的架构搜索或者不同深度模型的低效集成;(2)这些模型的跳跃连接强制实行不必要的限制性融合框架,仅在编码器和解码器子网络中相同尺度的特征图上强制进行聚合。为了克服这两个限制,文章提出了UNet++模型,一种新的语义分割和实例分割的神经网络架构:(1)通过不同深度UNet的有效集成来减轻位置网络的深度,这些UNet会部分共享一个编码器并同时使用深度监督一起共同学习;(2)重新设计解码器子网络中的跳跃连接,来聚合不同语义尺度的特征,从而形成高度灵活的特征融合框架;(3)设计一种剪枝方法加快UNet++模型的推理速度。文章使用了六种不同的医学图像分割数据集来对UNet++模型进行评测,包括了多种成像模态例如:computed tomography (CT)、magnetic resonance imaging (MRI)和 electron microscopy (EM),结果表明:(1)在不同数据集,以及使用不同主干网络架构时,UNet++模型始终优于基线模型;(2)UNet++可以增强不同大小目标的分割质量——对固定深度UNet的改进;(3)对于实例分割任务,Mask RCNN++(使用UNet++设计的Mask RCNN模型)由于原有的Mask RCNN模型;(4)剪枝的UNet++模型实现了显著的速度提升,同时仅表现出些许的性能下降。UNet++的实现和预训练模型位于https://github.com\/MrGiovanni/UNetPlusPlus。
引言
Encoder-decoder网络在如今的语义分割和实例分割模型中十分常见【ZhouDeepMedical, ShenDeepMedical,Litjens2017Survey, Chartrand2017Radiologists, UNet, Tajbakhsh2020Embracing】。这些模型的成功很大程度上归功于跳跃连接,它结合了来自解码器子网络的深层、语义、粗粒度的特征图和来自编码器子网络的浅层、低级、细粒度的特征图,并且已经证明即使在复杂的背景中【10_HariharanHypercolumns2015, 11_FPN】,也能有效地恢复目标对象的细粒度细节【7_Drozdzal2016Skip, 8_ResNet, 9_DenseNet】。跳跃连接在实例级分割模型中也发挥了关键的作用,例如【12_MaskRCNN,13_HuSeg2018】,其中的想法是分割和区分所需对象的每个实例。
然而,这些用于图像分割的encoder-decoder架构有两个限制。首先,encoder-decoder网络的最佳深度可能会随着不同的应用而变化,这取决于任务难度以及可供训练的标注数据的数量。简单的做法是分别训练多个不同深度的模型,然后在推理时将这些模型的结果进行ensemble(集成)【14_DietterichEnsemble2000, 15_ShinCAD2016, 16_CiompiAutomatic2015】。然而,这种简单的做法从开发的角度看效率不高,因为这些网络没有能够共用一个编码器。而且,在独立训练的情况下,这些网络无法享受多任务学习的收益\cite{17_BengioLearning2009,18_ZhangSurvey2017}。其次,用于encoder-decoder网络中跳跃连接的设计具有不必要的限制,要求编码器和解码器中相同尺度的特征图进行融合。虽然这种自然的设计引人注目,但是来自编码器和解码器中相同尺度的特征图不具有语义相似性,并且没有可靠的理论保证两者是特征融合的最佳配对。
这篇关于UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation论文译读笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!