MedSegDiff: Medical Image Segmentation withDiffusion Probabilistic Model

本文主要是介绍MedSegDiff: Medical Image Segmentation withDiffusion Probabilistic Model,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

MedSegDiff:基于扩散概率模型的医学图像分割

摘要:

扩散概率模型(Diffusion probabilistic model, DPM)是近年来计算机视觉研究的热点之一。它在Imagen、Latent Diffusion Models和Stable Diffusion等图像生成应用中表现出了令人印象深刻的生成能力,引起了社区的广泛讨论。最近的许多研究还发现,它在许多其他视觉任务中也很有用,比如图像去模糊、超分辨率和异常检测。受DPM成功的启发,我们提出了第一个基于DPM的一般医学图像分割模型,我们将其命名为MedSegDiff。为了增强DPM在医学图像分割中的分步区域注意力,我们提出了动态条件编码,该编码为每个采样步建立状态自适应条件。我们进一步提出Feature Frequency Parser (FF-Parser)来消除高频噪声分量在此过程中的负面影响。我们在三种不同图像模式的医学分割任务上验证了MedSegDiff,即眼底图像的视杯分割、MRI图像的脑肿瘤分割和超声图像的甲状腺结节分割。实验结果表明,MedSegDiff算法在性能上明显优于SOTA算法,表明了该模型的泛化性和有效性。我们的代码发布在https://github.com/WuJunde/MedSegDiff

1 介绍

医学图像分割是将医学图像分割成有意义区域的过程。分割是许多医学图像分析应用的基本步骤,如诊断、手术计划和图像引导手术。这很重要,因为它可以让医生和其他医疗专业人员更好地了解他们所看到的东西。它还可以更容易地比较图像和跟踪随时间的变化。近年来,人们对医学图像的自动分割方法越来越感兴趣。这些方法有可能减少人工分割所需的时间和精力,并提高结果的一致性和准确性。随着深度学习技术的发展,越来越多的研究成功地将基于神经网络(NN)的模型应用到医学图像分割任务中,从流行的卷积神经网络(CNN)[11]到最近的视觉变压器(ViT)[3,22,12,28]。

最近,扩散概率模型(diffusion probistic model, DPM)[9]作为一类强大的生成模型[27]得到了广泛的应用,它能够生成具有高多样性和高合成质量的图像。最近的大型扩散模型,如DALLE2[17]、Imagen[19]和Stable diffusion[18]已经显示出令人难以置信的生成能力。扩散模型最初应用于不存在绝对真值的领域。然而,最近的研究表明,它也有效地解决了地面真相是唯一的问题,如超分辨率[20]和去模糊[24]。

受DPM最近成功的启发,我们设计了一种独特的基于DPM的医学图像分割模型。据我们所知,在一般医学图像分割的背景下,我们首次提出了基于dpm的不同图像模态分割模型。我们注意到,在医学图像分割任务中,病变/器官往往是模糊的,很难从背景中区分出来。在这种情况下,自适应校准过程是获得精确结果的关键。按照这种思路,我们提出了基于普通DPM的动态条件编码来设计所提出的模型,命名为MedSegDiff。需要注意的是,在迭代采样过程中,MedSegDiff对每一步都设置了图像先验条件,以便从中学习分割映射。针对自适应区域关注,我们将当前步骤的分割图整合到每一步的图像先验编码中。具体实现是将当前步分割掩码与特征级先验图像以多尺度方式融合。这样,损坏的电流阶掩模有助于动态增强条件特征,从而提高重建精度。为了消除在此过程中损坏的给定掩模中的高频噪声,我们进一步提出了特征频率解析器(FF-Parser)来过滤傅里叶空间中的特征。在每个跳跃连接路径上采用ff解析器进行多尺度集成。我们在三种不同的医学分割任务中验证了MedSegDiff,即光学杯分割、脑肿瘤分割和甲状腺结节分割。这些任务的图像有不同的模态,分别是眼底图像、脑部CT图像、超声图像。MedSegDiff在不同模态下的三种任务上均优于先前的SOTA,表明了所提方法的泛化和有效性。简而言之,本文的贡献是:

--首先提出了基于dpm的一般医学图像分割模型。

--提出了分步关注的动态条件编码策略

--为了消除高频分量的负面影响,提出了高频解析器

--SOTA在三种不同图像模态的医学分割任务中的性能。

2  方法

我们基于文献[9]中的扩散模型来设计模型。扩散模型是由正向扩散和反向扩散两个阶段组成的生成模型。在正演过程中,分割标签x0通过一系列步骤T逐渐加入高斯噪声。在反向过程中,通过对噪声过程进行反向,训练神经网络来恢复原始数据,可以表示为:

这篇关于MedSegDiff: Medical Image Segmentation withDiffusion Probabilistic Model的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/600380

相关文章

lvgl8.3.6 控件垂直布局 label控件在image控件的下方显示

在使用 LVGL 8.3.6 创建一个垂直布局,其中 label 控件位于 image 控件下方,你可以使用 lv_obj_set_flex_flow 来设置布局为垂直,并确保 label 控件在 image 控件后添加。这里是如何步骤性地实现它的一个基本示例: 创建父容器:首先创建一个容器对象,该对象将作为布局的基础。设置容器为垂直布局:使用 lv_obj_set_flex_flow 设置容器

MVC(Model-View-Controller)和MVVM(Model-View-ViewModel)

1、MVC MVC(Model-View-Controller) 是一种常用的架构模式,用于分离应用程序的逻辑、数据和展示。它通过三个核心组件(模型、视图和控制器)将应用程序的业务逻辑与用户界面隔离,促进代码的可维护性、可扩展性和模块化。在 MVC 模式中,各组件可以与多种设计模式结合使用,以增强灵活性和可维护性。以下是 MVC 各组件与常见设计模式的关系和作用: 1. Model(模型)

diffusion model 合集

diffusion model 整理 DDPM: 前向一步到位,从数据集里的图片加噪声,根据随机到的 t t t 决定混合的比例,反向要慢慢迭代,DDPM是用了1000步迭代。模型的输入是带噪声图和 t,t 先生成embedding后,用通道和的方式加到每一层中间去: 训练过程是对每个样本分配一个随机的t,采样一个高斯噪声 ϵ \epsilon ϵ,然后根据 t 对图片和噪声进行混合,将加噪

IMAGE LIST

   CImageList就是一个容器,用来存储图片资源,方便这些资源被CListBox,CComboBox,CComboBoxEx,CTabCtrl以及CTreeCtrl,CListCtrl等使用。      要使用CImgeList首先要使用它的create函数:      一般用的比较多的是这一个函数,当然,它还有很多重载,自己可以去翻阅msdn.       BOOL

【vscode】vscode paste image插件设置

本文首发于 ❄️慕雪的寒舍 vscode编辑md文件的时候,如果想插入图片,自带的粘贴只会粘贴到当前目录下,也没有文件重命名,很不友好。 在扩展商店里面有mushan的Paste Image插件,相比自带的,更加友好一点。但是它的配置把我弄糊涂了,简单测试了一下才明白处理的逻辑。 注意,本文编写的是对mushan的Paste Image插件的教程。 首先是安装这个插件,这个不多说

pytorch时空数据处理4——图像转文本/字幕Image-Captionning(二)

pytorch时空数据处理4——图像转文本/字幕Image-Captionning(二) pytorch时空数据处理4——图像转文本/字幕Image-Captionning(二)DatasetInputs to modelCaption LengthsData pipelineEncoderAttentionDecoder代码数据集初始化 create_input_files.py训练 tr

Show,Attend and Tell: Neural Image Caption Generation with Visual Attention

简单的翻译阅读了一下 Abstract 受机器翻译和对象检测领域最新工作的启发,我们引入了一种基于注意力的模型,该模型可以自动学习描述图像的内容。我们描述了如何使用标准的反向传播技术,以确定性的方式训练模型,并通过最大化变分下界随机地训练模型。我们还通过可视化展示了模型如何能够自动学习将注视固定在显着对象上,同时在输出序列中生成相应的单词。我们通过三个基准数据集(Flickr9k,Flickr

Docker Image 命令

文章目录 目录 文章目录 1 . Docker镜像是什么? 2 . 镜像命令详解 docker images docker tag docker pull docker rmi  docker save 总结 1 . Docker镜像是什么? Docker image 本质上是一个 read-only 只读文件, 这个文件包含了文件系统、 源码、库文件、依赖、工具等一些

Segment Anything Model(SAM)中的Adapter是什么?

在META团队发布的Segment Anything Model (SAM) 中,Adapter 是一种用于提升模型在特定任务或领域上的性能的机制。具体来说,SAM 是一个通用的分割模型,能够处理多种不同类型的图像分割任务,而 Adapter 的引入是为了更好地让模型适应不同的任务需求。 Adapter 的主要功能是: 模块化设计:Adapter 是一种小规模的、可插拔的网络模块,可以在不改

flutter Image

Flutter中,Image是一个用于显示图片的控件,可以显示网络图片、本地图片以及Asset中的图片。Image控件支持多种常见的图片格式,例如PNG、JPEG、GIF等。 const Image({super.key,required this.image,this.frameBuilder,this.loadingBuilder,this.errorBuilder,this.seman