基于图像合成和注意力的深度神经网络从计算机断层扫描灌注图像中自动分割缺血性脑卒中病变

本文主要是介绍基于图像合成和注意力的深度神经网络从计算机断层扫描灌注图像中自动分割缺血性脑卒中病变,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Automatic ischemic stroke lesion segmentation from computed tomography perfusion images by image synthesis and attention-based deep neural networks

  • 基于图像合成和注意力的深度神经网络从计算机断层扫描灌注图像中自动分割缺血性脑卒中病变
    • 背景
    • 贡献
    • 实验
      • Comparison of different loss functions for pseudo DWI synthesis(伪DWI合成中不同损失函数的比较)
      • Effect of feature extractor on pseudo DWI synthesis(特征提取器对伪DWI合成的影响)
      • 对比试验
      • Comparison of different training loss functions for segmentation(分割损失函数对比)
      • 特征提取器和伪DWI生成器对分割的影响(合成分割联合训练的对比)
    • 方法
      • Feature extraction from raw spatiotemporal CTA images
      • Pseudo DWI synthesis from CTP images
      • SLNet: stroke lesion segmentation network with switchable normalization and channel calibration(SLNet:具有可SN和通道校准的脑卒中病变分割网络)
    • Thinking

基于图像合成和注意力的深度神经网络从计算机断层扫描灌注图像中自动分割缺血性脑卒中病变

Medical Image Analysis 65 (2020) 101787

背景

从计算机断层扫描灌注(CTP)图像中分割缺血性脑卒中病变对于急性护理病房中准确诊断脑卒中非常重要。然而,除了病变的复杂外观外,它还受到灌注参数图的低图像对比度和分辨率的挑战。为了解决这个问题,我们提出了一种基于CTP合成伪扩散加权成像(DWI)的新框架,以获得更好的图像质量,实现更准确的分割。我们的框架由基于卷积神经网络(CNNs)的三个组件组成,并进行端到端训练。首先,使用特征提取器来获得原始时空计算机断层扫描血管造影(CTA)图像的低级别和高级别紧凑表示。其次,伪DWI生成器将CTP灌注参数图和我们提取的特征的级联作为输入,以获得合成的伪DWI。为了获得更好的合成质量,我们提出了一种混合损失函数,该函数更加关注病变区域,并鼓励高水平的上下文一致性。最后,我们从合成的伪DWI中分割病变区域,其中分割网络基于可切换的归一化和通道校准,以获得更好的性能。实验结果表明,我们的框架在ISLES 2018挑战中获得了最高的性能,并且:(1)我们使用合成伪DWI的方法优于直接从灌注参数图中分割病变的方法;(2) 利用额外的时空CTA图像的特征提取器导致更好的合成伪DWI质量和更高的分割精度;以及(3)所提出的损失函数和网络结构提高了伪DWI合成和病变分割的性能。所提出的框架有可能改善缺血性中风的诊断和治疗,因为真正的DWI扫描有限。
在这里插入图片描述

贡献

  • 首先,我们提出了一种新的基于合成伪DWI的CTP图像缺血性脑卒中病变自动分割框架。与仅使用CTP灌注参数图相比,我们的框架还利用了原始时空CTA图像,以获得更高的伪DWI合成质量和病变分割精度
  • 其次,为了更有效地利用原始时空CTA图像,我们提出了一种特征提取器,可以自动获得更紧凑、更高级的CTA图像表示,这有助于减少所需的内存和计算时间,并提高我们的分割方法的性能。
  • 第三,我们提出了一种新的方法来合成缺血性脑卒中病变的伪DWI图像。我们使用高级相似性损失函数来鼓励伪DWI在局部细节和全局上下文方面接近基本事实,并提出了一种注意力引导的合成策略,以便生成器将更多地关注病变部分,这有利于最终分割。
  • 最后,为了从我们合成的伪DWI中分割病变,我们提出了一种适用于小训练批量的具有通道校准可切换归一化(SN)的卷积神经网络(CNN)(Luo et al.,2018),并将其与一种新的基于注意力硬度感知的损失函数相结合,该函数有助于获得缺血性中风病变的更准确分割。实验结果表明,我们的方法在ISLES 2018挑战中获得了最先进的性能,并且它优于CTP灌注参数图的直接分割和CTP图像中基于现代图像合成的缺血性脑卒中病变分割方法(Liu,2018)。

实验

Comparison of different loss functions for pseudo DWI synthesis(伪DWI合成中不同损失函数的比较)

合成损失函数的对比,w-L2 + Lh1更有利于分割,w-L2更有利于合成
在这里插入图片描述

Effect of feature extractor on pseudo DWI synthesis(特征提取器对伪DWI合成的影响)

拼接各个图用于合成、分割的消融,Real DWI 最高,使用Fl,Fh,Fo合成分割由于只用Fo
在这里插入图片描述

对比试验

SN代替BN涨了1.4个点,SE注意力机制涨了1个点,相比于ResUnet提升了2个点
在这里插入图片描述

Comparison of different training loss functions for segmentation(分割损失函数对比)

Lwce比Lce涨了1.5个点,可见得到的加权注意力图是有效的
在这里插入图片描述

特征提取器和伪DWI生成器对分割的影响(合成分割联合训练的对比)

单模态分割56.10,本文方法62.23,Real Flair 79.72,相比于单模态涨了7个点,相比于Real Flair查了17个点
在这里插入图片描述

方法

首先,为了有效地处理大的原始时空CTA图像并降低计算要求,我们设计了一个高级特征提取器,该提取器使用CNN来获得原始时空CTA图像的密集特征。
此外,我们利用CTA图像的时间最大强度投影(MIP)作为低级特征。然后,将这些特征与灌注参数图连接起来,作为伪DWI生成器的输入,该生成器获得病变和背景之间具有更好对比度的伪DWI图像。为了提高病变区域附近的合成质量,我们使用了基于高水平相似性的损失函数,使生成器能够更加关注病变
最后,分割器将伪DWI图像作为输入,并产生缺血性中风病变的分割,其中提出了使用基于注意力和强感知损失函数训练的通道校准和可切换归一化的CNN来提高性能。这三个组成部分是端到端训练的。
在这里插入图片描述

Feature extraction from raw spatiotemporal CTA images

使用UNet提取Spatiotemporal CTA的特征

Pseudo DWI synthesis from CTP images

Ig是生成的输出,Id是标签,L2损失(low-level weighted pixel-wise loss) + L1损失(high-level contextual loss),L2范数用于像素级损失,使得最小化L2范数对应于最大化PSNR。另一方面,由于L1范数平等地对待每个元素,而L2范数为可能由异常值引起的较大预测误差分配更高的权重(即,通过平方),因此L1范数比L2范数具有更高的鲁棒性(Ghosh等人,2017)。因此,我们使用L1范数来表示高级上下文损失
在这里插入图片描述
将低级特征转化为高级特征的编码器结构,Lh是通过这个编码器转化为高级特征之后再算L1损失
在这里插入图片描述
通过这个公式获取病变权重图,给合成加权,让合成更关注病变区域
最终目标是分割缺血性中风病变,因此病变区域周围需要良好的合成质量。因此,我们使用体素权重图A来使生成器更多地关注病变区域,而较少关注背景。设F表示病变前景体素的集合,Eud(i,F)表示体素i和F之间的最短欧几里得距离。我们使用Ai来表示权重图A中体素i的权重:
在这里插入图片描述
在这里插入图片描述

SLNet: stroke lesion segmentation network with switchable normalization and channel calibration(SLNet:具有可SN和通道校准的脑卒中病变分割网络)

在UNet的编码器模块加入了SE注意力机制,把BN换成SN,batchsize小的时候SN更优
由于特征图中的不同通道可能具有不同的重要性,我们使用基于通道注意力的挤压和激励(SE)块(Hu et al.,2018)来校准通道特征响应。SE块通过学习每个通道的注意力权重来显式地对通道间依赖性进行建模,使得网络更多地依赖于最重要的通道进行分割
在这里插入图片描述
分割损失函数
在这里插入图片描述

Thinking

注意力系数图可以借鉴,损失函数可以借鉴。SN和SE注意力机制改进的UNet略显老套,不过这不是本文的重点。

这篇关于基于图像合成和注意力的深度神经网络从计算机断层扫描灌注图像中自动分割缺血性脑卒中病变的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/590473

相关文章

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

SpringBoot中封装Cors自动配置方式

《SpringBoot中封装Cors自动配置方式》:本文主要介绍SpringBoot中封装Cors自动配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot封装Cors自动配置背景实现步骤1. 创建 GlobalCorsProperties

idea中创建新类时自动添加注释的实现

《idea中创建新类时自动添加注释的实现》在每次使用idea创建一个新类时,过了一段时间发现看不懂这个类是用来干嘛的,为了解决这个问题,我们可以设置在创建一个新类时自动添加注释,帮助我们理解这个类的用... 目录前言:详细操作:步骤一:点击上方的 文件(File),点击&nbmyHIgsp;设置(Setti

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

C++字符串提取和分割的多种方法

《C++字符串提取和分割的多种方法》在C++编程中,字符串处理是一个常见的任务,尤其是在需要从字符串中提取特定数据时,本文将详细探讨如何使用C++标准库中的工具来提取和分割字符串,并分析不同方法的适用... 目录1. 字符串提取的基本方法1.1 使用 std::istringstream 和 >> 操作符示

一文详解SQL Server如何跟踪自动统计信息更新

《一文详解SQLServer如何跟踪自动统计信息更新》SQLServer数据库中,我们都清楚统计信息对于优化器来说非常重要,所以本文就来和大家简单聊一聊SQLServer如何跟踪自动统计信息更新吧... SQL Server数据库中,我们都清楚统计信息对于优化器来说非常重要。一般情况下,我们会开启"自动更新

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

Flask 验证码自动生成的实现示例

《Flask验证码自动生成的实现示例》本文主要介绍了Flask验证码自动生成的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习... 目录生成图片以及结果处理验证码蓝图html页面展示想必验证码大家都有所了解,但是可以自己定义图片验证码

Python Excel实现自动添加编号

《PythonExcel实现自动添加编号》这篇文章主要为大家详细介绍了如何使用Python在Excel中实现自动添加编号效果,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1、背景介绍2、库的安装3、核心代码4、完整代码1、背景介绍简单的说,就是在Excel中有一列h=会有重复