文献速递:生成对抗网络医学影像中的应用—— CG-3DSRGAN:用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络

本文主要是介绍文献速递:生成对抗网络医学影像中的应用—— CG-3DSRGAN:用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文献速递:生成对抗网络医学影像中的应用—— CG-3DSRGAN:用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络

本周给大家分享文献的主题是生成对抗网络(Generative adversarial networks, GANs)在医学影像中的应用。文献的研究内容包括同模态影像生成、跨模态影像生成、GAN在分类和分割方面的应用等。生成对抗网络与其他方法相比展示出了优越的数据生成能力,使它们在医学图像应用中广受欢迎。这些特性引起了医学成像领域研究人员的浓厚兴趣,导致这些技术在各种传统和新颖应用中迅速实施,如图像重建、分割、检测、分类和跨模态合成。

01

文献速递介绍

正电子发射断层扫描(PET)是一种超灵敏且非侵入性的分子成像技术,已成为肿瘤学 和神经学 的主要工具。与磁共振(MR)和计算机断层扫描(CT)等其他成像方式相比,PET能够通过向体内注射放射性示踪剂,成像活体组织的功能特性,并检测器官内与疾病相关的功能活动 。不幸的是,用于PET成像的注射放射性示踪剂对患者产生的电离辐射剂量限制了其应用 。根据示踪剂的剂量水平,重建的PET图像可以分为标准剂量(sPET)和低剂量PET(lPET)图像。与lPET相比,sPET图像具有更高的信噪比(SNR)、更多的结构特征和更优的整体图像质量。然而,sPET将不可避免地导致高累积辐射暴露。受这些挑战的激励,人们已经在图像分析方法上取得了进展,旨在在保持低注射剂量的同时从lPET图像中恢复sPET图像。

基于卷积神经网络(CNN)的深度学习方法在医学图像分析相关任务中取得了巨大成功,例如自动肿瘤分割和分类 。研究人员还使用深度学习从lPET图像中恢复sPET图像 。Xiang等人 结合了多个CNN模块,采用自动上下文策略通过多次迭代估计sPET,他们采用了膨胀内核的U-Net架构来增加感受野。不幸的是,CNN中的池化层用于减少特征图的空间分辨率,这可能导致信息丢失和细节丢失,例如边缘和纹理。为了解决这些挑战,研究人员尝试使用生成对抗网络(GAN)通过扩展网络,并配备一个鉴别器来区分真/合成图像,以保留结构细节。Bi等人 开发了多通道GAN,以从相应的CT扫描和肿瘤标签合成高质量PET。通过使用条件GAN模型和对抗性训练策略,Wang等人能够从低剂量PET恢复全剂量PET图像 。然而,基于GAN的方法在恢复高维细节(如上下文信息和临床意义的纹理特征,如图像的强度值)方面存在困难。这主要是因为这些方法没有探索sPET和lPET图像之间的空间相关性。为了克服GAN引起的伪影,第二阶段的细化是纠正前一阶段造成的映射误差的理想方式。受这一未满足需求的启发,我们精心设计了一个超分辨率网络 - Contextual-Net,目标是重建更多的上下文细节,以使精制的合成PET与真实的sPET空间对齐。

任务驱动策略在医学图像分析领域已经被积极研究 。基本上,任务驱动的方法引入

Title

题目

CG-3DSRGAN: A classification guided 3D generative adversarial network for image quality recovery from low-dose PET images

CG-3DSRGAN:用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络

Abstract

摘要

Positron emission tomography (PET) is the most sensitive molecular imaging modality routinely applied in our modern healthcare. High radioactivity caused by the injected tracer dose is a major concern in PET imaging and limits its clinical applications. However, reducing the dose leads to inadequate image quality for diagnostic practice. Motivated by**the need to produce high quality images with minimum ‘low dose’, convolutional neural networks (CNNs) based methods have been developed for high quality PET synthesis from its low dose counterparts. Previous CNNs-based studies usually directly map low-dose PET into features space without consideration of different dose reduction level. In this study, a novel approach named CG-3DSRGAN (Classification-Guided Generative Adversarial Network with Super Resolution Refinement) is presented. Specifically, a multi-tasking coarse generator, guided by a classification head, allows for a more comprehensive understanding of the noise-level features present in the low-dose data, resulting in improved image synthesis. Moreover, to recover spatial details of standard PET, an auxiliary super resolution network – Contextual-Net – is proposed as a second stage training to narrow the gap between coarse prediction and standard PET. We compared our method to the state-of-the-art methods on whole-body PET with different dose reduction factors (DRF). Experiments demonstrate our method can outperform others on all DRF.

正电子发射断层扫描(PET)是我们现代医疗中常用的最敏感的分子成像方式。由注射的示踪剂剂量引起的高放射性是PET成像的一个主要问题,限制了其临床应用。然而,减少剂量会导致诊断实践中图像质量不足。基于需要使用最低“低剂量”产生高质量图像的动机,基于卷积神经网络(CNNs)的方法已经被开发出来,用于从低剂量PET合成高质量PET。以往基于CNN的研究通常直接将低剂量PET映射到特征空间,而没有考虑不同的剂量减少级别。在这项研究中,提出了一个名为CG-3DSRGAN(分类引导的具有超分辨率细化的生成对抗网络)的新方法。具体来说,一个由分类头引导的多任务粗生成器,使我们能够更全面地理解低剂量数据中存在的噪声级特征,从而改善图像合成。此外,为了恢复标准PET的空间细节,提出了一个辅助超分辨率网络 - Contextual-Net - 作为第二阶段训练,以缩小粗预测与标准PET之间的差距。我们将我们的方法与不同剂量减少因素(DRF)的全身PET的最新方法进行了比较。实验表明我们的方法可以在所有DRF上胜过其他方法。

Methods

方法

In total, 90 patients from three centers (30 CT-MR prostate pairs/center) underwent treatment using volumetric modulated arc therapy for prostate cancer (PCa) (60 Gy in 20 fractions). T2 MRI images were acquired in addition to computed tomography (CT) images for treatment planning. The DL model was a 2D supervised conditional generative adversarial network (Pix2Pix). Patient images underwent preprocessing steps, including nonrigid registration. Seven different supervised models were trained, incorporating patients from one, two, or three centers. Each model was trained on 24 CT-MR prostate pairs. A generic model was trained using patients from all three centers. To compare sCT and CT, the mean absolute error in Hounsfield units was calculated for the entire pelvis, prostate, bladder, rectum, and bones. For dose analysis, mean dose differences of D99% for CTV, V95% for PTV, Dmax for rectum and bladder, and 3D gamma analysis (local, 1%/1mm) were calculated from CT and sCT. Furthermore, Wilcoxon tests were performed to compare the image and dose results obtained with the generic model to those with the other trained models.

总共有90名患者来自三个中心(每个中心30对CT-MR前列腺图像对),接受了体积调制弧放射疗法治疗前列腺癌(60 Gy,分20次)。除了用于治疗规划的计算机断层扫描(CT)图像外,还获取了T2磁共振成像(MRI)图像。深度学习模型是一个2D监督条件生成对抗网络(Pix2Pix)。患者图像经过预处理步骤,包括非刚性配准。共训练了七个不同的监督模型,包括来自一个、两个或三个中心的患者。每个模型都是在24对CT-MR前列腺图像上进行训练的。使用来自所有三个中心的患者进行了通用模型的训练。为了比较sCT和CT,计算了在Hounsfield单位中的整个骨盆、前列腺、膀胱、直肠和骨骼的平均绝对误差。对于剂量分析,从CT和sCT计算了CTV的D99%的平均剂量差异,PTV的V95%,直肠和膀胱的Dmax,以及3D伽马分析(局部,1%/1mm)。此外,进行了Wilcoxon检验,以比较通用模型与其他训练模型获得的图像和剂量结果

**Conclusions
**

结论

In this work, we proposed a novel high quality PET synthesis model – Classification-guided 3D super resolution GAN. Our results demonstrated the proposed method has optimal performance on standard PET synthesis from lPET quantitively and qualitatively compared to other existing state of-the-art. As future work, we will investigate the use of residual estimation that can further improve synthesis sPET quality by minimizing the distribution gap between prediction and ground truth. Self-supervised pre-training strategy may also further improve the model representation.

在这项工作中,我们提出了一个新颖的高质量PET合成模型——分类引导的3D超分辨率生成对抗网络(GAN)。我们的结果表明,与现有的最先进技术相比,所提出的方法在从lPET合成标准PET方面在定量和定性上都具有最优性能。作为未来的工作,我们将研究使用残差估计,这可以通过最小化预测与真实值之间的分布差距,进一步提高合成sPET的质量。自监督的预训练策略也可能进一步提高模型的表现。

Figure

图片

Figure 1. The workflow of proposed CG-3DSRGAN.

图1. 所提出的CG-3DSRGAN的工作流程。

图片

Figure 2. Visualization Results of synthetic sPET from four methods on DRF 100 dataset.

图2. 四种方法在DRF 100数据集上合成sPET的可视化结果。

Table

图片

TABLE I. quantitaice compapison results (mean with standard deviation)of the imafes synthesized by different methods for different methods for different drfs

表I. 不同DRFS下不同方法合成图像的定量比较结果(均值及标准偏差)

图片

TABLE II.quantitative comparison results of different variants of CG-3DSRGAN

表II.CG-3DSRGAN不同变体的定量比较结果

这篇关于文献速递:生成对抗网络医学影像中的应用—— CG-3DSRGAN:用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/522916

相关文章

Java编译生成多个.class文件的原理和作用

《Java编译生成多个.class文件的原理和作用》作为一名经验丰富的开发者,在Java项目中执行编译后,可能会发现一个.java源文件有时会产生多个.class文件,从技术实现层面详细剖析这一现象... 目录一、内部类机制与.class文件生成成员内部类(常规内部类)局部内部类(方法内部类)匿名内部类二、

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

java中使用POI生成Excel并导出过程

《java中使用POI生成Excel并导出过程》:本文主要介绍java中使用POI生成Excel并导出过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求说明及实现方式需求完成通用代码版本1版本2结果展示type参数为atype参数为b总结注:本文章中代码均为

在java中如何将inputStream对象转换为File对象(不生成本地文件)

《在java中如何将inputStream对象转换为File对象(不生成本地文件)》:本文主要介绍在java中如何将inputStream对象转换为File对象(不生成本地文件),具有很好的参考价... 目录需求说明问题解决总结需求说明在后端中通过POI生成Excel文件流,将输出流(outputStre

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Android Kotlin 高阶函数详解及其在协程中的应用小结

《AndroidKotlin高阶函数详解及其在协程中的应用小结》高阶函数是Kotlin中的一个重要特性,它能够将函数作为一等公民(First-ClassCitizen),使得代码更加简洁、灵活和可... 目录1. 引言2. 什么是高阶函数?3. 高阶函数的基础用法3.1 传递函数作为参数3.2 Lambda