文献速递:生成对抗网络医学影像中的应用—— CG-3DSRGAN:用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络

本文主要是介绍文献速递:生成对抗网络医学影像中的应用—— CG-3DSRGAN:用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文献速递:生成对抗网络医学影像中的应用—— CG-3DSRGAN:用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络

本周给大家分享文献的主题是生成对抗网络(Generative adversarial networks, GANs)在医学影像中的应用。文献的研究内容包括同模态影像生成、跨模态影像生成、GAN在分类和分割方面的应用等。生成对抗网络与其他方法相比展示出了优越的数据生成能力,使它们在医学图像应用中广受欢迎。这些特性引起了医学成像领域研究人员的浓厚兴趣,导致这些技术在各种传统和新颖应用中迅速实施,如图像重建、分割、检测、分类和跨模态合成。

01

文献速递介绍

正电子发射断层扫描(PET)是一种超灵敏且非侵入性的分子成像技术,已成为肿瘤学 和神经学 的主要工具。与磁共振(MR)和计算机断层扫描(CT)等其他成像方式相比,PET能够通过向体内注射放射性示踪剂,成像活体组织的功能特性,并检测器官内与疾病相关的功能活动 。不幸的是,用于PET成像的注射放射性示踪剂对患者产生的电离辐射剂量限制了其应用 。根据示踪剂的剂量水平,重建的PET图像可以分为标准剂量(sPET)和低剂量PET(lPET)图像。与lPET相比,sPET图像具有更高的信噪比(SNR)、更多的结构特征和更优的整体图像质量。然而,sPET将不可避免地导致高累积辐射暴露。受这些挑战的激励,人们已经在图像分析方法上取得了进展,旨在在保持低注射剂量的同时从lPET图像中恢复sPET图像。

基于卷积神经网络(CNN)的深度学习方法在医学图像分析相关任务中取得了巨大成功,例如自动肿瘤分割和分类 。研究人员还使用深度学习从lPET图像中恢复sPET图像 。Xiang等人 结合了多个CNN模块,采用自动上下文策略通过多次迭代估计sPET,他们采用了膨胀内核的U-Net架构来增加感受野。不幸的是,CNN中的池化层用于减少特征图的空间分辨率,这可能导致信息丢失和细节丢失,例如边缘和纹理。为了解决这些挑战,研究人员尝试使用生成对抗网络(GAN)通过扩展网络,并配备一个鉴别器来区分真/合成图像,以保留结构细节。Bi等人 开发了多通道GAN,以从相应的CT扫描和肿瘤标签合成高质量PET。通过使用条件GAN模型和对抗性训练策略,Wang等人能够从低剂量PET恢复全剂量PET图像 。然而,基于GAN的方法在恢复高维细节(如上下文信息和临床意义的纹理特征,如图像的强度值)方面存在困难。这主要是因为这些方法没有探索sPET和lPET图像之间的空间相关性。为了克服GAN引起的伪影,第二阶段的细化是纠正前一阶段造成的映射误差的理想方式。受这一未满足需求的启发,我们精心设计了一个超分辨率网络 - Contextual-Net,目标是重建更多的上下文细节,以使精制的合成PET与真实的sPET空间对齐。

任务驱动策略在医学图像分析领域已经被积极研究 。基本上,任务驱动的方法引入

Title

题目

CG-3DSRGAN: A classification guided 3D generative adversarial network for image quality recovery from low-dose PET images

CG-3DSRGAN:用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络

Abstract

摘要

Positron emission tomography (PET) is the most sensitive molecular imaging modality routinely applied in our modern healthcare. High radioactivity caused by the injected tracer dose is a major concern in PET imaging and limits its clinical applications. However, reducing the dose leads to inadequate image quality for diagnostic practice. Motivated by**the need to produce high quality images with minimum ‘low dose’, convolutional neural networks (CNNs) based methods have been developed for high quality PET synthesis from its low dose counterparts. Previous CNNs-based studies usually directly map low-dose PET into features space without consideration of different dose reduction level. In this study, a novel approach named CG-3DSRGAN (Classification-Guided Generative Adversarial Network with Super Resolution Refinement) is presented. Specifically, a multi-tasking coarse generator, guided by a classification head, allows for a more comprehensive understanding of the noise-level features present in the low-dose data, resulting in improved image synthesis. Moreover, to recover spatial details of standard PET, an auxiliary super resolution network – Contextual-Net – is proposed as a second stage training to narrow the gap between coarse prediction and standard PET. We compared our method to the state-of-the-art methods on whole-body PET with different dose reduction factors (DRF). Experiments demonstrate our method can outperform others on all DRF.

正电子发射断层扫描(PET)是我们现代医疗中常用的最敏感的分子成像方式。由注射的示踪剂剂量引起的高放射性是PET成像的一个主要问题,限制了其临床应用。然而,减少剂量会导致诊断实践中图像质量不足。基于需要使用最低“低剂量”产生高质量图像的动机,基于卷积神经网络(CNNs)的方法已经被开发出来,用于从低剂量PET合成高质量PET。以往基于CNN的研究通常直接将低剂量PET映射到特征空间,而没有考虑不同的剂量减少级别。在这项研究中,提出了一个名为CG-3DSRGAN(分类引导的具有超分辨率细化的生成对抗网络)的新方法。具体来说,一个由分类头引导的多任务粗生成器,使我们能够更全面地理解低剂量数据中存在的噪声级特征,从而改善图像合成。此外,为了恢复标准PET的空间细节,提出了一个辅助超分辨率网络 - Contextual-Net - 作为第二阶段训练,以缩小粗预测与标准PET之间的差距。我们将我们的方法与不同剂量减少因素(DRF)的全身PET的最新方法进行了比较。实验表明我们的方法可以在所有DRF上胜过其他方法。

Methods

方法

In total, 90 patients from three centers (30 CT-MR prostate pairs/center) underwent treatment using volumetric modulated arc therapy for prostate cancer (PCa) (60 Gy in 20 fractions). T2 MRI images were acquired in addition to computed tomography (CT) images for treatment planning. The DL model was a 2D supervised conditional generative adversarial network (Pix2Pix). Patient images underwent preprocessing steps, including nonrigid registration. Seven different supervised models were trained, incorporating patients from one, two, or three centers. Each model was trained on 24 CT-MR prostate pairs. A generic model was trained using patients from all three centers. To compare sCT and CT, the mean absolute error in Hounsfield units was calculated for the entire pelvis, prostate, bladder, rectum, and bones. For dose analysis, mean dose differences of D99% for CTV, V95% for PTV, Dmax for rectum and bladder, and 3D gamma analysis (local, 1%/1mm) were calculated from CT and sCT. Furthermore, Wilcoxon tests were performed to compare the image and dose results obtained with the generic model to those with the other trained models.

总共有90名患者来自三个中心(每个中心30对CT-MR前列腺图像对),接受了体积调制弧放射疗法治疗前列腺癌(60 Gy,分20次)。除了用于治疗规划的计算机断层扫描(CT)图像外,还获取了T2磁共振成像(MRI)图像。深度学习模型是一个2D监督条件生成对抗网络(Pix2Pix)。患者图像经过预处理步骤,包括非刚性配准。共训练了七个不同的监督模型,包括来自一个、两个或三个中心的患者。每个模型都是在24对CT-MR前列腺图像上进行训练的。使用来自所有三个中心的患者进行了通用模型的训练。为了比较sCT和CT,计算了在Hounsfield单位中的整个骨盆、前列腺、膀胱、直肠和骨骼的平均绝对误差。对于剂量分析,从CT和sCT计算了CTV的D99%的平均剂量差异,PTV的V95%,直肠和膀胱的Dmax,以及3D伽马分析(局部,1%/1mm)。此外,进行了Wilcoxon检验,以比较通用模型与其他训练模型获得的图像和剂量结果

**Conclusions
**

结论

In this work, we proposed a novel high quality PET synthesis model – Classification-guided 3D super resolution GAN. Our results demonstrated the proposed method has optimal performance on standard PET synthesis from lPET quantitively and qualitatively compared to other existing state of-the-art. As future work, we will investigate the use of residual estimation that can further improve synthesis sPET quality by minimizing the distribution gap between prediction and ground truth. Self-supervised pre-training strategy may also further improve the model representation.

在这项工作中,我们提出了一个新颖的高质量PET合成模型——分类引导的3D超分辨率生成对抗网络(GAN)。我们的结果表明,与现有的最先进技术相比,所提出的方法在从lPET合成标准PET方面在定量和定性上都具有最优性能。作为未来的工作,我们将研究使用残差估计,这可以通过最小化预测与真实值之间的分布差距,进一步提高合成sPET的质量。自监督的预训练策略也可能进一步提高模型的表现。

Figure

图片

Figure 1. The workflow of proposed CG-3DSRGAN.

图1. 所提出的CG-3DSRGAN的工作流程。

图片

Figure 2. Visualization Results of synthetic sPET from four methods on DRF 100 dataset.

图2. 四种方法在DRF 100数据集上合成sPET的可视化结果。

Table

图片

TABLE I. quantitaice compapison results (mean with standard deviation)of the imafes synthesized by different methods for different methods for different drfs

表I. 不同DRFS下不同方法合成图像的定量比较结果(均值及标准偏差)

图片

TABLE II.quantitative comparison results of different variants of CG-3DSRGAN

表II.CG-3DSRGAN不同变体的定量比较结果

这篇关于文献速递:生成对抗网络医学影像中的应用—— CG-3DSRGAN:用于从低剂量PET图像恢复图像质量的分类指导的3D生成对抗网络的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/522916

相关文章

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

C语言中位操作的实际应用举例

《C语言中位操作的实际应用举例》:本文主要介绍C语言中位操作的实际应用,总结了位操作的使用场景,并指出了需要注意的问题,如可读性、平台依赖性和溢出风险,文中通过代码介绍的非常详细,需要的朋友可以参... 目录1. 嵌入式系统与硬件寄存器操作2. 网络协议解析3. 图像处理与颜色编码4. 高效处理布尔标志集合

Java中的Lambda表达式及其应用小结

《Java中的Lambda表达式及其应用小结》Java中的Lambda表达式是一项极具创新性的特性,它使得Java代码更加简洁和高效,尤其是在集合操作和并行处理方面,:本文主要介绍Java中的La... 目录前言1. 什么是Lambda表达式?2. Lambda表达式的基本语法例子1:最简单的Lambda表

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》:本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、

SpringShell命令行之交互式Shell应用开发方式

《SpringShell命令行之交互式Shell应用开发方式》本文将深入探讨SpringShell的核心特性、实现方式及应用场景,帮助开发者掌握这一强大工具,具有很好的参考价值,希望对大家有所帮助,如... 目录引言一、Spring Shell概述二、创建命令类三、命令参数处理四、命令分组与帮助系统五、自定

SpringBoot应用中出现的Full GC问题的场景与解决

《SpringBoot应用中出现的FullGC问题的场景与解决》这篇文章主要为大家详细介绍了SpringBoot应用中出现的FullGC问题的场景与解决方法,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录Full GC的原理与触发条件原理触发条件对Spring Boot应用的影响示例代码优化建议结论F