MAR for the segmentation of the intra cochlear anatomy in CT images of the ear with 3D cGAN

摘要

原文：
WANG, JIANING, NOBLE, JACK H., DAWANT, BENOIT M… Metal artifact reduction for the segmentation of the intra cochlear anatomy in CT images of the ear with 3D-conditional GANs[J]. Medical image analysis,2019. DOI:10.1016/j.media.2019.101553.

背景：人工耳蜗(CIs)是通过外科手术植入的神经修复设备，用于治疗重度听力损失。CIs在植入后基于植入位置和耳蜗内解剖结构(ICA)进行编程，以改善听力。因此，使用植入前后的CT图像，来定位植入电极和ICA的相对位置十分重要。

问题：有些患者没有植入前的CT图像，而植入后CT图像由于金属伪影的影响，图像质量较差，之前作者也开发了两种算法来分割植入后CT图像的ICA，但效果远比使用植入前CT图像的要查。

方法：通过GAN网络，从植入后的CT图像中生成植入前的CT图像，也就是去除金属伪影。

结果：3D-cGAN大大改善了直接对植入后CT图像进行分割的结果，且MSSIM比2D-cGAN的值有显著提高。

一、介绍

（一）医学背景

耳蜗是内耳的一个组成部分。它是一个螺旋形腔，位于骨迷路内，包含两个主要腔：前庭阶和鼓室阶。下图为耳蜗内解剖结构（ICA). CI用于改善听力，需要在植入后进行编程，而CI编程的效果对CI电极和ICA结构之间的空间关系敏感。因此需要定位CI和ICA的相对关系，首先要把ICA分割出来。

（二）相关工作

1. Zhao等人提出在植入后CT图像中自动定位CI电极的方法。
   Zhao, Y., Dawant, B.M., Labadie, R.F., Noble, J.H., 2018. Automatic localization of closely-spaced cochlear implant electrode arrays in clinical CTs. Med. Phys. 45 (11), 5030–5040. doi: 10.1002/mp.13185 .
   Zhao, Y., Chakravorti, S., Labadie, R.F., Dawant, B.M., Noble, J.H., 2019. Automatic graph-based method for localization of cochlear implant electrode arrays in clinical CT with sub-voxel accuracy. Med. Image Anal. 52, 1–12. doi: 10.1016/j.media.2018.11.005 .
2. PreCTseg：为了在植入前CT图像中对ICA进行定位，其中ICA仅部分可见，Noble等人开发了一种算法，称为PreCTseg。PreCTseg依赖于一个主动加权模型，该模型通过高分辨率的microCT扫描创建，其中ICA结构清晰可见。
   Noble, J.H., Labadie, R.F., Majdani, O., Dawant, B.M., 201 1. Automatic segmentation of intracochlear anatomy in conventional CT. IEEE Trans. Biomed. Eng. 58 (9), 2625–2632. doi: 10.1109/TBME.201 1.2160262.
3. PostCTseg1：单侧植入CI电极，通过扫描另一侧未植入电极的耳蜗，并分割它的ICA结构，然后将分割的ICA结构映射到植入耳。
4. PostCTseg2：双侧植入CI电极，基于标准形状模型分割ICA结构。
   Noble, J.H., Labadie, R.F., Gifford, R.H., Dawant, B.M., 2013. Image-guidance enables new methods for customizing cochlear implant stimulation strategies. IEEE Trans. Neural Syst. Rehabil. Eng. 21 (5), 820–829. doi: 10.1 109/TNSRE.2013. 2253333 .

二、方法

（一）网络结构

为了消除植入后CT图像的金属伪影，采用了cGAN这一模型。cGAN由生成器G和判别器D组成。该网络的输入为植入后CT图像x，首先由生成器生成无伪影的图像G(x)，然后判别器需要判断生成图像G(x)和植入前图像y的真伪。D的训练目标是能正确区分G(x)和y，而G的目标是使D不能正确区分G(x)和y，从而欺骗D。两者交替进行训练，最后G能所生成的图像G(x)达到亦真亦假。

上图为网络结构图，左侧一列为生成器G，中间一列为判别器D。生成器由3个卷积模块+6个resnet模块+3个卷积模块组成，其输入为3D植入后CT图像，输出为生成的植入前CT图像。判别器为一个全卷积网络，输入为植入后CT图像和植入前CT图像的拼接（或植入后CT图像和生成图像的拼接），判别器输出 d 是一个3D数组，d_i,j,k 的值表明输入图像的第(i,j,k)个patch是真的或者假的，最后的输出是 d 的平均值。

（二）损失函数

1.对抗损失

GAN网络的普遍损失函数，在这就不介绍了。通过上述训练目标的讲解，应该比较好理解。

2.重建损失

2017年Isola等人提出仅有对抗损失是不足够的，而将传统重建损失与对抗损失结合有利于提高网络性能。比较常用的重建损失为L1 loss，即：

Isola, P., Zhu, J., Zhou, T., Efros, A .A ., 2017. Image-to-image translation with conditional adversarial networks. In: CVPR arXiv: 1611.070 04 .

在这篇文章中，最终的目的是在CT图像中定位ICA，因此围绕耳蜗的小区域图像是该工作的感兴趣区域，因此在计算重建损失(L1 loss）时，可以给这部分区域赋予更高的权重。为了达到这一目的，可以引入一个权重矩阵，给感兴趣区域区域赋予权重 (N_in+N_out)/N_in，而不感兴趣区域的权重为1. N_in 表示感兴趣区域的像素点，N_out 为不感兴趣区域的像素点。但是如何区分感兴趣区域和不感兴趣区域呢，文章中直接用一个框把感兴趣区域框了出来。
因此，重建损失（L1 loss）可以写成：

W就是权重矩阵，由 (N_in+N_out)/N_in 和 1 组成。

3.总体损失

在这里 a = 100.

三、实验

（一）实验数据

252对植入CI前后的耳蜗CT图像，其中90对用于训练，25对用于验证，137对用于测试。
实验数据如下图所示，IB表示单侧植入IC，IU表示双侧植入IC，至于为什么要这么分呢，因为前面介绍相关工作时介绍的PostCTseg1和PostCTseg2，需要用到这一信息。"lCT-cCT "表示耳朵在术后用lCT扫描，术前用cCT扫描；"cCT-cCT "表示耳朵在术后和术前都使用cCT扫描。ICT和cCT是两种扫描仪，因此得到的分辨率不一样，这样只要把它们采样的 0.4×0.4×0.4 mm³ 即可，并分割为96×96×96的patch.

（二）实验过程

1.对比实验

对比工作：PostCTseg1, PostCTseg2（在相关工作中有介绍） 和 2D-cGANs（作者之前的工作，基于pix2pix框架）
2D-cGANs原文：Wang, J., Zhao, Y., Noble, J.H., Dawant, B.M., 2018. Conditional generative adversarial networks for metal artifact reduction in CT images of the ear. Med. Image Comput. Comput. Assist Interv.

2.评价指标

（1）point-to-point errors（P2PEs）
评价CT图像的ICA分割准确度，从而比较生成图像的图像质量。具体操作为，对植入前后的图像都用PreCTseg方法进行分割，分割得到的输出是鼓阶、前庭阶和耳蜗轴的网格面片（mesh)，其顶点数是预先定义好的，前庭阶、鼓阶和耳蜗轴的顶点数分别为3344,3132,和17947。以植入前CT图像的分割结果为标准，便可以通过计算对照组分割后顶点位置与标准位置的距离，从而得到分割误差。

（2）MSSIM

g_j, y_j 是第 j-th 个 G(x)和y的局部图像块，注意：这里作者只是计算了感兴趣区域，也就是上述提到的方框内的SSIM，并非是完成图像的图像块。

（三）实验结果

1.point-to-point errors

上图为分割后P2PEs可视化图像，第一行的红绿蓝表示ICA的三种组成：前庭阶、鼓阶和耳蜗轴，第二、三、四行表示P2PEs的值。左下角的colorbar表示P2PEs的颜色映射，颜色越红表示误差越大，越蓝表示误差越小。共三组图像，由左到右伪影越来越强。从图中看，由左到右，颜色越来越红，误差越大。纵向比较，3D-cGANs耳蜗颜色大部分为蓝色，表明误差较小。

2. MSSIM

下表为上图3个例子的MSSIM的值，这里的baselines指的是PostCTseg方法。可以看出3D-cGANs的MSSIM值最大。

下图为124个测试数据MSSIM的值。MSSIM总体趋势：3D-cGANs WL1 > 3D-cGANs L1 > 2D-cGANs L1 > Baseline.说明重建损失采取WL1比直接采用L1更好。

3.消融实验

L1损失和WL1

总结

这是第一次通过GANs来消除或减少CT图像中金属伪影的工作。此外，3D-cGANs的效果比2D-cGANs更好，并且更快，因为2D-cGANs需要先将3维图像转换为一张张的2维图像，再进行图像生成，最后再合成3维图像。