每周一篇 文献阅读—paper1

译文

摘要

本文提出了一种用于脑肿瘤分割的新型级联U-net。受脑肿瘤分层结构的启发，我们设计了一个级联的深层网络框架，其首先对整个肿瘤进行分割，然后进一步分割肿瘤内部子结构。考虑到级联结构带来的网络深度的增加导致更深层中精确定位信息的丢失，我们构建了许多 skip connections以在相同分辨率下链接特征，并将细节信息从浅层传输到更深层。然后，我们提出了一种损失加权采样LWS方案，以消除网络训练期间数据不平衡的问题。 BraTS 2017数据的实验结果表明，我们的架构框架优于现有的分割算法，特别是在分割灵敏度方面。

引言

胶质瘤是最常见的原发性中枢神经系统肿瘤，具有高发病率和死亡率。 对于胶质瘤诊断，通常使用四种标准磁共振成像（MRI）模式：T1加权MRI（T1），T2加权MRI（T2），T1加权MRI和钆对比增强（T1ce）和液体衰减反转恢复（FLAIR）。 事实上，对医生来说，将这四种模态结合来完成脑肿瘤的精细分割是具有挑战性并且十分耗时的。

自从深度学习引起了研究者的广泛关注后，卷积神经网络（CNN）也被广泛应用于脑肿瘤分割。 Havaei等人 [2]提出了一种CNN架构，它有两条路径来提取不同尺度的特征。许多工作[2-4]证实了这种多尺度的概念可以有效地改进分割结果。在[9]中，根据脑肿瘤的层次结构提出了三重级联框架，虽然在框架中是新颖的，但是补丁式和顺序式训练过程会导致处理效率变低。Shen等人 [7]构建了一个树状结构的多任务完全卷积网络（FCN）来隐式编码肿瘤子结构的层次关系。端到端网络结构比基于补丁的方法高效。为了提高肿瘤边界的分割准确性，Shen等人 [8]提出了一个边界感知完全卷积网络（BFCN），并构建了两个分支，分别学习两个任务，一个用于肿瘤组织分类，另一个用于肿瘤边界分类。然而，传统FCN中固有的缺陷仍然存在：卷积后的一系列上采样无法实现精细分割。为避免传统CNN中下采样操作导致的位置信息丢失，Lopez等人 [5]设计了扩张的采茶网络（DRN），并且舍弃了池化操作。这可能是防止网络丢失细节的一个有效解决方案，但太耗时并且很占内存。

Ronneberger等人 [6]提出了一种U形卷积网络（称为UNet），并引入了 skip-connections 来融合多级特征，从而帮助网络更精确地解码。 许多实验结果表明，U-Net在各种医学图像分割任务中表现良好。 董等人 [1]将U-Net应用于脑肿瘤分割，并将soft dice loss作为损失函数，以解决脑部MRI数据不平衡的问题。 虽然在一些极端不平衡的情况下，soft dice 损失可能比交叉熵损失具有更好的性能，但它梯度不够稳定，这可能使得训练过程不稳定甚至不收敛。

受脑肿瘤内层次结构的启发，我们提出了一种新的级联U形卷积网络，以实现脑肿瘤的多阶段分割。 为了减轻由网络深度增加引起的梯度消失问题，将每个基本块设计为残差块。 此外，我们在训练过程中增加了解码层监督，进一步缓解了梯度消失的问题。 为了减少较深层网络中的信息丢失，我们设计了许多skip-connections ，以帮助将高分辨率信息从浅层传输到相应的较深层，从而获得更精细的分割结果。 为了解决类不平衡问题，我们提出了一种损失加权采样方案。

本文的主要贡献如下。
1.我们提出了一种新的带有between-net connections的级联U-Net用于脑肿瘤分割。 特别的，我们的级联U-Net的每个基本块都被设计为残差块。
2.我们还设计了许多skip-connections ，以帮助将高分辨率信息从浅层传输到更深层。
3.此外，我们提出了一个损失加权采样方案来解决严重的类不平衡问题。 作者的网站上提供了完整的实现方法和训练好的网络。
4.最后，我们的实验结果表明，我们的方法在Dice得分和灵敏度方面比最先进的方法表现得更好。

级联U-Net 方法

级联 U-Net 架构

我们的网络是一种新颖的端到端架构。 特别地，我们的级联UNet主要由两个用于不同的任务级联的U-Nets组成，如图1所示。这种级联框架的灵感来自脑肿瘤内部的层次结构： 肿瘤包含肿瘤核心，而肿瘤核心又包含增强肿瘤。
图1：用于脑肿瘤分割的级联U-Net架构（CU-Net或CUN）。 每个块上的数字表示输出通道的数量。 在每次监督（包括8个辅助监督和2个分支监督）之前，有一个1×1卷积将输出通道数压缩到与目标数量相同。 此外，在每个辅助监督中都采用了解卷积，以将feature maps上采样到与输入相同的分辨率。 所有箭头表示不同的操作。

给定输入的脑部MRI图像，我们首先提取非脑部掩码，并通过损失加权采样来防止网络学习掩码区域。 然后，第一阶段的U-Net将整个肿瘤与背景分离，并将提取的特征传输给第二阶段的U-Net，进一步分割肿瘤子结构。 设计这种级联结构是为了充分利用脑肿瘤内的潜在生理结构信息。 级联结构将使网络深度倍增，这一方面增强了网络提取语义特征的能力，另一方面也加剧了梯度消失问题。 在我们的架构中，我们设计了以下三种策略来避免上述问题并实现脑肿瘤从粗到细的分割。

首先，受到残差网络的启发，我们网络中的每个基本单元都由一个由两个3×3卷积块堆叠的残差块构成。其次，增加了辅助监督。具体地，网络中的每个解码层都增加了一个由解卷积和1×1卷积组成的分支，以将特征映射上采样到与输入分辨率相同并压缩输出通道数。然后添加训练标签用于监督学习（参见图1中的较细橙色箭头）。这使得训练期间可以引入额外的梯度并且进一步减轻梯度的消失。在某种程度上，它也可以被视为网络的另一个约束，以避免过度拟合。最后，设计了between-net connections（较粗紫色箭头） ，第一阶段U-Net的解码层的特征通过级联操作被输送到第二阶段U-Net中的相应编码层。这些between-net connections 使得浅层中的高分辨率信息能够被保存并发送到更深层，以便对肿瘤子结构进行精细分割。

基于损失加权采样的训练

我们提出的网络是端到端架构，其中两个级联U-Nets被联合训练，确保数据处理过程的效率。 为了解决脑肿瘤数据集中正负样本的极度不平衡，我们提出了一种损失加权采样方案，并将其引入到交叉熵损失函数中。 具体而言，采样损失的表述如下：

其中Y∈R^b×c×l×w表示softmax函数之后的one-hot标签L∈R ^b×c×l×w的预测概率。 b是batch数，c是通道数，l和w分别是图像的长度和宽度。 根据特定任务计算采样矩阵W∈R ^b×l×w，并且W_n，i，j∈{0,1}表示空间位置（n，i，j）处的像素的损失权重。

脑MRI图像分为四个区域：S1，S2，S3和S4，分别代表黑色背景，正常脑区，肿瘤区和肿瘤轮廓区（见图2（d））。 采样矩阵W可以计算为：

其中Sample(Si，pi) 表示通过概率pi在Si中随机采样获得的二进制矩阵。 超参数α大于或等于1，引入超参数来调整轮廓区域的损失权重，以期增强网络识别肿瘤轮廓的能力。
图2：根据输入数据和graound truth将脑肿瘤训练样本分为四个区域：（a）FLAIR。 （b）T1ce。 （c）graound truth（紫色：非肿瘤;蓝色：水肿;黄色：增强肿瘤;绿色：坏死。）（d）训练样本的四个区域。 S1：黑色背景; S2：正常脑区; S3：从（c）获得的肿瘤区域; S4：通过轮廓检测算法获得的肿瘤轮廓区域。

对于大多数MRI图像，黑色背景S1（本文中也称为非脑部mask）包含大量像素，但对于肿瘤的分割提供的信息很少。 因此，根据这一先验知识，我们让p1取0，并提前提取非脑部mask，在测试时将其与预测图合并。

为了计算U-Net1中的分支损失L1和辅助损失L_ai（i = 1,2，…，4），我们令p3 = 1，p4 = 1，通过以下公式计算p2：

其中N_Si表示区域Si中的像素数，β通常大于1，用于调整训练批次中正负样本的比例，从而消除类不平衡。 因为Sample（Si，pi）是随机采样操作，只要保证β·p2·epoch≥1（epoch是网络通过整个训练集的次数，数据集中的所有像素都应该参与计算至少一次的损失），那么脑肿瘤的信息就不会丢失。

对于U-Net2中的分支损失L2和辅助损耗L_ai（i = 5,6，…，8），令：p1 = 0，p2 = 0，p3 = 1，p4 = 1，α2= 1， 这意味着U-Net2只能学习肿瘤子结构的分割。 因此，网络的损失函数是：

其中La是辅助损耗，ω是加权系数，ψ是具有超参数λ的正则化项，用于与其他项进行权衡。

在测试中，我们提前提取非脑部mask，并将其与branch1和branch2的输出融合以获得最终的分割结果。

实验

数据集和预处理

在2017年BraTS challenge的训练数据上评估方法，该数据集包括210例高级别胶质瘤和75例低级别胶质瘤。 每个病例都提供了四种模态脑MRI扫描：T1，T2，T1ce和FLAIR，MRI扫描的分辨率为240×240×155。放射科医师提供的像素级标签为：1为坏死（NCR）和非增强肿瘤（NET），2为水肿（ED），4为增强肿瘤（ ET），其他一切都是0。 在我们的实验中，210个高级病例被分成3个子集，比例为3：1：1，即126个训练数据，42个验证数据和42个测试数据。 不使用低级病例。 此外，在训练过程中丢弃了大约30％不含任何肿瘤结构的扫描。 通过N4-ITK偏置场校正和灰度归一化处理所有输入图像。 在所有算法中使用包括随机旋转和随机翻转的数据增强。

实现细节

所有算法都在具有NVIDIA GeForce GTX1060Ti（6 GB）GPU和Intel Core i5-7300HQ CPU @ 2.5 GHz（8GB）以及开源深度学习框架pytorch的计算机上实现。 轮廓权重α1设定为2，β设定为1.5。 提取的肿瘤轮廓宽约10个像素。 在训练阶段，我们使用具有动量的随机梯度下降（SGD）来优化损失函数。 动量参数为0.9，初始学习率为10-3，每10个时期减少10倍，直至最小阈值10-7。 重量衰减λ设定为5×10-5。 对模型进行约50次迭代训练，直到验证损失出现明显的上升趋势。 加权系数ωa最初设定为0.1，每10次迭代减少10倍，直至最小阈值10-3。

对于分割结果，我们评估以下三个部分：（1）整个肿瘤（WT）; （2）肿瘤核心（TC）; （3）增强肿瘤（ET）。 对于每个部分，其Dice评分，灵敏度和特异性定义如下：

其中P，T表示分割结果和标记，P0，P1，T0，T1分别表示P中的负例，P中的正例，T中的负例和T中的正例。

实验结果与分析

为了验证我们提出的网络和损失加权采样方案的有效性，我们将我们的CUN方法与几种最先进的深度学习算法进行了比较，包括U-Net [6]，BFCN [8]和DRN [5]。

图3：不同方法对本地测试数据的分割结果。 从左到右：Flair，T1ce，Ground Truth和U-Net，BFCN，DRN，CUN，CUN + LWS的结果。 在graound truth和分割结果中，紫色，蓝色，黄色，绿色分别代表非肿瘤，水肿，增强肿瘤和坏死。

结果如图3所示。可以看出，我们提出的CUN + LWS在五种方法中具有最佳的分割灵敏度，并且能更好地分割脑肿瘤内的微小子结构。 Dice得分和灵敏度、特异性的实验结果如图4所示。表1列出了测试集上五个模型的定量结果。正如我们所看到的，我们的CUN方法在Dice得分与灵敏度上分别高出state-of-the-art方法约1.5％，2％。 此外，当采用LWS时，灵敏度平均提高了1.5％，这表明了LWS的有效性。

表1：五种方法在测试集上对整个肿瘤，肿瘤核心和增强肿瘤的DIce评分，敏感性和特异性。


图4：Dice评分的分布和五种方法对整个肿瘤（WT），肿瘤核心（TC）和增强肿瘤（ET）的灵敏度。 方框中的实线和虚线分别代表中值和平均值。

结论

受脑肿瘤层次结构的启发，我们提出了一种用于脑肿瘤分割的新型级联U-Net。 为了使网络更有效地工作，设计了三种策略。 残差块和辅助监督可以在训练过程中更有助于梯度流动，减轻网络深度增加引起的梯度消失问题。 网络间连接可以将高分辨率信息从浅层传输到更深层，并获得更精细的分割结果。 此外，我们提出了一个损失加权采样方案，以调整不同类别的样本数量，以解决严重的类不平衡问题。 我们的实验结果证明了我们网络的优势和损失加权采样方案的有效性。