论文笔记Fusing enhanced Transformer and large kernel CNN for malignant thyroid nodule segmentation

融合增强变换和大核细胞神经网络的甲状腺恶性结节分割

Biomedical Signal Processing and Control 2023

        由于超声图像的复杂性和变异性，通过超声快速准确地诊断恶性甲状腺结节是一项有价值但具有挑战性的任务。大多数现有的分割方法缺乏保持精确形状信息和捕捉全局长程依赖关系的能力。针对上述问题，提出一种基于深度学习的CAD方法Transformer fusing CNN Network（TCNet）来自动分割甲状腺恶性结节。提出的TCNet包含一个大核CNN分支和一个增强的Transformer分支。在前一个分支中，我们设计了一个大核模块（LKM）来提取超声图像中甲状腺恶性结节的精确形状特征；而在后一个分支中，我们设计了一个增强型转换模块（ETM）来建立甲状腺结节像素之间的远程连接。为了集成两个分支不同阶段生成的多尺度特征地图，开发了一个多尺度融合模块（MFM）来连接两个分支。在MTNS数据集和其他公共数据集上，将该模型与目前常用的几种分割方法进行了比较。

        该网络包括两个分支：大核CNN分支和增强型变换器分支。前者主要侧重于基本特征信息的提取，尤其是形状的提取；而后者则专注于通过其多头自我注意机制对长距离依赖进行显式建模。这两个分支都是编码器结构，其分别将原始全图像和图像块作为输入，同时执行下采样。这两个分支通过MFM连接，MFM可以融合整个编码过程中不同阶段生成的多尺度特征图。提出的网络TCNet如图所示：

        为了获得更大的有效感受野Effective Receptive Field，在大核分支中采用了两个LKM（LKM 1和LKM 2）。它们包括一个超大的内核（高达31 × 31）深度方向的Conv层，以捕获更多的结构信息（形状）。简单地通过增大核大小K来有效地扩展神经网络的ERF

        增强的Transformer分支由一个线性嵌入层（LE）和三个面片合并层（PM）组成，其中包含一些跳过连接操作。采用三个ETM（ETM 1、ETM 2和ETM 3）来建模该分支中像素之间的长期依赖性。其次，采用多头部自注意机制作为核心部分计算注意力，并利用深度方向Conv和层归一化之间的密集残差关系对FFN进行重新设计，称为MixFFN。WMSA是基于移动窗口构造的，用于计算注意图 

        MFM嵌入在大内核分支和增强型Transformer分支之间，作为连接这两个编码器的桥梁。它主要采用两种不同的注意机制来融合多尺度特征地图。然后，经过并行、分层的特征提取后，将特征映射图送到解码器，解码器将特征映射图恢复到原始大小，并恢复到高分辨率。

数据集：

1.恶性甲状腺结节分割（MTNS）：MTNS数据集是在山东第一医科大学附属山东省立医院医生的协助下从超声机中采集的。它由从临床患者中收集的大量恶性甲状腺结节图像组成。

2.TN-SCUI 2020数据集：TN-SCUI 2020数据集来自周建桥医生组织的中国医学超声人工智能联盟。该数据集由来自各种设备的灰度和“. png”扩展的测试集和训练集图像组成。训练集包括来自3644名患者的3644张甲状腺结节的US图像。所有图像均由经验丰富的临床医生标记和验证。数据集由二进制图像组成，其中0表示背景，255表示前景。

3.腺体分割（GLSA）：GLSA数据集由165张组织学图像组成，这些图像是切片的形式。所有图像的空间分辨率为128 × 128，深度为24。我们使用非甲状腺数据集来验证TCNet的移动性和稳健性，因为组织学图像在外观、边缘和形状上与甲状腺不同。

实验结果：