MMUNet:形态学特征增强网络在结肠癌病理图像分割中的应用

本文主要是介绍MMUNet:形态学特征增强网络在结肠癌病理图像分割中的应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

MMUNet: Morphological feature enhancement network for colon cancer segmentation in pathological images.

发表在:Biomedical Signal Processing and Control2024--影响因子:3.137

南华大学的论文

论文地址:main.pdf (sciencedirectassets.com)

代码地址:https://github.com/Yuanhaojun513/MMUNet

目录

一、摘要

二、介绍

三、方法框架

3.1改变卷积块MCNB和MCNEAB

3.2侵蚀膨胀模块EDM

 3.3边缘特征模块EFM

3.4损失函数

四、实验和结果

4.1实验

4.2结果

五、结论


一、摘要

结肠图像分析是诊断结肠癌的重要步骤,由于病理切片中细胞形状和边界的多样性,故存在困难。在本文中,我们提出了一种u型结肠癌分割网络,将深度可分卷积和形态学方法相结合,减少了模型参数的数量,有效提高了分割精度。我们利用序列卷积和外部焦点作为模型的底层架构,提高了全局和局部特征的能力。我们设计了跳跃连接,以形态学的方式融合编码器的特征,以增强形态学特征。引入边缘增强模块,利用形态学方法提取轮廓信息增强边缘特征。

二、介绍

结肠癌已被证明可以通过细胞的形状、密度和位置来预测临床结果。传统的结肠癌图像分割方法,有些方法取得了一定的成功。然而,它们需要在面对不规则形状时更具竞争力,只适用于某些类型的图像,并且不是很健壮

通过构建融合低级语义和高级语义的编码器-解码器结构,然而,这项工作没有考虑形态学信息的影响,形态学信息对于不规则的病理切片非常重要。连续的下采样和上采样可以获得丰富的语义信息,但会丢失一些目标信息,影响边缘的纹理特征。此外,卷积的局限性导致该网络只关注局部特征而忽略了远程依赖。全局特征和局部特征相辅相成,有利于增强模型提取特征的能力。因此,许多研究者将transformer引入到视觉任务中,以减轻卷积的局域性,增加远程依赖性,但这带来了巨大的计算压力。研究者发现,外部注意(EA)可以以较低的复杂性获得远程依赖的能力。 

因此本文提出了一种形态学方法UNet(MMUNet)来解决病理图像中结肠癌分割中形状不规则和边缘不准确的问题。改进了ConvNeXt的基本模块,使其适合于结肠癌的分割。

我们使用改进的块构造一个多尺度卷积模块(MCNB)来提取多尺度特征。我们构建了一个多尺度卷积外部注意块(MCNEAB),使用MCNB和EA相结合来提取局部和全局特征。其次,利用侵蚀膨胀模块(EDM)对编码器特征进行形态学融合,增强形态学特征;最后,利用边缘特征模块(Edge Feature Module, EFM)提取编码器基特征和解码器基特征,增强边缘特征 。

主要贡献:

1. 构建侵蚀膨胀模块(EDM)和边缘特征模块(EFM),分别引入形态学方法融合编码器特征和提取轮廓,进一步增强形态学特征和边缘特征

2. 我们提出了多尺度卷积块(MCNB)和多尺度卷积外部注意块(MCNEAB),增强了提取全局和局部特征的能力

3. 我们在三个结肠癌数据集上进行了广泛的实验来验证我们方法的有效性。

三、方法框架

它是一个结合卷积神经网络和形态学方法的u形网络,包括由多尺度卷积块和外部注意(EA)组成的基本架构,边缘特征模块(EFM)和使用侵蚀和膨胀的编码器特征融合模块(EDM)。我们仅在前三层使用多尺度卷积块(MCNB),在后两层使用多尺度卷积外部注意块(MCNEAB),从而降低了复杂性并提高了捕获上下文信息的能力。对于EFM,我们使用编码器的前两层和解码器的最后一层的特征信息提取边缘特征。对于EDM,形态学方法将在编码器特征上进行操作,以增强形态学特征。

3.1改变卷积块MCNB和MCNEAB

基于改进的ConvNeXt块,将7 × 7深度卷积分成4个部分。第一部分执行卷积核大小为3,第二部分执行卷积核大小为5,第三部分执行卷积核大小为7。最后一部分保存原始信息,第二部分接收第一次卷积后的结果,第三部分接收第二部分进行卷积后的结果。MCNB用于提取多尺度特征。然后,将MCNB与EA连接起来,得到远程依赖关系,称为多尺度卷积外部注意块。

 EA论文地址:https://arxiv.org/pdf/2105.02358

     ConvNeXt论文地址:https://arxiv.org/abs/2201.0354

EA使用一个外部矩阵M来建模第i个像素和第j行之间的相似性,且M是可学习的、大小可变的,同时,M还可以随着训练过程的进行建模整个数据集不同样本间的联系 在实际应用中,M分为两个:M_k、M_v,分别对应SA中的K和V:A  = Norm(FM_K^T);Fout = AM_v

3.2侵蚀膨胀模块EDM

侵蚀使图像更平滑,并去除小噪声点。膨胀增强了图像的细节,填补了小洞。我们通过侵蚀和膨胀过程融合编码器特征。该方法的优点是去除了噪声并保留了足够的形态学信息。

利用SoftMax对编码器特征映射X进行二值化。使用MaxPooling(内核大小为7,步长为1,填充为3)实现侵蚀和扩展,因为更大的内核捕获更多的上下文信息并扩展接受域。

对编码器特征X1进行并行腐蚀和扩展,对扩展后的特征映射进行Tanh计算加权。一方面,对腐蚀特征图进行Sigmoid加权,并与膨胀特征图相乘计算相似矩阵; 另一方面,利用Sigmoid算法将腐蚀后的特征图与原始地图融合,计算权值,得到原始地图的相似度矩阵。最后对两个相似矩阵信息进行融合。

 3.3边缘特征模块EFM

错误的边界会产生许多错误的病变区域。标准的卷积神经网络提取附加特征来补充边缘特征,但单个特征会丢失边缘信息。由于底层特征具有足够的边缘信息,我们使用编码器的下两层特征和解码器的最后一层特征。EFM对两个输入分别提取轮廓,去除图像中的噪声和不规则部分,得到更准确的边缘信息。

编码器第一层的特征X1直接通过形态学方法计算边缘,得到X1_edge。X2使用第二层编码器特征,通过上采样DwConv和形态学方法提取边缘信息。X1_edge和X2_edge沿通道方向连接,两部分信息融合得到更精确的边缘。最后对编码器特征X和边缘特征求和:

3.4损失函数

由于病理图像的复杂性和多样性,我们选择Dice系数和交叉熵损失来训练我们的网络,它可以关注分割区域的匹配程度和每个像素点的分类精度来提高分割性能。

其中Y_i代表真实值,P_i代表预测值

四、实验和结果

4.1实验

 数据集:三个结肠癌数据进行了广泛的实验,如下数据内容信息。

评价指标:五个评估指标包括Jaccard, Dice系数,Precision, Sensitivity和Specificity。

其中TP (TN)描绘了正确预测的标记为正(负)的病变像素。相反,FP (FN)描述了被标记为正(负)的错误预测的病变像素。

tip 我们的网络使用PyTorch实现,并在具有48G显存的A6000显卡上进行训练。我们选择AdamW作为优化器,学习率设置为0.0015,批大小设置为4,训练epoch设置为400。 我们的数据增强方法包括随机调整大小、随机裁剪、水平翻转和垂直翻转。由于三个数据集具有不同的图像分辨率大小,我们将图像随机裁剪为224 × 224像素。

4.2结果

三种数据集与其他模型进行比较

 消融实验

对比实验

损失函数以及卷积大小选择

五、结论

结肠病理图像是病理学家诊断癌症的重要标准之一,计算机辅助医学诊断对于结肠癌的初步筛查至关重要。本文提出了一种基于MMUNet的结肠癌病理切片病变区域自动分割方法。我们提出的模型在三个结肠癌数据集上得到了验证。首先,我们利用先进的卷积结构来增强模型的特征提取能力,并利用卷积模块与外部关注进行串行化,以获取远程依赖关系,降低模型复杂度。其次,引入形态学方法,重新设计跳跃连接以校正来自编码器的特征,增加形态学信息的重要性。最后,使用形态学方法直接计算边缘,方便模型学习边界特征。实验结果表明,本文提出的方法优于其他竞争方法。在未来的工作中,我们将探索如何设计和使用更多的形态学方法来获得更好的结果,适用于更多的分割任务。

这篇关于MMUNet:形态学特征增强网络在结肠癌病理图像分割中的应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1030725

相关文章

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

hdu1394(线段树点更新的应用)

题意:求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质,在0到n-1这些数字组成的乱序排列,将第一个数字A移到最后一位,得到的逆序数为res-a+(n-a-1) 知道上面的知识点后,可以用暴力来解 代码如下: #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in

zoj3820(树的直径的应用)

题意:在一颗树上找两个点,使得所有点到选择与其更近的一个点的距离的最大值最小。 思路:如果是选择一个点的话,那么点就是直径的中点。现在考虑两个点的情况,先求树的直径,再把直径最中间的边去掉,再求剩下的两个子树中直径的中点。 代码如下: #include <stdio.h>#include <string.h>#include <algorithm>#include <map>#

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件,然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它,快速获取到想要知道的信息。https://www.chatpdf.com/

ASIO网络调试助手之一:简介

多年前,写过几篇《Boost.Asio C++网络编程》的学习文章,一直没机会实践。最近项目中用到了Asio,于是抽空写了个网络调试助手。 开发环境: Win10 Qt5.12.6 + Asio(standalone) + spdlog 支持协议: UDP + TCP Client + TCP Server 独立的Asio(http://www.think-async.com)只包含了头文件,不依