本文主要是介绍MICCAI 2023 | IFE：用于医学图像分割的特征增强，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
点击进入—>【NeRF和Transformer】交流群
作者：Glenn（源：知乎，已授权）
https://zhuanlan.zhihu.com/p/635329786
在CVer微信公众号后台回复：IFE，可以下载本论文pdf和代码，学起来！
题目：Instructive Feature Enhancement for Dichotomous Medical Image Segmentation
作者单位：深圳大学、Shenzhen RayShape Medical Technology Co.、苏黎世联邦理工学院
论文： https://arxiv.org/abs/2306.03497
论文代码：https://github.com/yezi-66/IFE
首次发布时间：2023 年 6 月 6 日
1. 主要内容
背景介绍：
由于成像方法的不同，医学图像具有不同的表现形式。来自同一模态但不同部位的图像在整体结构上具有高度的相似性，但在细节和纹理上具有多样性。
现有的医学图像分割模型在特定模态或解剖结构数据集上训练的模型可能不适应新的数据集。
现有研究：
有些研究增加了骨干网络的深度或宽度，如 UNet++，使用嵌套结构和密集的跳跃连接；DeepLabV3+，它将膨胀卷积和特征金字塔池与一个有效的解码器模块相结合；
还有些工作专门设计即插即用的功能模块，如 Inception 及其变体，深度可分卷积，注意力机制和多尺度特征融合。
像 nnUNet 这样的框架通过集成关键数据集属性，为多个分割任务开发了一个自适应分割管道，达到 SOTA。
现有研究的缺陷：
大多数现有的医学图像分割的模型架构都是经过精心设计的。尽管这些工作都很有前途并且可以灵活使用，但它们通常需要针对不同的分割任务进行手工调整。
nnUNet 需要大量的设计工作，而且成本非常昂贵。
作者观察到特定特征通道中丰富的纹理和尖锐的边缘线索对于准确地分割目标是至关重要的且具有指导意义的。以往的分割网络往往忽视了特征通道的重要性，这可能会限制其在一般分割任务中的性能。
方法提出：
曲率（Curvature）可以表示图像的边缘特征。熵（Information entropy）可以描述图像的纹理和内容的复杂性。
基于曲率和熵，作者提出了提出了一种简单、通用、有效的特征增强方法，即 IFE。基于局部曲率或全局信息熵准则，可以自适应地选择具有丰富纹理线索和强可分辨性的特征通道来增强原始特征。
IFE 是即插即用的，适用于不同的分割任务，它鼓励模型关注纹理丰富的特征，这些特征对于模糊和具有挑战性的边界识别特别重要，同时实现简单性、通用性和一定的可解释性。
2. 方法
IFF 提供了两种方法，即基于曲率的特征量化方法和基于信息熵的特征量化方法，量化出的参数表示了每个特征通道的内容丰富度。这些参数越大，对应通道特征的纹理和细节就越丰富。
通过选择一定比例的具有高曲率或信息熵的通道特征，并将它们与原始特征相结合。IFE 通过对分割网络架构进行微小修改来提高性能。
2.1 基于曲率的特征选择
对于嵌入欧几里得空间 R3 中的二维曲面，存在两种曲率：高斯曲率和平均曲率。与高斯曲率相比，平均曲率可以更好地反映表面的不均匀性。
Gong 提出了一个计算公式，只需要简单的线性卷积就可以获得近似的平均曲率，如下所示：
2.2 基于信息熵的特征选择
信息熵反映了强度分布的空间和聚集特征。它可以公式化为：
图像上的每个像素对应一个灰度或颜色值，范围从0到255。而特征映射中的每个元素都表示在输入图像的特定位置上卷积的激活水平。
2.3 构造增强的特征
虽然 IFE 可以应用于各种深层神经网络，但本文的研究主要集中在广泛应用的分割网络。
图 4 展示了嵌入在代表性网络中的 IFE 的框架，例如 DeepLabV3+、UNet、nnUNet 和 SINetV2。前三种是经典的分割网络。由于分割任务类似于伪装目标检测，比如低对比度和模糊边缘，作者也考虑了 SINetv2。
如图 4 所示，在 UNet 和 nnUNet 的中间层，DeepLabV3+ 的低级特征以及 SINetV2 的 TEM 输出上接入 IFE。
当输入图像被编码到特征空间时，不同的通道特征在不同的方向和频率上保留了纹理。值得注意的是，同一个通道所包含的信息可能在不同的图像上有所不同，如图 5 所示。
例如，肺部 CT 特征图的第 15 通道包含有价值的纹理和细节，而主动脉 CT 特征图的同一通道可能不会提供有意义的信息内容。然而，他们的第二通道功能都侧重于边缘细节。通过保留原始特征，可以动态地从输入特征中选择对当前对象分割有较大贡献的信道特征。
IFF 可以显式地增加模型对通道信息的敏感性。
3. 结果与讨论
作者在自己构建并公开的数据集 Cosmos55k 上进行验证实验。
如图 6 所示，Cosmos55k 提供了 7 种成像模式，包括 CT、MRI、X光、眼底等，涵盖了 26 个解剖结构，如肝脏、息肉、黑色素瘤和脊椎等。图像只包含一个标记的对象，减少了具有不同结构的多个对象的混淆。
Cosmos55k 包括 55023 张图像，其中 31548 张用于训练，5884 张用于验证，17591 张用于测试。
UNet、DeeplabV3+、SINetV2 和 nnUNet 的定量结果如表 1 所示。从表中可以得出结论，IFE 可以提高网络在大多数细分指标上的性能。
此外，图 7 显示 IFE 有助于模型在大多数模态和解剖结构中表现更好。
图 8 给出了定性比较。IFE 有助于定位可能难以注意到的物体中的结构，并增强对边缘灰度变化的敏感性。IFE 可以在具有挑战性的场景中显著提高基础模型的分割精度。
在将 IFE 应用于不同网络时，选择合适的选择比例 r 至关重要。
不同网络的编码器提取特征的能力并不相同，更有利于分割结果的信道特征的比例也不同。
为了分析 r 的影响，作者使用 UNet 进行了实验。如表 2 所示， r 过大或过小都会导致模型性能下降。
在CVer微信公众号后台回复：IFE，可以下载本论文pdf和代码，学起来！
点击进入—>【医疗影像和Transformer】交流群
ICCV / CVPR 2023论文和代码下载
后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集医疗影像和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-医疗影像或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注：研究方向+地点+学校/公司+昵称（如医疗影像或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer444，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！▲扫码进星球
▲点击上方卡片，关注CVer公众号整理不易，请点赞和在看这篇关于MICCAI 2023 | IFE：用于医学图像分割的特征增强的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
