BASNet学习笔记

BASNet学习知识点积累

一、论文

1.模型

论文中介绍的网络主要结合了UNet与SegNet的网络结合成了一个新的网络

将左侧UNet形状的结构分为编码部分与解码部分，中间的 Sup1是链接两个部分的 bridge。浅粉色层先进行了一次 Conv2d，BatchNorm2d，ReLU三步处理，之后的四块蓝色是【3，4，6，3】resnet_34的四个layer处理，到了1414512的层进行了basic block的处理conv1-bn1-relu-conv2-bn2块内判断了以下是否对残差链接下采样，之后加上残差链接到达77512再进行一遍上述操作到达bridge，此层进行三次浅粉色层的操作，只是参数有所变化。到达解码器部分，每一个大块里的一个小层都进行了粉色层的操作，同样是参数有所变化，通过concat与编码器对称部分进行拼接。
右侧的RRM是残差精细化模块，这里可以根据图中的标识来看到网络的结构形成。

文中介绍之所以构建成这种编码器解码器链接的UNet形状是因为可以捕获高层次的位置信息，又能捕获低层次的边缘细节信息，在刚开始的输入时没有进行池化操作，而resnet在输入时进行了池化，这种改变可以获得更高分辨率的特征映射。在【3，4，6，3】之后又增加了两个块的目的是扩大感受野，原文说可以扩大到像ResNet-34相同的感受野。bridge 的目的是进一步捕获全局信息。RRM模块为避免池化操作带来的细节丢失，使用大小不同的核进行膨胀卷积，捕获多尺上下文线索，然而，这些模块很浅，因此很难捕捉高层次的细节信息进行精炼。为了细化粗显著图中的区域和边界缺陷，构建了图上的RRM结构

2.损失

模型由8个输出进行深度监督，即:K = 8，其中预测模型输出7个，精化模块输出1个。
BCE损失是像素级的。它不考虑邻域的标签，它对前景和背景像素进行同等的加权。它有助于所有像素的收敛。
SSIM损失是一种补丁级度量，它考虑每个像素的局部邻域。它赋予边界更高的权重，即边界周围的损失更高，即使边界上的预测概率和前景的其余部分相同。
IoU是一种地图级别的度量。
当结合这三种损失时，我们利用BCE对所有像素保持平滑的梯度，同时使用IoU对前景给予更多的关注。SSIM用于鼓励预测尊重原始图像的结构，通过边界附近的更大损失

3.评价指标

Precision Recall(PR) curve:PR 曲线是评价预测显著性概率图的标准方法。
F-measure:综合评价指标，F-Measure是Precision和Recall加权调和平均
Mean Absolute Error (MAE):MAE 表示预测显著图和它的真实掩码之间的平均绝对逐像素差。
relaxed F-measure of boundary

4.消融实验

消融实验类似于“控制变量法”。
假设在某目标检测系统中，使用了A，B，C，取得了不错的效果，但是这个时候你并不知道这不错的效果是由于A，B，C中哪一个起的作用，于是你保留A，B，移除C进行实验来看一下C在整个系统中所起的作用。
本文分为架构消融核损失消融。

二、代码

1.loss函数

主要使用BEC损失函数，结构相似性指数SSIM，目标检测准确度指标IoU：

bce_loss = nn.BCELoss(size_average=True)
ssim_loss = pytorch_ssim.SSIM(window_size=11,size_average=True)
iou_loss = pytorch_iou.IOU(size_average=True)

2.设置训练集路径

利用glob.glob(path1 + path2 + ’*‘ +ext)建立一个列表：

data_dir = r'E:\'
tra_image_dir = 'im'# 图像文件夹
tra_label_dir = 'gt'image_ext = '.jpg' # 文件后缀
label_ext = '.png'tra_img_name_list = glob.glob(data_dir + tra_image_dir + '*' + image_ext)

该处使用的url网络请求的数据。

3.遇到的bug

1.torchvision版本问题引起的bug

invalid index of a 0-dim tensor. Use tensor.item() in Python or tensor.item<T>() in C++ to conve

解决办法：修改loss.data[0]为loss.item()

2.由于系统不同引起的bug

[Errno 32] Broken pipe

解决办法：num_workers=0，因为在windows系统下不能进行多线程操作，这也是windows系统进行训练的一个弊端，比linux训练的慢

总结

牛逼，大佬网络，上仙思路，佩服佩服