【论文阅读】Dense Extreme Inception Network: Towards a Robust CNN Model for Edge Detection（2020）

原文链接
代码与数据集github网址
Poma, X. S., Riba, E., & Sappa, A. (2020). Dense extreme inception network: Towards a robust cnn model for edge detection. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (pp. 1923-1932).

1. 摘要

• 贡献1：受HED (Holistically-Nested Edge Detection) 和
  Xception的启发，提出一个用于生成人眼可能看到的薄边缘图的模型DexiNed: Dense Extreme
  Inception Network for Edge Detection，用于任何边缘检测任务，无需经过长时间训练或微调，从 DexiNed 预测的边缘在大多数情况下都比最先进的结果要好，
• 贡献2：贡献了一个数据集BIPED:Barcelona Images for Perceptual Edge
  Detection，精心标注，相关SOTA模型在此数据集上测试对比。
  

2. 模型

DexiNed 可以看作是两个子网络：

• 密集极端初始网络（Dexi）
• 上采样块（UB）

Dexi 的输入的是 RGB 图像，而 UB 则使用 Dexi每个块输出的特征图作为输入。

2.1 DexiNed Architecture

DexiNed它由一个编码器组成，该编码器具有 6 个受 xception 网络启发的输出块。

网络在每个主要块上输出特征图，然后使用第 2.2 节中定义的上采样块生成中间边缘图，由上采样块产生的所有边缘图都被连接起来，送到网络最末端的学习滤波器堆栈，并产生融合边缘图。所有的上采样模块没有共享参数。

蓝色块由两个卷积层的堆栈组成，内核大小为 3 × 3，然后是批量归一化和 ReLU 作为激活函数（只有最后一个子块中的最后一个卷积没有这样的激活）。最大池由 3 × 3 内核和步长 2 设置。由于架构遵循多尺度学习，就像在 HED 中一样，遵循上采样过程（灰色的水平块）

尽管 DexiNed 的灵感来自 xception，但相似之处仅在于主要块和连接的结构。 主要区别详述如下：

• 在 xception 中使用可分离卷积，而 DexiNed 使用标准卷积。
• 由于输出是 2D 边缘图，因此存在“非出口流”，而是在块 5 的末尾添加了另一个块。 该块有 256 个过滤器，并且在块 5 中没有 maxpooling 运算符。
• 在块 4 和块 5 中，设置了 512 个过滤器而不是 728 个过滤器。 主要块的分离是通过图顶部绘制的块连接（绿色矩形）完成的。
• 关于跳跃连接，在 xception 中有一种连接，而在 DexiNed 中有两种类型的连接，参见图顶部和底部的绿色矩形。

由于执行了许多卷积，每个深度块都会丢失重要的边缘特征，而只有一个主连接是不够的，从第四个卷积层开始，边缘特征损失更加混乱。 因此，从块 3 开始，每个子块的输出都使用边连接（图中的橙色方块）进行平均。

• i) 如图所示，在最大池化操作之后，与主连接求和之前，边连接为设置为平均每个子块输出（见绿色矩形，底部）；
• ii) 从最大池，块 2，边缘连接馈送块 3、4 和 5 中的子块，但是，6 中的子块仅从块 5 输出馈送。

2.2 Upsampling Block

DexiNed 旨在产生细边缘，以增强预测边缘图的可视化。 DexiNed 用于边缘细化的关键组件之一是上采样块，如图所示，来自 Dexi 块的每个输出都馈送到 UB。

UB 由条件堆叠子块组成。 每个子块有 2 层，一层是卷积层，另一层是反卷积层；有两种类型的子块:

• 第一个子块（sub-block1）是从Dexi模块或子块2馈入的； 它仅在特征图和真值图之间的比例差等于 2 时使用。sub-block1设置如下：卷积层的核大小1×1； 后跟一个 ReLU 激活函数； deconv 层或转置卷积的内核大小 s × s，其中 s 是输入特征图的尺度级别； 两层都返回一个过滤器，最后一层给出与 GT 大小相同的特征图。 最后一个 conv 层没有激活函数。
• 当差异大于 2 时，考虑另一个子块（子块 2）。迭代该子块，直到特征图比例相对于 GT 达到 2。subblock2 的设置与 sub-block1 类似，只是过滤器的数量有一个不同，即 16 而不是 subblock1 中的 1。 例如，Dexi 中块 6 的输出特征图的尺度为 16，在馈入子块 1 之前，子块 2 中将进行 3 次迭代。 子块的第二层上采样过程可以通过双线性插值、子像素卷积和转置卷积进行，下文第三部分将讨论该细节。

基于pytorch的实现其实用的是条件判断与循环一并实现了上述的两个模块：

class UpConvBlock(nn.Module):def __init__(self, in_features, up_scale):super(UpConvBlock, self).__init__()self.up_factor = 2self.constant_features = 16layers = self.make_deconv_layers(in_features, up_scale)assert layers is not None, layersself.features = nn.Sequential(*layers)def make_deconv_layers(self, in_features, up_scale):layers = []for i in range(up_scale): #循环上采样2倍，前几次卷积的channel都是16；最后一次为1kernel_size = 2 ** up_scalepad = kernel_size-1out_features = self.compute_out_features(i, up_scale)layers.append(nn.Conv2d(in_features, out_features, 1))layers.append(nn.ReLU(inplace=True))layers.append(nn.ConvTranspose2d(out_features, out_features, kernel_size, stride=2, padding=pad))in_features = out_featuresreturn layersdef compute_out_features(self, idx, up_scale):# 最后一个上采样channel为1，否则为16# 即论文里说的sublock1和subblock2return 1 if idx == up_scale - 1 else self.constant_featuresdef forward(self, x):return self.features(x)

2.3 损失函数

3. 实验准备步骤

3.1 数据集：Barcelona Images for Perceptual Edge Detection (BIPED)

• 250张1280×720的户外图片
• 随机抽取50张作为测试集，其余200张作为训练集和验证集
• 数据增强：1）由于 BIPED 数据是高分辨率的，它们被分成图像宽度大小的一半；2）与 HED 类似，每个生成的图像都旋转了 15 个不同的角度，并通过内部定向矩形进行裁剪；3）图像水平翻转； 4) 应用了两次伽马校正 (0.3030, 0.6060)。这个增强过程导致每 200 张图像有 288 张增强图像

3.2 实验细节

该实现在 TensorFlow中执行。 该模型在 150k 次迭代后收敛，使用 Adam 优化器的批量大小为 8，学习率为 10−4。训练过程在 TITAN X GPU 中花费大约 2 天时间，输入大小为 400x400 的彩色图像。 融合层的权重初始化为：1/(N-1)。经过超参数搜索以减少参数量后，在 Dixe 和 UB 的不同卷积层上使用 3×3、1×1 和 s×s 的内核大小获得了最佳性能。

3.3 评价指标

1. 评价数据集：BIPED（自制，250张1280x720 pixels），MDBD，CID，BSDS，PASCAL，NYUD
2. 评价指标：ODS、OIS、AP

4. 实验结果

4.1 三种不同的上采样方法：

DexiNed-bdc 是指由用双线性内核初始化的转置卷积执行的上采样； DexiNed-dc 使用带有可训练内核的转置卷积； 而 DexiNed-sp 使用亚像素卷积。

根据 F-measure，DexiNed 的三个版本得到了相似的结果，但是，在分析图 6(a) 中的曲线时，DexiNed-dc 的性能出现了微小的差异。 作为结论，选择了 DexiNed-dc 上采样策略； 从现在开始，对本节执行的所有评估均使用 DexiNed-dc 上采样获得； 为简单起见，仅使用术语 DexiNed 而不是 DexiNed-dc。

4.2 融合 (DexiNed-f) 和平均 (DexiNed-a) 边缘图定量比较

定性地，来自 DexiNed-f 的结果比来自 DexiNed-a 的结果要好得多

定量的，所有预测的平均值 (DexiNed-a) 在三个评估指标中获得最佳结果，其次是融合层中生成的预测。即DexiNed-a 产生的定量结果略好于 DexiNed-f。

作为结论，两种方法（融合和平均）都达到了相似的结果；以后将使用 DexiNed-f版本。

4.3 在其它数据集上的比较

每个模型的训练过程都采用大约两天。从表 (b) 可以看出，在BIPED数据集上，DexiNed-a 在所有评估指标中都达到了最好的结果。


DexiNed 的主要目标是从每个数据集（RGB 或灰度）中获得精确的边缘图。因此，分为两类进行公平分析；一个用于边缘检测，另一个用于轮廓/边界检测/分割。用最先进的方法获得的边缘图的结果如表 2 所示。 应该注意的是，对于每个数据集，与 DexiNed 相比的方法已经使用来自该数据集的图像进行了训练，而 DexiNed 只在BIPED训练了一次。
可以看出，DexiNed 在 MDBD 数据集中获得了最好的性能。应该注意的是，DexiNed 在 CID 和 BSDS300 中进行了评估，即使这些数据集包含少量图像，不足以训练其他方法（例如，HED、RCF、CED）。
关于 BSDS500、NYUD 和 PASCAL，DexiNed 没有达到最好的结果，因为这些数据集没有用于边缘检测，因此评估指标会惩罚 DexiNed 检测到的边缘。为了突出这种情况，下图描述了上表中的结果。考虑了每个数据集的两个样本。它们是根据最佳和最差 F 度量来选择的。因此，如下图所示，当图像被完全标注时，得分达到 100% 左右，否则达到不到 50%。

5. 代码

参考这个