本文主要是介绍【池化方法】——strip pooling，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
转载自：AI算法修炼营
论文链接：https://arxiv.org/abs/2003.13328v1
代码链接：https://github.com/Andrew-Qibin/SPNet
1. 前言
提高卷积神经网络中远程依赖关系建模能力的一种方法是采用self-attention机制或non-local模块。然而，它们会消耗大量内存。
具体文章可以关注：视觉注意力机制：self-attention机制与non-local模块。对于non-local模块计算量大的问题的改进方法，可以关注文章：non-local模块如何改进？来看CCNet、AAN。
其他的远程上下文建模方法包括:
-
空洞卷积，其目的是在不引入额外参数的情况下扩大卷积神经网络的感受野;
-
全局/金字塔池化，通过结合不同池化核大小的池化层，为图像提供全局信息。
然而，空洞卷积和池化操作都是在正方形卷积中输入特征图并进行卷积运算。这限制了它们在捕获广泛存在于现实场景中的各向异性的上下文上的灵活性。
例如，在某些情况下，目标对象可能具有长条形结构(如图1b中的草地)或离散分布(如图1a中的柱子)。使用大的方形池窗口不能很好地解决这个问题，因为它将不可避免地合并来自无关区域的污染信息。
为了更有效地捕获长依赖关系，本文在空间池化层扩大卷积神经网络感受野和捕获上下文信息的基础上，提出了条形池化（strip pooling）的概念。
作为全局池化的替代方案，条纹池化有两个优点：
-
它沿着一个空间维度部署一个长条状的池化核形状，因此能够捕获孤立区域的长距离关系，如图1(a)和1©的第一行所示部分所示。
-
在其他空间维度上保持较窄的内核形状，便于捕获局部上下文，防止不相关区域干扰标签预测。
在网络中使用这种长而窄的池内核，可以使语义分割网络能够同时聚合全局和局部上下文信息。这是与传统的从固定的正方形区域收集上下文的池化有本质的不同。
2. 具体方法
基于条纹池化的想法，作者提出了两种即插即用的池化模块 — Strip Pooling Module (SPM) 和 Mixed Pooling module (MPM)。
2.1、SPM（Strip pooling）
SPM由两条路径组成，它们分别侧重于沿着水平和垂直空间两个维度捕获远程上下文。
图中的条纹池化，实际上和普通池化方法没有区别，就是把池化核（长条形区域）所对应的特征图上位置的像素值求平均。
主要流程：
-
输入一个特征图，这里实际上为C×H×W，为了方便讲解图中只画了一个通道。C个通道的特征图输入处理原理与这里所示的一个通道操作一模一样。
-
输入的特征图经过水平和竖直条纹池化后变为H×1和1×W，对池化核内的元素值求平均，并以该值作为池化输出值。
-
随后经过卷积核为3的1D卷积对两个输出feature map分别沿着左右和上下进行扩容，扩容后两个特征图尺寸相同，对扩容后的特征图对应相同位置求和得到H×W的特征图。
-
之后通过1×1的卷积与sigmoid处理后与原输入图对应像素相乘得到了输出结果。
在上面的过程中，输出张量中的每个位置都与输入张量中的各种位置建立了关系。例如，在上图中，输出张量中以黑框为界的正方形与所有与它具有相同水平或垂直坐标的位置相连(被红色和紫色边框包围)。因此，通过多次重复上述聚合过程，可以在整个场景中构建长期依赖关系。此外，得益于element-wise乘法操作，该SPM也可以被视为一种视觉注意力机制。（其实，这个操作与CCNet思路类似，大家可以参考视觉注意力机制系列文章进行对比）
SPM可以直接应用于任何预先训练的骨干网络，而无需从无到有地进行训练。与全局平均池化相比，条纹池化考虑的是较长但较窄的范围，而不是整个特征图，避免了在相距较远的位置之间建立不必要的连接。与需要大量计算来建立每对位置之间关系的基于注意力的模块（no-local ）相比，SPM是轻量级的，可以很容易地嵌入到任何构建块中，从而提高捕获远程空间依赖关系和利用通道间依赖项的能力。
这篇关于【池化方法】——strip pooling的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
