学习记录——Octave Convolution、LSK

Octave Convolution

2019 ICCV
自然世界中的图像存在高低频，卷积层的输出特征图以及输入通道，也都存在高、低频分量。 低频分量支撑的是整体轮廓，高频分量则关注细节，显然，低频分量是存在冗余的，在编码过程中可以节省。

• 高频到高频的卷积核
• 高频到低频的卷积核
• 低频到高频的卷积核
• 低频到低频的卷积核

下图直观地展示了八度卷积的卷积核，可以看出四个部分共同组成了大小为 k*k 的卷积核。其中，in和out分别表示输入和输出特征图的相关属性，在这篇文章中，输入的低频占比、通道数量都和输出的一致。

八度卷积的思想是为处理输入数据提供两个单独的路径：一个用于高频（细粒度）信息，另一个用于低频（粗粒度）信息。这可以通过使用两组卷积层来实现，每组卷积层具有不同的过滤器大小和步幅，其中一个路径在较低空间分辨率（下采样）下操作，另一个在较高空间分辨率（保持原始分辨率或轻微下采样）下操作。