深度学习之Focus层

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

文章导读

本文的知识点来源于用YOLOv5做一些道路目标检测时，看到一个名曰Focus的层，发现是一种下采样的方法。所以在此科普一下深度学习中有哪些下采样以及各自优缺点。

小编近期备考PMP，所以分享频率减缓，各位小伙伴见谅~~~不过发现已经把写公号做知识分享作为一种习惯，哈哈，希望能长期坚持下去。

1

深度学习有哪些下采样的方式？

YOLOv5中提到了一种Focus层，高大上的名称背后感觉就是特殊的下采样而已。不过原理逻辑虽然简单，但也体现了作者的创造力，不然小编咋就没想到呢~~~

提到下采样，在这里小编列举一下深度学习中都接触过哪些下采样方式：

最早接触到的应该是池化操作，如下图所示：

包括平均池化和最大池化两种，平均池化有种平滑滤波的味道，通过求取滑窗内的元素平均值作为当前特征点，根据滑窗的尺寸控制下采样的力度，尺寸越大采样率越高，但是边缘信息损失越大。最大池化类似锐化滤波，突出滑窗内的细节点。但是不论哪种池化操作，都是以牺牲部分信息为代价，换取数据量的减少。

步长大于1的卷积也可以实现池化功能，如下图所示：

卷积操作可以获得图像像素之间的特征相关性，采用步长大于1的跳跃可以实现数据降维，但是跳跃采样造成的相邻像素点特征丢失是否会影响最终效果。

池化作为一种强先验操作人为设定了降采样规则，而卷积层是通过参数自己学习出降采样算子，具体对比可以参考这篇文章：Striving for simplicity: The All Convolutional Net.

2

下采样在神经网络中的作用？

下采样在神经网络中主要是为了减少参数量达到降维的作用，同时还能增加局部感受野。

但是下采样的过程不可避免的伴随信息丢失，尤其是在分割任务要经历下采样编码和上采样解码的过程，那么如何在不损失数据信息的情况下，增大深层特征图的感受野呢？

18年的时候出了个空洞卷积的玩意，如下图所示，根据打洞的间距把卷积核进行膨胀，在没有增加参数量的情况下，增大了感受野，从某种角度来看也算是一种局部下采样的过程。

图a,b,c均是3×3尺寸卷积核，图(a)的空洞为0，每个核算子之间紧挨着没有间隔，等价于普通的卷积，每次运算学习9个参数，感受野即3×3；图(b)的空洞为1，同样学习9个参数，但是每个算子之间空一格，感受野即7×7；图(c)的空洞为3，仍然学习9个参数，但是每个算子之间空三格，感受野即15×15。

如何计算空洞卷积的感受野呢？

这里给出一个常规的计算公式：

size=(dilate_rate-1)  ×（kernel_size-1）+  kernel_size

3

YOLOv2之PassThrough层

上面我们聊了一些下采样的方法和优缺点，但是在目标检测网络中还有两种特殊的下采样，PassThrough首次出现在YOLOv2网络，将相邻的特征堆积在不同的通道中，目的是将大尺度特征图下采样后与小尺度特征图进行融合，从而增加小目标检测的精确度。如下图所示：

小编对这张图和Focus的图对比了半天，简直一模一样，暂时没发现这两个层有何区别？通过Tensorflow提供的API接口tf.space_to_depth测试了下Tensor的输出，确实是隔行采样再拼接的形式。有小伙伴知道差异的欢迎+v指导。

4

YOLOv5之Focus层

Focus层非常类似PassThrough层，同样是采用切片操作把高分辨率的图片/特征图拆分成多个低分辨率的图片/特征图，如下图所示：隔行采样+拼接

将4×4×3的Tensor通过间隔采样拆分成4份，在通道维度上进行拼接生成2×2×12的Tensor。Focus层将w-h平面上的信息转换到通道维度，再通过卷积的方式提取不同特征。采用这种方式可以减少下采样带来的信息损失。

小编觉得从细节的角度此方式确实比stride为2的卷积或者池化要精致，用在PC端建模可能有一些精度提升。但是如果用在工程上，考虑到大多数芯片厂商未必提供Focus层或者自定义接口，从部署的角度可以牺牲Focus带来的0.1%的提升更换成Conv或Pool层。

下载1：OpenCV-Contrib扩展模块中文版教程在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。交流群欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~