【轻量级网络系列三】MobileNetV2: Inverted Residuals and Linear Bottlenecks论文总结

本文主要是介绍【轻量级网络系列三】MobileNetV2: Inverted Residuals and Linear Bottlenecks论文总结，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

摘要

本文将介绍一种新型的适合移动端的网络MobileNetV2，在最近众多的tasks和benchmarks上都取得了最好的表现。它是建立在一种倒转的残差结构上面的，其中的短路连接建立在thin bottleneck layers之间。中间的扩展层使用lightweight depthwise convolutions 来对特征进行过滤来提升网络非线性能力。特别的是，我们发现去除狭窄层的非线性能力对于表现特征的能力是重要的。最后，我们的方法允许对于输入输出域去耦，这对于后面的研究分析提供了一个很轻便的网络。

一、介绍

近些年，神经网络使得许多方向的机器智能产生了革命性的变换，达到了超越人类的识别准确率。但是这些提高识别准确率的背后，这些网络需要大量的计算能力而无法在嵌入式设备和手机等移动设备上部署。

本篇文章介绍了一种新型的网络是为手机和受限制的环境量身定制的，此网络在达到同样的准确率下，大大的降低了网络的运算操作以及内存需要。主要贡献在于，提出一个the inverted residual with linear bottleneck(倒转线性残差块)，这使得输入低维度的特征，可以先让其扩张成高维度的，然后使用轻量的depthwise convolution进行卷积。特征随后被使用一个a linear convolution
送回低纬度的表征里。

本模型可以适用于几乎所有的经典网络结构中，也在许多评价数据集上取得了很好的表现。它减少了在嵌入式设备上对于主存的访问，转而支持对于cache内存的访问，这样提高了访问速度。

二、相关工作

介绍了下神经网络发展过程中的一些经典网络，介绍了ShuffleNet这种开始改变卷积内部的连接。作者也提到最近有一些使用强化学习来进行网络结构搜索的部分，来设计这种轻量级网络，但是本文是想从直观上的改变神经网络运算以及设计更简单得网络。然后提了下自己之前的工作MobileNetV1。

三、前期准备，讨论以及直觉

3.1 Depthwise Separable Convolutions

Depthwise Separable Convolutions是构建运算高效卷积神经网络的重要部分，很多工作都用了。其大概的思想就是把之前的一个卷积模块给替换成两个有着放缩因子的分离层。两个层也就是分组的卷积和1*1卷积，我在这篇文章中有写过。分组卷积是为了降低该部分操作的运算量，然后通过1*1卷积来弥补通道的不足。MobileNetV2是使用3*3的depthwise separable convolutions，所以减少的运算量在8-9倍。

3.2 Linear Bottlenecks

作者提出了在特征的通道低纬度的时候，ReLU激活函数会带来数据坍塌，而在高维度的时候就保留了其中大部分信息。为此，作者提出使用在低维度的时候不用ReLU，转而在其中加入线性变换。但是在这部分代码中，作者后面是将这个ReLU替换成ReLU，将大于6得输出不在增长，可以看一下pytorch给的图，比较清楚。